Дополненная реальность — простое техническое введение

Что же такое дополненная реальность (AR)? Много людей принимают её за виртуальную реальность, но мы надеемся, что к концу этого поста вы сможете различать их и не только.

Как вы знаете, ваше физическое тело и ум существуют в пространстве и времени, которые вы воспринимаете как реальность, а в наше время вы можете даже “существовать” внутри компьютерной смеси пространства и времени, известной как виртуальная реальность. Тем не менее, между этими двумя крайностями могут существовать другие типы реальности, где “нормальная” реальность и виртуальная реальность переплетаются в той или иной степени, одним из которых является дополненная реальность (AR).


Типы реальности

Как мы видим, дополненная реальность как понятие подразумевает реальность с виртуальной реальностью для дополнительных ощущений, но не настолько, чтобы подавить последнюю или поставить другую точку зрения: акцент должен быть на привлечении виртуальных элементов, в физический мир, а не наоборот. Все это кажется прекрасным понятием, но это подводит нас к следующему вопросу:

Какие свойства и правила дополненной реальности?

Как оказалось, есть три ключевых компонента
  1. она должна совмещать виртуальную и реальную информацию, с реальным миром в качестве основного места действия
  2. она должна быть интерактивной и обновляться в режиме реального времени
  3. она должна иметь виртуальную информацию, зарегистрированную в 3D-пространстве, в физической среде.
По сути, при движении в физической среде действия пользователя (движение/взаимодействие) возникают последствия в виде визуализируемых виртуальных элементов, и все это происходит в режиме реального времени. Если вы обратите внимание, то эти правила не различают конкретное выходное устройство или среду взаимодействия, а это означает, что в теории AR не ограничивается дисплеями и визуальными стимулами. Тем не менее, аудио, тактильные, обонятельные и вкусовые AR труднее достичь.

Краткая история

Дополненная реальность, как концепция, существует уже несколько десятилетий, и практические примеры были разнообразными и обильными, поэтому давайте быстро взглянем на то, как далеко все это зашло на протяжении многих лет.

Избавившись от каких-либо предыдущих намерений использовать простые накладки для добавления информации к существующим задачам, все началось, когда Айвен Сазерленд впервые предложил “ultimate display” в 1965 году и реализовал это в 1968 году. Этот дисплей (БГМ) прозвали Дамоклов меч, поскольку он должен был быть повешен под потолок и над головой пользователя. Он включал в себя отслеживание головы, свободу трехмерного движения и прозрачную оптику.


Дамоклов меч, Айвен Сазерленд, 1968

И таким образом, VR и AR родились! Как теоретические понятия… Потребовалось несколько десятилетий для технологии, чтобы догнать, и в 1990-х годах AR нашел себя реальные приложения для оказания помощи рабочим с внутри помещения сборкой и обслуживанием.


Карма была первым управляемым применением AR. Пользователь с HMD мог видеть инструкции по обслуживанию принтера.

До 1999 года программное и аппаратное обеспечение AR использовалось только для академических исследований и разработок или в очень специфических заводских настройках, но это изменилось с выпуском ARToolKit. Это была первая платформа с открытым исходным кодом для AR и отличалась библиотекой 3D-трекинга с использованием черно-белых фидуциаров (также известных как фидуциарные маркеры), которые легко могли быть напечатаны на обычном лазерном принтере.

Что за фидуциар?

Погодите, давайте вернемся к этой идее. Если вы знакомы со штрих-кодами и QR-кодами, то не будете шокированы, зная, что фидуциарные маркеры не так уж и отличаются от всего этого. Их легко создавать, однозначно идентифицировать –это машиночитаемые визуальные представления данных; но в то время как штрих-коды и QR-коды, как правило, используются для хранения информации о элементе, на котором они размещены (ID номер, источник происхождения, соответствующий URL, и т.д.), фидуциары используются для установки положения, ориентации и масштаба по отношению к ним.


Примеры фидуциаров, используемых в программном обеспечении AR

Как вы, наверное, уже догадались, фидуциарные маркеры объявляются как помощники для AR. Они очень легко прикрепляют виртуальные элементы к объектам физического мира, полагаясь только на «простые» алгоритмы компьютерного зрения и минимальное реальное вторжение.


Как используется фидуциарный маркер для позиционирования виртуальных элементов в физическом пространстве

Назад к уроку истории

К концу 1990-х годов были созданы надежные веб-камеры, а в начале 2000-х годов мы стали свидетелями всплеска разработки мобильных устройств, так что это было только вопрос времени, чтобы появились первые портативные устройства, способные работать с AR. Мы даже не говорим о смартфонах в этот момент! Помните КПК? Это было давным-давно

Во всяком случае, портативные устройства внезапно стали надежными альтернативами головным дисплеям, и неудивительно, что в последние годы они стали самым экономичным способом разработки дополненной реальности, и, что более важно, стали доступными для более широкой пользовательской базы. В настоящее время практически любой смартфон способен поддерживать AR. Все, что ему нужно, это камера, дисплей и достаточно вычислительной мощности, чтобы обеспечить “реальное время” взаимодействия с визуализированными виртуальными элементами.

Итак, как мы видели, AR прошел долгий путь, и в настоящее время он уже удивляет нас. Однако, это далеко не все.

Демонстрация AR

Скорее всего, вы, вероятно, использовали AR в вашей повседневной жизни, даже не замечая этого. Например, вы когда-нибудь видели или использовали одного из этих парковщиков?


AR помощник парковки

Да, по определению, они являются вполне хорошим и простым примером дополненной реальности: сгенерированные компьютером элементы помогут вам измерять расстояния и траектории в режиме реального времени! Да-да, есть автомобили с самостоятельным вождением и они вытеснят вскоре такие технологии, но, мы уверены, что вы никогда не думали об этих дисплеях как об удивительной части AR.

Не любитель автомобилей? Это нормально, а что вы думаете о спорте? Используя фиксированные позиционные камеры, становится легче накладывать дополнительную информацию на некоторые из самых популярных видов спорта, таких как футбол, хоккей и даже бильярд.


AR визуализация текущего футбольного матча

Дополненная реальность также просочилась в игру, и, если вы жили не в далеком лесу, то вероятно, слышали о прошлогодней сенсации: Pokemon Go. Каждый год все больше и больше игр AR и VR добавляются в магазины приложений; особенно игры на основе AR, поскольку они обычно не требуют дополнительного дорогостоящего оборудования для покупки.

Что дальше?

В настоящее время прогресс дополненной и виртуальной реальности все еще сдерживается теми же проблемами, что и десятилетия назад Если вы думаете, что ваш современный смартфон не работает достаточно долго на одной зарядке, представьте себе, что у полноценного приложения AR или VR может быть батарея вашего телефона. Спойлер: у него нет шансов. Это означает, что вы не можете ходить в дополненном мире слишком долго, по крайней мере, без ущерба для вашей способности в дальнейшем использовать ваш смартфон.

Но подождите, это еще не все! Все еще стоит вопрос таких дисплеев, которые имели бы достаточное разрешение экрана и в то же время были портативными. Экраны смартфонов выросли с момента их появления, но они, кажется, достигли нашего карманного лимита на некоторое время. Это потому, что мы пытаемся сохранить их переносимость, желая достичь лучших разрешений экрана. Планшеты, с другой стороны, отбрасывают часть своей портативности для увеличенного размера экрана.

И последнее, но, конечно, не менее важное, даже несмотря на то, что одно мобильное устройство теперь имеет больше вычислительной мощности, чем НАСА при отправке людей на Луну, самые распространенные устройства все еще не могут идти в ногу со сложными AR и VR-сценами. Аналогия проста:, нельзя приобрести игровой компьютер по разумной цене.

Существующие инструменты и рамки

Так что теперь, вы, вероятно, задаетесь вопросом «Как я могу начать работу с моим удивительным приложением AR?». Давайте перечислим текущие отраслевые стандарты для создания и тестирования приложений дополненной реальности.



ARToolKit — как мы уже упоминали ранее, это был первый широко доступный и открытый источник; библиотека, ориентированная на АР. Чтобы создать дополненную реальность, он использует возможности отслеживания видео, которые вычисляют реальное положение камеры и ориентацию относительно квадратных физических маркеров или естественных маркеров объектов в реальном времени. После того, как реальное положение камеры известно, виртуальная камера может быть расположена в той же точке и 3D-модели компьютерной графики могут быть нарисованы, точно накладывается на реальный маркер. Так ARToolKit решает две ключевые проблемы в дополненной реальности: точка зрения отслеживания и виртуальный объект взаимодействия. Более того, ARToolKit доступен для самых распространенных платформ: Windows, macOS, Linux, iOS и Android.



ARKit — Apple предприняла рывок вперед, выпустив Аркит для разработчиков iOS. Он обеспечивает стойкое AR взаимодействие, которое сохраняется между сессиями и может быть возобновлено позднее. Кроме того, на этих сеансах могут совместно работать несколько пользователей, каждый со своего устройства iOS. Конечно Аркит также обеспечивает изображения и обнаружения объектов и слежения: в Аркит 1.5 добавлена поддержка 2D-изображение обнаружения, позволяя вам запускать АР, основанный на 2D-изображений — плакаты, иллюстрации; Аркит 2 расширяет эту поддержку, предлагая 2D изображения отслеживания, так что вы можете включать подвижные объекты, такие как коробки продукта или журналы на ваш AR опытом; Аркит 2 также добавляет возможность обнаруживать известные 3D-объекты , такие как скульптуры, игрушки или мебель.



ARCore  — Google также разработала платформу для построения дополненной реальности для Android и iOS. Используя различные API, ARCore позволяет вашему телефону буквально чувствовать свою среду, понимать мир и взаимодействовать с информацией. Некоторые из API-интерфейсов доступны для Android и iOS. ARCore использует камеру вашего телефона для отслеживания движений, позволяющая ему понимать и вычислять свои позиции по отношению к миру. Он работает с различными поверхностями: горизонтальные, вертикальные и под углом поверхности земли, журнальный стол или стены. Наконец, он выполняет оценку окружающей среды, определяет текущие условия освещения.

Поверьте, мы только царапаем поверхность относительно того, на что способны эти библиотеки, и теперь самое время взять одну из них и подтолкнуть. С таким арсеналом в нашем распоряжении, будущее AR выглядит ярким!

Итоги 🏁

Мы надеемся, что этот пост научил вас чему-то новому. А если вам хочется узнать побольше об AR, то мы с удовольствием напишем еще, в том числе и конкретные примеры и разработки в этой области — подписывайтесь на нашу страницу в фейсбуке!