ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ ДЛЯ РАЗРАБОТЧИКОВ

Зелик М. Ю, Тятова О.О.

Г. Луганск

ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ ДЛЯ РАЗРАБОТЧИКОВ

В статье рассматриваются основы технологий используемые для построения Дополненной реальности. Это такие технологии как 3d сканирование по объемному изображению (стереокамеры, 3d-сканеры, воссоздание 3d-сцены с движущейся камеры); использование датчиков, таких как акселерометры, гироскопы, магнитные компасы, GPS; использование маркеров: с инфракрасной подсветкой, в видимом диапазоне; использование структурированной подсветки; без маркерный захват движений; Z-камеры, выдающие картинку и расстояние до объекта. В статье рассмотрены принципы обработки данных, поступающих с гироскопов, акселерометров и другие принципы работы механизмов. Рис.5.Ист.4.
Ключевые слова: Дополненная реальность, акселерометр, гироскоп, обработка изображений, анализ изображений, Sony Move, OptiTrack, Vicon, структурированный свет, маркеры, Microsoft Kinect, стереокамеры, без маркерный захват движений, инфракрасный свет.

Постановка проблемы.За каждой новой разработкой стоит определенные алгоритмы и области Computer Science. Для создания программ обработки данных с устройств, применяемых в построении дополненной реальности необходимы знания об основах их функционирования, и принципах работы. В статье рассматриваются устройства и технологии с помощью которых они реализованы.

Анализ последних исследований и публикаций.. Сам термин предположительно был предложен работавшим на корпорацию Boeing

Цель статьи – описание технологий и проектов построения Дополненной реальности.

Темой статьиявляется изучениетехнологий применяемых для построения Дополненной реальности. Нахождения точек соприкосновения различных её областей и описание принципов работы применяемых устройств.

Материалы и результаты исследования.Развитие технологий Дополненной реальности совершило значительный скачок по сравнению с периодом с 1985 по 2005. Разработаны новые устройства, в новом свете предстало использование уже существующих, а так же модифицированных устройств. Дополненная реальность стала более широко применятся в военной технике, образовании, компьютерных играх, навигации, в рекламе и телевидении. Определяются пути ее обширного применения. В статье раскрыты технологии которые уже же созданные, но не все они вышли в массовое производство. Некоторые по причине высокой стоимости, другие важности эксплуатации и т.п.

Каждый проект имеет свои принципы реализации, но многие технологии используют сходные приемы. Одни и те же приборы и устройства используются в различных целях. Появилась необходимость изучения и систематизирования современных технологий для построения Дополненной реальности, этот обзор важен для их дальнейшего развития.

Дополненная реальность - это добавление к объектам реального мира виртуальных объектов обычно несущих информационную нагрузку. Иногда используют в качестве синонимов названия «Расширенная реальность», «Улучшенная реальность», «Обогащенная реальность» . Отличительной чертой Дополненной реальности от Виртуальной является пропорциональное соотношение виртуальности к реальным объектам. Так если Виртуальная реальности состоит в основном из виртуальных объектов и берет только частью реального мира, то дополненная наоборот. Она состоит из реальных объектов и только отчасти окружена виртуальностью. Существует ряд технологий, в которых за основу взята дополненная реальность. Таковыми, к примеру, является технологии Street View, Google Maps и Google Earth, Kinect, Sony Move, Microsoft Surface, VICON, OptiTrack, Organic Motion и другие.

Технологии используемые для построения Дополненной реальности. Методы создания программных продуктов предназначенных для разработки дополненной реальность.

Среди технологий создания программ для дополненной реальности существуют 2 подхода: обработка данных с сенсоров, и анализ изображения с камер. Работать с показателями сенсоров значительно проще, поэтому начнем с них. Во все современные телефоны встраивают 3 сенсора: гироскоп, акселерометр, и магнитный компас. Гироскоп это устройство, способное измерять изменение углов ориентации связанного с ним тела относительно инерциальной системы координат. Гироскоп даёт программе данные о том, как ориентировано устройство относительно реального мира, а программа связывает эти данные с виртуальным миром. Следующим сенсором является акселерометр.

Акселерометр это прибор, измеряющий проекцию кажущегося ускорения (разность между абсолютным ускорением объекта и гравитационным ускорением (ускорением силы тяготения)). Существуют трёхкомпонентные (трёхосевые) акселерометры, которые позволяют измерять ускорение сразу по трем осям. недостаток акселерометра, применяемого в электронных устройствах в том, что он сильно шумит на высоких частотах. Для преодоления этого недостатка, при обработке данных с акселерометра и гироскопа применяют 2 метода: достаточно сложный фильтр Калмана или используют Альфа-Бета фильтр.

Фильтр Калмана — эффективный (имеющий способ гарантированно достигать результат за конечное число действий) рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений. Фильтр Калмана предназначен для рекурсивного дооценивания вектора состояния априорно известной динамической системы, то есть для расчёта текущего состояния системы необходимо знать текущее измерение, а также предыдущее состояние самого фильтра. Таким образом фильтр Калмана, как и множество других рекурсивных фильтров, реализован во временном представлении, а не в частотном.

Альфа-бета фильтр состоит в интегрировании, но с небольшой поправкой, гасящей высокие частоты, если поправка большая, или низкие если поправка маленькая.

Третьим сенсором является магнитный компас. С помощью него мы можем мерить напряженность магнитного поля, и у нас появляется вектор, дополнительный и ортогональный ускорению свободного падения. На основании данных полученных с этих трех сенсоров, мы можем с точностью определить положение устройства в пространстве, и его ускорение и направленность. Более сложный, и более интересный подход заключается в обработке изображения, полученного с видеокамеры.

Начнем с технологии Sony Move.

Рис.1 Определение расстояния до объекта

Эта технология основывается на обработке изображения, и сравниванию размера позиции объектов на картинке с известными номинальными значениями. Если мы знаем фактический диаметр маркера (D), мы знаем параметры своей камеры, как это называется, угол обзора (Field-Of-View = FOV), и разрешение ее, по ширине (W) и высоте (H), и зная размер в пикселях проекции маркера на изображение (d), мы можем оценить расстояние до нашего реального объекта (L), а как же, можем оценить его положение в системе координат камеры.

Делается это по элементарным формулам : имея угол обзора 75°, 640×480, шарик 5см, ираспознание его в 20 пикселей, то это значит, что до него полтора метра. На этом элементарнейшем принципе и работает отслеживание Sony Move. Есть акселерометр, есть гироскоп, и есть магнитный компас, благодаря которому мы можем видеть углы.

Следующий метод это захват маркеров на изображении. Самый простой способ захвата – по порогам. Мы просто знаем, что нужный нам маркер самый яркий в своем цвете, и отсекаем его по порогам. Большинство алгоритмов так и работают. Например, часто используются в дополненной реальности маркеры, представляющие собой явумерные штрих - коды, только попроще. Их распознают и поверх изображают фигуры:

Рис.2 Использование маркеров

Есть и более сложные алгоритмы, использующие несколько маркеров и камер. Если у вас N камер, и есть M маркеров, то возможное создать триангуляцию, чтобы посчитать положение каждого маркера в пространстве, понимая, как он проецируется на каждую из плоскостей, и на основании этого реализовать что-то более сложное.

Примером может служить VICON. Она стоит около ста тысяч долларов. Человека одевают в специальный костюм, облепляют большим количеством маркеров, ставят большое количество камер, и дальше исходя из положения этих маркеров, можно попытаться реконструировать эти скелеты. Система определяет как движется скелет человека, на основании того, что передается этим маркером. При этом камеры передают в компьютер только координаты маркеров, а не все изображение, чтобы не перегружать канал передачи данных.

Следующий метод обработки это работа со структурированным светом. Он заключается в том, что на объект направляют структурированную подсветку и появляется некая такая структура на изображении, которую не очень сложно респознать, и на основании того, как она смещена на одном изображении относительно другого, можно за счет триангуляции реконструировать трехмерную модель.

Рис.3 Структурированный свет

На этом принципе работает Microsoft Surface

Рис.4. Microsoft Surface

Z-камеры и z-сенсоры есть следующая технология обработки изображения. Самый яркий представитель, использующий данную технологию это, конечно, Microsoft Kinect.

Рис.5 Microsoft Kinect

Kinect состоит из двух сенсоров глубины, цветной видеокамеры и микрофонной решетки. Проприетарное программное обеспечение осуществляет полное 3-х мерное распознавание движений тела, мимики лица и голоса. Микрофонная решетка позволяет Xbox 360 производить локализацию источника звука и подавление шумов, что дает возможность говорить без наушников и микрофона Xbox Live. В ней используется z-сенсор, использующийся как лазерный дальномер. В добавок Kinect использует структурированную подсветку в инфракрасном диапазоне, и имеет базу данных поз, для облегчения распознавания.

Оптическое распознавание с несколькими камерами.

Есть еще один метод распознавания, основанный на использовании оптических камер, без дополнительных технических средств: Organic Motion. Он заключается в использовании множества камер, расположенных с разных сторон, специального фона, и достаточно сложных и хитрых алгоритмов, которые сначала «кромсают» тело человека чтобы восстановить его положение, и в реальном времени генерируют требуемую анимацию. Эта технология стоит примерно 60 000 $, вместе с оборудованием.

Литература

1. Мокрышев В., Мокрышев С. Оптоэлектронный процессор. Новые принципы обработки оптической информации. – Электроника: Наука. Технология. Бизнес №4, 1999.

2. А. Бибичев. На пороге дополненной реальности. Электронный ресурс. Режим доступа: http://habrahabr.ru/blogs/augmented_reality/118123/

3. Н.В.Чистяков. Что меряет акселерометр. Электронный ресурс. Режим доступа: http://dpla.ru/acclmmer.img/acclmmer.htm

4. Физическая энциклопедия. Электронный ресурс. Режим доступа:

http://www.femto.com.ua/articles/part_1/0796.html

В статье рассматриваются основы технологий используемые для построения Дополненной реальности. Это такие технологии как 3d сканирование по объемному изображению (стереокамеры, 3d-сканеры, воссоздание 3d-сцены с движущейся камеры); использование датчиков, таких как акселерометры, гироскопы, магнитные компасы, GPS; использование маркеров: с инфракрасной подсветкой, в видимом диапазоне; использование структурированной подсветки; без маркерный захват движений; Z-камеры, выдающие картинку и расстояние до объекта. В статье рассмотрены принципы обработки данных, поступающих с гироскопов, акселерометров и другие принципы работы механизмов.

Ключевые слова: Дополненная реальность, акселерометр, гироскоп, обработка изображений, анализ изображений, Sony Move, OptiTrack, Vicon, структурированный свет, маркеры, Microsoft Kinect, стереокамеры, без маркерный захват движений, инфракрасный свет.

In article bases of technologies used for construction of the Added reality are considered. These are such technologies as 3d scanning in the volume image (stereocameras, 3d-scanners, a reconstruction of a 3d-scene from a moving camera); use of sensors, such as Accelerometers, gyroscopes, magnetic compasses, GPS; use of markers: with infra-red light, in a visible range; use of the structured light; markerless capture of movements; the Z-cameras which are giving out a picture and distance to object. In article principles of the data processing, arriving with gyroscopes, акселерометров and other principles of work of mechanisms are considered.

Keywords: augmented reality, accelerometer, a gyroscope, processing of images, the analysis of images, Sony Move, OptiTrack, Vicon, structured light, markers, Microsoft Kinect, stereocameras, markerless capture of movements, infra-red light.

У статті розглядаються основи технологій використовувані для побудови доповненої реальності. Це такі технології як 3d сканування об'ємного зображення (стереокамери, 3d-сканери, відтворення 3d-сцени з рухомої камери); використання датчиків, таких як акселерометри, гіроскопи, магнітні компаси, GPS; використання маркерів з інфрачервоною підсвіткою, у видимому діапазоні; використання структурованої підсвічування; без маркерний захоплення рухів; Z-камери, що видають картинку і відстань до об'єкта. У статті розглянуті принципи обробки даних, що надходять з гіроскопів, акселерометрів і інші принципи роботи механізмів.

Ключові слова: Доповнена реальність, акселерометр, гіроскоп, обробка зображень, аналіз зображень, Sony Move, OptiTrack, Vicon, структурований світло, маркери, Microsoft Kinect, стереокамери, без маркерний захоплення рухів, інфрачервоне світло.

Зелик Максим Юрьевич – студент группы КТ-182, ВНУ им.В.Даля. (г. Луганск)

Тятова Олеся Олеговна – студент группы КТ-182, ВНУ им.В.Даля. (г. Луганск)

Поиск по сайту: