CC BY
293
№ 6'2015 ВЕСТНИК МГУП ИМЕНИ ИВАНА ФЕДОРОВА ISSN ON-LINE: 2409-6652 © Московский государственный университет печати имени Ивана Федорова_vestnik.mgup.ru
УДК 004.9
ОБЗОР ТЕХНОЛОГИИ INTEL REALSENSE
Попов Дмитрий Иванович
заведующий кафедрой информатики и информационных технологий, доктор технических наук, профессор Московский государственный университет печати имени Ивана Федорова 127550 Россия, г. Москва, ул. Прянишникова, д. 2А popov@hi-edu. ru
Демидов Дмитрий Григорьевич
доцент кафедры информатики и информационных технологий, кандидат технических наук Московский государственный университет печати имени Ивана Федорова 127550 Россия, г. Москва, ул. Прянишникова, д. 2А demidov@hi-edu. ru
Зотов Вячеслав Александрович
тудент кафедры информатики и информационных технологий Московский государственный университет печати имени Ивана Федорова 127550 Россия, г. Москва, ул. Прянишникова, д. 2А mik_sz@mail.ru
Аннотация. В работе рассматривается технология работы камеры с измерением глубины Intel RealSense. Приводится история развития интерфейсов взаимодействия их с человеком. Описываются первые устройства, аналоги и новые разработки. Приводится пример работы с камерой, ее технические характеристики, возможности применения на практике.
Ключевые слова: kinect, Intel RealSense, 3d сканирование, камера глубины, дополненная реальность, распознавание жестов, мобильные устройства, дополненная реальность, распознавание лиц.
Отрасль электронных устройств динамично развивается, но даже здесь кое-что остается неизменным на протяжении десятков лет. Например, интерфейсы взаимодействия с человеком почти не изменились за многие годы использования компьютеров.
Первое знакомство с управлением жестами пользователи начали еще с игр для PlayStation 2. Основной проблемой была точность взаимодействия, например, управление интерфейсом было крайне неудобным из-за долгого отклика. Самую удачную реализацию пользователь получил благодаря первому Kinect от Microsoft, созданному на базе технологии от компании PrimeSense. Kinect для консоли Xbox 360 был впервые представлен 1 июня 2009 года на
выставке Electronic Entertainment Expo и выпущен для консоли 4 ноября 2010 года в США и 10 ноября в Европе. Решение было удачным, и можно было удобно управлять играми. Поставки версии для Windows начались 1 февраля 2012 года. Для разработчиков наиболее интересна версия для Windows, так как именно SDK под Windows дает возможность разрабатывать приложения, и эта версия устройства разрешена лицензией для коммерческого использования
Далее на рынок вышло устройство Leap Motion, которое отслеживает движение пальцев рук, кисти, ладони рук.. Устройство имеет небольшую рабочую область и высокую точность. Продукт анонсирован 21 мая 2012 года. Продажи начались 13 мая 2013 года.
Таблица 1. Характеристики Intel RealSense F200/R200
Модель камеры F200 R200
Назначение Фронтальная Задняя
Устройства Ноутбуки или моноблоки Малые и большие планшеты. Разрабатываются периферические и иные конфигурации
Процессор и ОС 4 поколение Intel Core (Windows 8.1) 6 поколение Intel Core (Windows 10) Atom z5 (Android 5, Windows 10)
Возможности Отслеживание рук и жестов. Замена фона. Отслеживание лица и аватаринг. Распознавание объектов. Речь. 3D сканирование Фото-видеосъемка с датчиком глубины и последующим ее изменением. Измерение высоты объектов во всех плоскостях3D сканирование. Отслеживание камерой фиксированного объекта. Воссоздание сцен. Определение лица и отслеживание
№ 6'2015 ВЕСТНИК МГУП ИМЕНИ ИВАНА ФЕДОРОВА ISSN ON-LINE: 2409-6652 © Московский государственный университет печати имени Ивана Федорова_vestnik.mgup.ru
Практически одновременно с Leap Motion, 21 мая
2013 года была выпущена обновленная версия Kinect, которая была предназначена для Xbox One, называется Kinect 2.0. В России появилась в продаже 26 сентября 2014 года. В новом Kinect используется ToF (времяпролётная) камера с широким углом обзора и разрешением 1080p (в предыдущей версии использовалась камера VGA с разрешением 640x480). Новый Kinect обрабатывает данные со скоростью 2 Гбит/с по интерфейсу USB 3.0 SuperSpeed. По сравнению с предыдущей версией повысилась точность определения, максимальное количество одновременно определяемых людей (увеличилось до шести) и теперь она может отслеживать жесты. В
2014 году анонсирован выход Kinect 2.0 for Windows. На рынок устройство вышло, но в ограниченном количестве. Комплекты разработчика до России так и не дошли. Производитель посчитал, что не выгодно выпускать версию для ПК отдельно. На данный момент получить можно только адаптер для ПК к версии Kinect 2.0 для Xbox One. Производство версии Kinect 2.0 for Windows полностью прекращено [1].
И теперь мы видим RealSense от Intel. Технология перешла от игр к более серьезному применению. Производителем заявлено, что компьютер, к которому будет подключено устройство RealSense, должен обладать процессором Intel Core 4-го семейства Haswell и выше. Для создания и тестирования приложений Intel выпустила SDK и комплект разработчика в виде двух камер Intel RealSense F200 для использования на коротких дистанциях и Intel RealSense R200 для длинных. Сферы применения устройств представлены в табл. 1. .
Подробнее коснемся устройства камеры Intel RealSense F200, а именно внешнего вида, характеристик и сферы применения (рис. 1-2). Камера выглядит компактной, качественной, ведь это Intel. Металлический радиатор для охлаждения сзади и защитное стекло спереди. Для закрепления устройства на крышке ноутбука или моноблока используется специальный зажим.
Рис. 1. Камера Intel RealSense F200. Внешний вид устройства
Ш m
ioCVWwwy Ж НИМИ1* riffantM
1Л8Э Эфроном проиксэр AhK
Рис. 2. Устройство камеры Intel RealSense F200
За передачу данных отвечает цифровой процессор ASIC, имеет современный интерфейс подключения USB 3.0.
Для разработки используются Microsoft Visual Studio 2010-2015, Microsoft .NET 4.0 Framework для C# разработки, Unity PRO 4.1.0 и выше, Processing 2.1.2 или выше, Java JDK 1.7.0 или выше. Поддерживаемые языки программирования C++, C#, Java, JavaScript. Минимальные требования операционной системы Microsoft Windows 8.1 64-bit.
Одна камера объединяет в себе два типа камер: VGA и Depth (глубины). Камера глубины фиксирует свет, отражаемый лазерным проектором, и составляет карту местности. В данной камере используется лазер 1-го класса, с длинной волны 860 нм, технология «кодированный свет».
Как можно применить камеру? Ведь камера без программной поддержки трудна в изучении. На сайте компании есть специальный раздел, в котором подробно указано как можно ее использовать и для каких сфер применить.
В Intel RealSense SDK разработчику доступно отслеживание положения пальцев, рук, анализ мимики лица, использование элементов AR (дополненной реальности), распознавание речи.
Рассмотрим каждую сферу в отдельности.
Мимика лица. Анализ лица теперь поддерживает глубину и позволяет отслеживать до 76 ключевых точек для построения максимально точной 3D-маски, а также определение поворотов и наклонов головы. ПО способно не просто зафиксировать наличие лица в поле зрения, но и определить его эмоциональное состояние.
Таблица 2. Параметры камеры VGA и Depth
Тип камеры VGA Depth
Разрешение 1080p@30FPS (FHD) 640x480@60FPS (VGA), HVGA@120FPS, 640x480@120FPS (ИК)
Число пикселей 1920x1080 (2M) 640x480 (VGA)
Соотношение сторон 16:9 4:3
Количество кадров в секунду 30/60/120 FPS 30/60/90 FPS (камера глубины), 120 FPS (ИК), до 300 FPS
Размеры области видимости камерой 77° x 43° x 70° (Конус) 90° x 59° x 73° (Конус) ИК излучатель FOV-N/A 85° x 56° x 72° (Пирамида)
№ 6'2015 ВЕСТНИК МГУП ИМЕНИ ИВАНА ФЕДОРОВА ISSN ON-LINE: 2409-6652 © Московский государственный университет печати имени Ивана Федорова_vestnik.mgup.ru
Окончание табл. 2
Тип камеры VGA Depth
Фокус Постоянный Постоянный, фиксированный
Цветовой формат YUV4:2:2 -
Тип данных глубиномера - Глубина, карта текстуры, отображение в инфракрасном свете, карта местности по датчику глубиномера
Руки и пальцы. Определяет и отслеживает жесты и положение рук и пальцев в диапазоне от 0,2 до 1,2 м. Количество точек ведения увеличилось до 22, что позволит сделать интерфейс плавным и точным.
Жесты. Система распознавания жестов определяет статические позиции и определенные движения рук, такие как захват/отпускание, перемещение, увеличение/уменьшение и т.д.
Речь. Голосовое общение — самое интуитивный для человека способ взаимодействия. В состав Intel RealSense SDK входят алгоритмы распознавания речи, созданные компанией Nuance. За лицензию компании Nuance платить не придется, так как Intel уже включила ее в комплект разработчика.
Дополненная реальность. В разработке модуля дополненной реальности Intel RealSense SDK принимал участие один из лидеров в этой области — компания Metaio (была выкуплен Apple). Имеющиеся средства позволяют создавать правдоподобные виртуальные миры со сложным контентом.
3D сканирование. Модуль 3D сканирования позволяет получать, редактировать 3D образы небольших объектов. Разработан совместно с 3D Systems.[2]
К сожалению, в настоящий момент доступна для разработчиков только модель камеры Intel RealSense F200. Камеру R200 в Россию заказать через сайт Intel пока нельзя, но она уже продается в США и Европе. Сейчас осуществляется только предварительный заказ на камеру по цене $99.
Камера Kinect 2.0 хорошее устройство, хоть и большое. Если RealSense сделает поддержку Human Tracking (отслеживание и построение скелета человека) для камеры R200, то поддержка Kinect 2.0 потеряет смысл. R200 вдвое дешевле Kinect 2.0, и не требует блока питания.
Для Intel теперь важно успешно интегрировать технологию в мобильные устройства. RealSense R3 SDK сделал существенный шаг по сравнению с R2. Ведь 2015 год, это год внедрения камер с глубиномером в мобильные устройства. Сейчас Intel стимулирует производителей софта, чтобы они
предлагали новые удобные реализации интерфейсов. Эта необходимость возникает с развитием дополненной и виртуальной реальности.
На данный момент пользователи, покупая ноутбук, получают настоящий инструмент для работы с 3D объектами [3]. В настоящее время Intel сотрудничает с крупнейшими производителями техники, интегрирует камеры в устройства. Уже сейчас разрабатываются и производятся планшеты, ноутбуки, моноблоки таких брендов как ASUS, Dell, Fujitsu, HP, Lenovo и др.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Устройство Microsoft Kinect. [Электронный ресурс]. https://ru.wikipedia.org/wiki/Kinect (дата обращения: 17.10.2015).
2. Встречаем Intel RealSense SDK Beta [Электронный ресурс]. http://habrahabr.ru/ company/intel/blog/238 137/ (дата обращения: 15.10.2015).
3. Intel RealSense с точки зрения разработчика [Электронный ресурс]. http://habrahabr.ru/ company/intel/blog/262857/ (дата обращения: 15.10.2015).
4. Intel RealSense Developer Zone — Создавайте приложения для двух удивительных камер [Электронный ресурс]. http://software.intel.com/ru-ru/realsense/home (дата обращения: 15.10.2015).
5. Разработка приложений для камеры Intel RealSense (F200) [Электронный ресурс]. https://software.intel. com/ru-ru/RealSense/ F200Camera (дата обращения: 12.10.2015).
6. Разработка приложений для камеры Intel RealSense (R200) [Электронный ресурс]. https://software.intel. com/ru-ru/RealSense/ R200Camera (дата обращения: 12.10.2015).
7. Игровая приставка Xbox One. [Электронный ресурс]. https://ru.wikipedia.org/wiki/Xbox_One (дата обращения: 17.10.2015).
TECHNOLOGY REVIEW INTEL REALSENSE
Dmitry Ivanovich Popov
Moscow State University of Printing Arts 127550Russia, Moscow, Pryanishnikova st., 2А
Dmitry Grigorevich Demidov
Moscow State University of Printing Arts 127550Russia, Moscow, Pryanishnikova st., 2А
№ 6'2015 ВЕСТНИК МГУП ИМЕНИ ИВАНА ФЕДОРОВА
© Московский государственный университет печати имени Ивана Федорова
ISSN ON-LINE: 2409-6652 _vestnik.mgup.ru
Vyacheslav Aleksandrovich Zotov
Moscow State University of Printing Arts 127550Russia, Moscow, Pryanishnikova st., 2А
Annotation. The paper deals with the technology to measure the depth of the camera Intel RealSense. It is a story of human interaction interfaces. It describes the first devices, analogs and new developments. An example of using the camera, its technical characteristics, the possibility of applying in practice.
Keywords: kinect, intel, realsense, 3d scanning, camera depth, augmented reality, gesture recognizer ion, mobile devices, augmented reality, face detection.
