CC BY
35
ОПТИКО-ИНФОРМАЦИОННЫЕ СИСТЕМЫ КОЛЛАБОРАЦИИ НА ОСНОВЕ ОБЪЁМНОЙ ВИРТУАЛЬНОЙ СРЕДЫ И ФИЗИЧЕСКОЙ РЕАЛЬНОСТИ
Е.В. Власов1, В.И. Патерикин 1 1 Конструкторско-технологический институт научного приборостроения, Новосибирск, Россия
Аннотация
Предлагается схема многопланового, мультифокального 3Б-дисплея, стимулирующего аккомодацию глаза, для применения в оптико-информационных системах коллаборации на основе стереоскопических виртуальных сред ретрорефлективного и иммерсивного типа. Рассмотрены основные концептуальные моменты использования методов автономной навигации и одометрии, основанные на измерении показаний датчиков, закрепленных непосредственно на движущемся объекте в составе: стереокамеры, оптико-информационной системы, инерци-ального измерительного устройства и спутниковой системы ГЛОНАСС/GPS с модулем GSM.
Ключевые слова: 3Б-дисплей, стимулы аккомодации, многоплановый окуляр.
Цитирование: Власов, Е.В. Оптико-информационные системы коллаборации на основе объёмной виртуальной среды и физической реальности / Е.В. Власов, В.И. Патерикин // Компьютерная оптика. - 2016. - Т. 40, № 6. - С. 972-975. - DOI: 10.18287/2412-6179-2016-40-6-972-975.
Введение
В существующих моделях известных систем управления оператором различными аппаратами, основанными на получении показаний датчиков и видеосигналов, обнаруживается недостаточный учёт психофизических особенностей зрительного восприятия человека, особенно на малых расстояниях, в пределах рабочей среды аппарата.
В [1 - 3] рассматриваются оптико-информационные системы коллаборации на основе стереоскопических виртуальных сред ретрорефлективного и иммерсивно-го типа. Такие системы дают возможности: 1) видеть виртуальную среду каждому из пользователей при помощи наголовных дисплеев в индивидуальной перспективе; 2) иметь равный и естественный доступ к выполняемой визуальной задаче; 3) воспринимать присутствие в среде реальных предметов и локальных коллаборантов; 4) осуществлять коммуникацию вербальным и невербальным способом.
Однако в данных моделях обнаруживается фундаментальная проблема 3D - конфликт аккомодации и конвергенции, что особенно существенно на малых расстояниях. Это касается условий для комфортного восприятия стереоизображений путём создания стимулов аккомодации глаз [4]. Системы с добавленной виртуально реальностью требуют корректной окклюзии и интерпозиции виртуальных и реальных предметов.
В соответствии с поставленной задачей и результатами проведенного анализа методов и средств построения мобильных стереоскопических виртуальных средств предлагается дополнить оптическую часть наголовного устройства малогабаритной навигационной системой, состоящей из двух взаимодополняющих функциональных устройств: нашлемной инер-циальной навигационной системы и спутниковой системы ГЛОНАСС/GPS с модулем GSM, обеспечивающим информационный обмен между подвижным объектом и базовой системой контроля/управления.
Специфика данного типа информационных систем заключается в жесткой привязке блока датчиков системы ориентации к осям объекта и является основой
формирования дополнительных требований в первую очередь к чувствительным элементам независимо от их типа. Точная оценка перемещения устройства в трехмерном пространстве необходима при решении задачи создания дополненной реальности, где оценка перемещения и ориентации наблюдателя необходима для корректного отображения виртуальных объектов относительно него. Для решения подобных задач используют методы автономной навигации или одометрии, основанные на использовании показаний датчиков, закрепленных непосредственно на движущемся объекте - в нашем случае это шлем с наголовной навигационной системой в составе стереокамеры, оптико-информационной системы, инерциального измерительного устройства и наголовных дисплеев.
Инерциальное измерительное устройство (ИИУ) состоит из трех микроэлектромеханических сенсоров: гироскопа, акселерометра и магнитометра. Для получения ориентации устройства на основе показаний этих трех датчиков используется техника слияния датчиков sensor fusion [5]. Для определения линейного перемещения используется метод визуальной одо-метрии для стереокамеры. Этот метод заключается в анализе последовательности кадров, получаемой с камеры в реальном времени, и определении параметров движения этой камеры по движению изображений наблюдаемых ей объектов.
Использование двух физически различных методов измерения положения объектов (инерциальных и радиотехнических) и применение методов комплексной обработки информации, метода «sensor fusion» -слияния данных, позволяет обеспечить визуализацию и регистрацию изменений не только угловых, но и линейных координат [6]. Примером такого устройства может быть мобильный навигационный терминал МНТ-001, разработанный в ФГУП «НИИМА «Прогресс» на основе двухсистемного устройства ГЛОНАСС/ОРБ-приемника российского производства ГАЛС-П [7].
Основной целью работы является анализ структурных схем просветных наголовных дисплеев и ее воз-
можных модификаций, необходимых для применения в виртуальных средах с добавленной реальностью.
Просветная виртуальная среда
Концепция просветной среды возникла в качестве альтернативы ретрорефлективным средам, которые трудно реализовать из-за отсутствия материалов для получения оптических изображений высокого качества. Просветная среда также позволяет зрителю видеть реальные объекты, как и ретрорефлективная, и обеспечивает естественное когнитивное зрительное восприятие реальных предметов.
На рис. 1 показана концептуальная схема просвет -ного наголовного дисплея, содержащая микродисплей для воспроизведения виртуальной сцены, проекционный объектив с поворотным зеркалом и зеркальный окуляр.
Микро- Проектор Выходной зрачок дисплей '
Полупрозрачное
вогнутое
зеркало
Светоделитель"
Рис. 1. Просветный наголовный дисплей
Окуляр состоит из светоделительной пластины и полупрозрачного вогнутого зеркала, проецирующего виртуальную сцену через выходной зрачок в глаз наблюдателя.
Поскольку светоделитель и вогнутое зеркало полупрозрачные, то наблюдатель легко видит и реальные предметы окружающей обстановки. Но в отличие от ретрорефлективной среды непрозрачные предметы не могут выполнять функцию автоматической окклюзии, т.е. закрывать следующие за ними по глубине виртуальные предметы. Из-за отсутствия корректной глубины виртуальные картинки воспринимаются всегда на фоне реального предметного окружения. Чтобы устранить отмеченный недостаток, предлагается следующая технология.
1) Встроить в наголовный дисплей сенсор глубины, измеряющий координаты положения X, У и дальности Ъ реальных предметов (рис. 2).
2) При формировании виртуальной сцены в процедуре удаления невидимых поверхностей сцены методом Ъ-буфера учесть координаты реальных предметов с цветом нулевой яркости. В результате, в тех позициях экрана, где должен появиться реальный предмет, возникнет его чёрная виртуальная тень, закрывающая все виртуальные предметы, следующие за ней. Свет от реального предмета заполнит эту тень, обеспечив тем самым корректную окклюзию.
Корректное отображение виртуальных предметов, находящихся перед реальными предметами, может быть выполнено с помощью одноразрядной жидко-
кристаллической маски, имеющей пиксельное разрешение по полю зрения. На том участке поля, где нужно изобразить виртуальный предмет, маской создаётся тень для реального предмета.
Наличие просветного режима наголовных дисплеев весьма актуально, так как позволяет настраивать и калибровать проективное преобразование виртуальной среды с тем, чтобы воспринимаемый образ виртуальных предметов совпадал с их реальными прототипами для естественного, когнитивного зрительного восприятия.
Проектор Выходной зрачок
Микродисплей
Полупрозрачное
вогнутое
зеркало
ИК подсветка ЖК маска
Светоделитель
КМОП сенсор
Рис. 2. Просветный дисплей с измерителем дальности и окклюзивной маской
Для достижения глобальной интерпозиции-окклюзии реальных и виртуальных предметов в им-мерсивной виртуальной среде предлагается встроить в наголовный дисплей не только видеокамеры, но и сенсоры глубины. Для устранения некорректной окклюзии реальных и виртуальных сцен в просветной виртуальной среде предложено встроить в наголов-ный дисплей, помимо сенсора глубины реальных предметов, окклюзивную маску. Для обеспечения визуального комфорта в любой из виртуальных сред необходима разработка многоплановых, мультифо-кальных наголовных стереодисплеев, стимулирующих аккомодацию глаз.
Мультифокальные окуляры
Для схем наголовных дисплеев иммерсивной и просветной виртуальной сред, предложенных в [8], рассчитаны мультифокальные окуляры. На рис. 3 приведен вариант четырёхпланового окуляра, рассчитанный с использованием ГЬСОБ-микродиспле-ев, с возможностью выбора и переключения положения планов. С использованием программного обеспечения ЪЕМАХ рассчитаны несколько вариантов диоптрийной глубины для объемной среды. Планы изображения расположены на расстояниях 35,8 см (2,79 дптр), 50 см (2 дптр), 81,4 см (1,23 дптр), 233 см (0,43 дптр). Межплановое расстояние порядка 0,8 дптр взято на основе расчета дифракционной глубины 3Б-изображений, стимулирующих аккомодацию глаза [4].
Дисплейная часть схем содержит два микродисплея ГЬСОБ-типа для воспроизведения виртуально-реальной сцены, мультифокальный проекционный объектив со
светоделительным кубиком, светоделительную пластину и непрозрачное вогнутое зеркало, проецирующее комбинированную сцену через входной зрачок в глаз наблюдателя. Дисторсионные искажения не превышают 5 %, в том числе и в вариантах, включающих в себя линзу, для диоптрийной перестройки.
„ Полупрозрачное
Два , вогнутое
микродисплея зеркало
ййвв». Проекционный —г^^,
дгЖЙг.н п объектив гТ1- = —ЦГГ^
Светодели- ш Iу иЦЦ/
тельный \ I I
кубик I
Светоделительная 2!л\\| I/// пластина \\\1 I /
Стандартный / Ш/ \ зрачок Змм I ч \
Рис. 3. Четырехплановый мультифокальный окуляр Заключение
Для обеспечения визуального комфорта в любой из виртуальных сред приведен пример расчета многоплановых, мультифокальных окуляров, стимулирующих аккомодацию глаз.
Использование дисплейных устройств с согласованными стимулами аккомодации и конвергенции обеспечивает естественное, комфортное и достоверное зрительное восприятие при решении задач ориентации, обзора, управления движением, что дает следующие преимущества перед традиционными дисплейными стереосистемами:
• Достоверное определение размеров изображаемых объектов и расстояний до них.
• Более точное манипулирование удаленными механизмами и манипуляторами.
• Отсутствие привития ложных навыков, что критически важно для тренажерных комплексов.
• Уменьшение негативного воздействия на зрительную систему человека в силу согласованности стимулов.
• Более продолжительное время беспрерывной работы операторов.
Также следует отметить, что, помимо визуального комфорта, многоплановый 3Б-дисплей обеспечивает прямые и косвенные признаки глубины, позволяющие естественным образом оценивать расстояния и размеры предметов.
Прямые признаки глубины стимулируют близкую к корректной аккомодацию глаз, их конвергенцию и стереоскопическую диспарантность.
Косвенные признаки поддерживаются программным обеспечением и включают окклюзии и автоокклюзии, многовариантную перспективу, изменение контраста и градиента текстуры, двигательный параллакс и др. Для целей регистрации параметров перемещения объекта предлагается использование методов автономной навигации и одометрии, основанных на измерении показаний датчиков, закрепленных непосредственно на движущемся объекте в составе: стереокамеры, оптико-информационной системы, инерциального измерительного устройства и спутниковой системы ГЛОНАСС/GPS с модулем GSM.
Литература
1. Hua, H. SCAPE: Supporting stereoscopic collaboration in augmented and projective environments / H. Hua, L.D. Brown, C. Gao // IEEE Computer Graphics and Applications. - 2004. - Vol. 24(1). - P. 66-75. - DOI: 10.1109/MCG.2004.1255811.
2. Cruz-Neira, C. Surround-screen projection-based virtual reality: the design and implementation of the CAVE / C. Cruz-Neira, D.J. Sandin, T.A. DeFanti // SIGGRAPH'93: Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques 1993: 135-142. DOI: 10.1145/166117.166134.
3. Integrating the real and virtual worlds: The unlimited potential of the imaging world [Electronical Resource]. - URL: www.canon.com/technology/approach/special/mr.htm (request date 20.06.2016).
4. Ковалёв, А.М. О качестве трехмерного изображения, стимулирующего аккомодацию глаза / А.М. Ковалёв, Е.В. Власов // Автометрия. - 2012. - Т. 48, № 4. - С. 33-40.
5. Разработка метода одометрии на основе МЭМС сенсоров и анализа видеопотока [Электронный ресурс]. -URL: http://www.inf.tsu.ru/library/DiplomaWorks/Comp-Science/2014/ (дата обращения 20.06.2016 г.).
6. Устройства измерения, сбора и обработки сигналов в информационно-управляющих комплексах / под ред. Н.Н. Макарова [и др.] // Тезисы докладов 1-й Всероссийской научно-практической конференции, Ульяновск, 6-10 сентября 2011 г. - Ульяновск: УлГТУ, 2011. -219 с. - ISBN: 978-5-9795-0820-7.
7. Мобильный навигационный терминал ГЛО-НАСС/GPS/GSM МНТ-001 // Электроника: Наука, Технология, Бизнес. - 2008. - № 3. - C. 108-110.
8. Ковалёв, А.М. О дисплеях персонального пользования для виртуальных сред с добавленной реальностью / А.М. Ковалёв // Автометрия. - 2014. - Т. 50, № 6. -С. 22-29.
Сведения об авторах
Власов Евгений Владимирович, 1987 года рождения, в 2009 году окончил магистратуру Новосибирского государственного технического университета по направлению «Оптотехника», в 2014 году окончил аспирантуру по специальности 05.11.07 «Оптические и оптикоэлектронные приборы и комплексы», работает младшим научным сотрудником в Конструкторско-технологическом институте научного приборостроения РАН. Область научных интересов: построение мультифокальных SD-дисплеев, оптические бесконтактные методы размерного контроля. E-mail: [email protected] .
Патерикин Владимир Иванович, кандидат технических наук, ведущий научный сотрудник. В 1969 г. окончил аспирантуру и защитил диссертацию (к.т.н.) по специальности 05.13.05 «Элементы и устройства вы-
числительной техники и систем управления» в Институте кибернетики АН УССР, г. Киев. Область научных интересов: автоматизация научных экспериментов. E-mail: [email protected] .
ГРНТИ: 47.63.31. Поступила в редакцию 23 июня 2016 г. Окончательный вариант
2 декабря 2016 г.
OPTICAL INFORMATION COLLABORATION SYSTEMS BASED ON THE VOLUMETRIC VIRTUAL ENVIRONMENT AND THE PHYSICAL REALITY
E.V. Vlasov1, V.I. Paterikin1
'Technological Design Institute of Scientific Instrument Engineering, Siberian Branch of the Russian Academy of Sciences,
Novosibirsk, Russia
Abstract
The design of a 3D multiplane, multifocal display, stimulating the eye accommodation, for application in optical information collaboration systems based on stereoscopic virtual environments of immersive and retroreflective types is considered. We describe main conceptual aspects of using methods of autonomous navigation and odometry, which are based on taking readings from sensors mounted on a moving object, including a stereo camera, optical information system, iner-tial measurement unit, and the satellite GLONASS/GPS system with a GSM module.
Keywords: 3D image, stimulus of accommodation, multiplane eyepiece.
Citation: Vlasov EV, Paterikin VI. Optical information collaboration systems based on the volumetric stereoscopic virtual environment and the physical reality. Computer Optics 2016; 40(6): 972-975. DOI: 10.18287/2412-6179-2016-40-6-972-975.
References
[1] Hua H, Brown LD, Gao C. SCAPE: Supporting Stereoscopic Collaboration in Augmented and Projective Environments // IEEE Computer Graphics and Applications 2004; 24(1): 66-75. DOI: 10.1109/MCG.2004.1255811.
[2] Cruz-Neira C, Sandin DJ, DeFanti TA. Surround-screen projection-based virtual reality: the design and implementation of the CAVE. SIGGRAPH'93: Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques 1993: 135-142. DOI: 10.1145/166117.166134.
[3] Integrating the real and virtual worlds: The unlimited potential of the imaging world. Source: (www.ca-non.com/technology/approach/special/mr.htm).
[4] Kovalev AM, Vlasov EV. Quality of a three-dimensional image stimulating eye accommodation. Optoelectronics, Instrumentation and Data Processing 2012; 48(4): 351-357. DOI: 10.3103/S8756699012040048.
[5] Development of an odometry method with a MEMS sensors and video analysis. Source: (http://www.inf.tsu.ru/lib-rary/DiplomaWorks/CompScience/2014/).
[6] Makarov NN [et al], eds. Measuring devices, the collection and processing of signals in the information and control complexes [In Rusian]. Abstracts of the 1st All-Russian scientific-practical conference, Ulyanovsk, 6-10 September 2011. Ulyanovsk: "UlGTU" Publisher; 2011. ISBN: 978-59795-0820-7.
[7] The mobile navigation terminal GLONASS/GPS/GSM-001 MNT [In Russian] // Electronics: Science, Technology, Business 2008; 3: 108-110.
[8] Kovalev AM. On personal-use displays for virtual environments with augmented reality. Optoelectronics, Instrumentation and Data Processing 2014; 50(6): 549-555. DOI: 10.3103/S8756699014060028.
Authors' information
Evgenii V. Vlasov, (b. 1987) graduated from Novosibirsk State Technical University in 2009, majoring in Op-totechnics. Currently he works as the associate scientist at the Technological Design Institute of Scientific Instrument Engineering, Siberian Branch of the Russian Academy of Sciences. Research interests are the construction of multifocal 3D displays, optical non-contact methods of dimensional inspection. E-mail: [email protected] .
Vladimir I. Paterikin, Ph. D. Technological Design Institute of Scientific Instrument Engineering, Siberian Branch of the Russian Academy of Sciences. In 1969 he graduated from graduate school and defended his thesis (PhD) in the specialty 05.13.05 "Elements and devices of computer facilities and control systems" at the Institute of Cybernetics of Ukrainian Academy of Sciences, Kiev. Research interests: automation of scientific experiments. E-mail: vipater@yandex. ru .
Received June 23, 2016. The final version - December 2, 2016.
Дизайн: Я.Е. Тахтаров. Оформление и вёрстка: М.А. Вахе, Е.В. Семиколенных, С.В. Смагин и Я.Е. Тахтаров. Лит. редактор и корректор Ю.Н. Литвинова. Консультант по оформлению англоязычного блока М.И. Котляр.
E-mail: ko@smr. ru, http://www. computeroptics. smr.ru
Подписано в печать 15.12.2016 г. Усл. печ. л. 24,95. Заказ № 11/6. Тираж 319 экз. Печать офсетная. Формат 62х84 1/8. Цена: 550 рублей / Price of 550 rubles (6+)
Редакция: Институт систем обработки изображений РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, (443010, г. Самара, ул. Молодогвардейская, 151) Соучредители: Федеральное государственное автономное образовательное учреждение высшего образования «Самарский национальный исследовательский университет имени академика С.П. Королева» (443086, г. Самара, Московское шоссе, д.34), Федеральное государственное учреждение «Федеральный научно-исследовательский центр «Кристаллография и фотоника» Российской академии наук» (117342, г. Москва, ул. Бутлерова, д 17А) Отпечатано в типографии ООО «Предприятие «Новая техника» (443013 г. Самара, пр-кт. Карла Маркса, 24-76)
