CC BY
42
УДК 004.92:004.932
ПРОСВЕТНЫЕ 3D МУЛЬТИФОКАЛЬНЫЕ ДИСПЛЕИ НА ОСНОВЕ ОБЪЕМНОЙ ВИРТУАЛЬНОЙ СРЕДЫ С ДОБАВЛЕННОЙ ФИЗИЧЕСКОЙ РЕАЛЬНОСТЬЮ
Евгений Владимирович Власов
Конструкторско-технологический институт научного приборостроения СО РАН, 630058, Россия, г. Новосибирск, ул. Русская, 41, младший научный сотрудник, тел. (383)306-59-40, e-mail: vlasov@tdisie.nsc.ru
Владимир Иванович Патерикин
Конструкторско-технологический институт научного приборостроения СО РАН, 630058, Россия, г. Новосибирск, ул. Русская, 41, кандидат технических наук, тел. (383)306-59-40, e-mail: vipater@yandex.ru
Предлагается схема многопланового, мультифокального 3D дисплея, стимулирующего аккомодацию глаза, для применения их в оптико-информационные системах коллаборации на основе стереоскопических виртуальных сред ретрорефлективного и иммерсивного типа.
Ключевые слова: 3D дисплей, стимулы аккомодации, многоплановый окуляр.
A TRANSLUCENT 3D MULTIFOCAL DISPLAYS BASED ON STEREOSCOPIC VIRTUAL ENVIRONMENTS WITH AUGMENTED PHYSICAL REALITY
Evgenii V. Vlasov
Technological Design Institute of Scientific Instrument Engineering SB RAS, 630058, Russia, Novosibirsk, 41 Russkaya St., junior researcher, tel. (383)306-59-40, e-mail: vlasov@tdisie.nsc.ru
Vladimir I. Paterikin
Technological Design Institute of Scientific Instrument Engineering SB RAS, 630058, Russia, Novosibirsk, 41 Russkaya St., Ph. D., tel. (383)306-59-40, e-mail: vipater@yandex.ru
The calculation of multiplanes, multifocal 3D display, stimulating the accommodation of the eye, for their application in optical information collaboration systems based on stereoscopic virtual environments immersive and retroreflective types is considered.
Key words: 3D image, stimulus of accommodation, multiplane eyepiece.
Введение
В существующих моделях известных систем управления оператором различными аппаратами, основанными на получении показаний датчиков и видео сигналов, обнаруживается недостаточный учет психофизических особенностей зрительного восприятия человека, особенно на малых расстояниях, в пределах рабочей среды аппарата.
В [1] рассматриваются оптико-информационные системы коллаборации на основе стереоскопических виртуальных сред ретрорефлективного и иммерсив-ного типа. Такие системы дают возможности: 1) видеть виртуальную среду каждому из пользователей при помощи наголовных дисплеев в индивидуальной
перспективе; 2) иметь равный и естественный доступ к выполняемой визуальной задаче; 3) воспринимать присутствие в среде реальных предметов и локальных коллаборантов; 4) осуществлять коммуникацию вербальным и невербальным способом.
Просветная виртуальная среда
Концепция просветной среды возникла в качестве альтернативы ретроре-флективным средам, которые трудно реализовать из-за отсутствия материалов для получения оптических изображений высокого качества. Просветная среда также позволяет зрителю видеть реальные объекты, как и ретрорефлективная, и также обеспечивает естественное когнитивное зрительное восприятие реальных предметов.
На рис. 1 предложена концептуальная схема просветного наголовного дисплея, содержащая микродисплей для воспроизведения виртуальной сцены, проекционный объектив с поворотным зеркалом и зеркальный окуляр. Окуляр состоит из светоделительной пластины и полупрозрачного вогнутого зеркала, проецирующего виртуальную сцену через выходной зрачок в глаз наблюдателя.
Поскольку светоделитель и вогнутое зеркало полупрозрачные, то наблюдатель легко видит и реальные предметы окружающей обстановки. Но в отличие от ретрорефлективной среды непрозрачные предметы не могут выполнять функцию автоматической окклюзии, т.е. закрывать следующие за ними по глубине виртуальные предметы. Из-за отсутствия корректной глубины виртуальные картинки воспринимаются всегда на фоне реального предметного окружения. Чтобы устранить отмеченный недостаток предлагается следующая технология.
1. Встроить в наголовный дисплей сенсор глубины, измеряющий координаты положения X, Y и дальности Ъ реальных предметов (рис. 1).
2. При формировании виртуальной сцены в процедуре удаления невидимых поверхностей сцены методом Ъ-буфера учесть координаты реальных предметов с цветом нулевой яркости. В результате, в тех позициях экрана, где должен появиться реальный предмет возникнет его черная виртуальная тень, закрывающая все виртуальные предметы, следующие за ней. Свет от реального предмета заполнит эту тень, обеспечив тем самым корректную окклюзию.
Корректное отображение виртуальных предметов, находящихся перед реальными предметами, может быть выполнено с помощью одноразрядной жидкокристаллической маски, имеющей пиксельное разрешение по полю зрения. На том участке поля, где нужно изобразить виртуальный предмет, маской создается тень для реального предмета.
Наличие просветного режима наголовных дисплеев весьма актуально, так как позволяет настраивать и калибровать проективное преобразование виртуальной среды с тем, чтобы воспринимаемый образ виртуальных предметов совпадал с их реальными прототипами для естественного, когнитивного зрительного восприятия.
Микро- Проектор Выходной
КМОП сенсор
Рис. 1. Просветный дисплей с измерителем дальности и окклюзивной маской
Для достижения глобальной интерпозиции-окклюзии реальных и виртуальных предметов в иммерсивной виртуальной среде предлагается встроить в наго-ловный дисплей не только видеокамеры, но и сенсоры глубины. Для устранения некорректной окклюзии реальных и виртуальных сцен в просветной виртуальной среде предложено встроить в наголовный дисплей сенсор глубины реальных предметов и окклюзивную маску. Для обеспечения визуального комфорта в любой из виртуальных сред необходима разработка многоплановых, мультифо-кальных наголовных стереодисплеев, стимулирующих аккомодацию глаз.
Мультифокальные окуляры
Для схем наголовных дисплеев иммерсивной и просветной виртуальной сред, предложенных в [1], рассчитаны мультифокальные окуляры. На рис. 2 приведен вариант четрыхпланового окуляра, рассчитанный с использованием FLCOS микродисплеев, с возможностью выбора и переключения положения планов. Рассчитаны несколько вариантов диоптрийной глубины для объемной среды. Планы изображения, расположены на расстояниях 35,8 см (2,79 дптр), 50 см (2 дптр), 81,4 см (1,23 дптр), 233 см (0,43 дптр). Межплановое расстояние порядка 0,8 дптр взято на основе расчета дифракционной глубины 3D изображений, стимулирующих аккомодацию глаза [2, 3].
Дисплейная часть схем содержит два микродисплея FLCOS типа, для воспроизведения виртуально-реальной сцены, мультифокальный проекционный объектив с поворотным зеркалом, светоделительную пластину и непрозрачное вогнутое зеркало, проецирующее комбинированную сцену через входной зрачок в глаз наблюдателя. Дисторсионные искажения не превышают 5 %, в том числе и в вариантах включающих в себя линзу для диоптрийной перестройки.
Рис. 2. Четырехплановый окуляр без диоптрийной перестройки
Заключение
Для обеспечения визуального комфорта в любой из виртуальных сред приведен пример расчета многоплановых, мультифокальных окуляров, стимулирующими аккомодацию глаз. Так же следует отметить, что помимо визуального комфорта, многоплановый 3D дисплей обеспечивает прямые и косвенные признаки глубины, позволяющие естественным образом оценивать расстояния и размеры предметов. Прямые признаки глубины стимулируют близкую к корректной аккомодацию глаз, их конвергенцию и стереоскопическую диспарант-ность. Косвенные признаки поддерживаются программным обеспечением и включают окклюзии и автоокклюзии, многовариантную перспективу, изменение контраста и градиента текстуры, двигательный параллакс и др.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Ковалев А. М. О дисплеях персонального пользования для виртуальных сред с добавленной реальностью // Автометрия. - 2014. - Т. 50, № 6. - С. 22-29.
2. Ковалев А. М., Власов Е. В. О качестве трехмерного изображения, стимулирующего аккомодацию глаза // Автометрия. - 2012. - Т. 48, № 4. - С. 33-40.
3. Ковалев А. М., Власов Е. В. Дифракционная глубина 3D изображений, стимулирующих аккомодацию глаза // Автометрия. - 2014. - Т. 50, № 1. - С. 3-8.
© Е. В. Власов, В. И. Патерикин, 2017
