Бифокальный объемный стереоскопический дисплей Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.922, 004.932 А.М. Ковалев

КТИ НП СО РАН, Новосибирск

Ю.Л. Кравченко, С.В. Хрящев

НФ ИФП СО РАН «КТИПМ», Новосибирск

Н.А. Елыков

ИАиЭ СО РАН, Новосибирск

Е.В. Власов, А.О. Морозов НГТУ, Новосибирск

БИФОКАЛЬНЫЙ ОБЪЕМНЫЙ СТЕРЕОСКОПИЧЕСКИЙ ДИСПЛЕЙ

Для согласования дистальных стимулов глубины - конвергенции и аккомодации глаз - разработан стереоскопический дисплей с бифокальными окулярами. Каждый окуляр содержит две микродисплейные матрицы на органических светодиодах, изображения которых комбинируются с помощью светоделительного кубика. Таким образом, объемное изображение представлено четырьмя SVGA-изображениями. Рассмотрена структурная схема устройства, принцип формирования объемного изображения и программное обеспечение для экспериментальных исследований визуального восприятия.

A.M. Kovalev

Technological Design Institute of Scientific Instrument Engineering (TDISIE), Siberian Branch, Russian Academy of Sciences, ul. Russkaya 41, Novosibirsk,

630058 Russia

Y.L. Kravchenko, S.V Hryaschev

Novosibirsk Branch of the Institute of Semiconductor Physics, Siberian Branch of the Russian Academy of Sciences, «Technological Design Institute of Applied Microelectronics», Novosibirsk N.A. Elykov

Institute of Automation and Electrometry, Siberian Branch, Russian Academy of Sciences, Novosibirsk E.V Vlasov, A.O. Morozov Novosibirsk State Technical University

BIFOCAL VOLUMETRIC STEREOSCOPIC DISPLAY

A stereoscopic display featuring bifocal eyepieces has been created for the purpose of matching the distal depth stimuli - namely convergence and accommodation of eyes. Each eyepiece comprises two OLED matrices and the images are combined using beam-splitting cube. As a result, three-dimensional image is represented by four SVGA-images. The structural diagram of the device, the

principle of forming 3D image and software for experimental studies of visual perception are presented.

В основе трёхмерного кино и телевидения, а также компьютерных средств объёмной визуализации, лежит принцип работы стереоскопа Уитстоуна (1838). Диспарантность образов, проецируемых стереопарами на сетчатки глаз, инициирует особое восприятие глубины и объема, называемое стереоскопическим зрением, или стереопсисом. В дисплеях на основе стереоскопа Уитстоуна расстояние, на которое фокусируются глаза, не изменяется в зависимости от содержания визуальной сцены или изменения области интересов наблюдателя на переднем или дальнем плане сцены. Поскольку глубина фокуса незначительна (0,15^0,3 дптр) между аккомодацией и конвергенцией глаз возникает конфликт [1]. Если сознание следует за резким изображением, то появляется двоение, или диплопия. Если сознание следует за слитным изображением, то ухудшается его резкость. Естественное стремление видеть слитное изображение резким приводит к визуальному дискомфорту, появляется бинокулярный стресс, головная боль, утомление глаз, иногда тошнота и рвота. Наряду с медицинскими проблемами ухудшаются когнитивные способности и увеличиваются погрешности в оценке размеров и удаленности предметов [2].

Кардинальным решением проблемы является обеспечение соответствия между конвергенцией и аккомодацией глаз, или построение мультифокального стереодисплея. Известен ряд исследований на эту тему [3,4,5]. В [3] предлагалось использовать катадиоптрические окуляры, вогнутые зеркала которых создают множество виртуальных сферических экранов, стимулирующих фокусировку глаз на разные расстояния до предметов. К недостаткам такого дисплея следует отнести потери контраста с увеличением числа фокусов. В [4] исследован прототип стереодисплея с двумя каналами, в каждом из которых используется три плана, которые комбинируются с помощью светоделителей. Расстояние между планами ~ 0,67 дптр. Объём аккомодации 1,34 дптр. Глубина изображения 0,31^ 0,54 м. Поле зрения 6,1°* 4,4°. Основная идея - это фильтрация и интерполяция интенсивности изображений по глубине между соседними планами. В [5] рассмотрен вариант мультифокального стереодисплея с интерполяцией глубины, в котором создаётся четыре фокуса на глаз с помощью «быстропереключаемых» линз на кальците. Расстояние между планами 0,6^0,77 дптр. Объём аккомодации 1,8^2,3 дптр. Глубина изображения 0.285 ^ 0.97 м. Источник изображения - монитор на ЭЛТ с частотой кадров 180 гц. Частота регенерации стереоизображения 22,5 гц.

В работе рассматривается бифокальный стереодисплей для комфортного восприятия внешней визуальной обстановки с глубиной объёмного изображения от 1 м до го, полем зрения 28°* 21°, разрешением ~ 2 угл. мин. и частотой регенерации стереоизображения 60 гц.

На рис. 1 представлена схема формирования бифокального изображения. Компьютер 1 с помощью видеокарты 2 формирует изображение, которое разделяется на четыре видеовыхода - по два на каждый окуляр стереодисплея.

Через модули управления 3,4 изображения подаются на входы микродисплеев 5,6. Затем через кубик 7 изображения попадают в окуляр 8, проецирующий изображения на сетчатку глаза 9. Регулировка глубины изображений производится изменением расстояний между микродисплеями 5,6 и светоделительным кубиком 7.

Матрицы микродисплеев фирмы еМа§т на органических светодиодах (технология ЛМОЬЕБ) имеют формат 852x600 элементов и размер отображаемой области 12,78x9 мм. Модуль управления на микропроцессоре инициирует работу микродисплея в реальном времени по шине 12С и позволяет хранить настройки в памяти микродисплейной матрицы. При этом возможно управлять такими параметрами микродисплеев как формат отображаемого кадра и его частота, а также яркость, контрастность и насыщенность изображения. Модуль управления транслирует видеосигнал с видеокарты непосредственно на входы Я,0,Б и синхронизации микродисплея. На каждом из четырёх микродисплеев формируется цветное полутоновое изображение БУОЛ формата 800x600 точек с частотой обновления кадров 60 Гц.

I_______________________ 1

т, <-------[

К. flpVTOMV OKVJIHpv

■ ■ ’ ’ <-------[ Т

-----------------------------------------[ "

------------------[

Бифокальный окуляр ( Т ер е о дисплея

6

Рис. 1. Состав экспериментального образца:

1 - компьютер (Intel Core 2 Quad QS400); 2 - видеокарта (ATI Radeon HD 5870,

2 Gb); 3, 4 - модули управления; 5, 6 - микродисплеи (eMagin OLED SVGA+); 7

- светоделительный кубик; 8 - окуляр; 9 - глаз.

В качестве средства аппаратного ускорения визуализации 3D графики выбрана видеокарта ATI Radeon HD 5870 с поддержкой технологии ATI Eyefinity. К ключевым особенностям данной технологии следует отнести

возможность прозрачно для приложения растягивать изображение одного окна на четыре монитора, что позволило в краткие сроки адаптировать существующие технологии визуализации к требованиям бифокального объёмного стереоскопического дисплея.

Процесс формирования четырёхканального изображения для бифокального стереодисплея можно разделить на два этапа. На первом этапе методом рендеринга в текстуре для каждого из глаз строится пара изображений - первое изображение собственно сама сцена - 1(и,у), второе - глубина каждого пикселя сцены - 2(и,у). Для увеличения точности представления глубины используется 32-битная текстура, содержащая числа в формате с плавающей запятой. На втором этапе для того, чтобы получить картинки для ближнего - 1„(и,у) и дальнего

- 1/и,у) плана каждого из глаз, полученные изображения компонуются путем интерполяции интенсивности по глубине. В процессе интерполяции вычисляется коэффициент

0, при Z(u, V) < Еп

1,при > Zf

P(u, v) =

1

z\ при Zn < Z(u, v) < Zf

_ Zn

где Zn - линейное расстояние до ближнего плана, Zf - линейное расстояние до дальнего плана. При этом изображение для ближнего плана вычисляется по формуле In (u,v) = (1 - e(u,v)) х I(u,v) а для дальнего плана по формуле If(u,v) = e(u,v) х I(u,v).

Полученные таким образом четыре изображения выводятся каждое в свою часть окна, а затем видеокарта с помощью технологии ATI Eyefinity разделяет изображение на четыре видеовыхода, которые подаются каждый на свой вход бифокального стереодисплея.

В заключение следует отметить, что помимо визуального комфорта дисплей обеспечивает прямые и косвенные признаки глубины, позволяющие естественным образом оценивать расстояния и размеры предметов. Прямые признаки глубины стимулируют близкую к корректной аккомодацию глаз, их конвергенцию и стереоскопическую диспарантность. Косвенные признаки поддерживаются программным обеспечением и включают окклюзии и автоокклюзии, многовариантную перспективу, изменение контраста и градиента текстуры, двигательный параллакс и др.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Ковалев А.М. О мультифокальных дисплеях, дифракционной глубине фокуса и визуальном комфорте // Автометрия. 2010. Т 46, № 3. С. 86-94.

2. Ковалев А.М. Описание визуального пространства в моделях Клейна и Пуанкаре // Автометрия. 2006. Т 42, №4. С.57-66.

3. Пат. 2201610 Российская Федерация, МКП G02B027/22, назв. Мультифокальный стереодисплей/ Ковалев А.М.; заявитель и патентообладатель Институт автоматики и электрометрии СО РАН; опубл. 27.03.2003; Бюл. № 9.

4. Akeley K., Watt S.J., Girshick A.R., Bancks M.S. A stereo display prototype with multiple focal distances // ACM Trans. Graph. 2004. 23, No.3. 804-813.

5. Love G.D., Hoffman D.M., Hands P.J., Gao J., Kirby A.K., Bancks M.S. High-speed switchable lens enables the development of a volumetric stereoscopic display // Optics Express. 2009. 17, No.18. 15716-15725.

© А.М. Ковалев, Ю.Л. Кравченко, С.В. Хрящев, Н.А. Елыков, Е.В. Власов, А.О. Морозов, 2011