CC BY
190
УДК 778.534.19
А.А. Большаков, А.В. Никонов МЕТОД ФОРМИРОВАНИЯ ТРЕХМЕРНЫХ ИЗОБРАЖЕНИЙ ДЛЯ ОБЪЕМНЫХ ДИСПЛЕЕВ
Предлагается метод воспроизведения объемных объектов, который на основе оригинальный проекционной системы позволяет в режиме реального времени без математической обработки восстанавливать промежуточные азимутальные изображения реального или виртуального объекта по его опорным образам. Метод представляет возможность создания недорогого 3D-дисплея на основе надежной и доступной элементной базы для воспроизведения полноцветных динамических объемных объектов, видимые вкруговую без применения индивидуальных средств стереонаблюдения.
Метод формирования трехмерных изображений, объемные объекты, 3D^TOone^ объемный дисплей, стереонаблюдения, круговой обзор, трехмерные сцены, восстановление объемных объектов
A.A. Bolshakov, A.V. Nikonov METHOD OF FORMING THREE IMAGES FOR THREE-DIMENSIONAL DISPLAY
Propose a method of playing three-dimensional objects, which is based on the original projection system allows real-time without the mathematical treatment to restore intermediate azimuthal image real or virtual object by its reference images. Method is the possibility of a low-cost 3D-display based on reliable and affordable components for full-color reproduction of dynamic threedimensional objects, visible round without use of personal stereoscopic viewing.
Method of forming three-dimensional images, three-dimensional objects, 3D-display, volumetric display, stereoscopic, the panorama view, threedimensional scenes, recovery of volume objects
Введение
В деятельности человека объемное воспроизведение реальности последние десятилетия приобретает все большее значение, что особенно ярко проявляется в связи с появлением современных средств отображения информации в виде объемных дисплеев. В статье [1] анализируются результаты технических решений в этой сфере: от одноракурсных автостерео-скопических дисплеев с параллаксным барьером, голографических дисплеев, позволяющих создавать полноцветные голограммы статичных объектов (группа Сатоси Каваты из университета Осаки, Япония), волюметрических дисплеев "Perspecta Spatial 3D" компании Actuality Systems, лаборатории ICT Graphics Lab при Южнокалифорнийском университете (США) и корпорации «Cony», на которых формирование изображения производится проецированием сечений компьютерных моделей объекта на быстро вращающемся экране, до безэкранные технологии ученых Keio University и компании Burton Inc. (Япония) [2-9]. Эти устройства
позволяют обходиться без индивидуальных средств стереонаблюдения и предоставляют возможность увидеть изображение объемного объекта со всех сторон, однако они не позволяют решить в полном мере задачи круговой демонстрации на массовую неоснащенную аудиторией полноцветных объемных объектов высокого разрешения.
В связи с этим в статье предлагается метод воспроизведения объемных объектов на базе оригинальной проекционной системы [1], который позволяет в режиме реального времени и без математической обработки восстанавливать промежуточные азимутальные изображения реального или виртуального объекта по его опорным образам.
Характеристика метода объемного воспроизведения
Согласно предложенной оптической схеме [1] используем формирование трехмерных изображений, которое включает вращение проекционной оптики и рассеивающего экрана вокруг оси вращения платформы, проецирование растровых образов трехмерной сцены от проектора через систему зеркал и проекционную оптику на экран. При этом растровые образы сначала формируют на внутренней стороне каждой из боковых граней проектора, выполненного в виде многогранника, соосного и подобного неподвижному осесимметричному многограннику системы зеркал, в основании которого находится правильный многоугольник, затем растровые образы отражают от внешних боковых граней зеркального многогранника, после этого проецируют их на экран через вращающуюся проекционную оптику.
Предлагаемый метод характеризуется повышенным быстродействием, меньшим использованием скоростной вычислительной и проекционной техники, повышенными качеством изображения и надежностью. Эти свойства обеспечиваются на основе следующих факторов:
- используется один из наиболее скоростных методов формирования промежуточных изображений - совмещения световых потоков от опорных изображений, причем опорные изображения при работе дисплея могут сменяться в моменты, когда они не проецируются на экран (это обеспечивает возможность увеличения скорости вращения экрана и/или возможность осуществления проекции на обе стороны экрана, что позволяет повысить качество получаемого трехмерного изображения);
- все промежуточные изображения формируются самостоятельно, по немногочисленным опорным растровым образам объекта демонстрации и без дополнительной математической обработки, что обеспечивает возможность использовать более качественные устройства вывода, а высвобожденные вычислительные мощности - для повышения качества получаемого изображения;
- возможность использования существующих и широко распространенных устройств вывода и формирования изображений, что позволяет повысить надежность и работоспособность системы в целом;
- отсутствие существенной коррекции проецируемого изображения «на проход», формирование трехмерного изображения по его проекциям не требует вычисления ракурсов, поэтому предоставляется возможность демонстрации полноцветных фото- и видеосъемок реального объекта или субъекта, а также трансляции передач в режиме реального времени
В одном из вариантов предлагаемого метода проекционная оптика, состоящая из объектива и зеркала, расположена так, что растровые образы, отраженные от зеркального многогранника сначала через объектив проецируют на зеркало, а затем направляют на рассеивающий экран.
В другом варианте проекционная оптика, состоящая из зеркала и объектива, расположена так, что растровые образы, отраженные от зеркального многогранника, вначале направляют на зеркало, затем отражают в объектив и через него проецируют на рассеивающий экран.
Для уменьшения дрожания получаемого трехмерного изображения при перекосах и вибрациях движущихся частей дисплея предлагается модификация предложенного метода, в которой проекционная оптика состоит из объектива, а неподвижная система зеркал дополнена охватывающим зеркальный многогранник цилиндрическим зеркалом с отражающей внут-338
ренней боковой поверхностью, расположенным соосно платформе так, что растровые образы, отраженные от зеркального многогранника проецируют на рассеивающий экран через объектив и цилиндрическое зеркало.
Для проверки правильности принципов, положенных в основу модели работы системы, названной "ГолДи" (сокращение от "голографический дисплей"), проведено математическое и компьютерное моделирование оптической схемы устройства.
Как показало моделирование, количество опорных образов, необходимое для целостного восприятия объекта, в основном зависит от его свойств (степени симметрии, удаленности от оси и т.д.) и для большинства случаев не выходит за пределы 12 - 36 изображений (рис. 1). Требуемая для вывода 36-и полноцветных изображений формата 800x600 пикселей производительность графического процессора составляет величину порядка 10,4 Гб/с, что далеко от предельных скоростей современных GPU и обеспечивает высокую вероятность успешного развития предлагаемой системы. Следует отметить, что при работе с готовыми проекциями объекта, процессор не вычисляет их, а непосредственно передает на систему вывода дисплея. При этом использование в ней многопанельного проектора снижает необходимую частоту обновления информации на экранах LCD - панелей до 25 - 50 кадров/с, делая ее приемлемой для этих низкоскоростных устройств. Это подтверждает возможность использования системы для работы с реальными объектами в масштабе реального времени.
Описание принципа работы 3Б-дисплея
Работу предлагаемого устройства а также реализацию предложенного метода формирования трехмерных изображений рассмотрим на примере исполнения объемного дисплея в варианте с неподвижным цилиндрическим зеркалом (рис. 2).
Предварительно записанные или получаемые в процессе демонстрации кадры съемки демонстрируемого предмета с 12 ракурсов (например, с 12 видеокамер), выводятся на боковые грани внутренней стороны многогранного проектора 4. Для разных реализаций дисплея эти грани могут быть составлены из LCD - панелей с собственной или внешней подсветкой, или LCOS - панелей, работающих на отражение.
При использовании устройства для демонстрации только статичных изображений (объемных слайдов) в качестве источников опорных образов могут использоваться фотографии объекта с необходимых ракурсов, напечатанные на определенном носителе (например, на фотопленке или фотобумаге) и удерживаемые в правильном положении (т.е. по граням многогранного проектора 4) специальными направляющими или прозрачными обоймами. Такие источники изображения в зави-
2
Рис. 2. Метод формирования трехмерных изображений и объемный дисплей
Рис. 1. Компьютерная модель объемного дисплея и трехмерного изображения
симости от свойств их носителя могут работать в отраженном или проходящем свете, получаемом от осветительной системы дисплея.
Во время работы дисплея платформа 3, закрепленные на ней экран 1 и объектив 8 проекционной оптики 5 вращаются вокруг оси 2, являющейся центром поворотной симметрии дисплея. Если плоскость экрана 1 занимает перпендикулярное положение азимуту одного из опорных растровых образов, растровый образ полностью отразится в оппозитной ему грани зеркального многогранника 6 затем, пройдя через фокусирующий объектив 8 и отразившись от цилиндрического зеркала 9, будет спроецирован на экран 1 (ход лучей показан тонкими линиями).
При повороте из этого положения платформы 3 на некоторый угол (для двенадцатигранного проектора на угол а < 30°) в "поле зрения" объектива 8 окажутся опорные растровые образы, находящиеся в текущий момент времени на смежных гранях многогранного проектора 4. Эти растровые образы представляют кадры съемки демонстрируемого объекта с ракурсов, развернутых один относительно другого на угол в 30о. На основе выбранных конфигурации и взаимного положения проектора 4 и зеркального многогранника 6 эти растровые образы будут совмещены в плоскости экрана 1 своими центрами. Части этих опорных изображений, отраженные от смежных граней зеркального многогранника 6 проходят через объектив 8 и проецируются на экран 1 в виде составного изображения. Доли опорных изображений в составном пропорциональны угловому смещению объектива 8 по отношению к азимутальным направлениям на смежные грани проектора 4, а состыковка изображений осуществляется по вертикальной границе или по границе, проходящей под небольшим углом к вертикали. Ширина зоны совмещения двух смежных опорных изображений на экране 1 зависит от степени скругленности стыка двух смежных отражающих плоскостей зеркального многогранника 6. При перемещении объектива 8 от одного из этих растровых образов к другому происходит постепенное замещение первого изображения вторым примерно так, как замещается изображение на экране монитора компьютера, только по горизонтали, т.е. каждому текущему азимутальному положению объектива 8 соответствует собственное изображение на экране 1, которое немного отличается от предыдущего. Сформированное изображение, отразившись от зеркала 9, проецируется на экран 1, который движется вместе с платформой 3 и объективом 8 и в каждый момент времени перпендикулярен азимутальному положению объектива 8. Для корректировки искажений от зеркала 9 в состав объектива 8 вводится цилиндрическая линза, несколько растягивающая изображение по горизонтали.
Оценка преимущества системы «Г олДи» перед аналогами
Ниже приводится сравнительная характеристика изделий участников рынка: прямых конкурентов, аналогов и альтернативных заменителей - субститутов.
Как следует из таблицы, ближайшие аналоги системы "Г олДи" - системы 3D изображения с круговым обзором следующие.
1. Волюметрический 3D-дисплей "Perspecta" компании Actuality Systems (USA).
2. Волюметрический 3D-дисплей "Felix 3D" компании Felix.
3. Interactive 360-Degree "Light Field Display" - совместная разработка USC Institute for Creative Technologies (институт креативных технологий университета Южной Калифорнии) и компаний Fakespace Labs и Sony.
4. Система "Transpost" - лаборатории Hitachi Human Interaction Laboratory, корпорация Хитачи.
Заключение
Таким образом, в статье предложен новый метод формирования трехмерных динамических изображений, на основе которого предоставляется возможность воспроизведения трехмерного образа демонстрируемого объекта, видимого вкруговую без использования индивидуальных средств. При этом не вводятся существенные ограничений на цветность и качество получаемого изображения.
Таблица
Сравнительная характеристика изделий
№ № п.п Производитель, разработчик. Свойства продукта "Perspecta", Actuality Systems (USA) "Felix 3D" comp. Felix (USA) "Light Field Display", ICT, Sony (USA, Japan) "Transpost", corp. Hitachi HIL, (Japan) "ГолДи-S", система "ГолДи", (Россия) "ГолДи-D", система "ГолДи", (Россия) "ГолДи-V", система "ГолДи", (Россия)
1 Демонстрация объемных изображений объектов на неоснащенную аудиторию да да да да да да да
2 Возможность наблюдения объекта со всех сторон (азимут. угол обзора 360о) да да да да да да да
3 Необходимость предварительной мате-матической обработки изображений, трансформации изображения "на проход" да да да да нет нет нет
4 Тип прорисовки изображений (лазерный луч - DLP, матрица - LCD, слайд - С). DLP DLP DLP LCD С LCD LCD
5 Цветность изображения: полноцветное - П, ограниченная цветность - О О, 8 цвет. О, 256 ц. О, 2 цвет П П П П
6 Тип выводимого объекта: скелетный - С, штриховка лучом - Ш, видео низкого разрешения - ВН, видео - В Ш Ш С ВН В В В
7 Компьютерное обеспечение обработки и вывода изображения: мощный специализированный компьютер -МСК, стандартный персональный компьютер - ПК, автономное - А МСК МСК МСК ПК А ПК ПК, МСК
8 Вывод динамических (подвижных) объектов. да да нет да нет да да
9 Ограничения на размер выводимого изображения - О. О О О О нет нет нет
10 Степень сложности устройства вывода: высокая - В, средняя - С, низкая - Н В В В С Н С С
11 Возможность многопрофильного использования устройства нет нет нет огран. огран. да да
12 Возможность вывода фото и видеоизображений реальных объектов нет нет нет нет фото да да
13 Осуществимость трансляции передач в реальном времени на экстерриториальную аудиторию нет нет нет нет нет да да
14 Ценовой диапазон продукции: в источниках не приводится - НП 20000 $ 15000 $ НП НП 15000 руб 50000 руб. -
При использовании фото- и видеокадров в качестве опорных образов, применение предлагаемого подхода позволяет не подвергать изображения серьезной математической обработке на проход. Если одновременно с демонстрацией реальной сцены или объекта (субъекта) осуществлять передачу текущих опорных образов в эфир (или по выделенным линиям), то для организации трансляций таких сцен на широкую экстерриториальную аудиторию ограничения практически отсутствуют.
На основании вышеизложенного можно сделать вывод, что создаваемый объемный дисплей обеспечивает решение поставленной задачи и достижение заявленного технического результата. Предлагаемый объемный дисплей может быть использован для демонстрации объемных полноцветных динамических реальных и виртуальных объектов для массовой неоснащенной аудитории; организации трансляций публичных выступлений; объемной визуализации обстановки в контролируемом воздушном или подводном пространстве в режиме реального времени; организации презентаций в форматах 3Э "дополненная реальность" и 3Э "дополненная виртуальность"; разработки и демонстрации дизайнерских и архитектурных решений на основе трехмерных автостереоскопических дисплеев с круговым обзором индивидуального и студийного использования; применения в медицине в виде круговых трехмер-
ных дисплеев с функцией управления изображением объекта; школ и других учебных заведений в виде относительно дешевого слайдпроектора с обзором 360о в качестве объемных виртуальных наглядных пособий; домашних коллекций объемных круговых фотографий, виртуальных скульптур и архитектурных ансамблей, изображений реальной и фантастической техники, знаковых и арт-объектов.
ЛИТЕРАТУРА
1. Большаков А.А., Никонов А.В. Анализ технических решений при создании 3D-дисплеев и новый способ разработки объемного дисплея // Вестник Саратовского государственного технического университета.. 2012. №1 (64). Вып. 2. (в настоящем выпуске)
2. Пат. 2164702 Российская Федерация, МПК G 02 B 27/26. Устройство для демонстрации стереоскопических изображений / Никонов А.В., Долгов В.М., Долгов Ю.М., Никонов А.А. (все RU); заявитель и патентообладатель Саратовский государственный технический университет - № 99106816/28; заявл. 05.04.99; опубл. 27.03.01.
3. Пат. 2260829 Российская Федерация, МПК7 G 02 B 27/26. Устройство для демонстрации стереоскопических изображений/ Никонов А.В., Долгов В.М., Долгов Ю.М. (все RU); заявитель и патентообладатель Саратовский государственный технический университет
- № 2002112530/28; заявл. 13.05.02; опубл. 10.02.04.
4. Пат. 2447467 Российская Федерация, МПК G 02 B 27/22. Автостереоскопический дисплей/ Честак Сергей (KR), Ким Дае-Сик (KR); заявитель и патентообладатель Самсунг Электроникс Ко., ЛТД. - № 2009113551/28; заявл. 10.10.07; опубл. 10.04.12, Бюл. № 10.
5. http://www1.fips.ru/fips_servl/fips_servlet?DB=RUPAT&m=4042&DocNumber=211162 7&TypeFile=html; цветной объемный дисплей", патент RU № 2111627 C2, кл. H04N9/31, G09G3/06, публ. 20.05.1998 г.
6. https://docs.google.com/a/google.com/viewer?url=www.google.com/patents/US6554430. pdf; "Волюметрический трехмерный дисплей", Патент US № 6554430 B2, кл. G03B21/28, G09G5/10, публ. 29.04.2003 г.
7. https://docs.google.com/a/google.com/viewer?url=www.google.com/patents/US6302542. pdf; "Техника проецирования на движущийся экран для волюметрических дисплеев", патент US № 6302542 Bl, кл. G03B 21/28, публ. 20.02.1999 г.
8. http://www1.fips.ru/fips_servl/fips_servlet?DB=RUPM&rn=7031&DocNumber=91646& TypeFile=html; "Объемный дисплей", патент на полезную модель RU № 91646, U1, кл. G09G3/00, H04N3/00, публ. 20.02.2010 г.
9. Kompanets I.N., Gonchukov S.A. 3-D medium based displays // Proc. SPIE. 2005. V.5821. P. 134-145.
Большаков Александр Афанасьевич -
доктор технических наук, профессор кафедры «Системы искусственного интеллекта» Саратовского государственного технического университета имени Г агарина Ю. А.
Никонов Анатолий Владимирович -
ведущий специалист научно-технологического парка «Волга-техника» Саратовского государственного технического университета имени Гагарина Ю.А.
Статья поступила в редакцию 2.02.12, принята к опубликованию 12.03.12
