CC BY
15
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
УДК 004.946
А.А. Большаков, А.А. Сгибнев
ВЫБОР И РЕАЛИЗАЦИЯ ПРОГРАММНО-АППАРАТНОГО КОМПЛЕКСА ДЛЯ ВЫВОДА МАССИВА ИЗОБРАЖЕНИЙ В СТЕНДЕ ОБЪЕМНОЙ ВИЗУАЛИЗАЦИИ
Рассмотрены существующие способы подключения устройств вывода изображений. Предлагается способ подключения массива проекторов для формирования объемного изображения. Описывается несколько режимов работы разрабатываемого программного обеспечения в зависимости от используемого контента: статические изображения, видеофайлы или компьютерная трехмерная модель объекта.
Трехмерная визуализация, мультиэкранная система, массив проекторов, объемный дисплей
A.A. Bolshakov, A.A. Sgibnev
SELECTION AND REALISATION OF A HARDWARE AND SOFTWARE SYSTEM FOR VISUALIZATION OF VOLUMETRIC DATA
The paper presents the existing methods of connecting devices to display an array of images. The provided method is used to connect an array of projectors to form a three-dimensional image. It describes several modes of operation, depending on the data representation format, such as static images, video files or computer three-dimensional models of objects.
Three-dimensional visualization, array of projectors, multi-screen system volumetric display
Введение
В настоящее время актуальной является задача вывода изображений на несколько устройств, например мониторов или проекторов. Подобная схема может использоваться в игровой индустрии для расширения виртуального пространства, создания видеостен из нескольких мониторов и др. Также в последнее время увеличивается количество разработок так называемых объемных дисплеев, способных формировать трехмерное изображение, воспринимаемое человеком в качестве объемного [1]. При этом в отличие, например, от очков виртуальной реальности объекты, формируемые объемным дисплеем, занимают реальное физическое пространство.
Нами продолжаются работы по созданию стенда объемной визуализации, принцип работы которого заключается в следующем: вокруг оси 1 (рис. 1) со скоростью 1200-1500 об/мин вращается непрозрачный барабан 2 со сквозными отверстиями 3, закрытыми прозрачным материалом. Внутри барабана установлен просветный лентикулярный экран 4 на который выводится изображение. На лицевой стороне стенда расположена прозрачная мультиэкранная панель 5, выполненная в виде части прямого многогранника и покрытая пленкой обратной проекции, на которую выводится первичное изображение 6. Изображение формируется на всех гранях мультиэкранной панели при помощи ряда проекторов 7, световые пучки 8 которых сфокусированы на слое пленки обратной проекции.
С использованием двух модулей оптической системы 9 и 10 сформированный световой пучок пересекает ось стенда и достигает поверхности зеркального многогранника 11, составленного из
плоских поверхностных зеркал. Отразившись от зеркального многогранника, световой пучок достигает экрана 4, где и формирует итоговое изображение. Барабан на подшипниках 13 приводится во вращение при помощи привода 14.
Вышеописанный стенд является прототипом кругового объемного дисплея для визуализации трехмерных объектов и сцен.
Постановка задачи. В работе поставлена задача выбора способа подключения массива проекторов в количестве 16 штук (в дальнейшем планируется увеличить это число до 36 и больше) на основе существующих решений в аналогичных проектах, а также сформировать объёмное изображение, видимое в диапазоне 160 градусов по горизонтали.
При этом на проекторы необходимо синхронно выводить изображения объекта разрешением 800x600, которые представляют собой изображение модели в различных ракурсах. Основными критериями выбора являются масштабируемость решения (возможность дальнейшего увеличения количества устройств вывода), дешевизна, относительно других вариантов, простота установки и сборки.
Кроме этого, актуальными являются передача и распределение данных на устройство вывода, а также взаимодействие с пользователем.
Использование одной рабочей станции [2]. Сотрудники Университета Южной Калифорнии создали систему для телеконференций, способную отображать полноразмерную человеческую голову с углом обзора в 110 градусов. Для этого они использовали 72 DLP пико-проектора компании Texas Instruments, которые подключили к одному компьютеру с 24 видеовыходами с разрешением 1920x480. Это стало возможным из-за использования четырех видеокарт AMD FirePro W600 Eyefinity, а также разветвителей Matrox TripleHeadToGo, позволяющих разделить исходное изображение на три меньших разрешением 640x480. Недостатком такой системы является весьма высокая стоимость, которая будет повышаться при масштабируемости проекта, т.е., при увеличении количества проекторов для расширения угла обзора.
Кластерная проекционная система [3]. К недостаткам схемы с одной рабочей станцией (рис. 2) также можно отнести необходимость увеличения числа компьютеров при использовании большего числа проекторов, т.к. количество портов для подключения видеокарт в материнских платах ограничено. Следующим шагом авторов описанной выше схемы является ее расширение до 216 проекторов. Для этого портативные LED-проекторы Qumi v3 с разрешением 1280x800 подключались к шести компьютерам для отрисовки изображений. Каждый компьютер содержал две видеокарты ATI Eyefinity 7870.
13
2
Рис. 1. Схема стенда
Рис. 2. Схема подключения проекторов с одной рабочей станцией
Это позволило использовать 12 видеовыходов с одного компьютера. Каждый видеосигнал затем разделялся с использованием идентичного разветвителя Matrox TripleHeadToGo. При подобной схеме (рис. 3) подключения увеличивается сложность синхронизации проекторов, возрастают габариты и стоимость установки в целом.
РС6
Видеокарта 11 -► -р-
—►
Видеокарта 12 —►
I I _►
Рис. 3. Схема подключения проекторов с использованием нескольких компьютеров
Использование адаптеров USB-VGA. Технология DisplayLink, разработанная одноимённой компанией, обеспечивает передачу видеоизображения по интерфейсу USB2.0 и USB3.0. Технология направлена, в первую очередь, на малогабаритные вспомогательные информационные дисплеи.
При использовании этой технологии в системе появляется дополнительный виртуальный видеоадаптер, который может передавать изображение. Несмотря на то, что изготовителями заявляется, что по технологии DisplayLink к компьютеру можно подсоединить до шести дополнительных мониторов, теоретически систему можно расширить и на большее количество устройств вывода изображений. Однако следует учитывать, что производительность виртуальных видеоадаптеров недостаточна для игр и видео, поэтому технология ориентирована, в первую очередь, на отображение текста и двумерной графики.
Рис. 4. Схема вывода изображений с использованием технологии DisplayLink
Клиент-серверная схема подключения проекторов [4]
Довольно распространенный вариант соединения и управления несколькими устройствами вывода с одной платформы. В ее основе содержится использование локальной сети для рендеринга и отображения изображений. Компьютер клиента и N-е количество серверов с мощными видеокартами соединяются в гигабитную сеть Ethernet. Каждый сервер соединяется с проектором, отображающим необходимое изображение (рис. 5). Все вычисления выполняются на сервере, поэтому требования к компьютерам, на которых установлен клиент, снижаются. Недостатком подобной схемы является дороговизна используемого оборудования.
Рис. 5. Клиент-серверная схема подключения проекторов с использованием одноплатных компьютеров Raspberry Pi
Применение одноплатных компьютеров
После оценки достоинств и недостатков вышеперечисленных способов принято решение использовать клиент-серверный способ подключения, т.к. он обладает достаточной гибкостью при масштабировании и обладает приемлемой для поставленной задачи скоростью передачи данных. Проблему высокой стоимости подобного решения предлагается решить использованием одноплатных компьютеров. Для экспериментов и оценки работоспособности предложенной схемы выбран Raspberry Pi 2 Model B - одноплатный мини-компьютер нового поколения с увеличенной в шесть раз, по сравнению с предыдущими моделями производительностью. Он разработан и изготовлен на основе обновленного процессора Broadcom BCM2836 900MHz ARM Cortex-A7 с двухъядерным графическим процессором VideoCore IV и 1 GB SDRAM. На плате установлены разъемы Ethernet, HDMI и композитный RCA (NTSC/PAL), 3.5mm аудио, 40-контактный GPIO, видеокамеры (CSI-2), дисплея (DSI), microSDIO.
В процессе экспериментов выявлено, что наиболее подходящим для работы с VideoCore IV GPU процессора Broadcom BCM2836, поддерживающим максимальное вертикальное разрешение в 1080 пикселей (Full HD) является OMXPLAYER, специально разработанный для Raspberry проигрыватель с открытым исходным кодом. Лучшего результата удалось достигнуть при использовании кодека х264.
Планируется создать программно-аппаратный комплекс с несколькими режимами работы: вывод статического изображения, воспроизведение видеофайлов, отображение трехмерной модели с возможностью управления ей с компьютера пользователя в режиме реального времени.
Вывод статического изображения. В качестве первоочередной задачи планируется реализовать вывод статических изображений на проекторы. Они представляют снимки объекта или специально подготовленной трехмерной модели в различных ракурсах. Изображения загружаются по сети
с компьютера пользователя и после получения сигнала об окончании загрузки выводятся на проекторы. Задача предназначена для тестирования работы системы.
Воспроизведение видеофайлов. При использовании среднескоростной вычислительной сети 100 Мб/c или 12,5 МБ/c с учетом служебных команд получаем ориентировочно 10 МБ/c. Частота потребления устройством отображения от 25 кадров/c (для улучшения качества конечного изображения планируется в дальнейшем увеличить до 50 кадров/c). В проекте используем 16 (или более) приемников информации - проекторов. По сети данные передаются последовательно, поэтому реальный трафик для одного потребителя составляет 10/16 = 0,625 МБ/c. При 25 кадрах/c количество данных равно 0.625/25 = 0,025 МБ (26214,4 байта). Это максимально возможный размер кадра. При обеспечении этого условия (размер кадра 26 214 байт) реализация потокового видео возможна. Ситуацию можно улучшить, используя буферизацию, однако в этих условиях не осуществляется воспроизведение в режиме реального времени, т.к. возникают запаздывания, величина которых зависит от глубины буфера, который, в свою очередь, определяется требуемым размером кадра и скоростью его воспроизведения.
Более простым и вероятным для использования вариантом является предварительная загрузка видеофайлов на серверы и воспроизведение их по сигналу с компьютера пользователя.
Работа с трехмерной моделью. Единственный из режимов, при котором с компьютера пользователя, кроме отправки файлов и запуска или остановки воспроизведения, предполагается интерактивное управление. На компьютере пользователя и на 16 платах Raspberry Pi 2 находятся одинаковые трехмерные модели, сохраненные в одном из доступных форматов. Каждая модель смещена на определенный угол относительно начального положения согласно расположению устройства вывода, к которому подключена соответствующая плата. Данные об угле вводятся в программу пользователя и автоматически изменяют матрицу трансформации виртуальной камеры. Пользователь взаимодействует с моделью на собственном компьютере, а программа вводит информацию об изменениях и отправляет на серверы данные об изменении положения модели в виде матриц перемещения. Получая информацию о перемещении, каждая плата визуализирует их согласно полученным данным. Учитывая небольшой объем передаваемых данных, предложенный режим является наиболее рациональным для работы в режиме реального времени. Аспекты функционирования, связанные с качеством визуализации трехмерных моделей и возможными сложностями с их «отрисовкой», будут описаны после проведения соответствующих экспериментов.
Таким образом, в статье приведен сравнительный анализ вариантов подключения нескольких устройств вывода. Показано, что последняя схема с использованием одноплатных компьютеров является наиболее приемлемой для применения в мультиэкранной системе описанного стенда. В настоящее время выполнено тестирование работы c файлами различного типа на одной плате Raspberry, частично реализована и протестирована клиентская и серверная части приема и передача изображений и видеофайлов по сети, осуществляются работы по отображению и управлению трехмерными моделями. В дальнейшем планируется описать характеристики и результаты работы с предложенной схемой подключения проекторов с использованием одноплатных компьютеров, а также результаты работы программного обеспечения мультиэкранной системы.
Проект реализуется на базе «СЭЗ им. Серго Орджоникидзе» при поддержке гранта Инновационного центра «СКОЛКОВО».
ЛИТЕРАТУРА
1. Blundell B.G., Schwarz A.J. Volumetric Three-Dimensional Display Systems. Р. 330.
2. An Autostereoscopic Projector Array Optimized for 3D Facial Display / K. Nagano, A. Jones et al. Debevec // SIGGRAPH 2013 Emerging Technologies, 2013.
3. An Automultiscopic Projector Array for Interactive Digital Humans / A. Jones, J. Unger, K. Nagano et al. // SIGGRAPH 2015. ACM Press, 2015.
4. Distributed rendering for multiview parallax displays / T. Annen, W. Matusik, H. Pfister et al. // SPIE 6055, Stereoscopic Displays and Virtual Reality Systems XIII, 2006.
5. Большаков А. А., Сгибнев А. А. Разработка автостереоскопического псевдоголографического интерактивного дисплея // ММТТ-27: сб. тр. XXVII Междунар. науч. конф. Саратов: СГТУ, 2014. Т. 11. С. 3-5.
Большаков Александр Афанасьевич -
доктор технических наук, профессор кафедры «Автоматизация, управление, мехатроника» Саратовского государственного технического университета имени Гагарина Ю.А.
Сгибнев Артур Алексеевич -
аспирант кафедры
«Автоматизация, управление, мехатроника» Саратовского государственного технического университета имени Гагарина Ю.А.
Aleksandr A. Bolshakov -
Dr. Sc., Professor,
Department of Automation, Control
and Mechatronics
Yuri Gagarin State Technical University of Saratov
Arthur A. Sgibnev -
Postgraduate
Department of Automation, Control and Mechatronics
Yuri Gagarin State Technical University of Saratov
Статья поступила в редакцию 15.08.15, принята к опубликованию 10.11.15
