CC BY
34
Построение стереоанимационных представлений на современных стереоустановках активного и пассивного типов
Андреев С.В., Бондарев А.Е., Михайлова Т.Н., Рыжова И.Г.,
ИПМ им. М.В. Келдыша РАН esa, bond@keldysh.ru, tnmik, ryzhova@gin.keldysh.ru
Аннотация
Данная работа рассматривает общие проблемы построения стереоизображений и стереоанимаций для современных стерео-установок активного и пассивного типов. Рассматриваются различные способы построения стереоизображений с учетом реализованного практического опыта. Приводятся иллюстрации для тестовых изображений.
1 Введение
Человеку по своей природе свойственно восприятие окружающего мира в объемном, стереоскопическом виде, то есть способность одновременно четко видеть объекты нашего окружения двумя глазами одновременно. И, соответственно, если мы хотим добиться полной реалистичности визуализации объекта, применительно к результатам расчетов, необходимо учитывать особенность бинокулярного стереоскопического восприятия человеком визуальной информации. При представлении визуальной информации в стереоскопическом, объемном виде, естественном для восприятия человека, особенно результатов расчетов объекта, не существующего в реальности, данная информация будет восприниматься и усваиваться зрителем намного быстрее и продуктивнее, чем визуализация в плоском, двумерном виде на экране монитора или экрана, так как восприятие будет происходить на уровне подсознания, с автоматической оценкой мозгом формы объекта визуализации и расстояния до него на фоне других объектов, всех преимуществ и недостатков сгенерированного объекта, что позволяет почти автоматически найти возможные ошибки расчетов, проблемы и пути для их решения.
2 Базовые понятия стереоскопии
Конвергенция
Конвергенцией называется угол, сформированный нашими глазами и наблюдаемым объектом. Чем ближе находится объект
наблюдения, тем больше угол, то есть выше конвергенция, и наоборот, чем дальше находится объект наблюдения, тем меньше угол и ниже конвергенция.
1 • •
Рис. 1. Большая конвергенция; объект находится близко к наблюдателю
« •
Рис. 2. Меньшая конвергенция; наблюдатель обозревает более дальний объект
Необходимо отметить, если конвергенция более шести градусов, это означает, что объект находится очень близко к наблюдателю. При этом наблюдатель будет испытывать значительный дискомфорт из-за физиологического устройства глаз. В противоположность, если величина конвергенции совсем мала, это означает, что объект находится
слишком далеко от наблюдателя и стереоэффект почти полностью теряется. Эти физиологические особенности бинокулярного зрения человека необходимо учитывать при генерации стереоизображений.
Стереоэффект
Зрительный стереоэффект - это ощущение протяжённости пространства и рельефности, возникающее при рассматривании реальных объектов, стереопар, стереофотографий, стереоизображений и голограмм.
Стереоизображение
Стереоизображение - это картина или видеоряд, использующий два отдельных изображения, позволяющих достичь стереоэффекта.
Стереопара
Стереопара - это пара изображений для правого и левого глаза, образующая стереоизображение в конкретный фиксированный момент времени.
Линейная и угловая стереобаза
Предположим у нас есть некоторое изображение объекта, и мы хотим на его основе создать стереоизображение. Нам следует представить два вида данного изображения с различных ракурсов. Сделать это можно двумя способами.
При первом способе создания стереопар (изображений для левого и правого глаза), камера смещается параллельно на расстояние, называемое базой стереосъемки (линейная стереобаза).
Стереобаза
Рис. 3. Линейная стереобаза
При втором способе камера поворачивается вокруг снимаемого предмета на определенный угол. Этот угол называется угловой стереобазой.
Ось вращения *
г'| 11
) I
I I
I '.
I 1
Угловая стсреобаза
Рис. 4. Угловая стереобаза
Таким образом, при построении стереопары для изменения ракурса необходимо выбрать и использовать поворот камеры или параллельное смещение и оценить соответственно угловую или линейную стереобазу.
Параллакс
Параллакс (греч. рага11ах18 уклонение) - это кажущееся смещение рассматриваемого объекта, вызванное изменением точки наблюдения. Если смотреть на объект одним глазом, затем другим, то можно увидеть, что объекты, расположенные на расстоянии, смещаются относительно друг друга. Это смещение и называется параллаксом. Благодаря этому параллаксу человек получает представление о взаимном расположении объектов и объемности сцены по отношению к плоскости экрана [1].
3 Современные системы
демонстрации изображений в объемном представлении
В целом, системы демонстрации изображений в объемном представлении (стерео-установки) можно разделить на два основных вида: пассивные и активные. Пассивные комплексы предназначены для демонстрации материала по заранее намеченному сценарию, когда зритель лишен возможности повлиять на процесс показа; активные (или интерактивные) комплексы отличаются тем, что зритель сам каким-либо образом влияет на процесс показа демонстрируемого материала.
Общим для всех этих систем является наличие большого экрана (и даже нескольких экранов), таким образом, типичного разрешения монитора чаще всего не хватает для гене-
рации кадра, выводимого на экран стерео-установки. Кроме того, такие системы должны обеспечивать показ демонстрации в объемном представлении, то есть в режиме стерео, когда каждый кадр генерируется отдельно для левого и правого глаза (правый и левый стереоканал). Таким образом, требования к вычислительным ресурсам для генерации кадров возрастают вдвое. Часто такие активные стереоустановки управляются не отдельным компьютером, мощности которого не хватает для генерации кадров в режиме реального времени, а системой компьютеров, объединенных в локальную сеть и обеспечивающих вывод составного стереокадра на несколько экранов. Специфические проблемы, возникающие при использовании системы компьютеров для генерации и визуализации составного мультиэкранного стереокадра, и методы решений таких проблем достаточно подробно описаны в работе [2].
Постепенное распространение современных стереоустановок, как пассивного, так и активного типов, породило большой интерес к разработке практических алгоритмов сте-реопредставления статических и анимиро-ванных изображений, что отражено в работах [3 - 6]. Данная работа относится к общей тематике построения стереоизображений и сте-реоанимаций результатов математического моделирования сложных технических объектов и физических процессов в сплошных средах и представляет собой практический опыт построения стереоанимаций для конкретных устройств, которыми располагает ИПМ им. М.В. Келдыша РАН. Первый тип устройства представляет собой 3Б проекционную стереосистему для показа стереопрезентаций, обучающих приложений, графики и фильмов. Включает графическую станцию, проекционную подсистему из двух проекторов (со специализированным экраном), акустическую систему. Данная система является классической стереографической системой с использованием двух проекторов, экрана и очков линейной поляризации.
Второй тип устройства представляет собой автостереоскопический монитор Бтепсо БМ654МЛ8. Автостереоскопические мониторы обеспечивают показ стереоизображений без необходимости отслеживать позицию наблюдателя, то есть, нет необходимости подстраивать оборудование в зависимости от положения наблюдателя - как правило, такие мониторы позволяют наблюдать стереоизоб-
ражения, обеспечивая несколько фиксированных сегментов в пространстве для наблюдения, причем зритель может перемещаться из одного сегмента в другой, получая возможность рассматривать демонстрируемый объект в 3Б с различных углов зрения. Принцип работы автостереоскопического - это использование параллаксных перегородок или линз Френеля, установленных за защитным стеклом экрана.
Когда голова наблюдателя находится в определенной позиции перед автостереоскопическим монитором, его правый и левый глаз получают различные изображения (стереопара). Таким образом, создается убедительная иллюзия 3Б глубины.
Рис. 5. Сравнение технологий параллаксных перегородок и линз Френеля для показа 3Б изображений в автостереоскопических мониторах
Для визуализации расчетов в объемном виде на данных устройствах нами были использованы несколько методов.
4 Метод «облета камеры» при
использовании угловой стереобазы
При создании стереопар, требуемых для кадров стереоанимации, используется либо линейное, либо угловое смещение камеры, то есть линейная или угловая стереобаза. В большинстве случаев для визуализации результатов расчетов необходимо рассмотреть объект визуализации с разных сторон, поэтому для этих целей наиболее подходящим является метод «облета» камеры вокруг объекта, то есть угловая стереобаза.
Практически любая CAD-система позволяет визуализировать трехмерный объект с заданными координатами положения по отношению к пользователю. Поэтому задача сводится к построению последовательности изображений CAD модели с зафиксированной осью Z, проходящей через ее геометрический центр, и смещением на определенный угол. После каждого такого смещения проводится рендеринг модели, позволяющей достичь фотореалистичности, и сохранение результата в виде графического файла в высоком разрешении. Для левого стереоканала устанавливалась начальная позиция, отличающаяся от правого стереоканала на угол, определяющий параллакс, и позволяющая добиться объемности объекта в результирующем стереофильме. Данный метод привлекателен еще и тем, что для статической модели, то есть с неизменной геометрией и цветовым распределением, возможно повторное использование уже рассчитанных кадров, например, если для левого стереоканала мы используем 1,2,3,4, ... кадры, то для правого стереоканала достаточно начать последовательность со второго или с третьего кадра (2,3,4,5, ...), автоматически обеспечивая сдвиг объекта на необходимый угол стереобазы.
Дополнительный выигрыш такого «облета камеры» состоит также в том, что имея всего 360 монокадров можно организовать зацикливание вращения объекта визуализации в объемном представлении, то есть организовать его непрерывное, сколь угодно долгое вращение, повторно демонстрируя зрителю все стороны объекта.
Рис. 6, 7. Стереопары с повторным использованием рассчитанных кадров при угловом смещении (угловая стереобаза)
Данный метод был успешно реализован при визуализации моделирования работы энергетической установки сложной формы в режиме стереоанимации как для классической стереоустановки проекционного типа, так и для визуализации на автостереоскопическом мониторе [7].
5 Использование карт глубины
При создании многоракурсного видео для автостереоскопических мониторов возникает потребность хранения большого количества данных - видеопотоков для каждого из ракурсов. Даже с учетом того, что современные методы цифрового видеосжатия позволяют эффективно учитывать временную и пространственную избыточность, объем данных при многоракурсном видео возрастет многократно. Особенно это критично для автостереоскопических мониторов.
Один из эффективных способов решения проблемы большого объема данных состоит в использовании так называемого формата 2Б+2. Любому обычному (2Б) изображению можно сопоставить информацию об удаленности каждого пиксела от наблюдателя (2-координату). Такое представление изображения называют "формат 2Б+2", а плоскость координат 2 - "картой глубины". Ее можно представить в виде монохромного изображения. В карте глубины градациями серого обозначается удалённость точек изображения от наблюдателя. То есть самая ближняя точка к зрителю станет белой, а самая дальняя - чер-
ной. На рисунке ниже показан пример оригинального изображения и его карты глубины.
Рис. 8. Оригинальное изображение и его карта глубины
Формат 2Б+2 является дальнейшим развитием концепции представления информации об изображении по компонентам. Широко известно, что и в аналоговом, и в цифровом телевидении изображение формируется из яркости и двух цветовых составляющих. Добавление карты глубины к этим составляющим, характеризующей объемность изображения, является вполне логичным развитием и вполне согласуется с принципами совместимости.
Идея, лежащая в основе построения карты глубины по стереопаре достаточно очевидна. Для каждой точки на одном изображении выполняется поиск парной ей точки на другом изображении. А по паре соответствующих точек можно определить координаты их прообраза в трехмерном пространстве. Имея же трехмерные координаты прообраза, глубина вычисляется, как расстояние до плоскости камеры.
Парную точку нужно искать на эпиполяр-ной линии [8]. Соответственно, для упрощения поиска, изображения выравнивают так, чтобы все эпиполярные линии были параллельны сторонам изображения (обычно горизонтальны).
Более того, изображения выравнивают так, чтобы для точки с координатами (х0, у0) соответствующая ей эпиполярная линия задавалась уравнением х = х0, тогда для каждой точки соответствующую ей парную точку нужно искать в той же строчке на изображении со второй камеры. Такой процесс выравнивания изображений называют ректификацией (гесййсайоп)
После того как изображения ректифицированы, выполняют поиск соответствующих пар точек. Наиболее простой метод состоит в следующем: для каждого пиксела левой картинки с координатами (х0, у0) выполняется поиск пиксела на правой картинке. При этом предполагается, что пиксел на правой картинке должен иметь координаты (х0 - ё, у0),
где d — величина называемая несоответствие/смещение (disparity). Поиск соответствующего пиксела выполняется путем вы. числения максимума функции отклика, в качестве которой может выступать, например, : корреляция окрестностей пикселей. В результате получается карта смещений (disparity map).
Значения глубины обратно пропорциональны величине смещения пикселей. Если использовать обозначения с левой половины рисунка выше, то зависимость между disparity и глубиной можно выразить следующим способом:
T-d _ Т _ fT Z-f'Zd
Это один из методов построения карты глубины.
Необходимо отметить, что данный метод при использовании его на автостереоскопическом мониторе предоставляет больше возможностей для зрителя по сравнению с обычной стереоанимацией, так как наблюдатель получает возможность рассмотреть изображение объекта под разными углами, используя логику процессора монитора.
6 Составные многовидовые кадры
Автостереоскопический монитор также обладает возможностью демонстрации объекта визуализации с использованием составного кадра, содержащего виды объекта визуализации под различными углами, образующими определенный сектор обзора. Обычно, это девять видов (см. рисунок).
Рис. 9. Составной кадр автостереоскопического монитора
При этом эти девять видов образуют восемь стереопар ([1|2], [2|3], [3|4], ..., [8|9]), и наблюдатель может обозревать только одну
из стереопар в зависимости от его положения в том или ином угловом секторе наблюдения. Перемещаясь из сектора в сектор, наблюдатель получает объемную информацию об объекте, используя все девять ракурсов, то есть, как бы оглядывая объект визуализации с разных сторон. Заметим при этом, что фактически происходит «облет камеры» вокруг объекта, и, следовательно, тот же метод уменьшения необходимого для визуализации монокадров вполне применим.
Действительно, в случае с величиной угловой стереобазы в один градус и с последовательным углом смещения вокруг оси 0Z, мы получаем, что первый кадр состоит из после -довательности ракурсов с последовательным изменением угла облета камеры:
получить сколь угодно долгое вращение объекта визуализации в многоракурсном представлении на экране автостереоскопического монитора.
Необходимо также отметить, что данный вид представления объекта визуализации в объемном виде на экране автостереоскопического монитора обеспечивает максимальное качество по сравнению с обычным стереоскопическим представлением и даже метода с использованием карт глубины, позволяя рассматривать объект в достаточно широком секторе обзора.
Данный метод визуализации был успешно реализован при моделировании работы узла лопастей сложной формы в энергетической установке [7].
1 2 3
4 5 6
7 8 9
второй кадр будет иметь вид:
2 3 4
5 6 7
8 9 10
соответственно, третий кадр будет иметь вид:
3 4 5
6 7 8
9 10 11
и так далее. Последний кадр, имеющий вид:
360 1 2
3 4 5
6 7 8
позволит зациклить последовательность ракурсов, и имея всего 360 монокадров, можно
Благодарности
Данная работа выполнена при поддержке
Российского фонда фундаментальных исследований (проекты 16-01-00553а и 17-01-00444а).
Список литературы
[1] Организация стереопредставлений в задачах синтеза фотореалистичных изображений и научной визуализации /Андреев С.В. [и др.] // Препринты ИПМ им. М.В.Келдыша. 2010. № 61. 14 с. URL: http://library.keldysh.ru/preprint.asp?id=2010-61
[2] Синтез фотореалистичных трехмерных изображений в современных системах презентаций / Андреев С.В. [и др.] // Программные продукты и системы. 2007. № 3. С. 37-40.
[3] Андреев С., Филина А. Применение стереоизображений для визуализации результатов научных вычислений / Научная визуализация. 2012. Т.4. № 1. С.12-21.
[4] Программно-аппаратный комплекс 3D презентаций на основе виртуальной студии и виртуального окружения / Ванданов В.Г. [и др.] // Труды Первой международной конференции «Трехмерная визуализация научной, технической и социальной реальности. Кластерные технологии моделирования». Ижевск. 2009. С.73-77.
[5] Меженин А.В., Тозик В.Т. 3D Визуализация с использованием эффекта стереоизображений // Труды Второй международной конференции «Трехмерная визуализация научной, технической и социальной реальности. Кластерные технологии моделирования». Ижевск. 2010.
[6] Михайлюк М.В., Хураськин И.А. Синтез стереоизображения для систем виртуальной реальности с использованием оптической трекинго-вой системы / Программные продукты и системы. 2006. № 3. С. 10-14.
[7] Моделирование и визуализация работы узла лопастей сложной формы в энергетической установке / Андреев С.В. [и др.] // Научная визуализация. 2015. Т.7. № 4. С.1-12.
[8] Калиниченко А.В., Свешникова Н.В., Юрин Д.В. Эпиполярная геометрия и оценка ее достоверности по результатам восстановления трехмерной сцены алгоритмами факторизации // Труды 16-й Международной конференции по компьютерной графике и зрению Гра-фиКон'2006.
