CC BY
99
УДК 004.5, 004.946
В.В. Диковицкий, А.А. Менькова
Институт информатики и математического моделирования технологических процессов Кольского НЦ РАН
ПОВЫШЕНИЕ КАЧЕСТВА ВИЗУАЛИЗАЦИИ СТЕРЕОИЗОБРАЖЕНИЙ ЗА СЧЁТ ИЗМЕНЕНИЯ УГЛА КОНВЕРГЕНЦИИ
Аннотация
В статье описаны методики создания и представления стереоизображений. Рассмотрен метод представления трехмерного изображения, при котором пользователю будет доступна возможность изменения объекта фокусировки (точки пересечения зрительных осей) путем автоматизированного изменения угла конвергенции. Представлены результаты экспериментальной проверки работы метода.
Ключевые слова:
виртуальная реальность, стереопара, бинокулярное зрение, конвергенция, зрительные оси.
V.V. Dikovitskiy, A.A. Menkova
IMPROVING QUALITY OF VISUALIZATION OF STEREO IMAGES BY CHANGING THE CONVERGENCE ANGLE
Abstract
The article describes methods of creating and presenting stereoscopic images, the method of representing three-dimensional image, in which the user will be available to the possibility of changing the focus of the object (the point of intersection of the visual axis) by automated change the convergence angle, experimental results of the method.
Keywords:
virtual reality, stereo pair, binocular vision, convergence, visual axis.
Введение
В настоящее время все более широкое применение находят технологии виртуальной, расширенной реальности, дистанционного присутствия. Данные технологии используются, например, в авиационных тренажерах, в медицинских хирургических системах, в обучении, производстве и других областях. В России ежегодно в результате несчастных случаев на производстве гибнут тысячи людей, сотни тысяч получают производственные травмы. По данным Росстата за 2015 год численность пострадавших с утратой трудоспособности на 1 рабочий день и более и со смертельным исходом составила 28240 человек [1]. Одним из способов предупреждения несчастных случаев является внедрение на производство средств автоматизации, в частности, устройств удаленного присутствия. Отличительной характеристикой таких устройств являются высокое качество передаваемого видеоряда вкупе с высокой скоростью передачи. Однако, в большинстве опасных для жизни производственных ситуаций немаловажным условием является возможность передачи глубины
изображения. В работе рассматриваются методики создания стереоизображений, возможность их использования в устройствах удаленного присутствия.
Имитация человеческого зрения
Восприятие пространства является необходимой способностью человека. Без этой способности безопасное взаимодействие с окружающим миром станет затруднительным. Человек воспринимает величину и форму предметов, их объемность, глубину пространства. Оценка величины предмета напрямую зависит от расстояния до него [8]. Если это расстояние оценить трудно, то велика вероятность ошибки. Оценить расстояние до предмета и глубину пространства можно как с помощью монокулярного зрения (один глаз), так и с помощью бинокулярного (два глаза). Аккомодация хрусталика глаза играет большую роль при оценке с помощью монокулярного зрения. Согласно книге Д. Хьюбелла «Глаз, мозг, зрение» аккомодация - это сокращение цилиарной мышцы внутри глаза. Оно вызывает округление хрусталика при рассматривании близких предметов. За счет этого рассматриваемый предмет становится четче. Для того, чтобы воспринимать глубину пространства с помощью бинокулярного зрения, существует следующий механизм. Изображение рассматриваемого предмета с точки зрения каждого глаза попадает на сетчатку соответствующего глаза в так называемых корреспондирующих точках. Для того, чтобы изображения попали именно в эти точки, существует конвергенция и дивергенция. Конвергенция - это сведение зрительных осей, глазные яблоки поворачиваются навстречу друг другу (рис. 1). Дивергенция является обратным процессом, зрительные оси разводятся в стороны [2].
Методы создания объемных изображений
Большинство методов создания объемных изображений основаны на принципе раздельного просмотра - каждому глазу демонстрируется свое изображение. Подобная пара изображений называется стереопарой, а ее создание - стереосъемкой. Чтобы получить стереопару нужно снять объект с разных точек. Существуют методы, в которых используется многоракурсная
Близкий предмет
(Удаленный предмет
Рис. 1. Конвергенция, дивергенция и аккомодация
съемка. Задача всех методов стереосъемки - получить пару или серию изображений, на которых наблюдается параллакс. Параллакс - это смещение рассматриваемого объекта, вызванное изменением точки наблюдения. Количество фотографий зависит от того, как в дальнейшем будет проводиться обработка изображений и какой из методов используется для демонстрации стереоизображения. Чаще всего используется две точки съемки, по положению имитирующие расположение глаз человека. Расстояние между точками съемки левого и правого кадра называется базисом стереосъемки или просто стереобазисом. Величина стереобазиса напрямую зависит от расстояния до нужного объекта сцены. Если это расстояние находится в диапазоне от трех до пяти метров, то можно за величину стереобазиса взять расстояние между человеческими глазами, а именно 65-70 мм. Если же необходимо показать объем более дальнего объекта, то, соответственно, необходимо увеличить базис съемки. Примерно базис съемки можно рассчитать по данной формуле:
Б=0.03*Б, (1)
где Б - базис стереосъемки;
Б - расстояние до ближайшего объекта сцены.
Коэффициент 0,03 продиктован углом схождения зрительных осей 1-2°, благодаря которому обеспечиваются наиболее оптимальные условия для наблюдения стереоэффекта [3].
Существует два способа, которыми можно выполнить стереосъемку: направленный и параллельный. При направленном методе съемки камеры расположены под определенным углом друг к другу, направлены на главный объект сцены, таким образом, моделируют конвергенцию глаз человека. Это позволяет получить готовую стереопару практически без дополнительной обработки изображений. Но существует ряд проблем в применении данного метода. Во-первых, технически сложной задачей является точная установка камер. Во-вторых, объекты на заднем плане будут сильно смещены относительно друг друга, что помешает нормальному восприятию этих объектов и вызовет дискомфорт. В-третьих, самая нежелательная проблема, которая может возникнуть, это искажения объектов. Например, квадрат в перспективе изображается в виде трапеции. При съемке направленным методом на снимке с одной камеры большей стороной этой видимой трапеции окажется одна сторона, тогда как на другом снимке ею окажется противоположная сторона фигуры. Также неизбежно возникновение вертикального параллакса. Все перечисленное может вызвать неприятные ощущения при просмотре.
При использовании параллельного метода камеры, очевидно, располагаются параллельно друг другу. Техническая реализация данного метода не является сложной задачей. Но параллельный метод также обладает рядом недостатков. Во-первых, при просмотре стереопары следует выполнить компенсационный сдвиг изображений так, чтобы главный объект сцены не двоился. Данный объект будет казаться удаленным на расстоянии носителя. Тогда объекты, которые находились на сцене позади и впереди него, на изображении будут казаться углубленными в изображение и выступающими соответственно относительно главного объекта. Но смещение изображений займет дополнительное время. Также, после выполнения сдвига, часть изображения по горизонтали теряется, объемной будет только та часть, которая попала в зону пересечения изображений стереопары. Если не сдвигать
изображения, тогда все объекты будут казаться выступающими относительно дальнего фона картинки, который не будет двоиться. Чаще всего большинство людей выбирают параллельный метод без компенсационного сдвига.
Методы представления стереоизображений
Методы параллельного и перекрестного взгляда. Данные методы позволяют наблюдать стереоэффект без использования дополнительных приспособлений, а с помощью дивергенции и конвергенции зрительных осей (рис. 2, 3). При использовании параллельного метода следует фокусироваться на точке дальше изображения, при использовании перекрестного - на точке перед изображением.
Рис. 2. Метод параллельного взгляда, фокусировка дальше изображения
Г \ Л ' V
-
Рис. 3. Метод перекрестного взгляда, фокусировка перед изображением
Оба метода имеют существенный недостаток - при просмотре быстро утомляются глаза.
Метод зеркального разделения изображений. В данном методе одно из изображений стереопары зеркально отражается по горизонтали, а между изображениями на уровне глаз устанавливается зеркало, повернутое отражающей стороной к перевернутому изображению. Взгляд при этом обращается к зеркалу (рис. 4). Недостаток метода заключается в том, что человеку необходимо находиться максимально близко к экрану, либо использовать зеркало большего размера.
Рис. 4. Метод зеркального разделения изображений
Анаглифный метод создания и демонстрации стереоизображений -это метод, при применении которого имеющиеся изображения стереопары кодируют двумя противоположными цветами, например, красным и голубым. Одно изображение пропускают через красный фильтр, тем самым удаляют голубой цвет, второе изображение пропускают через голубой фильтр, удаляя красный цвет. Из полученных изображений получают стереопару, которую можно просматривать через очки с фильтрами используемых дополнительных цветов (рис. 5).
Рис. 5. Анаглифный метод
Самым большим преимуществом анаглифного метода является его простота и низкая стоимость. Создание анаглифных очков не является технически сложной задачей, также существует множество программ, в том числе и бесплатных, используя которые, можно составить из двух изображений единую стереопару. Также нет необходимости использовать какое-либо специфическое оборудование для воспроизведения, подойдет любой экран и даже бумага. У данного метода имеются довольно значительные недостатки: теряются некоторые цвета, изображение кажется немного блеклым, некоторые другие цвета становятся наоборот подчеркнутыми и неестественными. Это приводит к тому, что у зрителя быстро устают глаза.
Затворный метод или метод временного разделения ракурсов. Этот метод основан на попеременном затемнении с высокой частотой левого и правого стекол очков. Одновременно на экран выводят правое и левое изображение соответственно. В итоге каждый глаз видит предназначенное ему изображение. За счет эффекта инерции зрения создается иллюзия трехмерного изображения. Стекла очков жидкокристаллические и темнеют при подаче напряжения. Основными недостатками метода являются быстрая утомляемость глаз, раздвоение объектов, передвигающихся с высокой скоростью (необходимость увеличения частоты кадров), ослабление светового потока (необходимость повышения яркости). В основе технологий XpanD и nVidia 3D Vision лежит метод временного разделения ракурсов.
Поляризационный метод. При использовании метода поляризации два изображения накладываются друг на друга на один экран через поляризационные фильтры в проекторах. Эти фильтры расположены под углом 90 градусов друг к другу. При этом необходимо использование специального посеребрённого экрана, который позволяет избежать деполяризации и компенсировать потерю яркости. Для наблюдения стереоэффекта в данном случае потребуются очки, в которые также встроены ортогональные поляризационные фильтры. Каждый фильтр пропускает часть световых волн, чья поляризация соответствует поляризации фильтра. Недостатком данного метода является то, зритель должен держать голову на одном уровне, не допускается наклон головы, иначе эффект теряется.
Стереоочки с многополосными фильтрами. Данная технология основана на использовании дополнительных цветных фильтров в обтюраторе кинопроектора. Помимо стандартных фильтров красного, зеленого и синего цветов используют светофильтры тех же цветов, но имеющих другой спектральный диапазон пропускания. Очки, также оснащены светофильтрами, пропускающими спектральные полосы основных цветов, причём фильтры для разных глаз имеют разные полосы пропускания для красного, зелёного и синего цветов, создавая при этом одинаковое зрительное ощущение от цветного изображения за обоими стёклами. Для данной технологии не требуется особый экран, как при использовании поляризационного метода [4].
Виртуальный шлем, очки виртуальной реальности - это устройство, состоящее из пластикового корпуса, линз, экрана, разделенного на две части и гироскопа. Объемное изображение создается за счет демонстрации двух ракурсов - по одному на каждый глаз.
Повышение качества визуализации стереоизображений за счёт изменения угла конвергенции
Представленные методы не допускают просмотр видеоряда в реальном времени с возможностью фокусировки на нескольких планах снимаемой сцены. Далее рассмотрен метод представления трехмерного изображения, при котором пользователю будет доступна возможность изменения объекта фокусировки (точки пересечения зрительных осей) путем автоматизированного изменения угла конвергенции. Результатом применения метода является представление трехмерного изображения с возможностью изменения объекта фокусировки.
Существует два способа достижения поставленной цели. Первый из них заключается в изменении угла конвергенции за счет изменения положения в пространстве снимающего устройства - сведение-разведение видеокамер, транслирующих видеоряд, в зависимости от расстояния до объекта фокусировки. Второй способ заключается в программном смещении заранее снятых параллельно стереопар в транслирующем устройстве, например, в очках виртуальной реальности (рис. 6).
Рис. 6. Способы экспериментальной проверки технологии искусственной конвергенции-дивергенции
Для проверки работоспособности и сравнении двух подходов был проведен эксперимент, в ходе которого были отсняты параллельным методом сферические стереофотографии как в помещении, так и вне оного. Лабораторный стенд для проведения эксперимента состоит из следующих устройств: очки виртуальной реальности Oculus Rift для просмотра стереопар, две широкоугольные камеры Mobius ActionCam для трансляции видеоряда в реальном времени, фотоаппарат для съемки стереофотографий.
Качественным показателем работы метода является наличие эффекта присутствия при смене объекта фокусировки. Количественным показателем работы метода служит время комфортного просмотра стереопанорам и видеоряда при изменении объекта фокусировки.
Для проведения эксперимента была выбрана группа из 5 человек, находящихся в возрастной категории 23-48 лет.
Были выбраны следующие расстояния для расположения объектов, на которых осуществлялось сведение зрительных осей камер, либо смещение изображений:
• близкий объект - 0-1 м;
• среднеудаленный объект - 1-5 м;
• дальний объект - 5 и более метров.
Результаты проведения эксперимента указаны в табл. 1. Результаты указаны в формате «время комфортного просмотра в очках виртуальной реальности в минутах/оценка расстояния (возможно или нет)».
Таблица 1
Результаты экспериментальной проверки конвергенции и дивергенции
зрительных осей камер
Близкий Среднеудаленный Дальний
Участник 1 3/да 4/да 5,5/нет
Участник 2 4/да 4,5/да 6/нет
Участник 3 3,5/да 3/да 4/да
Участник 4 5/да 5/да 5/нет
Участник 5 4/да 4,5/да 4/да
В среднем время комфортного пребывания в очках виртуальной реальности составило 13 минут.
Таблица 2
Результаты экспериментальной проверки смещения параллельно снятых ракурсов стереопары относительно друг друга
Близкий Среднеудаленный Дальний
Участник 1 7/да 5/да 5,5/нет
Участник 2 6/да 7/да 6,5/нет
Участник 3 7,5/да 6/да 4/да
Участник 4 5/да 5,5/да 7/нет
Участник 5 8/да 7/да 5,5/да
В среднем время комфортного пребывания в очках виртуальной реальности составило 18,5 минут.
Применение данного метода позволит реализовать комфортное восприятие человеком стереовидеоряда для различно удаленных от камер объектов. Достоинством технологии является возможность индивидуальной настройки угла конвергенции при просмотре стереовидеоряда. Однако следует отметить необходимость автоматизации учета фактического направления
зрительных осей человека, например, путем измерения расстояния до снимаемого объекта. В дальнейшем планируется реализация программными и аппаратными средствами возможности изменения положения зрительных осей в зависимости от измеренного расстояния до объекта.
Заключение
В данной работе описаны особенности работы человеческого зрения. Проведен анализ существующих методов создания и представления стереоизображений. Описан метод представления трехмерного изображения, позволяющий изменять объект фокусировки за счет конвергенции зрительных осей. Экспериментальная проверка описываемого метода показала возможность увеличения времени комфортного пребывания в очках виртуальной реальности, а также возможность адаптивного представления видеоряда для создания объекта присутствия для объектов различной удаленности.
Литература
1. Федеральная служба государственной статистики. Условия труда.
- Режим доступа: http://www.gks.ru/wps/wcm/connect/rosstat main/rosstat/ru/statistics/wages/working_conditions/
2. Хьюбел Д. Глаз, мозг, зрение: Пер. с англ. - М.: Мир, 1990. - 239 с. ISBN 5-03-001254-0.
3. CPU3D.com Расчет параметров стереосъемки.
- Режим доступа: http://cpu3d.com/movies/racchet-parametrov-stereosemki/
4. Стереоарт. Способы просмотра стереоизображений.
- Режим доступа: http://www.stereoart.ru/pg.php?page=paperIp0014.html
5. Беклемишев Н.Д. Оценка среднего параллакса стереоизображений / Н.Д. Беклемишев // Препринты ИПМ им. М.В. Келдыша, 2016. -№ 88. - 12 с.
6. Форсайт, Д.А., Понс, Ж. Компьютерное зрение. Современный подход: Пер. с англ. /Д.А. Форсайт, Ж. Понс. -М.:Издательский дом «Вильямс», 2004.
- 928 с.
7. Воронин, В.В. Разработка и исследование алгоритма вычисления карты глубины стереоизображения / В.В. Воронин // Известия ЮФУ. Технические науки. 2013. - С.58-66.
8. Механизмы сознания и существования. Зрительная система человека.
- Режим доступа: http://cyber-ek.ru/reading/ps-seeing.html
Сведения об авторах
Диковицкий Владимир Витальевич - младший научный сотрудник,
е-mail: dikovitsky@gmail.com
Vladimir V. Dikovitsky - junior researcher
Менькова Анастасия Александровна - инженер-исследователь,
е-mail: AMenkova@iimm.ru
Anastasia A. Menkova - research engeneer
