Технология изготовления карт глубины для неподвижных изображений Текст научной статьи по специальности «Математика»

УДК 612.843.721

с1о1:10.15217/1ззп1684-8853.2017.5.52

ТЕХНОЛОГИЯ ИЗГОТОВЛЕНИЯ КАРТ ГЛУБИНЫ ДЛЯ НЕПОДВИЖНЫХ ИЗОБРАЖЕНИЙ

Н. Н. Красильникова, доктор техн. наук, профессор

О. И. Красильниковаа, канд. техн. наук, доцент

аСанкт-Петербургский государственный университет аэрокосмического приборостроения,

Санкт-Петербург, РФ

Постановка проблемы: создание карты глубины является центральным элементом технологии конвертации двумерного изображения в стереоскопическое изображение, однако способы ее изготовления фирмами, специализирующимися в области конвертации изображений, не разглашаются. Цель исследования: разработка метода получения пространственных координат объектов, представленных на двумерных изображениях, и разработка на их основе технологии построения карты глубины. Методы: для решения поставленной проблемы были использованы законы бинокулярного зрения, методы и алгоритмы трехмерной графики, а также экспериментальные исследования. Результаты: разработана технология изготовления карт глубины, которая состоит из следующих последовательно выполняемых операций. Сначала двумерное изображения сегментируется на фрагменты простых поверхностей, аппроксимирующих объекты изображенной сцены с их последующим разделением на две группы. Затем определяются пространственные координаты каждой из аппроксимирующих поверхностей путем анализа исходного двумерного изображения. Далее, исходя из критического значения экранного параллакса, определяется оптимальное значение координаты глубины экрана, на который проецируется стереоскопическое изображение. После этого на карте глубины выполняется заливка аппроксимирующих поверхностей оттенками серого, которые определяются координатам глубины объектов. Показано, что для создания эффекта реальности изображаемой сцены необходимо, чтобы размеры проекций объектов, координаты глубины которых совпадают с координатой глубины экрана, равнялись размерам самих объектов, а это, как правило, требует применения больших экранов, расположенных на значительном удалении от зрителя. В кинотеатрах это условие выполняется, а при просмотре ЗО-фильмов на экранах 30-телевизоров нет, что приводит к возникновению эффекта театра марионеток. Практическая значимость: разработанная технология позволяет при конвертации двумерных изображений и кинофильмов в стереоскопический (30) формат создавать карты глубины на основании расчетов, избегая трудоемкого подбора параметров.

Ключевые слова — стереоскопическое изображение, карта глубины.

Введение

Проблема определения координаты глубины реального объекта, представленного на единственном двумерном изображении, возникает, в частности, при конвертации этого изображения в стереоскопический формат. Как правило, эта проблема имеет решение, что следует из повседневного жизненного опыта, в чем нетрудно убедиться. Действительно, при монокулярном наблюдении окружающего пространства легко определяются расстояния до окружающих нас объектов. Объясняется это тем, что центральная проекция наблюдаемой сцены на сетчатку глаза, как правило, содержит необходимую информацию для восстановления утраченной при проекции координаты глубины. Эта информация используется специальными зрительными механизмами, к числу которых, в частности, относятся: механизм, основанный на том, что удаленные объекты кажутся меньших размеров, чем объекты, расположенные близко; механизм, использующий свойство центральной проекции, заключающееся в том, что удаленные объекты расположены на изображении ближе к линии горизонта, чем объекты, расположенные ближе к зрителю, а также ряд других [13]. Использование этой особенности центральной

проекции позволяет восстанавливать утраченную при проецировании информацию о глубине сцены, представленной на 2Б-изображении, создавая так называемую карту глубины.

Сегментация 2D-изображения на аппроксимирующие поверхности

Карта глубины представляет собой черно-белое (grayscale) двумерное изображение силуэтов объектов исходного изображения, на котором яркость каждого из силуэтов определяет его координату глубины. Карту глубины можно рассматривать как предельный случай векторной полигональной модели ЭБ-изображения обращенных к камере оболочек объектов сцены, когда размер полигона вырождается в один пиксель. Будучи спроецированным на эти оболочки, 2Б-изображение создает виртуальную ЭБ-сцену. Таким образом, 2Б-изображение совместно с картой глубины описывают ЭБ-сцену, и хотя часто карта глубины применяется при использовании стереоскопического метода отображения трехмерного пространства, ее роль значительно шире и она имеет самостоятельное значение.

Обратим внимание также на то, что при использовании карты глубины совместно с 2Б-изображением для создания стереоскопического

ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ

(3D) изображения посредством яркости Ь каждого пикселя карты глубины представляют значение экранного параллакса р, а не самой координаты глубины:

L = А0 + Аг р/Ь,

(1)

где А и А1 — постоянные коэффициенты; Ь — расстояние между зрачками глаз зрителя (база). Экранный параллакс, однозначно связанный с координатой глубины виртуального объекта dob на 3D-изображении известным соотношением

Р =

b (dob " dsc )

(2)

АоЪ

где dsc — расстояние от зрителя до экрана, обладает тем преимуществом, что имеет более компактную шкалу значений, чем шкала координаты глубины dob [4]. При этом значения коэффициентов А0 и А1 выбирают равными А0 = 127 и А1 = -127. Таким образом:

L = 127(1 - р/Ъ)

(3)

и,соответственно:

р/Ь = 1 - L/127,

где Ь — яркость, которая представляется номером квантового уровня. При таком выборе коэффициентов Ад и А1 максимально используется диапазон яркостей карты глубины. При создании карты глубины наиболее удаленные объекты обычно относят к фону, а их экранный параллакс приравнивается значению экранного параллакса бесконечно удаленных объектов, т. е. равным базе Ь, что соответствует Ь = 0. Для наиболее близко расположенных объектов яркость на карте глубины обычно устанавливается равной уровню квантования 255.

На практике, как правило, используют приближенные карты глубины, при создании которых поверхности объектов сцены на 2D-изо-бражении аппроксимируют небольшим количеством простых поверхностей, например, плоскостей, гауссовых поверхностей, фрагментов цилиндрических поверхностей или фрагментов поверхностей эллипсоидов [5]. С этой целью исходное 2D-изображение сегментируется на фрагменты, каждый из которых представляется одной из

■ Рис. 1. Исходное 2Б-изображение (а, в) и схема, поясняющая его разделение на фрагменты аппроксимирующих

поверхностей (б, г)

■ Fig. 1. The original 2D image (а, в) and the diagram explaining its division into fragments of approximating surfac-

es (б, г)

таких поверхностей. В случае неподвижных изображений процесс этот, как правило, выполняется вручную посредством так называемого метода ротоскопирования, при котором последовательно обрисовывается каждый объект. Выделенные при этом фрагменты могут представлять собой изображения как отдельных объектов сцены, так и их групп.

Объекты сцены условно можно разделить на две группы. К первой группе относятся объекты, формирующие пространство сцены, например, стены, потолок и пол интерьера, поверхность дорожного покрытия улицы, стены стоящих по бокам домов и т. п. Особенность этих объектов заключается в том, что они имеют большую протяженность по глубине и если они аппроксимируются плоскостями, то нанесенные на них параллельные линии сходятся в точку схода при бесконечном удалении. Ко второй группе относятся объекты, заполняющие сцену, например, предметы мебели, люди, деревья, автомобили, фонарные столбы и т. д. Особенность этих объектов состоит в том, что, во-первых, они имеют небольшую протяженность по глубине и могут быть аппроксимированы фрагментами плоскостей, параллельными плоскости исходного 2D-изображения, или фрагментами плоскостей, расположенными под небольшим углом к этой плоскости, это так называемые «плоские объекты». Во-вторых, эти аппроксимирующие фрагменты плоскостей опираются на горизонтальную или близкую к ней поверхность, например, на пол помещения, на поверхность земли и т. д., а не парят в воздухе.

Отмеченная особенность объектов исходного 2D-изображения проявляется при определении координат глубины различных частей этих объектов. В первом случае всегда имеется направление, перемещение по которому, не выходя за пределы фрагмента, соответствует изменению координаты глубины представленного на 2D-изображении фрагмента сцены. Во втором случае такое направление отсутствует.

В качестве примера на рис. 1, а-г приведены исходные 2D-изображения и схемы, поясняющие их разделение на фрагменты аппроксимирующих поверхностей. На рис. 1, а объекты: пол, потолок и стены интерьера — аппроксимируются фрагментами плоскостей, которые соответствуют двум горизонтальным и трем вертикальным поверхностям сцены. На рис. 1, в объект — небосвод — аппроксимируется фрагментом сферы, а объекты поле и фигура девушки, идущей по полю, аппроксимируются фрагментами плоскостей. При этом первые два объекта являются протяженными по глубине, а третий имеет малую протяженность, это так называемый «плоский» объект.

Допустимая величина геометрических погрешностей при сегментации

Геометрические погрешности, допущенные при изготовлении карт глубины, заключающиеся в расхождении границ силуэтов с границами отображаемых ими объектов, проявляются на стереоскопических изображениях двояко. Если размеры силуэтов объектов на карте глубины превышают размеры соответствующих им объектов на 2D-изображении, то на стереоскопическом изображении узкие области пространства, окружающего такие объекты, смещаются по глубине к этим объектам, и появляются ореолы, заполненные деталями фона, на котором они наблюдаются. В противном случае если размеры силуэтов объектов на карте глубины оказываются меньше размеров соответствующих им объектов на 2D-изображении, то на стереоскопическом изображении узкие области объектов, примыкающие к их контурам изнутри, отсоединяются от них и смещаются по глубине к областям окружающего их пространства, например к фону.

Для оценки допустимого уровня погрешностей этого типа были выбраны шесть 2D-изображений различного сюжетного содержания и, соответственно, различной структуры, а также соответствующие им карты глубины. Далее карты глубины были подвергнуты следующим преобразованиям. Вначале из каждой карты глубины посредством графического редактора РИо^ЯИор были изготовлены версии, геометрические размеры которых были уменьшены в п раз, где п = 2, 4, 8, 16, 32 и 64 раза соответственно, а затем сохранены в памяти. При уменьшении линейного размера карты глубины количество отсчетов (пикселей), которым она представляется, также сокращается пропорционально величине этого уменьшения. После этого каждая из уменьшенных версий карт глубины с уменьшенным количеством отсчетов посредством этого же редактора была восстановлена до своего первоначального размера, при этом недостающие отсчеты восстанавливались редактором путем интерполяции. Описанное преобразование вносило в карты глубины погрешности, которые выражались в размытии резких световых границ. На рис. 2 приведена диаграмма, иллюстрирующая это размытие для случая п = 2. Из графика, на котором по оси ординат отложена относительная величина яркостного перепада, а по оси абсцисс — номера отсчетов, следует, что зона размытия составляет 3 отсчета.

При п = 4 зона размытия возрастает до шести отсчетов. Далее для каждой пары «2D-изображение — преобразованная карта глубины» были получены соответствующие им стереоскопические изображения в анаглифном формате.

H(k) 1,0 0,8 0,6 0,4 0,2 0

-0,2

0

Рис. 2. Иллюстрация размытия световой границы, n = 2

Fig. 2. Illustration of the blurring of the light edge for the case, when n = 2

Зависимость относительного количества P правильных решений зрителя для разных значений кратности изменения размеров карты глубины n Dependence of the relative number P of correct decisions of the viewer for different values of the multiplicity of the change in the size of the depth map n

n P при времени наблюдения

10 с 20 с

2 0,5108 0,538833

4 0,5922 0,6075

8 0,6443 0,685167

16 0,7543 0,751833

32 0,8105 0,825167

64 0,7933 0,819667

Естественно, что чем в большее количество раз при описанных выше преобразованиях уменьшаются размеры карты глубины, тем большие геометрические погрешности она содержит и, соответственно, тем больший уровень искажений возникает в стереоскопическом изображении, которое получается с использованием этой карты глубины.

Для оценки величины геометрических погрешностей, допущенных при изготовлении карты глубины, приводящих к заметным зрительным искажениям на стереоскопическом изображении, было разработано специальное приложение, посредством которого на экран монитора для просмотра выводились одновременно два стереоскопических изображения в анаглифном формате: эталонное, полученное с использованием неискаженной карты глубины, и искаженное, полученное с использованием карты глубины, содержащей геометрические искажения. Зритель при выполнении эксперимента рассматривал и сравнивал между собой оба стереоскопических изображения через анаглифные очки. Перед выводом стереоскопических изображений на экран зрителю сначала предъявлялись «стирающие», шумовые изображения. При выводе эталонного и искаженного изображений на экран их взаимное расположение (справа, слева) было случайным, неизвестным зрителю. Время предъявления изображений для их сравнения при выполнении эксперимента устанавливалось на один из интервалов, которые равнялись 10 и 20 с соответственно, после чего оба изображения с экрана удалялись.

Задача зрителя состояла в определении, какое из двух предъявленных изображений, правое или левое, имеет более высокое качество, т. е. является эталонным. В зависимости от принятого решения зритель должен был нажать одну из кнопок, расположенных в нижней части окна приложения, соответственно, справа или слева.

С каждой парой стереоскопических изображений (эталонное — искаженное) зритель выполнял по 20 сравнений, при этом приложение автоматически вычисляло относительное количество Р правильных решений зрителя и выводило эту величину на экран. Полученные данные записывались экспериментатором. В экспериментах приняли участие 11 человек. В таблице приведены результаты измерений, усредненные по шести изображениям и 11 зрителям.

Из таблицы видно, что при п = 2 зрители не отличают стереоскопические изображения, полученные при использовании искаженной карты глубины, у которой зона размытости световых границ составляет 3 отсчета (пикселя), от стереоскопических изображений, которые получены с использованием неискаженной карты глубины. Из этого следует, что в качестве максимально приемлемой геометрической погрешности при изготовлении карт глубины можно рекомендовать погрешность +2 пикселя. Анализ карт глубины, опубликованных в Интернете, дает примерно такое же значение геометрической погрешности.

Определение пространственных координат аппроксимирующих поверхностей и выбор координаты глубины экрана

Для определения пространственных координат и размеров объектов, представленных на исходном 2Б-изображении, необходимо знание фокусного расстояния объектива камеры, которой сделано это изображение.

Фокусное расстояние объектива определяет его поле зрения и в простейшем случае может быть прочитано на его корпусе. При этом следует иметь в виду, что фокусное расстояние, обозначенное на корпусе объектива камеры, приведено к изображению размером 36 х 24 мм. При использовании изображений, предварительно

Плоскость экрана

Объектив

sPrl

f

dob1-

sob2

_dob2"

Рис. 3. Модель камеры с передней плоскостью изображения и два объекта в виде отрезков прямых, расположенные в координатной плоскости yz, расстояние между которыми известно

Fig. 3. The camera model with front image plane and two objects in the form of straight lines located in a coordinate plane yz, the distance between which is known

увеличенных в К раз, необходимо использовать эффективное фокусное расстояние, увеличенное в это же число раз.

Если фокусное расстояние камеры, посредством которой получено 2D-изображение, не известно, его следует определить по самому изображению. Это можно сделать, если на изображении имеются по крайней мере два объекта, опирающихся на горизонтальную поверхность, например на дорожное покрытие, для которых известны размеры и расстояние между ними по глубине Дd. Примером могут служить фотографии, на которых представлено 2D-изображение городской улицы с автомобилями, трамваями, зданиями и другими объектами, имеющими заметную протяженность в направлении всех трех координат, которую можно приближенно оценить. Поясним сказанное рис. 3, на котором представлена модель камеры с передней плоскостью изображения и два объекта в виде отрезков прямых длиной воМ и воЬ2, расположенных в координатной плоскости yг, расстояние между которыми известно и равно Дd:

Ad = dob2 - dobl>

(5)

где dob1, dob2 — координаты глубины этих объектов. Для определения координат глубины в рассматриваемом случае составим очевидные пропорции

воЬ1 _ 4зЬ1 .

ьрг1

/

sob2 _ dob2 f

(6)

(7)

spr2

где spr1 и spr2 — проекции объектов. Решая со-

*pr2

вместно уравнения (5)-(7), находим значение фокусного расстояния камеры

Линия

горизонта

0 /

dh

yob2 .................dob2

Уо d0

У

Рис. 4. Исходное 2Б-изображение, на котором показана система координат x, y и положение линии горизонта Fig. 4. The original 2D image, which shows the coordinate system x, y and the position of the horizon line

/ =-

spr2

Ad

sob2

1 -

soblspr2 sob2sprl

Y

(8)

Обратим внимание, что в данном случае найдено эффективное фокусное расстояние камеры, при этом координаты глубины объектов находятся как

dobl = f dob2 =f

sobl . ;

sprl

sob2 spr2

(9) (10)

Границы исходного 2D-изображения, его система координат x, у и положение на нем линии горизонта показаны на рис. 4. Кроме того, на рисунке использованы следующие обозначения: координата глубины линии горизонта dh, координата глубины ближайшей к камере части горизонтальной поверхности d0, на которой расположены объекты, а также координата глубины одного из объектов, в данном случае dob2.

Нетрудно видеть, что координата у любого точечного объекта на 2D-изображении и его координата глубины d в отображаемом пространстве связаны соотношением

d =

ypdp У

(11)

Другими словами, координата глубины изменяется обратно пропорционально координате у, благодаря чему на фотографии железнодорожного пути рельсы, оставаясь прямыми, сходятся на

У

z

x

горизонте в точку. Величина d0 находится путем подстановки в формулу (11) значений doЪ2 и уоЪ2 и решения получившегося уравнения относитель-

но d0:

dn =

УоЪ2^оЪ2

Уо

Таким образом, полученная формула позволяет определить координату глубины любого объекта путем подстановки в нее координаты точки опоры его на горизонтальную поверхность у. Размеры объектов находятся по формуле

sob =

spr^ob

/

После того как определены координата глубины, соответствующая нижней границе изображения d0, и положение линии горизонта, координата глубины которой dh ^ю, следует перейти к выбору расстояния до экрана (координаты глубины экрана), на который будет выводиться стереоскопическое изображение, dg0. При выборе расстояния от зрителя до экрана dsc потребуем, чтобы при воспроизведении стереоскопического изображения отсутствовали бы такие неприятные артефакты, как ощущение дискомфорта,

двоение изображения и пр. [6]. Для этого, как было показано в работе [7], необходимо, чтобы координаты глубин объектов, воспроизводимых

в виртуальном пространстве, не выходили за пределы интервала — dmax:

dm

1 +

dsc tg

ar

1 -

dsc tg

(12)

(1Э)

где |аог| — абсолютная величина критического значения углового размера экранного параллакса [7, 8]. На рис. 5 в виде кривых приведены зависимости граничных значений dmin и dmax от dsc для двух значений |аог|, равных 17 и 40 соответственно.

Из рассмотрения графика на рис. 5 следует, что чем более жесткие требования предъявляются к стереоскопическому изображению в отношении возникновения артефактов в виде ощущений дискомфорта и двоения изображения, выражающиеся в уменьшении критического значения экранного параллакса, тем большее следует выбирать расстояние до экрана d . Беглый анализ

■ Рис. 5. Зависимости граничных значений dmin и dmax от dsc для двух значений |acr|, равных 17 и 40' соответственно

■ Fig. 5. Dependences of the boundary values dmin and dmax on dsc for two values of | acr | equal to 17 and 40' respectively

3D-фильмов показал, что в большинстве случаев их создатели ориентируются на значения |асг| < < 40 угл. мин, хотя встречаются значения, доходящие до 120 угл. мин и более [7, 8].

При выборе расстояния до экрана необходимо обеспечить представление на стереоскопическом изображении заднего плана с минимальными искажениями по глубине. Учитывая изложенное, потребуем, чтобы координата глубины dmax равнялась бы координате глубины линии горизонта dh, т. е. чтобы

^max _ dh,

(14)

при этом по определению dh^ю. Решая совместно (13) и (14) относительно dsc с учетом того, что dh ^ю, находим

dsc = Ь/ tg|.

(15)

Значение dmin получим путем подстановки найденного значения d в формулу (12), что дает

^min _ dsc/2.

(16)

После этого необходимо проверить, попадает ли в интервал допустимых значений координата глубины нижней части изображения d0 путем ее сравнения с координатой глубины dmin. В случае, если окажется, что d0 < dmin, необходимо либо отказаться от конвертации всего изображения в 3D-формат, «отрезав» его нижнюю часть, либо сознательно пойти на искажения правильной передачи его глубины.

Перейдем теперь к определению экранного параллакса, для чего обратимся к формуле (11). Учитывая, что d0 = dmin, а dmin согласно (16), равно d / 2, запишем

dob =

yods< 2 у

(17)

Делая подстановку dob в формулу (2) и решая получившееся уравнение относительно экранного параллакса, запишем

р = Ъ

\ _ 2у_ ^ Уо

(18)

Таким образом, величина экранного параллакса по мере перемещения от линии горизонта в сторону нижней границы изображения линейно изменяется от максимального положительного значения Ь до максимального по абсолютной величине отрицательного значения Ь. Из этого следует, что плоскость, на которой расположены объекты исходного изображения, на карте глубины может быть залита посредством ли-

нейной градиентной заливки, при этом яркость линии горизонта должна быть представлена нулевым (или близким к нулю) уровнем квантования, а яркость нижней границы карты глубины — уровнем квантования 255 (или близким к нему).

Заливка аппроксимирующих поверхностей

После разделения 2D-изображения на аппроксимирующие поверхности следует приступить к заливке выделенных контурами областей. Начинать надо с протяженных объектов, для которых делается градиентная заливка. Например, в случае изображения, показанного на рис. 1, в, следует сделать линейную градиентную заливку фрагмента плоскости, которым аппроксимируется поле, и радиальную градиентную заливку фрагмента сферы, которым аппроксимируется небосвод. При этом целесообразно минимальную яркость взять равной или близкой нулевому уровню квантования по яркости, а максимальную — равной или близкой 255-му уровню квантования по яркости. Такой выбор обеспечит максимальное количество уровней квантования экранных параллаксов. После заливки выделенных фрагментов поверхностей, аппроксимирующих протяженные объекты, следует перейти к заливке фрагментов поверхностей, аппроксимирующих «плоские» объекты. Как правило, это вертикально ориентированные объекты, например, люди, столбы, деревья и т. д. Особенность их заливки заключается в том, что яркость силуэта заливаемой фигуры должна совпадать с яркостью поверхности, на которой эта фигура стоит. На рис. 1, в таким фрагментом является выделенная контуром фигура девушки, идущей по полю, которая аппроксимируется плоскостью. На рис. 6 показана

Рис. 6. Карта глубины изображения, приведенного на рис. 1, в, после заливки Fig. 6. The depth map of the image shown in Fig. 1, в, after the filling

карта глубины изображения, представленного на рис. 1, в, после заливки.

Конвертация 2D-изображения в 3D-формат и представление стереоскопических изображений на малом экране

Заключительным этапом подготовки к конвертации 2Б-изображения в ЗБ-формат является перевод всех найденных ранее размеров из единиц длины в количество пикселей. В результате предыдущих расчетов была получена формула (18), представляющая зависимость величины экранного параллакса р от координаты у для горизонтальной поверхности, на которой стоят объекты сцены, например поверхности земли:

р = Ъ

Уо

В этой формуле значения переменных в ее правой части известны и представлены в единицах длины, а следовательно, и рассчитанное по этой формуле значение экранного параллакса также выражается в этих же единицах, например в метрах, где Ь = 0,065 м. Однако реально на экране компьютера имеется изображение, представленное в виде матрицы пикселей, размеры которого определены числом строк и числом пикселей в строке. Поэтому всю дальнейшую обработку изображения и, в частности, установку экранных параллаксов необходимо выполнять, используя в качестве единицы измерения количество пикселей. При этом величина экранного параллакса р и базы Ь также должны быть представлены количеством пикселей. Для этого необходимо определить значение базы также в пикселях Ьпк. С этой целью вначале определяется ширина 2Б-изображения в пикселях на экране монитора ппк. Затем определяется ширина ю0 ближайшей к камере части сцены, отображаемой на 2Б-изображении, в метрах, что, как правило, несложно сделать, ориентируясь на размеры знакомых объектов. Принимая во внимание, что, согласно (18), при у = у0 экранный параллакс р = - Ь, составим очевидную пропорцию

Ь

откуда

ь = Ъ^,

(19)

Полученный результат следует округлить. И, наконец, необходимо определить геометрические размеры проекции на экран конвертируе-

мого 2Б-изображения, а также его карты глубины, полагая, что d0 = dmin.

Размеры объектов, приведенные к экрану, определяются путем изменения масштаба исходного 2Б-изображения в К0 раз:

к0 - ^с//,

(20)

где f — эффективное фокусное расстояние.

Для того чтобы для зрителя виртуальное 3Б-пространство, создаваемое стереоскопическим изображением, было бы не отличимо от реального 3Б-пространства, необходимо отсутствие конфликта между зрительными механизмами, посредством которых зрительная кора оценивает его глубину. Если это условие не обеспечивается, возникают различного рода артефакты. Один из таких артефактов возникает, когда размер изображения, выводимого на экран, не соответствует тому, который бы должен быть. Проиллюстрируем это следующим примером.

Известно, что при наблюдении сцены, содержащей объекты, размеры воЪ которых знакомы зрителю, одним глазом, зрительная система без труда оценивает их удаленность doЪ, основываясь на размере их проекций врг на сетчатку глаза и фокусном расстоянии оптики глаза f:

аоЬ =

"рг

В случае наблюдения стереоскопического изображения двумя глазами зрительной системе по-прежнему известны 8рг, Однако в этом случае зрительная система приоритет отдает данным d

оЪ'

полученным посредством бинокулярного зрения на основании определения параллакса. Поскольку при этом оценка координаты глубины механизмом зрения, основанным на оценке масштаба проекции, и механизмом стереоскопического зрения различаются, то зрительная кора устраняет это расхождение, принимая результаты оценки первым механизмом недостоверными и «назначая» объекту другой размер, равный

воЬ =

/ '

Применительно к наблюдению стереоскопического изображения на малом экране, соответственно в уменьшенном масштабе, зритель увидит объекты в уменьшенном размере, а глубину сцены сокращенной, т. е. возникает эффект театра марионеток. С этим случаем мы встречаемся при наблюдении стереоскопических изображений на экранах 3Б-телевизоров. Выходом из создавшегося положения может служить применение 3Б-очков (по существу, стереоскопов), в ко-

торых посредством специальной оптики достигается эффект демонстрации стереоскопических изображений на большом экране в необходимом масштабе [9].

Заключение

Методы получения и демонстрации 3Б-изо-бражений являются одним из направлений интенсивного развития информационных технологий. Следует отметить, что стереоскопический формат демонстрации 3Б-изображений хотя и обладает рядом существенных недостатков, тем не менее применяется в настоящее время, поскольку для его реализации созданы сравнительно несложные устройства отображения. Можно предположить, что следующим этапом развития технологии демонстрации 3Б-изображений будет переход от стереоскопического метода демонстрации 3Б-изображений к голографическому методу, свободному от недостатков стереоскопического метода, однако в настоящее время трудно

Литература

1. Красильников Н. Н. Метод формирования ЭБ-изображения сцены по одной фотографии // Информационно-управляющие системы. 201Э. № Э. С. 2-7.

2. Красильников Н. Н., Красильникова О. И. Метод конвертации 2Б-изображения в стереоскопическое ЭБ-изображение // Оптический журнал. 2014. № 2(82). С. 20-28.

3. Красильников Н. Н., Красильникова О. И. Определение координаты глубины по 2Б-изображению // Оптический журнал. 2011. № 12(78). С. Э0-ЭЭ.

4. Красильников Н. Н., Красильникова О. И. Методы конвертации 2Б-изображений и видео в стереоскопический формат // Информационно-управляющие системы. 2015. № 5. С. 18-25. doi:10.15217/ issn1684-8853.2015.5.18

5. Пат. 2600524 РФ. Способ конвертации 2Б-изобра-жения в квазистереоскопическое ЭБ-изображение/ Красильников Н. Н., Красильникова О. И. (РФ). — № 2014129256; заявл. 15.07.2014; зарегистр. 29.09.2016.

6. Почему от ЭБ болит голова. Ч. 4. Параллакс // https://geektimes.ru/post/ 248970/ (дата обращения: 05.01.2017).

оценить время появления голографических дисплеев, поскольку их разработка связана с большими технологическими трудностями.

Обращаясь к области применения 3Б-изо-бражений и видео, заметим, что она не ограничивается развлекательной индустрией. Эти технологии уже сейчас используются для 3Б-визуа-лизации и реконструкции предметов культурного наследия. Они могут быть также применены для релаксации экипажей, работающих в замкнутых пространствах, например, экипажей космических кораблей, атомных подводных лодок и т. п., где клаустрофобия является одним из факторов, ограничивающих допустимое время работы [10-12].

Естественно также ожидать, что появление технологии 3Б-изображений в конечном итоге приведет к возникновению нового вида искусства со своими приемами подачи идей, подобно тому, как изобретение братьев Люмьер привело к появлению искусства кинематографии, которое отличается от театрального искусства.

7. Красильников Н. Н. Влияние расстояния наблюдения на глубину пространства, воспроизводимую стереоскопическим изображением // Оптический журнал. 2016. № 8(8Э). С. 68-76.

8. Красильников Н. Н., Красильникова О. И. Исследование критического значения экранного параллакса //Информационно-управляющие системы. 2016. № 2. С. 19-25. doi:10.15217/issn1684-8853. 2016.2.19

9. Портал для избранных. Oculus Rift Беуе1орте^ Kit 2. http://www.hi-fi.ru/magazine/ video/ portal-dlya-izbrannykh-oculus-rift-development-kit-2-/ (дата обращения: 05.01.2017).

10. Клаустрофобия. Причины, симптомы и признаки, лечение, профилактика патологии. http://www. polismed.com/articles-klaustrofobija-prichiny-simptomy-i-priznaki-lechenie-profilaktika-patologii. html (дата обращения: 10.04.2017).

11. Константинов А. Как подводники выдерживают трехмесячное пребывание под водой. http://www. online812.ru/2010/07/29/007/ (дата обращения: 10.04.2017).

12. Приложение к статье «Проблемы редактирования ЭБ-изображений и видео». http://cv.guap.ru/ krasilnikov_nn/files/pril007 (дата обращения: 09.04.2017).

UDC 612.843.721

doi:10.15217/issn1684-8853.2017.5.52 Technology of Making Depth Maps for Still Images

Krasilnikov N. N.a, Dr. Sc., Tech., Professor, [email protected] Krasilnikova O. I.a, PhD, Tech., Associate Professor, [email protected]

aSaint-Petersburg State University of Aerospace Instrumentation, 67, B. Morskaia St., 190000, Saint-Petersburg, Russian Federation

Introduction: The creation of a depth map is a central element in the technology of converting a two-dimensional image into a stereoscopic one, but the companies specializing in image conversion never disclose their depth map manufacturing methods. Purpose: We need to develop a method of obtaining spatial coordinates of objects presented on two-dimensional images in order to use them for the development of a depth map construction technology. Methods: To solve the problem, we used the binocular vision laws, methods and algorithms of three-dimensional graphics, and experimental studies. Results: We have developed a technology of depth map production which consists of the following sequentially executed operations. First, a two-dimensional image is segmented into fragments of simple surfaces which approximate the objects of the scene and subsequently divide them into two groups. Then, the spatial coordinates of each of the approximating surfaces are determined by analyzing the original two-dimensional image. Further, proceeding from the critical value of the on-screen parallax, the optimal value is determined for the depth coordinate of the screen onto which a stereoscopic image is projected. After this, on the depth map the approximating surfaces are filled with shades of gray which are determined by the depth coordinates of the objects. It is shown that to create the effect that the depicted scene is real, it is necessary that the sizes of the projections of the objects whose depth coordinates coincide with the depth coordinate of the screen are equal to the sizes of the objects themselves, and this, as a rule, requires the use of a large screen located at a considerable distance from the viewer. This condition is satisfied in cinemas, but not when watching a 3D movie on a 3D-TV screen, which leads to the puppet-theater effect. Practical relevance: In the conversion of two-dimensional images and film files into a stereoscopic (3D) format, the developed technology allows you to create depth maps on the base of calculations, avoiding laborious selection of parameters.

Keywords — Stereoscopic Image, Depth Map.

References

1. Krasilnikov N. N. The Method of Generating a 3D-Image Scene Based on a Single Photograph. Informatsionno-uprav-liaiushchie sistemy [Information and Control Systems], 2013, no. 3, pp. 2-7 (In Russian).

2. Krasilnikov N. N., Krasilnikova O. I. The Method of Converting a 2D Image into a Stereoscopic 3D Image. Opticheskii zhurnal [Journal of Optical Technology], 2014, no. 2(81), pp. 68-74 (In Russian).

3. Krasilnikov N. N., Krasilnikova O. I. Determining the Depth Coordinate from a 2D Image. Opticheskii zhurnal [Journal of Optical Technology], 2011, no. 12(78), pp. 787789 (In Russian).

4. Krasilnikov N. N., Krasilnikova O. I. Methods of Converting 2D Images and Videos into Stereoscopic Format. Infor-matsionno-upravliaiushchie sistemy [Information and Control Systems], 2015, no. 5(78), pp. 18-25 (In Russian). doi:10.15217/issn1684-8853.2015.5.18.

5. Krasilnikov N. N., Krasilnikova O. I. Sposob konvertacii 2D-izobrazhenija v kvazistereoskopicheskoe 3D-izobrazhenie [The Method of Converting a 2D Image into a Quasi-stereoscopic 3D Image]. Patent RF, no. 2600524, 2016.

6. Pochemu ot 3D bolit golova. Ch. 4. Parallaks [Why Headache from 3D. Part 4. Parallax]. Available at: https://geek-times.ru/post/ 248970/ (accessed 05 January 2017).

7. Krasilnikov N. N. Effect of Viewing Distance on Spatial Depth Reproduced by a Stereoscopic Image. Opticheskii

zhurnal [Journal of Optical Technology], 2016, no. 8(83), pp. 502-507 (In Russian).

8. Krasilnikov N. N., Krasilnikova O. I. Study of Critical Values of On-Screen Parallax. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2016, no. 2, pp. 1925 (In Russian). doi:10.15217/issn1684-8853.2016.2.19

9. Portal dlia izbrannykh. Oculus Rift Development Kit 2 [The Portal for the Elite. Oculus Rift Development Kit 2]. Available at: http://www.hi-fi.ru/magazine/video/portal-dlya-iz-brannykh-oculus-rift-development-kit-2-/ (accessed 05 January 2017).

10. Klaustrofobiia. Prichiny, simptomy i priznaki, lechenie, pro-filaktika patologii [Claustrophobic. Causes, Symptoms and Signs, Treatment, Prevention of Disease]. Available at: http://www.polismed.com/articles-klaustrofobi-ja-prichiny-simptomy-i-priznaki-lechenie-profilaktika-pa-tologii.html_(accessed 10 April 2017).

11. Konstantinov A. Kak podvodniki vyderzhivaiut trekhmesi-achnoe prebyvanie pod vodoi [How do Submariners Survive a Three-Month Stay under Water]. Available at: http://www. online812.ru/2010/07/29/007/ (accessed 10 April 2017).

12. Prilozhenie k stat'e «Problemy redaktirovaniia 3D-izo-brazhenii i video» [The Appendix to the Article «Problems of Editing 3D Images and Video»]. Available at: http://cv. guap.ru/krasilnikov_nn/files/pril007 (accessed 09 April 2017).