CC BY
22
УДК 612.843.721
doi:10.15217/issnl684-8853.2018.1.11
ПРОБЛЕМА СОВМЕСТИМОСТИ СИСТЕМ ТЕЛЕВИЗИОННОГО ВЕЩАНИЯ 20 И 30 И МЕТОД ЕЕ РЕШЕНИЯ
Н. Н. Красильникова, доктор техн. наук, профессор, [email protected] О. И. Красильникова3, канд. техн. наук, доцент, [email protected] аСанкт-Петербургский государственный университет аэрокосмического приборостроения, Б. Морская ул., 67, Санкт-Петербург, 190000, РФ
Постановка проблемы: внедрение систем 30 телевизионного вещания в настоящее время затормозилось отсутствием совместимого формата телевизионного вещания, который позволил бы передачу ЗО-контента смотреть на 20-телевизорах в формате 20. С экономической точки зрения важно, чтобы любой создаваемый телевизионный контент, в том числе фильмы, всевозможные передачи, реклама и т. д., был доступен для просмотра на экранах любых телевизоров, как 20, так и 30. Цель исследования: поиск принципа построения алгоритма обработки стереоскопического изображения для совместимого формата. Методы: решение проблемы базируется на учете свойств зрения человека, на методах конвертации 20-изображений в 30, компрессии изображений, а также большом объеме экспериментальных измерений, выполненных с группой зрителей, которым предъявлялись для наблюдения стереоскопические изображения, синтезированные при различных форматах передачи, для определения заметности возникающих при этом искажений. Результаты: разработан принцип построения совместимого формата для 30 телевизионного вещания. В рамках этого формата в качестве основного передается левый компонент изображения стереопары, но при этом малая часть времени передачи кадра, что соответствует малой площади передаваемого изображения, отводится для передачи сигнала, содержащего информацию, которая, используя левый компонент, позволяет сформировать правый компонент стереопары. В качестве такого сигнала используются пиксели карты экранных параллаксов, передача которых растягивается на 3-4 кадра. В 30 телевизионном приемнике из этих пикселей методом интерполяции нулевого порядка восстанавливаются карты экранных параллаксов, используя которые совместно с левыми компонентами стереопары, можно синтезировать недостающие правые компоненты стереопар, обеспечивая воспроизведение стереоизображения. Телевизионные приемники 20 просто ограничиваются воспроизведением левого компонента стереопары. Практическая значимость: разработка принципа построения совместимого формата 30 телевизионного вещания позволяет многократно сократить трудоемкость разработки соответствующих стандартов.
Ключевые слова — стереоскопическое изображение, совместимость, карта экранных параллаксов.
Цитирование: Красильников Н. Н., Красильникова О. И. Проблема совместимости систем телевизионного вещания 2D и 3D и метод ее решения // Информационно-управляющие системы. 2018. № 1. С. 11-20. doi:10.15217/issn1684-8853.2018.1.11 Citation: Krasilnikov N. N., Krasilnikova O. I. Providing Compatibility for 2D and 3D Television Broadcasting Systems. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 1, pp. 11-20 (In Russian). doi:10.15217/issn1684-8853. 2018.1.11
Введение
Дальнейшее развитие и внедрение систем 3Б телевизионного вещания тормозится нерешенностью проблемы их совместимости с существующими системами 2Б телевизионного вещания. В настоящее время форматы ЛпашогрЬ SideBySide (анаморфная горизонтальная стереопара) и ЛпашогрИ OverUnder (анаморфная вертикальная стереопара) являются стандартами 3Б телевизионного вещания. При использовании этих форматов оба изображения стереопары записываются в одном файле. При этом площадь, отводимая для передачи одного кадра в системе 2Б телевизионного вещания, в системе 3Б телевизионного вещания делится поровну между левым и правым изображениями стереопары, которые располагаются рядом вплотную друг к другу в одном кадре [1].
При передаче 3Б телевизионного изображения с использованием формата ЛпашогрИ SideBySide левый компонент стереопары располагается слева, а правый — справа, при этом обе картинки сжимаются в горизонтальном направлении в два раза так, что получившаяся в результате картинка принимает размер стандартного кадра, например 1920 х 1080. Вследствие этих преобразований каждое изображение стереопары выглядит вытянутым в вертикальном направлении, а разрешение каждого ракурса в горизонтальном направлении уменьшается в два раза. На рис. 1, а в качестве примера приведено такое изображение. При просмотре 3Б телевизионного изображения с использованием этого формата выполняются обратные преобразования, а именно, суммарная картинка растягивается по горизонтали в два раза и разделяется на два изображения стереопары — левое и правое, и затем они выводятся на экран од-
■ Рис. 1. Вид изображения на экране 2Б-телевизора при просмотре передачи с использованием формата Anamorph SideBySide (а) и Anamorph OverUnder (б)
■ Fig. 1. The image on the 2D TV screen when viewing the transmission using the format Anamorph SideBySide (а) and Anamorph OverUnder (б)
ним из известных способов. В случае телевизоров с чересстрочной поляризацией (LG Cinema 3D) использование этого формата приводит к потере разрешения в два раза не только в вертикальном, но и в горизонтальном направлении. В телевизорах с затворными очками использование этого формата приводит к потере разрешения в два раза только в горизонтальном направлении.
При передаче 3D телевизионного изображения с использованием формата Anamorph OverUnder левый ракурс кадра располагается вверху, а правый внизу. Обе картинки сжимаются в вертикальном направлении в два раза, при этом получившаяся в результате картинка принимает размер стандартного кадра, например 1920 х 1080. Вследствие этих преобразований каждое из изображений стереопары оказывается вытянутым
в горизонтальном направлении, а их разрешение в вертикальном направлении уменьшается в два раза (рис. 1, б). При просмотре 3Б телевизионного изображения с использованием этого формата выполняются обратные преобразования: результирующая картинка растягивается по вертикали в два раза и разделяется на левое и правое изображения стереопары, которые выводятся на экран.
Таким образом, современные стандарты 3Б телевизионного вещания имеют два очень серьезных недостатка. Во-первых, при реализации любого из них имеет место уменьшение разрешения каждого из изображений стереопары по крайней мере в два раза. Во-вторых, и это наиболее существенно, при передаче 3Б телевизионной программы по каналу ее нельзя смотреть на
2Б-телевизоре, так как на его экране будет отображаться сдвоенное изображение. В результате возникает замкнутый круг. С одной стороны, экономически нецелесообразно наполнять рынок ЭБ-телевизорами, так как в настоящее время практически полностью отсутствуют телевизионные передачи в ЭБ-формате. С другой стороны, даже несмотря на наличие ЭБ-контента, экономически невыгодно осуществлять телевизионное вещание в формате ЭБ, поскольку у населения очень мало ЭБ-телевизоров. В связи с этим компании, выпускающие ЭБ-телевизоры, например Phillips, Sony, LG, Samsung и др., либо сильно сокращают их выпуск, либо прекращают совсем [2]. Выходом из сложившейся ситуации являются разработка и внедрение совместимого формата телевизионного вещания, при использовании которого можно будет не только по-прежнему смотреть на экранах ЭБ телевизоров 2Б-контент в формате 2Б, но и смотреть на экранах 2Б-телевизоров ЭБ-контент в 2Б-формате. Сложившаяся ситуация стимулировала исследования и разработки совместимых форматов [3-5].
Совместимый формат 3D телевизионного вещания
Принципиальная возможность разработки такого формата следует из того, что изображения стереопары мало различаются между собой, поскольку их съемка производится из близко расположенных точек пространства. Поэтому, разрабатывая совместимый формат, за основу можно взять одно из изображений стереопары, например левое, а правое изображение стереопары фор-
мировать из левого, корректируя его сигналом разницы между левым и правым изображениями, поскольку резонно ожидать, что малое различие между изображениями стереопары может быть представлено малым цифровым потоком. Дальнейшие экспериментальные исследования подтвердили это предположение. Исходя из изложенного в простейшем случае совместимый формат 3Б телевизионного вещания может быть следующим. За основу берется один из форматов, принятых в цифровых системах телевизионного вещания, и в рамках этого формата почти полностью передается левый компонент изображения стереопары, и лишь незначительная часть времени, отведенная на его передачу, расходуется на передачу сигнала, содержащего информацию о разнице между левым и правым изображениями. Эксперименты показывают, что эта часть составляет всего несколько процентов от длительности передачи кадра, а следовательно, от площади левого компонента изображения. При этом изображение на экране 2Б-телевизора будет иметь вид, показанный на рис. 2.
При использовании описываемого формата в случае наблюдения на 2Б-телевизорах 3Б-контента зрители будут видеть левое изображение стереопары, у которого незначительная часть кадра, например расположенная в его нижней части, будет зашторена, так как эта площадь кадра отведена для передачи информации о разнице между левым и правым изображениями. Предварительные эксперименты с аудиторией зрителей показали, что потери полезной площади кадра порядка 5 % ими практически не замечаются. Возможны и другие варианты включения в кадр информации о разнице между левым
■ Рис. 2. Вид изображения на экране 2Б-телевизора при просмотре передачи с использованием 3D совместимого формата
■ Fig. 2. The image on the 2D TV screen when viewing the transmission using a 3D compatible format
и правым изображениями. При таком подходе, по сравнению с форматами 3D Tile Format и 3DZ Tile [3-6], обеспечивается более высокое разрешение как 2D-, так и 3D-изображения. При этом пикселей в кадре оказывается в 2,14 раза больше.
Рассмотрим возможные варианты представления информации, необходимой для синтеза правого компонента стереопары при использовании в качестве опорного левого компонента стереопары.
1. В виде разности компонентов стереопары:
AL(k, n) = LIl(k, n) - LJJz, n),
где L^k, n) — правый компонент стереопары; L^(k, n) — левый компонент стереопары; k — номер строки; n — номер столбца.
2. В виде карты глубины (карты экранных параллаксов): как известно, координата глубины dob и величина экранного параллакса p связаны соотношением
_ Ь (dob - dsc)
где b — расстояние между зрачками глаз зрителя (база); dsc — расстояние от зрителя до экрана, поэтому карта глубины элементарно преобразуется в карту экранных параллаксов. Тем не менее предпочтение следует отдать карте экранных параллаксов, поскольку при равномерной шкале квантования, которая имеет место при цифровом представлении информации о глубине, она оказывается лучше согласована с разрешением зрения по координате глубины, чем карта глубины.
При выполнении работы были исследованы оба варианта представления и, следовательно, передачи информации о различии между компонентами стереопары.
Первый вариант заключался в вычислении «разностного изображения» путем вычитания из правого изображения стереопары левого изображения стереопары и дальнейшей его компрессии путем преобразования в формат JPEG при различных значениях качества q (Quality), что, соответственно, приводило к получению различных степеней сжатия. При этом в компрессируемое разностное изображение вносились искажения, поскольку используемый метод компрессии является методом с потерями информации. После этого «разностное изображение» восстанавливалось в формате BMP. Затем с использованием левого изображения стереопары в качестве опорного и «разностного изображения» восстанавливалось правое изображение стереопары. Таким образом, изготавливались группы искаженных стереопар.
Второй вариант заключался в вычислении карты экранных параллаксов (векторов смеще-
ний) с последующим ее сжатием при использовании для этой цели, помимо записи в формат JPEG, еще двух методов компрессии с потерями информации. В первом случае сжатие цифрового потока, представляющего карту экранных параллаксов, достигалось уменьшением количества двоичных разрядов кода на пиксель, которое в конечном итоге приводило к уменьшению количества уровней квантования, а следовательно, и к менее точной передаче информации о глубине. Во втором случае сжатие цифрового потока, представляющего карту экранных параллаксов, достигалось уменьшением плотности отсчетов на карте экранных параллаксов, которое влекло за собой размытие границ представленных на ней объектов.
Естественно, что при использовании метода сжатия с потерями информации возникают погрешности при восстановлении стереопары, однако до определенного уровня они не приводят к заметным для зрителей искажениям стереоскопических изображений. Целью описываемых ниже исследований было определение экспериментальным путем такой величины компрессии, при которой эти искажения можно еще считать для зрителя незаметными. Для проведения исследований были отобраны 3Б-изображения различного сюжетного содержания и различной структуры.
Методика выполнения эксперимента со зрителями
Для определения допустимой величины компрессии цифрового потока, которым передается информация о различии между компонентами стереопары, независимо от того, делается это посредством «разностного изображения» или карты экранных параллаксов, было разработано специальное приложение, благодаря которому на экран для просмотра одновременно выводились два стереоскопических изображения в анаглиф-ном формате: эталонное, при формировании которого компрессия не применялась, и изображение, содержащее искажения. При формировании последнего цифровой поток, которым передается информация о различии между компонентами стереопары, подвергался компрессии. На рис. 3 приведено изображение интерфейса этого приложения. При выполнении эксперимента зритель рассматривал и сравнивал между собой оба стереоскопических изображения через анаглифные очки с красно-голубыми фильтрами.
Зритель ранжировал сравниваемые изображения, т. е. определял, какое изображение, справа или слева, имеет более высокое качество, т. е. является эталонным, и в зависимости от принятого
ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ
Рис. 3. Интерфейс приложения для ранжирования стереоскопических изображений зрителями Fig. 3. The interface of the application used to rank stereoscopic images by viewers
решения нажимал специальные кнопки, расположенные в нижней части окна приложения, соответственно справа и слева. Перед выводом стереоскопических изображений на экран зрителю предъявлялись стирающие шумовые изображения, а при выводе расположение эталонного и искаженного изображений (справа, слева) делалось случайным, неизвестным зрителю. Время предъявления изображений для их сравнения при выполнении эксперимента могло быть устанавлено на один из следующих интервалов: 1, 2, 3, 5, 10, 15 и 20 с, — после чего оба изображения с экрана исчезали. С каждой парой стереоскопических изображений (эталонное — искаженное) зритель выполнял заданное экспериментатором количество сравнений, при этом приложение автоматически вычисляло относительное количество правильных решений и выводило эту величину на экран. Полученные данные записывались экспериментатором в таблицу. Данный метод оценки качества 3Б-изображений, по сравнению с использованными для аналогичных целей и описанными в работах [7-11], обладает тем достоинством, что в нем оценка дается самим зрителем.
Результаты экспериментальных исследований
Метод передачи разности компонентов стереопары
Для оценки ожидаемой относительной величины цифрового потока п) / Ьп(!г, п), которым может быть представлена разность компонентов стереопары, был поставлен эксперимент,
при выполнении которого для семи стереопар были изготовлены разности левого и правого компонентов. Далее динамический диапазон каждой разности был ограничен интервалом от -127 до 127 квантовых уровней, а получившийся сигнал центрирован относительно 127-го уровня квантования, т. е. вычислялся сигнал
ALn (k, n) = АL(k, n)/2 +127.
Далее этот сигнал, как уже было сказано, подвергался компрессии путем преобразования в формат JPEG при различных значениях качества q, и, соответственно, при этом получались различные степени сжатия. Величина сжатия в значительной степени зависела от структуры сжимаемого изображения. На этапе компрессии в сигнал вносились искажения, поскольку использовался алгоритм компрессии с потерями информации.
На следующем этапе обработки выполнялась декомпрессия сигнала ALN(k, n), а затем восстановление сигнала AL(k, n):
AL (h, n ) = 2 [A Ln (k, n )-127].
Затем восстанавливался правый компонент стереопары путем прибавления к левому компоненту сигнала разности:
Ln {k, n ) = Ьл {k, n ) + A L {k, n ).
Полученная таким образом стереопара предъявлялась зрителю одновременно с исходной стереопарой на предмет обнаружения различий
Р
0,75
0,50
0 5 10 15 20 25 K
■ Рис. 4. Зависимость вероятности p, с которой зритель обнаруживал искажения на изображении, от величины компрессии K при длительности наблюдения 10 с
■ Fig. 4. Dependence of the probability p with which the viewer detected distortions in the image on the value of compression K at the observation time 10 s
в соответствии с описанной выше методикой. На рис. 4 приведена усредненная зависимость вероятности, с которой зритель обнаруживал изображение, полученное рассматриваемым способом, в зависимости от величины компрессии K, имеющей место при используемом параметре q.
При вычислении этой зависимости усреднение производилось по результатам экспериментальных исследований, выполненных 12 зрителями с семью изображениями. Зрители отмечали, что искажения на стереоскопических изображениях проявлялись в виде постороннего шума, а также в размытии границ на мелких объектах. Из экспериментов следует, что уже при малых величинах компрессии, например K = 3,9, в 58 % случаев зрители оценивали преобразованное рассмотренным способом стереоизображение как изображение худшее, чем исходное.
Метод передачи карты экранных параллаксов с использованием формата JPEG
Для оценки ожидаемой величины цифрового потока, которым может быть представлена карта экранных параллаксов при использовании для этой цели формата JPEG, был поставлен эксперимент, при выполнении которого были отобраны шесть 2Б-изображений различного сюжетного содержания и различной структуры, а также соответствующие им карты экранных параллаксов. Далее каждая из карт экранных параллаксов была подвергнута сжатию путем ее записи в файл в формате JPEG при опциях q = 0 и q = 1, а затем «разжатию» с записью в файл в формате BMP. В результате такого преобразования в карты экранных параллаксов были внесены искажения (шум преобразования), величина которых была тем выше, чем выше степень сжатия. Величина сжатия файла карты экранных параллаксов при этом определялась как отношение размера файла карты экранных параллаксов в формате BMP к размеру файла карты экранных параллаксов в формате JPEG. Обработанные та-
ким образом карты экранных параллаксов были использованы для конвертации каждого из шести 2Б-изображений в соответствующие им стереоскопические изображения в анаглифном формате. Кроме стереоскопических изображений, полученных описанным способом, были также изготовлены эталонные стереоскопические изображения с использованием карт экранных параллаксов, не подвергавшихся операции сжатия.
В результате обработки данных эксперимента было найдено, что при компрессиях, усредненные значения которых по шести изображениям составляли К =73 и К = 71, что соответствовало значениям параметра # = 0 и q=1, вероятность, с которой зритель обнаруживал изображение, полученное рассматриваемым способом, усредненная по результатам экспериментов, выполненных 12 зрителями с шестью изображениями, составила р = 0,613 (д = 0) и р = 0,622 = 1) при времени наблюдения 10 с.
Метод сжатия карты экранных параллаксов путем сокращения количества разрядов кода
Для оценки ожидаемой относительной величины цифрового потока, которым может быть представлена карта экранных параллаксов, был поставлен эксперимент, при выполнении которого были отобраны шесть 2Б-изображений и соответствующих им карт экранных параллаксов.
Далее карты экранных параллаксов были проквантованы на 2, 4, 8, 16, 32 и 64 уровня яркости с использованием равномерной шкалы квантования, после чего для каждой пары «2Б-изображение — проквантованная карта экранных параллаксов» были получены соответствующие им стереоскопические изображения в анаглифном формате. Естественно, что чем на меньшее количество уровней была прокванто-вана карта экранного параллакса, тем больший уровень искажений возникал в стереоскопическом изображении, которое было получено с ее использованием, поскольку при этом с большей погрешностью представлялось расположение объектов по дальности. Полученная таким образом стереопара предъявлялась зрителю одновременно с исходной стереопарой в целях обнаружения различий в соответствии с описанной выше методикой. На рис. 5, а приведена усредненная зависимость вероятности, с которой зритель обнаруживал изображение, полученное рассматриваемым способом, в зависимости от величины компрессии К, имеющей место при используемом количестве уровней квантования. При вычислении этой зависимости усреднение производилось по результатам экспериментов, выполненных 11 зрителями с шестью изображениями.
Обращает на себя внимание то, что уже при пяти разрядах кода, что соответствует К = 1,6,
а) p
0,75
0,50
2
""1
J
' 01 234 567 8 K
б) p
0,75
0,50 Ei 4
16
64 256 1024 K
■ Рис. 5. Зависимость вероятности p, с которой зритель обнаруживал искажения на изображении, от величины компрессии K за счет сокращения количества разрядов кода (а) и плотности отсчетов (б): кривая 1 и кривая 2 соответствуют длительности наблюдения 10 и 20 с соответственно
■ Fig. 5. Dependence of the probability p with which the viewer detected distortions in the image on the value of compression K by reducing the number of bits of code (a) and the sample density (б): curve 1 and curve 2 correspond to observation durations of 10 s and 20 s respectively
более 60 % зрителей замечают разного рода артефакты (см. также [12, 13]).
Метод сжатия карты экранных параллаксов путем сокращения плотности отсчетов
Для оценки ожидаемой относительной величины цифрового потока, которым может быть представлена карта экранных параллаксов при методе сокращенной плотности отсчетов, был поставлен эксперимент, при выполнении которого были отобраны шесть 2Б-изображений различного сюжетного содержания и различной структуры, а также соответствующие им карты глубины.
С картами экранных параллаксов в этом эксперименте были выполнены следующие преобразования. Вначале из каждой карты посредством графического редактора Adobe PhotoShop были изготовлены версии, размеры которых были уменьшены в 2, 4, 8, 16 и 32 раза. При уменьшении линейного размера карты экранных параллаксов количество отсчетов, которым она представляется, уменьшается пропорционально квадрату величины этого уменьшения, т. е. происходит сжатие цифрового потока, которым она представляется. Затем каждая из уменьшенных версий карт экранных параллаксов посредством этого же редактора была восстановлена до своего первоначального размера, при этом недостающие отсчеты восстанавливались путем интерполяции.
После этого для каждой пары «2Б-изображе-ние — преобразованная карта экранных парал-
лаксов» были получены соответствующие им стереоскопические изображения в анаглифном формате. Естественно, что чем меньшим количеством отсчетов представляется карта экранных параллаксов, тем больший уровень искажений возникает в стереоскопическом изображении, которое получается с использованием этой карты.
Полученная таким образом стереопара предъявлялась зрителю одновременно с исходной стереопарой в целях обнаружения различий в соответствии с описанной выше методикой. Время предъявления изображений для их сравнения при выполнении эксперимента ограничивалось одним из следующих интервалов, которые устанавливались перед началом эксперимента: 1, 2, 3, 5, 10 и 20 с. На рис. 5, б приведены зависимости вероятности, с которой зритель обнаруживал изображение, полученное рассматриваемым способом, от величины компрессии К. В эксперименте приняли участие 10 зрителей.
На рис. 6, в отличие от рис. 5, б, представлена зависимость вероятности, с которой зритель обнаруживал изображение, полученное рассматриваемым способом, но от времени наблюдения для различных величин компрессии. При выполнении этого эксперимента приняли участие 10 зрителей. При рассмотрении графиков рис. 6 обращает на себя внимание тот факт, что при малых значениях времени наблюдения вероятности р оказываются близкими к 0,5, т. е. зритель не замечает искажений в стереоскопическом изображении, которые обусловлены погрешностями карты экранных параллаксов. Этот феномен объясняется тем, что для определения глубины любой точки на стереоскопическом изображении необходимо, чтобы зрительная система произвела хотя бы одну саккаду, на которую затрачивается время около 0,2-0,3 с [14-17]. Для обнаружения искажений при передаче глубины в стереоскопическом изображении необходимо несколько сак-кад, чтобы можно было сравнить между собой пе-
0,75 0,50 0,25
1 \ 34
. - - 51 2
3 4 5
6
9 t, с
■ Рис. 6. Зависимость вероятности p, с которой зритель обнаруживал искажения на изображении, от длительности наблюдения при величинах компрессии K, равных 4 (кривая 1), 16 (кривая 2) и 64 (кривая 3)
■ Fig. 6. The dependence of the probability p, with which the viewer detected distortions in the image on the duration of the observation at the compression values K: 4 (curve 1 ), 16 (curve 2) and 64 (curve 3)
редачу глубины различных частей изображения, на что и затрачивается 2-4 с.
Результаты исследований влияния уменьшенного пространственного и временного разрешения карты глубины на итоговый коэффициент сжатия приведены в работе [18].
Анализ полученных результатов
Проанализируем полученные экспериментальные результаты исходя из того, что требуется разработать формат представления контента, обеспечивающий совместимость 2D- и 3Б-систем телевизионного вещания, и сформулируем предъявляемые к нему требования. Создаваемый формат должен обеспечивать возможность просмотра 3D-контента на 2D-телевизорах в 2D-формате, а на 3D-телевизорах — 2D-контента в формате 2D. Кроме того, поскольку в настоящее время у населения уже имеется небольшое количество 3D-телевизоров, желательно также обеспечить возможность смотреть 3D-контент в новом формате на этих телевизорах путем применения несложных перекодирующих приставок. Будем иметь в виду, что поскольку компрессия для передачи парного компонента стереопары в том или ином виде необходима, то для ее реализации желательно не применять сложные алгоритмы компрессии. Отметим также, что для того, чтобы затраты полезной площади кадра, используемой для передачи информации о различии между левым и правым изображениями стереопары, не превышали 5 %, величина компрессии должна быть не менее 20 при незаметности ее последствий для зрителя.
Рассматривая результаты экспериментов по определению вероятности, с которой зритель обнаруживает изображение, полученное рассматриваемым способом, мы сразу же должны отказаться от метода передачи разности компонентов стереопары по причине малой степени компрессии даже при использовании для ее реализации формата JPEG, которая в среднем при q = 0 составляет K = 3,9, что недостаточно. Вторая причина, делающая нежелательным применение этого метода, состоит в использовании сравнительно сложного алгоритма компрессии.
Далее мы вынуждены также отказаться от применения метода передачи карты экранных параллаксов путем сокращения количества разрядов кода. Из экспериментов следует, что для того, чтобы вероятность, с которой зритель обнаруживает изображение, полученное рассматриваемым способом, была меньше 0,6, необходимо карту глубины передавать, используя для этой цели не менее пяти двоичных единиц кода, что соответствует компрессии K = 1,6.
Обращаясь к методу передачи карты экранных параллаксов с использованием формата JPEG, укажем его один, но существенный недостаток, а именно сложность алгоритма компрессии, хотя требованию обеспечения необходимой величины компрессии он удовлетворяет. Следует сказать, что применение этого алгоритма компрессии непосредственно к передаче парного компонента стереопары также обеспечивает требования совместимости, но тоже нежелательно вследствие сложности алгоритма. Отметим, что такие и аналогичные методы сжатия с потерями описаны, например, в работах [19, 20].
Таким образом, для рассмотрения остается метод передачи карты экранных параллаксов путем сокращения плотности отсчетов. Достоинством этого метода является простота декодирования сигнала, представляющего карту экранных параллаксов, которое по существу может быть сведено к интерполяции нулевого порядка, при его способности обеспечить необходимую степень компрессии, как это следует из графиков, представленных на рис. 5, б и 6. Более того, данный метод позволяет растянуть формирование карты экранных параллаксов в 3D телевизионном приемнике на несколько кадров (см. рис. 6), передавая отсчеты группами по k отсчетов, где k = m/n, m — количество отсчетов в карте экранных параллаксов, n — количество кадров, необходимое для передачи всей карты экранных параллаксов. В данном случае важно, чтобы время передачи этих n кадров не превышало 3-4 с, в течение которых зритель, как это следует из графика на рис. 6, не успевает заметить искажения, обусловленные погрешностями представления карты экранных параллаксов.
Заключение
Завершая изложение полученных результатов, отметим, что выполненные исследования, несмотря на их предварительный, оценочный характер, разрешают существенно сократить объем дальнейшей работы по созданию совместимого формата телевизионного вещания, позволяющего на 2D-телевизорах смотреть 3D-контент в 2D-формате, а на 3D-телевизорах — 2D-контент в формате 2D, исключив из дальнейшего рассмотрения целый ряд неперспективных, но весьма трудоемких для исследования методов передачи информации о недостающем компоненте стереопары. Действительно, для получения одной точки на любом из приведенных в статье графиков было выполнено более 1000 замеров.
Следует также отметить, что предлагаемый метод передачи карты экранных параллаксов, заключающийся в передаче ее в течение ряда кадров, по-
зволяет, помимо решения поставленной проблемы создания совместимого формата телевизионного вещания, решить еще одну проблему совместимости, а именно, обеспечить возможность просмотра передач в новом стандарте на 3Б-телевизорах, которые в настоящее время хотя и в небольшом количестве,
Литература
1. Форматы 3D. http://3d-roliki.ru/formati-3d/ (дата обращения: 25.11.2017).
2. 3D технологиям в телевизорах пришел конец. http:// nig.mirtesen.ru/blog/ 43919072251/3D-tehnologiyam-v-televizorah-prishel-konets (дата обращения: 25.11.2017).
3. 3D Tile Format and 3DZ Tile Format Implementation Notes. http://www.sisveltechnology.com/ files/2013/ 3dtv/3D-3DZ-Tile-Format-implementation-notes.pdf (дата обращения: 25.11.2017).
4. Sisvel Technology и Triaxes Vision представляют универсальный формат 3DZ Tile. https://triaxes. com/downloads/info-3dz-tile-ru.pdf (дата обращения: 25.11.2017).
5. Томской компанией Triaxes Vision разработан новый универсальный 3D-формат. https://sdelanounas. ru/blogs/21419/ (дата обращения: 25.11.2017).
6. Visintinh F. How does Sisvel Technology's 3D Tile Format Work? http://www.sisveltechnology.com/ files/2013/3dtv/SPECIALReportAugust2012.pdf (дата обращения: 25.11.2017).
7. Боков А. А. Методы объективной оценки качества видео, конвертированного в стереоформат// Материалы XXII Междунар. науч. конф. студентов, аспирантов и молодых ученых «Ломоносов-2015», Москва, 13-17 апреля 2015 г. М., 2015. С. 11-14.
8. Ватолин Д. С., Боков А. А., Фёдоров А. А. Тенденции изменения технического качества стереокино — 5 лет после «Аватара»// Мир техники кино. 2015. № 3(9). С. 17-28.
9. Ватолин Д. С., Боков А. А. Переход индустрии 3D-фильмов к конвертации и методы оценки ее качества // Мир техники кино. 2016. № 3 (10). С. 1423.
10. Kakaletsis E., and Nikolaidis N. A Technique for Fake 3D (2D-to-3D Converted) Video Recognition // Proc. 23rd European Signal Processing Conf. (EUSIPCO). Nice, 2015. P. 106-109.
но имеются у населения. Для этого можно создать сравнительно несложные индивидуальные приставки, посредством которых сигнал нового совместимого формата будет перекодироваться для этих телевизоров в один из имеющихся форматов — Anamorph SideBySide или Anamorph OverUnder.
11. Winkler S. Efficient Measurement of Stereoscopic 3D Video Content Issues. http://vintage.winklerbros. net/Publications/ei2014iqsp.pdf (дата обращения: 25.11.2017).
12. Раев О. Н. Дискретизация глубины киноизображения при цифровой стереосъемке// Мир техники кино. 2012. № 3 (6). С. 10-16.
13. Белозеров А. Е., Рожкова Г. И. Вариабельность предельной величины положительных экранных параллаксов // Мир техники кино. 2011. № 3 (5). С. 22-26.
14. Физиология сенсорных систем. Ч. I. Физиология зрения / под ред. Г. В. Гершуни. — Л.: Наука, 1971. — 416 с.
15. Ярбус А. Л. Роль движения глаз в процессе зрения. — М.: Наука, 1965. — 166 с.
16. Красильников Н. Н., Красильникова О. И. Исследование критического значения экранного параллакса //Информационно-управляющие системы. 2016. № 2. С. 19-25. doi:10.15217/issn1684-8853. 2016.2.19
17. Красильников Н. Н. Влияние расстояния наблюдения на глубину пространства, воспроизводимую стереоскопическим изображением // Оптический журнал. 2016. № 8(83). С. 68-76.
18. Матюнин С. Б., Ватолин Д. С. Сжатие карт глубины при передаче стереовидео для цифрового телевизионного вещания// Мир техники кино. 2012. № 3 (6). С. 2-9.
19. Fecker U., Guenegues A., Scholz I., Kaup A. Depth Map Compression for Unstructured Lumigraph Rendering. https://pdfs.semanticscholar.org/e6e3/ d4c29b44c01093a691cec43ba13ec6b28e71.pdf (дата обращения: 25.11.2017).
20. Ancush Rai, Jagadeesh Kannan R. Compressed Transmission of Depth Maps in 3D Stream Services for Robotics and Surveillance. https://innovareaca-demics.in/journals/index.php/ajpcr/article/view-File/19644/11819 (дата обращения: 25.11.2017).
UDC 612.843.721
doi:10.15217/issn1684-8853.2018.1.11
Providing Compatibility for 2D and 3D Television Broadcasting Systems
Krasilnikov N. N.a, Dr. Sc., Tech., Professor, [email protected] Krasilnikova O. I.a, PhD, Tech., Associate Professor, [email protected]
aSaint-Petersburg State University of Aerospace Instrumentation, 67, B. Morskaia St., 190000, Saint-Petersburg, Russian Federation
Problem: The introduction of 3D television broadcasting systems is now stalled by the lack of a compatible television broadcasting format which would allow 3D content to be viewed on 2D TVs in 2D format. From the economic point of view, it is important that any television content produced, including films, all kinds of broadcasts, advertisements, etc., can be watched on any TV screen, either 2D or 3D. Purpose: Search for a way to construct a stereoscopic image processing algorithm for a compatible format. Methods: The solution is based on the consideration of human vision features, on the methods of converting 2D images into 3D, on image compression, and also on a large amount of experimental measurements made in a group of spectators who were asked to observe stereoscopic images synthesized in various transmission formats, examining the visibility of the resulting distortions. Results: A principle of constructing a compatible format for 3D television broadcasting has been developed. In this format, the left component of a stereopair image is transmitted as the main one, but a small part of the frame transmission time, corresponding to a small area of the transmitted image, is allocated to transmit a signal containing the information which, using the left component, forms the right component of the stereopair. As such a signal, the screen parallax map pixels are used, whose transmission is stretched to 3-4 frames. In a 3D television receiver, using a zero-order interpolation method, screen parallax maps are reconstructed from these pixels. Using these maps along with the left components of the stereo pair, you can synthesize the missing right components of the stereo pairs, reproducing the stereoscopic image. 2D TV receivers simply play back the left component of the stereo pair. Practical relevance: Constructing a compatible format for 3D television broadcasting makes it possible to significantly reduce the complexity of developing broadcasting standards. Keywords — Stereoscopic Image, Compatibility, Screen Parallax Map.
Citation: Krasilnikov N. N., Krasilnikova O. I. Providing Compatibility for 2D and 3D Television Broadcasting Systems. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 1, pp. 11-20 (In Russian). doi:10.15217/issn1684-8853.2018.1.11
References
1. Format 3D [3D Format]. Available at: http://3d-roliki.ru/ formati-3d/ (accessed 25 November 2017).
2. 3D tekhnologiiam v televizorakhprishel konets [3D Technologies in TVs Came to an End]. Available at: http://nig.mir-tesen.ru/blog/ 43919072251/ 3D-tehnologiyam-v-televizo-rah-prishel-konets (accessed 25 November 2017).
3. 3D Tile Format and 3DZ Tile Format Implementation Notes. Available at: http://www.sisveltechnology.com/ files/2013/ 3dtv/3D-3DZ-Tile-Format-implementation-notes.pdf (accessed 25 November 2017).
4. Sisvel Technology i Triaxes Vision predstavliaiut univer-sal'nyi format 3DZ [Sisvel Technology and Triaxes Vision Represent the Universal 3DZ Tile Format]. Available at: https://triaxes.com/downloads/info-3dz-tile-ru.pdf (accessed 25 November 2017).
5. Tomskoi kompaniei Triaxes Vision razrabotan novyi univer-sal'nyi 3D-format [Tomsk Company Triaxes Vision Developed a New Universal 3D Format]. Available at: https://sde-lanounas.ru/blogs/21419/ (accessed 25 November 2017).
6. Visintinh F. How does Sisvel Technology's 3D Tile Format Work? Available at: http://www.sisveltechnology.com/ files/2013/3dtv/SPECIALReportAugust2012.pdf (accessed 25 November 2017).
7. Bokov A. A. Methods for an Objective Evaluation of the Quality of Video Converted to a Stereo Format. Trudy XXII Mezhdunarodnoi nauchnoi konferentsii studentov, aspiran-tov i molodykh uchenykh "Lomonosov-2015" [Proc. 22th Intern. Conf. of Students, Graduate Students and Young Scientists "Lomonosov-2015"], Moscow, April 13-17, 2015, pp. 11-14 (In Russian).
8. Vatolin D. S., Bokov A. A., Fedorov A. A. Trends in the Change of Technical Quality Stereokino — 5 Years after the "Avatar". Mir tekhniki kino, 2015, no. 3 (9), pp. 17-28 (In Russian).
9. Vatolin D. S., Bokov A. A. Transition of the 3D Film Industry to the Conversion and Methods for Assessing its Quality. Mir tekhniki kino, 2016, no. 3 (10), pp. 14-23 (In Russian).
10. Kakaletsis E. and Nikolaidis N. A Technique for Fake 3D (2D-to-3D Converted) Video Recognition. Proc. 23rd European Signal Processing Conference (EUSIPCO), Nice, 2015, pp. 106-109.
11. Winkler S. Efficient Measurement of Stereoscopic 3D Video Content Issues. Available at: http://vintage.winklerbros. net/Publications/ei2014iqsp.pdf (accessed 25 November 2017).
12. Raev O. N. Discretization of Motion Picture Depth on Digital Stereo Shooting. Mir tekhniki kino, 2012, no. 3 (6), pp. 10-16 (In Russian).
13. Belozerov A. E., Rozhkova G. I. Variability of the Limiting Value of Positive Screen Parallaxes. Mir tekhniki kino, 2011, no. 3 (5), pp. 22-26 (In Russian).
14. Fiziologiia sensornykh sistem. Ch. I. Fiziologiia zreniia [Physiology of Sensory Systems. Part 1. Vision Physiology]. Ed. by G. B. Gershuni. Leningrad, Nauka Publ., 1971. 416 p. (In Russian).
15. Yarbus A. L. Rol' dvizheniia glaz v protsesse zreniia [The Role of Eye Movements in the Visual Process]. Moscow, Nauka Publ., 1965. 166 p. (In Russian).
16. Krasilnikov N. N., Krasilnikova O. I. Study of Critical Values of On-Screen Parallax. Informatsionno-upravliaiush-chie sistemy [Information and Control Systems], 2016, no. 2, pp. 19-25 (In Russian). doi:10.15217/issn1684-8853.2016. 2.19
17. Krasilnikov N. N. Effect of Viewing Distance on Spatial Depth Reproduced by a Stereoscopic Image. Opticheskii zhurnal [Journal of Optical Technology], 2016, no. 8(83), pp. 502-507 (In Russian).
18. Matiunin S. B., Vatolin D. S. Compression of Depth Maps for the Transmission of Stereo Video for Digital Television Broadcasting. Mir tekhniki kino, 2012, no. 3 (6), pp. 2-9 (In Russian).
19. Ulrich Fecker, Audrey Guenegues, Ingo Scholz, Andre Kaup. Depth Map Compression for Unstructured Lumigraph Rendering. Available at: https://pdfs.semanticscholar.or g/ e6e3/d4c29b44c01093a691cec43ba13ec6b28e71.pdf (accessed 25 November 2017).
20. Ancush Rai, Jagadeesh Kannan R. Compressed Transmission of Depth Maps in 3D Stream Services for Robotics and Surveillance. Available at: https://innovareacademics.in/ journals/index.php/ajpcr/article/viewFile/19644/11819 (accessed 25 November 2017).
