CC BY
22
Синтезированные на приёмном конце канала связи голограммы ЭБ-объекта в технологии Dot Matrix
С.А. Шойдин 1, А.Л. Пазоев 1, А. Ф. Смык 2, А.В. Шурыгин 2 1 Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, д. 10;
2 Общество с ограниченной ответственностью «Джеймс Ривер Бранч», 123458, Россия, г. Москва, ул. Твардовского, д. 8
Аннотация
В работе приведены экспериментальные результаты по записи и восстановлению 3D-голографических кадров, пригодных для передачи 3D-roлографических изображений с необходимой для TV-изображений частотой кадров и разрешением стандарта Full HD и выше. Метод основан на предложенной ранее технологии регистрации и передачи по каналу связи карты глубин и текстуры поверхности регистрируемого объекта и цифровому синтезу голограммы на приёмном конце канала связи. Полученный результат уменьшает требуемую для передачи голографической 3D-информации полосу частот аналогично технологии SSB, поскольку несущая пространственная частота голограммы в указанном методе не передаётся по каналу связи, а синтезируется в голограмме уже на его приёмном конце. Приведены экспериментальные результаты синтеза голограммы на приёмном конце канала связи в технологии Dot Matrix. Рассматриваемый в работе метод удобен для мультиплексирования 3D-изображений, их переноса из одного участка электромагнитного спектра в другой, а также при создании гиперспектральных изображений. В работе реализована технология голографи-ческого фототелеграфа, которая при использовании быстродействующих динамических голо-графических мониторов может решать задачи создания 3D TV и дополненной реальности.
Ключевые слова: голография, синтезированные голограммы, интерференция, интерференционные полосы, 3D-фотография, однополосная модуляция, 3D-телевидение, 3D-дополненная реальность.
Цитирование: Шойдин, С. А. Синтезированные на приёмном конце канала связи голограммы 3D-объекта в технологии Dot Matrix / С. А. Шойдин, А. Л. Пазоев, А. Ф. Смык, А. В. Шурыгин // Компьютерная оптика. - 2022. - Т. 46, № 2. - С. 204-213. - DOI: 10.18287/2412-6179-CO-1037.
Citation: Shoydin SA, Pazoev AL, Smyk AF, Shurygin AV. 3D object holograms synthesized in Dot Matrix technology at the receiving end of the communication channel. Computer Optics 2022; 46(2): 204-213. DOI: 10.18287/2412-6179-C0-1037.
Введение
Вопросы создания голографического TV всё больше обсуждаются специалистами как в области голографии, так и в области кодирования изображений. Объединённая группа экспертов по фотографии (Joint Photographic Experts Group - JPEG) даже объявила конкурс предложений для решений по голо-графическому кодированию [1, 2]. При этом с самого начала комитет JPEG Pleno, который занимается го-лографическим кодированием, наряду с задачами пленоптики, где каждый кадр мультиплицируется матрицей линз с несколькими градациями их фокусных расстояний, в своём стандарте (ISO / IEC 21794 [3]) предполагает решения для кодирования более полных данных светового поля [4] в виде создания массива 4Б-данных о световой волне с последующим чисто математическим устранением избыточности, вроде кодов Хаффмана, и повышения таким образом энтропии кодированного сообщения. Однако при этом там же говорится о слишком больших требова-
ниях как к объёмам обрабатываемой таким образом информации, так и к скорости их обработки, поскольку каждый кадр, представляющий собой 3Б-массив данных объекта регистрирования, должен меняться во времени с принятой в основных TV-стандартах частотой смены кадров. Такой подход реализуется сегодня в рамках технологий облака точек [5, 6], полигонального [7, 8] и воксельного [9, 10] представления объёмных изображений. О его неэффективности в применении к задачам 3Б TV и 3Б-дополненной реальности говорит уже то, что при большой активности разработчиков в последние 2- 3 десятилетия эти технологии не смогли пробиться дальше компьютерных игр, представляя движущиеся фигурки, существенно отличающиеся от изображений живых людей. Действительно, передача динамически меняющейся во времени 3Б голографической информации требует не только большой производительности компьютеров, но и огромной пропускной способности канала её передачи [11, 12]. Настолько большой, что одна голографическая трансляция прямого гологра-
фического контента с принятым разрешением и частотой кадров, аналогичными Full HD, займёт весь доступный радио- и телевизионный диапазон, вытеснив все другие радио- и телепередачи. Другой подход был представлен в [13, 14] и защищён в патенте РФ [15]. Его суть сводится к тому, что для создания 3D-голографического изображения на приёмном конце канала связи не обязательно передавать всю гологра-фическую информацию. Достаточно передать только часть, отвечающую за модуляцию несущей. И хотя модуляция в голографии имеет более сложный вид, но это очень похоже на метод SSB, поскольку пространственные частоты несущей вводятся уже на приёмном конце канала связи. В [13] было предложено передавать вместо всей голографической информации только часть, соответствующую одной боковой полосе частот, но в виде двух 2D-изображений, к каждому из которых уже применено JPEG-сжатие. Первое из этих двух изображений - это текстура поверхности 3D-объекта, подобная обычной фотографии или их серии в видео. Второе - это карта 3D-поверхности, на которую текстура накладывается, образуя изображение 3D-объекта, или маска объекта. Такой метод регистрации информации о 3D-объекте в одном кадре текстуры не фиксирует информации об объектах, находящихся «в тени» более близких к съёмочной камере, однако этот же вопрос поставлен и в других работах, например по упомянутым выше Pleno технологиям, и выходит за рамки настоящей работы.
Таким образом, было предложено решить проблему передачи голографической информации по обычному каналу связи. Другими словами, можно сжимать 3D-голографическую информацию до двух 2D-кадров стандартного разрешения, что не представит трудностей при её передаче практически без потерь, поскольку каждый из этих двух кадров может быть сжат известными алгоритмами. При реализации такого метода возникает ряд вопросов и проблем, анализу которых и прямому экспериментальному доказательству возможности его реализации посвящена настоящая работа. Здесь мы приводим экспериментальные результаты синтеза такой голограммы на приёмном конце канала связи.
1. Постановка задачи
Для решения задач голографического TV и 3D-дополненной реальности ранее было предложено [16] выделять часть пространственных частот голограммы, соответствующих девиации несущей пространственной частоты. Она возникает за счёт сложения с опорным пучком объектного пучка сложной формы, который несёт информацию как о поверхности регистрируемого объекта, так и о её яркостной структуре. Последний тоже может быть сложной формы, и тогда необходимо выделять девиацию частот на фоне сложного пространственного спектра. Такая поста-
новка задачи в передаче радиосигналов в доступной литературе не известна. Однако в голографии она встречается не редко и решается сравнительно легко [17]. Как показано в [16], именно девиация пространственных частот на голограмме несёт информацию о фазе и амплитуде регистрируемого объекта. Сама несущая (или комбинация частот, как бывает при кодированном опорном пучке) выполняет другую роль -пространственное разделение дифрагировавших на голографической решётке минус первого порядка, несущего информацию об объекте, и нулевого, проходящего через голограмму в направлении восстанавливающего пучка. Таким образом, несущая и её девиация имеют разную физическую природу, и их можно независимо друг от друга изменять, что само по себе позволяет прямо на приёмном конце канала связи перемещать восстанавливаемое 3Б-изображение из одного участка электромагнитного спектра в другой. Кроме того, при сравнении несущей и её девиации выясняется, что они могут отличаться в миллионы раз [13, 16]. Модуляция этой пространственной несущей меняющимся в пространстве объектным пучком вызывает её девиацию. Величина последней не нужна большей, чем диапазон пространственных частот ТУ- кадра высокой чёткости. Такие изменения в кадре просто не видны. А голограмма воспроизводит оптический сигнал с микроскопическим разрешением в тысячу раз большим телевизионного разрешения. Поскольку как ТУ-кадр, так и голограмма являются двумерными, то для прямой передачи голографического сигнала того же размера, что и ТУ-кадр, возникает проблема, связанная с передачей уже не в тысячу раз большей информации, а в миллион. Как было описано в [13], предложенный в патенте [15] способ сжатия голографической информации устраняет эту проблему.
В [18] приведены результаты прямых опытов по передаче по обычному радиоканалу сжатой таким образом голографической информации. Такая передача 3Б-голографической информации по своей сути похожа на известную в радиотехнике передачу информации на одной боковой полосе (88Б), когда несущая частота отвечает за дифракцию восстанавливаемого голограммой 3Б-изображения объекта в нужный порядок, а модуляция регистрируемым объектом предметного пучка - за девиацию пространственных частот. Поскольку экспериментально была доказана возможность прямой передачи двух 2Б-изображений нужного качества с требуемой частотой смены кадра, последним этапом на пути демонстрации практической возможности передачи 3Б-голографической информации является восстановление материальной голограммы по принятой на приёмном конце канала связи 3Б-информации, переданной на одной боковой полосе. Другими словами, необходимо показать практическую возможность внесения в переданную на 88Б 3Б-информацию несущей пространственной
частоты (или комбинации пространственных частот), необходимых для синтеза полноценной голограммы. Один из вариантов синтеза голограммы Э. Лейта и Ю. Упатниекса и восстановления ей 3Б-изображения сложного регистрируемого объекта - портрета человека был нами показан в численном виде [13]. Другой - в [19] в виде материального объекта - радужной голограммы С. Бентона, в технологии проекционной системы Dot Matrix. В этой технологии запись голограммы осуществляется последовательной проекцией на носитель фрагментов компьютерной стереограммы, рассчитанной по набору плоских ракурсных фотографий 3D-объекта [20]. Хотя такая голограмма и создаёт эффект горизонтального параллакса при повороте голограммы вокруг вертикальной оси, но в каждый момент времени наблюдатель видит одну из плоских картин - одну из проекций 3D-объекта. Это хорошо работает, создавая иллюзию 3D в маленьких (0 ~ 20 мм) защитных голограммах, но очень бросается в глаза в голограммах размером уже больше 4 ^ 5 см, не говоря уже о портретах в натуральную величину. И хотя на приёмный конец канала связи нами была передана информация, достаточная для синтеза голограммы, восстанавливающей полноценное 3D-изображение, необходимость уже на приёмном
конце канала сначала превращать её в набор плоских картинок, хотя и с любым количеством изопроекций, мешает восприятию полноценного 3D-объёма.
2. Запись голограмм и объективные измерения их структуры
Для более убедительного доказательства работоспособности предложенного в патенте [15] метода в настоящей работе приводятся результаты эксперимента по синтезу материальной голограммы уже не с набора плоских изопроекций 3D-объекта, а c использованием его 3D-маски (рис. 1).
На рис. 1: а) приведена текстура одного кадра поверхности живого, изменяющегося во времени объекта c разрешающей способностью 2000 х 2000 пикселей в кадре, т. е. превышающей стандарт Full HD. Здесь она приведена в серых тонах, хотя можно передавать и цветное изображение, например в стандарте RGB; б) карта глубин поверхности регистрируемого 3D-объекта, имитирующая его глубину в 256 слоёв, т. е. соответствующая стандарту Full HD; в) 3D-маска, созданная по карте поверхности. На рис. 2 приведены восстановленные голограммами 3D-изображения. Голограммы рассчитывались по маске рис. 1в методом, заявленным в [20, 21].
]0,2 0,61,0
1000
200
400
600
в) 1000
Рис. 1. Регистрируемый 3D-объект: а) текстура поверхности; б) карта глубин поверхности; в) ЗБ-маска
ной системы Dot Matrix с многоракурсными фотографиями 3D-объекта, проводился с учётом угла наклона локальных участков 3D-маски (рис. 1в). В голограмме рис. 2а сначала находились нормали к поверхности маски рис. 1в, расположенные в узлах прямоугольной сетки, а затем по (1, 2) вычислялся период решётки голопикселя. В голограмме рис. 2б, исходя из структуры поверхности маски, определялись участки примерно одинакового наклона в виде многоугольников (полигоны) и по их наклону также с помощью (1, 2) вычислялся период решетки для каждого полигона. В первом случае легче вводить изменение яркости, пропорциональное текстуре рис. 1а, а во втором можно получать большую дифракционную эффективность [20, 21].
В обоих случаях решалось уравнение дифракции Брэгга в 3D-пространстве (1), в котором по заданным волновым векторам восстанавливающей опорной волны kr и восстановленной объектной ko для каждого
Рис. 2. Восстановленное голограммами изображение: а) голограммой, изготовленной в технологии Dot Matrix с регулярным расположением голопикселей со скважностью 1,5; б) голограммой в технологии Dot Matrix
с нерегулярным расположением голопикселей в форме многоугольников, покрывающих всю ЗБ-поверхность маски
Расчёт структуры голограмм в отличие от прямого преобразования Френеля и его интерференции с опорным пучком, в отличие от расчёта радужной голограммы С. Бентона в [19] в технологии проекцион-
участка 5 поверхности 3Б-объекта (маски) находился вектор решётки К, который затем проецировался на плоскость голограммы.
К = к0 - кг. (1)
Или по аналогии с дифракцией на кристаллах решалась система линейных уравнений Лауэ [22], в которых направление дифракционных максимумов удовлетворяет одновременно условиям (2):
[dx (cos фх - cos %x) = MX 1 dy (cos фy - cos |y) = NX
(2)
Здесь, йх, ёу - проекции на соответствующие оси периодов синтезируемой голографической решётки; фх, фу - углы, образуемые падающим, а 4х, 4у - рассеянным излучением; X - длина волны восстанавливающего излучения; М, N - целые числа. Таким образом, в рамках геометрической оптики решается обратная задача, когда по набору 4 х, 4У и фх, фу для М = N = 1 находились ёх, ёу, определяющие локальные значения периода ё голографической решётки и её азимута для каждого локального участка 5 голограммы, на которые она была предварительно разбита полигональной системой голопикселей.
В случае, когда 5 большое настолько, что можно пренебречь дифракционными эффектами, такая голограмма представляет собой киноформ со сложной структурой. Согласно условию дистанции Рэлея (3), это выполняется, когда 5 >> X Ь5 (или т >> 1), где ^ -глубина объекта на 5-(м) участке его поверхности.
m =-
XLZ
<< 1 ^ дифракция Фраунгофера 1 ^10 ^ дифракция Френеля . >> 1 ^ геометрическая оптика
(Э)
В этом случае дифракция на таком участке не важна и все расчёты по (1) соответствуют требованиям геометрической оптики. Этот случай соответствует киноформной оптике, иногда называемой лито-голограммой. Видно, что такой киноформ хорошо ра-
ботает при сравнительно небольших глубинах объекта. С ростом Ls, когда s ~ X Ls или s < X Ls, дифракционным рассеянием уже нельзя пренебречь и голограмма больше соответствует эшелетту [20]. Для более полного соответствия технологии эшелеттов, обеспечивающей более яркое восстановленное изображение, необходимо выдерживать условие равенства наклона профиля полос и периода решётки таким образом, чтобы отражённый от наклонного участка полосы свет распространялся в ту же сторону, как и минус первый порядок дифракции на этой решётке [21]. Однако выдерживать такие соотношения для сложной голографической структуры полос невозможно, поскольку выдерживая их для одного наклона голограммы, мы тем самым нарушаем их для другого. Поэтому такие голограммы будут восстанавливать 3D-изображения яркими, но существующими в небольшом угловом пространстве.
Для записи голограммы, приведенной на рис. 2а, была использована проекционная система «Dot Matrix». Соответствующая голограмма (её фрагмент на рис. 3а) экспонируется небольшими участками - фреймами. Изображение системы полос выводится на жидкокристаллический пространственный модулятор, освещаемый лазером через формирователь пучка, и с уменьшением проецируется на регистрирующую среду. После экспозиции одного фрейма столик перемещается на его величину и снова записывается очередной участок системы полос. В зависимости от яркости изображения в каждой точке меняется площадь заполнения голопикселя решёткой. Таким образом достигается модуляция яркости на голограмме согласно яркости соответствующих участков текстуры регистрируемого объекта. В процессе записи фреймы с разрешением 1920 х 1080 точек поочередно выводятся на ЖК-модулятор и проецируются микрообъективом на фоточувствительную пластину с уменьшением до 0,3 х 0,169 мм. Для синтеза голограммы потребовалось около 106 пикселей на 1 погонный миллиметр её поверхности.
Рис. 3. Микрофотография структуры голограммы: а) восстанавливающей 3Б-изображение рис. 2а; б) восстанавливающей 3Б-изображение рис. 2б
Голограмма рис. 3б рассчитывается аналогично, но покрытие решётками поверхности фоторезиста
осуществляется непрерывно, как проекция полигонов, покрывающих ЭБ-поверхность регистрируемого
объекта. В этой технологии повышается общая площадь дифракции и вместе с ней дифракционная эффективность синтезированной голограммы, но отсутствует прямая возможность изменять площадь полигонов, как в предыдущей технологии, что мешает изменять яркость участков голограммы пропорционально яркости используемой текстуры объекта.
На рис. 3а приведена микрофотография структуры голограммы, восстанавливающей 3Б-изображение рис. 2а. Размер голопикселя в виде квадрата с дифракционной решёткой внутри составляет 9,5 мкм. Период решётки в пикселях представленного сегмента по микрофотографии голограммы можно оценить как варьирующийся между 0,5 и 1 мкм. Стрелкой показано место сопряжения двух записываемых участков голограммы, производимое механическим перемещением столика. Для видимого диапазона длин волн (X ~ 0,5 мкм) т < 1 для всех глубин объекта > 0,17 мм, т. е. действительно, структура голограммы рис. 3а, согласно критерию Рэлея, представляет собой голограмму, а не литоструктуру.
Другой способ записи заимствовал разбиение 3Б-поверхности на треугольники из полигональной графики [7, 8], когда поверхность 3Б-объекга покрывается множеством треугольников с общими гранями. В оригинале три точки каждого треугольника и задают поверхность 3Б-объекга. Каждый такой треугольник можно спроецировать на поверхность голограммы и создать на его поверхности дифракционную решётку тоже по (1, 2). Эшелетт при таких маленьких периодах решётки создавать трудно, хотя начальные шаги в этом направлении уже ведутся [23, 24, 25]. Подготовка технологии записи голографических решёток, приведённых на рис. 36, осуществлялась также в рамках работ [20, 21].
Такая голограмма приведена на рис. 36. На основе карты глубины создаётся объёмный объект из плоского, затем идет операция сглаживания пиксельной структуры, затем специальной текстурой создаётся матовая поверхность, а в конце этот объект совмещается с текстурой объекта. Видно, что получаемая голографическая структура имеет дифракционный рельеф, однако также видны и пустоты, свободные от голографических решёток. Вероятно, это связано с тем, что некоторые сформированные пространственные частоты были слишком большими и не смогли быть перенесены записывающей системой на фоторезист. Сравнение по формуле (3) реализованных размеров полигонов (5 ~ (17)2 мкм}, несущих в себе различные дифракционные решётки, также показывает, что при записи голограмм с глубиной регистрируемого объекта > 0,55 мм условия дифракции вступают в силу на большой части голограммы, а при > 1 мм уже на всей её площади. Таким образом, представленные на рис. 3а, 6 синтезированные дифракционные структуры являются полноценными голограммами. Можно считать, что
таким образом в сигнал, сформированный переданными по каналу связи картой поверхности (маской) и текстурой, была рассчитана и внесена несущая частота, на которой дифрагирует восстанавливающий пучок, формируя изображение записанного 3D-кадра.
Структура микрорельефа голограммы на рис. 36, её полигоны имеют более сложную форму, и для её объективного анализа нужно привлекать специальные системы, разработанные в ИАЭ СО РАН для анализа структуры рельефно-фазовых голограмм [26, 27].
С их использованием можно примерно оценить (рис. 4а, 6) размеры треугольных полигонов, сечения которых сравнением со шкалой рис. 4а можно определить как 10 - 20 мкм, средний период дифракционных решёток, заполняющих полигоны, - от 0,47 мкм до 1,15 мкм.
Структура решёток голопикселей, как видно из рис. 3 и рис. 4, состоит из прямых линий. Каждый голопиксель представляет собой полигон размером от 17 до 34 мкм с решётками периодом от 0,47 до 1,15 мкм со средним периодом 0,9 мкм. Средний азимут направления решёток составляет 60° с девиацией ± 10°. Несколько облегчает задачу синтеза такой голограммы то, что и девиация периода, и девиация азимутальных изменений решёток по её полю незначительны. Последнее связано с большим, около 45°, наклоном опорного пучка.
Из структуры голограммы, представленной на рис. 3а, 6, и измеренных характеристик (рис. 4а, 6) видно, что синтезированная голограмма обладает несущей частотой и её девиацией, что представлено как изменяющимся периодом, так и азимутом решёток. Значит, мы получили на приёмном конце канала связи [16, 18] полноценную голограмму. Видно (2), что dx, dy определяют несущую частоту голо-графической дифракционной решётки при постоянных 4x, £y и фх, фу и X, а при изменении Çx, £y и фх, фу, вызванном модуляцией опорного пучка объектным, наблюдается девиация dx, dy. Также видно, что несущая пространственная частота сравнительно легко может быть изменена уже на приёмном конце канала связи изменением значения X. Это удобно для мультиплексирования 3D-изображений, поскольку маска остаётся постоянной для любой текстуры, будь то видимое, ИК- или УФ-изображение. Так же легко реализуется расчёт голограммы с переносом 3D-изображения из одного участка электромагнитного спектра в другой. Даже можно использовать смешанные источники формирования 3D-сигнала, например, формировать текстуру электромагнитным излучением, включая радиодиапазон, а маску - используя акустическое зондирование. Такой синтез голограмм на приёмном конце канала связи позволяет сравнительно легко синтезировать голограммы гиперспектральных изображений и может быть применён для задач 3D TV и дополненной реальности.
Рис. 4. Статистика структуры решёток голограмм: а) по периоду; б) по азимуту
Экспериментальные измерения характеристик восстановленных такими голограммами 3Б-изображений приведены ниже.
3. Измерения характеристик восстановленных голограммами изображений
У обеих голограмм (рис. 3а, б) была измерена глубина восстановленного ими 3Б-изображения. Для этого использовалась [16] бителецентрическая телескопическая система рис. 5. В область проекции 3Б-изображения этой телескопической системы помещались два маркера в виде игл. Путём их перемещения настраивались положения, когда при поперечном смещении наблюдателя концы маркеров не смещались относительно точек изображения. Таким образом добивались одинакового параллакса восстановленного изображения и прямого изображения этих маркеров. Последующее измерение продольного вдоль оптической оси расстояния между
концами этих игл и определяло глубину восстановленного изображения. Корректируя это расстояние с учётом продольного увеличения телескопической системы, рассчитывалось продольное расстояние между двумя точками объекта, восстановленного голограммой. Выбирая максимально удалённую точку и максимально приближенную, определяли глубину восстановленного голограммой объекта.
На рис. 5 приведены: а) оптическая схема бителецентрической телескопической системы, позволяющая выносить в пространство измерений 3Б-изображение, восстановленное голограммой и б) фотография реально используемого телескопического устройства с добавленными в неё проекциями 3Б-изображений.
Объективы О1 и 02 образуют бителецентрическую телескопическую систему. С помощью голограммы восстанавливается изображение 3Б-объекта на входе
в телескопическую систему. Измерения параллакса проводятся регистрацией совмещённых с передним и задним планами 3Б-изображений мерительных маркеров камерой, перемещающейся поперёк оптической оси на Ь'р.
На рис. 6 приведены две фотографии восстановленного 3Б-изображения с мерительными маркерами, позволяющими определить глубину каждого изображения.
Результаты измерений сведены в табл. 1.
Камера
Рис. 5. а) Бителецентрическая телескопическая система О1 и О2; голограмма Г; изображние восстановленного объекта (ближний план Х'1, дальний план Х'2);угол измеряемого параллакса О'; б) фотография экспериментальной телескопической системы (восстановленное голограммой ЗБ-изображение объекта и оно же увеличенное телескопической системой
вмонтированы)
б)\
Рис. 6. Восстановленные изображения с мерительными маркерами в виде игл (нижний маркер ближе, верхний - дальше): а) для голограммы рис. За, восстанавливающей ЗБ-изображение рис. 2а; б) для голограммы рис. Зб, восстанавливающей
ЗБ-изображение рис. 2б
Табл. 1. Результаты измерений параллакса восстановленных изображений рис. 3а и рис. 3б
Голограмма Рис. 3а Рис. 36
Восстановленное изображение Рис. 261
Поперечный размер объекта на голограмме (мм) Высота - 20 Ширина - 14 Высота - 20 Ширина - 16
Кратность поперечного увеличения телескопа (крат) 3,1 3,1
Поперечный размер действительного изображения объекта, увеличенного телескопом (мм) Высота - 20 х 3,1 = 62 Ширина - 14 х 3,1 = 43,4 Высота - 20 х 3,1 = Ширина - 16 х 3,1 = 62 49,6
Продольный размер действительного изображения объекта, увеличенного телескопом (мм) 14 (измерено экспериментально) 32 (измерено экспериментально)
Пересчитанный продольный размер объекта, восстановленного голограммой (мм) 1,35 (вычислено в ZEMAX) 3,36 (вычислено в ZEMAX)
Параллакс действительного изображения, увеличенного телескопической системой (угловых градусов) измеренный а = 2,75° а = 1,47°
Параллакс действительного изображения, восстановленного голограммой (угловых градусов) без телескопической системы вычисленный а' = 10,5° а' = 9,27°
Хотя параллакс полученных ЭБ-голографических изображений и не велик, но мы уверенно наблюдаем в этих голограммах требуемый для нормального восприятия объём.
Так, для голограммы рис. Эа, восстанавливающей изображение рис. 2а, глубина восстановленного изображения составила Дрис. за = Z\ - Z2 = 1,35 мм при ширине объекта 14 мм, а для голограммы рис. Эб, восстанавливающей изображение рис. 2б, Дрис. зб = Zi -Z2 = 3,36 мм соответственно. Это говорит о том, что созданные в рамках настоящего исследования голограммы, несущие один кадр ЭБ-голографического сигнала, переданного с TV кадровой частотой, вполне удовлетворяют условиям объёмности восстанавливаемых ими изображений, хотя эти голограммы и были созданы численно уже на приёмном конце традиционного канала связи Wi-Fi. При этом скорость передачи, как показано в [18], превышала необходимые 25 пар кадров (текстура + маска) в секунду при качестве кадра, соответствующего качеству Full HD и даже 4K.
Что касается разных отношений глубины к ширине восстановленного изображения на рис. 2а 1,Э5 / 14 = 0,1, а на рис. 2б Э,Э6 / 16 = 0,21, то этот вопрос не был принципиальным в решаемой задаче и может быть скорректирован программно, например введением корректирующих коэффициентов в программы расчёта голограмм.
Основные выводы
Результаты настоящей работы показывают возможность практической реализации предложенного в патенте [15] способа передачи ЭБ-голографической информации, с восстановлением на приёмном конце обычного канала связи ЭБ-голографического изобра-
жения. С учётом работы [18] это является реализацией идеи голографического фототелеграфа. Вместе с решаемыми в настоящее время разными группами разработчиков вопросами быстрого синтеза, отображения и восстановления голограмм в реальном масштабе времени. Полученный в настоящей работе результат является практическим доказательством возможности сравнительно простого варианта передачи и восстановления на приёмном конце канала связи голографического TV-контента и 3Б-дополненной реальности. В случае появления голографического монитора эта технология позволит сравнительно просто проводить 3Б-сеансы связи без использования специальных шлемов и насадок для глаз.
По сравнению с технологией Pleno такой подход является менее ресурсоёмким и подтверждает возможность реализации настоящих глубоких действительных 3Б-динамических изображений с Full HD качеством восстановленного изображения, буквально живущего в пространстве наблюдателя, перед экраном голографического монитора.
В силу разделения несущей частоты и её девиации информационным сигналом метод удобен для мультиплексирования 3D-изображений, их переноса из одного участка электромагнитного спектра в другой, а также при создании гиперспектральных изображений и может быть применён для задач 3D, TV и дополненной реальности.
Такая технология, по мнению авторов, может найти применение не только в развлекательных областях деятельности, но и в телемедицине, в работе с агрессивными средами и в труднодоступных местах, а также в задачах акустической визуализации 3D- объектов, поскольку варианты создания маски поверхности ничем
не ограничены и могут создаваться, например, методом эхолокации, а на приёмном конце визуализироваться в видимом диапазоне электромагнитного спектра. Также разделение информации о поверхности 3D-объекта и текстуре его поверхности с информацией о длине волны записи, выражающееся в произвольном изменении несущей пространственной частоты, синтезируемой на приёмном конце канала связи голограммы, облегчает решение задач мультиплексирования и создания 3D-гиперспектральных изображений.
Благодарности
Авторы выражают благодарность В.П. Бессмель-цеву за предоставленную возможность провести измерения характеристик синтезированных в рамках настоящей работы голограмм на уникальном оборудовании, разработанном талантливым коллективом под его руководством в Институте автоматики и электрометрии СО РАН г. Новосибирск.
References
[1] Ebrahimi T. Foessel S, Pereira F, Schelkens P. JPEG Pleno: Toward an efficient representation of visual reality. IEEE MultiMedia 2016; 23(4): 14-20. DOI: 10.1109/mmul.2016.64.
[2] Schelkens P, Ebrahimi T, Gilles A, Gioia P, Oh K-J, Pereira F, Perra C, Pinheiro AMG. JPEG Pleno: Providing representation interoperability for holographic applications and devices. ETRI J 2019; 41(1): 93-108. DOI: 10.4218/etrij.2018-0509.
[3] ISO/IEC 21794-1:2020. Information technology - Plenop-tic image coding system (JPEG Pleno) - Part 1: Frame-work. Vernier, Geneva, Switzerland: ISO copyright office; 2020.
[4] Schelkens P, Astola P, da Silva EAB, Pagliaii C, Perra C, Tabus I, Watanabe O. JPEG Pleno light field coding technologies. Proc SPIE 2019; 11137: 111371G. DOI: 10.1117/12.2532049.
[5] Thanou D, Chou PA, Frossard P. Graph-based compression of dynamic 3D point cloud sequences. IEEE Trans Image Process 2016; 25(4): 1765-1778. DOI: 10.1109/TIP.2016.2529506.
[6] Meiju L, Junrui Z, Xifeng G, Rui Z. Application of improved point cloud streamlining algorithm in point cloud registration. 2020 Chinese Control and Decision Conference (CCDC) 2020: 4824-4828. DOI: 10.1109/CCDC49329.2020.9164177.
[7] Botsch M, Pauly M, Kobbelt L, Alliez P, Levy B, Bischoff S, Rossl C. Geometric modeling based on polygonal meshes. ACM SIGGRAPH 2007 Courses on (SIGGRAPH '07) 2007. DOI: 10.1145/1281500.1281640.
[8] Nasri AH. Constructing polygonal complexes with shape handles for curve interpolation by subdivision surfaces. Computer-Aided Design 2001; 33(11): 753-765. DOI: 10.1016/S0010-4485(01)00093-8.
[9] Lee S., Hong H., Eem C. Voxel-based scene representation for camera pose estimation of a single RGB image. Appl Sci 2020; 10(24): 8866. DOI: 10.3390/app10248866.
[10] Huang M, Wei P, Liu X. An Efficient Encoding Voxel-Based Segmentation (EVBS) algorithm based on fast adjacent voxel search for point cloud plane segmentation. Remote Sens 2019; 11(23): 2727. DOI: 10.3390/rs11232727.
[11] Bogdanova TV, Safronov GS, Titar VP. Problems of creating television holographic systems. In Book: Development and improvement of technical tools of television broadcasting. Abstracts of the All-Union Scientific and Technical
Conference [In Russian]. Moscow: "Radio I Svyaz" Publisher; 1988: 15-16.
[12] Denisyuk YuN. Are the fundamental principles of holography well-known enough for creating new types of three-dimensional films and artificial intelligence? Tech Phys 1991; 61(8): 149-161.
[13] Shoydin SA. Synthesis of holograms received by a communication channel. Computer Optics 2020; 44(4): 547551. DOI: 10.18287/2412-6179-CO-694.
[14] Shoydin SA, Pazoev AL. Method of holographic recording remote formation. Avtometriya 2021; 1: 92-102. DOI: 10.15372/AUT20210110.
[15] Shoydin S. A. Method of holographic recording remote formation. Pat RF of Invent N 2707582 of November 28, 2019, Russian Bull of Inventions N34, 2019.
[16] Shoydin SA, Pazoev AL. Transmission of holographic information by superheterodyning [In Russian]. In Book: Gerdev AYu, ed. HOLOEXPO 2020: Abstracts of the XVII international conference on holography and applied optical technologies. Moscow: Bauman Moscow State Technical University Publisher; 2020: 87-97.
[17] Shoydin SA. Holographic memory without reference beam. Optical Memory and Neural Networks (Information Optics) 2016; 25(4): 262-267. DOI: 10.3103/S1060992X16040056.
[18] Pazoev AL, Shoydin SA. Transmission of holographic information on a single sideband. Interexpo GEO-Siberia 2021; 8: 109-117. DOI: 10.33764/2618-981X-2021-8-109-117.
[19] Shoydin, S. A. Recording a hologram transmitted over a communication channel on one sideband / S. A. Shoydin, A. L. Pazoev, I. K. Tsyganov, E. A. Drozdova // Proc. of HOLOEXPO 2021: XVIII International Conference on Holography and Applied Optical Technology. - Moscow: Bau-man Moscow State Technical University. - 2021; 109-117.
[20] Smyk AF, Shurygin AV. Asymmetric profiles in surface-relief holograms [In Russian]. Mir Tehniki Kino 2018; 12(1): 23-30.
[21] Odinokov SB, Smyk AF, Shurygin AV. A technique of asymmetrical profiles in surface-relief holograms recording. Digital Holography and Three-Dimensional Imaging 2019, OSA Technical Digest. Optical Society of America; 2019: Th3A.27. DOI: 10.1364/DH.2019.Th3A.27.
[22] Porai-Koshits MA. Fundamentals of structural analysis of chemical compounds: Study guide [In Russian]. 2nd ed. Moscow: "Vysshaya Shkola" Publisher; 1989. ISBN: 5-06000074-5.
[23] Ktfyanov VP, Nikitin VG. Modeling of the formation of steep portions of a piecewise continuous profile in a one-step technology for fabricating diffractive optical elements using oblique laser beams. Optoelectron Instrum Data Process 2017; 53(6): 548-553. DOI: 10.3103/S8756699017060024.
[24] Veyko VP, Korolkov VP, Poleshchuk AG, Sinev DA, Shakh-no EA. Laser technologies in micro-optics. Part 1. Fabrication of diffractive optical elements and photomasks with amplitude transmission. Optoelectron Instrum Data Process 2017; 53(5): 474-483. DOI: 10.3103/S8756699017050077.
[25] Poleshchuk AG, Korolkov VP, Veiko VP, Zakoldaev RA, Sergeev MM. Laser technologies in micro-optics. Part 2. Fabrication of elements with a three-dimensional profile. Optoelectron Instrum Data Process 2018; 54(2): 113-126. DOI: 10.3103/S8756699018020012.
[26] Bessmeltsev VP. Quality control of reflective holograms using confocal microscopy [In Russian]. 11th Int Conf HOLOEX-PO-2014: Holography. Science and Practice 2014: 80-85.
[27] Bessmeltsev VP, Vileiko VV, Maksimow MV. Highresolution system for measuring the main parameters of security holograms for operational quality control and expert
analysis [In Russian]. In Book: HOLOEXPO 2019: XVI international conference on holography and applied optical
technology. Moscow: Bauman Moscow State Technical University Publisher; 2019: 102-108.
Сведения об авторах
Шойдин Сергей Александрович, 1952 года рождения, в 1974 году окончил Новосибирский государственный университет по специальности «Физика», в 1985 году защитил диссертацию на соискание учёной степени кандидата физико-математических наук по специальности 01.04.05 «Оптика» в Государственном оптическом институте им. С. И. Вавилова. Работает доцентом в Сибирском государственном университете геосистем и технологий. Область научных интересов: голография, оптическая передача и обработка информации, голографиче-ские приборы и системы, 3D TV, 3D дополненная реальность, голографические дисплеи и мониторы. E-mail: [email protected] .
Пазоев Артём Левонович, 1993 года рождения, в 2018 году окончил магистратуру Сибирского государственного университета геосистем и технологий по специальности 12.06.01 «Фотоника, приборостроение, оптические и биотехнические системы и технологии». Аспирант Сибирского государственного университета геосистем и технологий. Область научных интересов: голография, оптическая передача и обработка информации, голографические приборы и системы, 3D TV, дополненная реальность, голографические дисплеи и мониторы. E-mail: [email protected] .
Смык Александр Фёдорович, 1955 года рождения, в 1978 году окончил Московское высшее техническое училище им. Н. Э. Баумана по специальности «Радиофизика», в 1984 защитил диссертацию на соискание учёной степени кандидата технических наук по специальности 01.04.03 «Квантовая радиофизика» в Московском институте радиоэлектроники и автоматики. Область научных интересов: разработка голографического оборудования, изготовление защищённых голограмм, голографическая интерферометрия. E-mail: smykholography@,gmail.com .
Шурыгин Александр Викторович, 1990 года рождения, в 2013 году окончил кафедру оптико-электронных приборов научных исследований (РЛ-3) по направлению «Оптотехника» Московского государственного технического университета им. Н. Э. Баумана, работает инженером в ООО «Джеймс Ривер Бранч». Область научных интересов: оптика, цифровая и аналоговая голография, разработка голографического оборудования, изготовление защищенных голограмм. E-mail: [email protected] .
ГРНТИ: 47.37.29
Поступила в редакцию 1 сентября 2021 г. Окончательный вариант - 4 ноября 2021 г.
Holograms of a 3D object synthesized at the receiving end of the communication channel in Dot Matrix technology
S. A. Shoydin1, A. L. Pazoev1, A. F. Smyk2, A. V. Shurygin 2 1 Siberian State University of Geosystems and Technologies, 10, Plakhotnogo St., Novosibirsk, 630108, Russia, 2Ltd «James River Branch», 8, Tvardovskogo St., Moscow, 123458, Russia
Abstract
The manuscript presents experimental results on the recording and restoration of 3D holographic frames suitable for transmitting 3D holographic images with the frame rate required for TV images and the resolution of the Full HD standard and higher. The method is based on the previously proposed technology for recording and transmitting a depth map and surface texture of the holographic object over the communication channel and digital synthesis of the hologram at the receiving end of the communication channel. The obtained result reduces the frequency band required for the transmission of 3D holographic information, similar to SSB technology, since the carrier spatial frequency of the hologram in this method is not transmitted through the communication channel, but is synthesized in the hologram already at its receiving end. Experimental results of hologram synthesis at the receiving end of the communication channel in DotMatrix technology are presented. The method considered in this manuscript is convenient for multiplexing 3D images, transferring them from one part of the electromagnetic spectrum to another, as well as for creating hyperspectral images. The work implements the technology of a holographic phototelegraph, which, when using high-speed dynamic holographic monitors, can solve the problems of creating 3D TV and augmented reality.
Keywords: holography, synthesized hologram, interference, interference bands, 3D photography, single sideband modulation, 3D television, 3D augmented reality.
Citation: Shoydin SA, Pazoev AL, Smyk AF, Shurygin AV. Holograms of a 3D object synthesized at the receiving end of the communication channel in Dot Matrix technology. Computer Optics 2022; 46(2): 204-213. DOI: I0.18287/2412-6179-C0-I037.
Acknowledgements: The authors express their gratitude to V. P. Bessmeltsev for the opportunity to measure the characteristics of the holograms synthesized in the framework of this work on unique equipment developed by a talented team under his leadership at the Institute of Automation and Electrometry SB RAS in Novosibirsk.
Authors' information
Sergei Aleksandrovich Shoydin (b. 1952), graduated from Novosibirsk State University in 1974, majoring in Physics. In 1985, he defended his dissertation for the degree of Candidate of Physical and Mathematical Sciences in the specialty 01.04.05 "Optics" at the S. I. Vavilov State Optical Institute. Works as an associate professor at the Siberian State University of Geosystems and Technologies. Research interests are holography, optical transmission and processing of information, holographic devices and systems, 3D TV, 3D augmented reality, holographic displays and monitors. E-mail: [email protected] .
Artem Levonovich Pazoev (b. 1993), the Master's degree program of the Siberian State University of Geo-Systems and Technologies in 2018, majoring in 12.06.01 "Photonics, Instrumentation, Optical and Biotechnical Systems and Technologies". Postgraduate student of the Siberian State University of Geosystems and Technologies. Research interests are holography, optical transmission and processing of information, holographic devices and systems, 3D TV, augmented reality, holographic displays and monitors. E-mail: [email protected] .
Aleksandr Fedorovich Smyk (b. 1955), graduated from Moscow Higher Technical School named after N. E. Bau-man in 1978, majoring in Radiophysics. In 1984, he defended his dissertation for the degree of Candidate of Technical Sciences in the specialty 01.04.03 "Quantum Radiophysics" at the Moscow Institute of Radioelectronics and Automation. Research interests are the development of holographic equipment, the production of protected holograms, holographic interferometry. E-mail: [email protected] .
Aleksandr Viktorovich Shurygin (b. 1990), graduated from of Optical-Electronic Devices for Scientific Research department (RL-3) of the Bauman Moscow State Technical University in 2013, majoring in Optotechnics. Works as an engineer at James River Branch Ltd. Research interests are optics, digital and analog holography, development of holographic equipment, production of protected holograms. E-mail: [email protected].
Received September 1, 2021. The final version - November 4, 2021.
