ПЕРЕДАЧА ГОЛОГРАФИЧЕСКОЙ ИНФОРМАЦИИ НА ОДНОЙ БОКОВОЙ ПОЛОСЕ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 535.417: 535.421

DOI: 10.33764/2618-981X-2021-8-109-117

ПЕРЕДАЧА ГОЛОГРАФИЧЕСКОЙ ИНФОРМАЦИИ НА ОДНОЙ БОКОВОЙ ПОЛОСЕ

Артём Левонович Пазоев

Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, аспирант, тел. (383)291-00-92, e-mail: shoydin@ssga.ru

Сергей Александрович Шойдин

Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, к.ф.-м.н., доцент, тел. (383)291-00-92, e-mail: shoydin@ssga.ru

При передаче голографической информации по каналам связи возникает проблема, связанная с большой ёмкостью голограмм. В патенте РФ № 2707582 была показана возможность сжатия голографической информации, аналогичная известной в радиоэлектронике передаче на одной боковой полосе. Экспериментальная передача такой сжатой информации по беспроводному каналу связи Wi-Fi с кадровой частотой больше 25 кадров в секунду показана в настоящей работе. Проведён эксперимент по передаче голографической информации 3D изображений по беспроводному каналу связи Wi-Fi для имитации 3D видео с помощью протокола FTP. В соответствии с патентом РФ №2707582 каждый передаваемый кадр 3D изображения представлял собой сумму двух 2D кадров - текстуры (2000х2000 пикселей) и маски (1000х1000 пикселей). Для имитации передачи видеопоследовательности одновременно передавались пакеты по 500 двойных кадров. Замеренное программой «FileZilla» время передачи этих пакетов кадров при воспроизведении в реальном времени показало, что передача полной голографи-ческой информации о 3D-объекте в реальном времени с кадровой частотой больше, чем 25 кадров/с вполне осуществима.

Ключевые слова: голография, голографическая информация, метод SSB, частотная фильтрация

TRANSMISSION OF HOLOGRAPHIC INFORMATION ON A SINGLE SIDEBAND

Artem L. Pazoev

Siberian State University of Geosystems and Technologies, 10, Plakhotnogo St., Novosibirsk, 630108, Russia, Student, Department of Photonics and Device Engineering, phone: (383) 291-00-92, e-mail: shoydin@ssga.ru

Sergey A. Shoydin

Siberian State University of Geosystems and Technologies, 10, Plakhotnogo St., Novosibirsk, 630108, Russia, Ph. D., Associate Professor, phone: (383) 291-00-92, e-mail: shoydin@ssga.ru

When holographic information is transmitted through communication channels, a problem arises associated with the large capacity of holograms. In the patent of the Russian Federation No. 2707582, the possibility of compressing holographic information was shown, similar to the transmission on one sideband known in radio electronics. The experimental transmission of such compressed information over a Wi-Fi wireless communication channel with a frame rate of more than 25 frames per second is shown in this paper. The experiment of transmitting holographic information of 3D images over a wireless Wi-Fi communication channel to simulate 3D video using the FTP protocol was carried out. In accordance with the RF patent No. 2707582, each transmitted frame of a 3D image was the sum of two 2D frames-a texture (2000x2000 pixels) and a mask (1000x1000

pixels). To simulate the transmission of a video sequence, packets of 500 double frames were transmitted simultaneously. The transmission times of these frame packets measured in real time by FileZilla showed that the transmission of full holographic information about a 3D object in real time with a frame rate greater than 25 frames / sec. quite feasible.

Keywords: holography, holographic information, SSB method, frequency filtering

Настоящая работа является заключительной в серии работ по удалённому формированию 3D голографического изображения на основе 3D голографиче-ской информации об объекте голографирования. Много работ до этого было посвящено записи больших массивов информации на голографический носитель [1-6], но именно большой объём информации в традиционных голограммах стал мощным тормозом на пути реализации проектов голографического кино и особенно телевидения [7, 8].

В рамках работы по созданию голографического телевизионного или 3D устройства дополненной реальности наряду, с задачами синтеза и восстановления голограмм, одним из основных этапов является разработка способов передачи голографической информации по беспроводному каналу связи [9-11].

Ввиду большой ёмкости за счёт большой плотности записи информации -голограмма несёт до 20 Гб в одном кадре формата А4 (210 х 297 мм) [12], прямая беспроводная передача такого количества информации займёт весь радиодиапазон. На этапе восстановления, а значит и передачи, 3D-объект голографирования не обязательно должен быть высокого разрешения, достаточно принятых сегодня в телевидении высокого разрешения стандартов (HD, FullHD, 2K) [13]. Один из способов уменьшения количества передаваемой информации, который можно описать как передача информации на одной боковой полосе, аналогично методу SSB (single side band), применяемому в радиотехнике, приводится в [9, 10]. Он заключается в вычитании несущей пространственной частоты в голограмме, передаче голографической информации на одной боковой пространственной частоте и последующем внесении этой несущей на приёмном конце канала связи, аналогично процессу, описанному в [9, 13].

Поскольку все оптические этапы, начиная с операций, аналогичных вычитанию несущей частоты и сжатию таким образом 3D голографической информации, а также восстановление голограммы и 3D изображения с её помощью уже частично описаны [10], главным на сегодня является экспериментальное доказательство возможности передачи сжатой 3D голографической информации по обычному радиоканалу, чему и посвящена настоящая работа.

Такой беспроводной канал связи должен обеспечивать кадровую скорость передачи, достаточную для плавного восприятия наблюдателем голографиче-ского видео при его воспроизведении, т. е. как минимум - 25 кадров/с.

Для задач дополненной реальности подходит широко распространенная и активно развивающаяся сегодня технология беспроводной передачи данных Wi-Fi. В настоящей работе исследуется возможность обеспечения передачи кадров по беспроводному каналу связи Wi-Fi с кадровой частотой больше 25 кадров/с.

В тестовом эксперименте используются два устройства: Компьютер (ПК) с подключённым к нему через сетевой кабель (Ethernet) роутером (модель D-Link DSL-2640U) и мобильное устройство на базе ОС Android (модель Xiaomi Mi A1) со встроенным модулем Wi-Fi стандарта IEEE 802.11n.

Соединение между двумя устройствами устанавливается через протокол передачи файлов FTP (англ. File Transfer Protocol), при таком типе соединения одно устройство является FTP-сервером, а второе - клиентом (подключается к серверу), при этом передача файлов может осуществляться в любом направлении.

На ПК используется программа для работы с FTP-серверами FileZilla, через неё будут отправляться команды по передаче данных. После передачи данных программа возвращает общее время отправки файла, на основе чего, можно определить скорость передачи данных и кадровую частоту передачи.

На мобильном устройстве используется приложение ES Проводник (менеджер файлов), одной из функций которого является создание и работа с локальным FTP-сервером.

Блок-схема тестовой системы по беспроводной передаче файлов через Wi-Fi приведена на рис 1.

Роутер

Сервер D-Link DSL- Клиент (компьютер)

(телефон Xiaomi Mi A1) 2640U (Wi-Fi передатчик)

Рис.1. Блок-схема тестовой системы

Согласно [10, 11] для передачи полной информации о голографируемом объекте, необходимой для создания на приёмном конце канала связи полноценной динамической SD-голограммы, достаточно передавать пары кадров (фотография текстуры поверхности объекта + его SD-маска), с частотой принятой в телевидении кадровой развёртки.

В качестве голографической информации, т. е. предварительного SD-кадра для «голографического видео» нами был использован реальный SD-портрет человека (фотография текстуры поверхности объекта + ЭБ-маска) (рис. 2). Разрешение текстуры 2000 х 2000 пикселей, а SD-маска, взятая для опыта имела меньшее разрешение [10, 11] - 1000х1000 пикселей, что превышает разрешение форматов Full HD и HD.

Простейшим способом передачи данных является прямая передача изображений. Изображения можно формировать с разной степенью сжатия. Без сжатия в формате BMP, со сжатием без потерь в формате PNG или со сжатием с потерями в формате JPG.

а) б)

Рис. 2. Голографическая информация - ЭБ-кадр: а) текстура; б) маска

Испытания проводились для каждого из перечисленных форматов (Табл. 1). Для JPG степень качества выбрана 70%, т. к. при таком уровне искажения (потери деталей) на изображении практически не видны.

Таблица 1

Сравнение сжатия изображения в различных графических форматах

Формат изображения Объём файла с текстурой (2000 х 2000 пикс.), кб Объём файла с маской (1000 х 1000 пикс.), кб Суммарный объём 3D-кадра, кб

BMP 3908 978 4886

PNG 593 67 660

JPG (степень качества 70%) 127 25 152

Для оценки скорости передачи создавались 3 ZIP-пакета из 500 штук 3D-кадров (рис. 2), которые и передавались по беспроводному каналу. На рис. 3 приведен интерфейс программы FileZilla, где фиксируется время передачи пакетов с 3D-кадрами.

По данным о времени передачи, согласно рис. 3, составлена Табл. 2, в которой вычислена скорость передачи данных и кадровая частота передачи, как отношение количества кадров к общему времени передачи пакета.

На основании данных из табл. 2, можно сделать вывод, что прямая передача изображений с кадровой частотой больше 25 кадров/с возможна.

Передача информации без всякого сжатия (формат BMP) нам не подходит, в силу большого объёма передаваемых данных.

33:3721 - FileZill J

Файл Редактиро вание Вид Передача Сервер Закладки Помощь

йНГИВ 30о № о % VI wа о m

Хост: 192168118 Имя пользователя: Пароль: Порт: 37Л 1 Быстроесоединение || ~

iaio закачивать C:\Tecr\500 кадров JPG м2000 и T2000.zip

каю закачивать C:\Teci\500 кадров PNG м2000 и t20oÓ.z¡p

1 а ю закачивать С:\ТесЛ500 кадров BMP м2000 и T2000.z¡p передан успешно, передан 4 001393 422 байт в 635 секунд

3

. i /1МЛХ 1 i . ^ IK. с_*1> Ж wm □ а Н: (Зарезервировано системой) В- сэ Ь (Новый том) B aJ: (Новый том) ■ ш-1 M г Ш Q-- (Transcend) Удаленный сайт: | /! Тест B-JJ / Jt 1«. ¡t i <м*««) Ш Ж i. tv^puy<^hr Z fctplfy

к- Новая папка Папка с файлами 24Ю320Л 18:36:57 1500 кадров BMP м2000 и т2000лр 4001393422 Архив ZIP - WinRAR 24Ю320Л 17:16:45 1500 кадров JPG м2000 и T2000.zip 101960 422 Архив ZIP - WinRAR 24.03.202117:11:34 §500 кадров PNG м2000 и T2000.zip 367162422 Архив ZIP - WinRAR 24.03.202117:11:27 untitled.m 767 MATLAB Code 24.03.202117:02:17 Маска 1000xl000.bmp 1001078 Точечный рисунок 23Л320Л 20:15:55 i Маска 1000xl000.jpg 25260 Файл "JPG" 23.03.20Д 20:15:55 §500 кадров BMP м2000 и T2000.zip 4001393422 Архив ZIP - Wi... 25.03.20211:48:00 -nw-r-r- nobody nobody §500 кадров JPG м2000 и T2000.zip 101960 422 Архив ZIP - Wi... 25.03.20211:36:00 -nw-r-r- nobody nobody §500 кадров PNG м2000 и T2000.zip 367162422 Архив ZIP - Wi... 25Ю320Л 1:37:00 -rw-r-r- nobody nobody 3 файла. Общий размер: 4 470 516 266 байт

Файлы е задании Неудавшиеся передачи Успешные передачи (3)

Ф© Задание: пу сто «в

а)

Щ Лр:/ДЭ2Л681.Ж!з721 - FileZ

Файл Редактирование Вид Передача Сервер Закладки Помощь

Хост: 192.168.1.183

Имя пользователя:

Пароль:

Статус Статус Статус Статус Статус Статус Статус Статус Статус Статус Статус Статус Статус

Список каталогов "/! Тест" извлечен

Получение списка каталогов "/! Тест"...

Список каталогов "/! Тест" извлечен

Получение списка каталогов "/! Тест"...

Список каталогов "/! Тест" извлечен

Начинаю закачивать С:\Тест\500 кадров JPG.zip

Файл передан успешно, передан 77 719 860 байт в 12 секунд

Начинаю закачивать С:\Тест\500 кадров PNG.zip

Файл передан успешно, передан 338 094 860 байт в 51 секунда

Начинаю закачивать С:\Тест\500 кадров BMP.zip

Файл передан успешно, передан 2 501 335 360 байт в 390 секунд

Получение списка каталогов "/! Тест"...

Список каталогов "/! Тест" извлечен

б)

Рис. 3. Интерфейс программы FileZilla:

а) общий вид окна программы: 1 - структура папок клиента (компьютер), 2 - структура папок сервера (мобильное устройство), 3 - журнал с информацией о выполненных процессах в программе (например, время передачи файлов); б) увеличенный фрагмент окна программы, показано время передачи пакетов 3D-кадров

Таблица 2

Параметры передачи данных для различных графических форматов

Название параметра Буквенное обозначение Формат файлов с кадром

JPG PNG BMP

Количество передаваемых кадров (текстура + маска) N 500 кадров 500 кадров 500 кадров

Общий объём данных, Мб Vol 77.719.860 байт = 74,11 Мб 338.094.860 байт = 322,43 Мб 2.501.335.360 байт = 2385,46 Мб

Время передачи, сек. t 12 51 390

Скорость передачи, Мб/сек V Ii vl 'hX 6,18 6,32 6,12

Кадровая частота при воспроизведении в реальном времени, кадров/сек - N 41,67 9,80 1,28

Для того чтобы передавать файлы без каких-либо искажений (сжатие без потерь) имеющейся скорости передачи не достаточно. При такой кадровой частоте (9,8 кадров в секунду) воспроизводимый поток кадров будет, восприниматься как слайд-шоу, однако, в некоторых случаях это может оказаться приемлемым.

Из табл. 2 видно, что при прямой передаче изображений с кадровой частотой больше 25 кадров/сек, исходные изображения необходимо сжимать в формат JPG при уровне качества сжатия 70%.

С целью сжатия объёма передаваемой информации можно воспользоваться пространственными симметриями спектров от SD-объекта. При этом горизонтальная и вертикальная симметрия спектра (рис. 4) позволяют передавать по каналу связи только один из четырех сегментов, что уменьшает общий объём передаваемой информации в 4 раза. Правда, при переходе от прямых изображений маски и текстуры к их спектрам, мы получаем массив комплексных чисел, который также увеличивает объем данных в два раза. Таким образом, передача голо-графической информации на SSB в формате PNG тоже может осуществляться со скоростью примерно 20 кадров в секунду.

Небольшое сжатие можно получить путём фильтрации высоких частот спектра, находящихся на уровне шумов оцифровки и фактически отсутствующих в исходном изображении. Поэтому можно исправить ситуацию, не влияя на качество передаваемого изображения. Ниже рассмотрен пример применения такой частотной фильтрации к текстуре (рис. 2, а) и к маске (рис. 2, б).

На рис. 4 показан спектр текстуры (рис. 4, а), а также спектр с отфильтрованной по разному уровню областью высоких пространственных частот (рис. 4, б-г), где удалены 25%, 50%, 75% от общей площади пространственного спектра соответственно.

♦

Рис. 4. Амплитуда спектра текстуры (в логарифмическом масштабе):

а) 2D-спектр и срез вдоль оси X; б) 2D-спектр и срез вдоль оси X с отфильтрованной высокочастотной областью 25% от общей площади; в) 2D-спектр и срез вдоль оси X с отфильтрованной высокочастотной областью 50% от общей площади; г) 2D-спектр и срез вдоль оси X с отфильтрованной высокочастотной областью 75% от общей площади

Несмотря на существенное уменьшение объёма данных за счёт удаления высоких частот от рис. 4, а к рис. 4, г, в восстановленном изображении (рис. 5)

сложно заметить изменения, несмотря на значительное уменьшение объёма передаваемых данных.

в)

г)

Рис. 5. Восстановленное из спектра изображение текстуры после высокочастотной фильтрации:

а) без фильтрации; б) фильтрация области 25% от общей площади пространственных частот; в) фильтрация области 50% от общей площади пространственных частот; г) фильтрация области 75% от общей площади пространственных частот

На рис. 5, а сжатие происходит только на 25%. Интересно, что дальнейшее сжатие путём фильтрации высоких частот даже до 50% и до 75% не приводит к заметному искажению изображения, но эта тема выходит за рамки настоящей работы.

Результаты показывают, что сжатия на 25-30% достаточно, чтобы передавать голографический сигнал с восстанавливаемым 3D-изображением площадью 2000 х 2000 пикселей с частотой 25 кадров в секунду. Видно, что сжатие информации о 3D-объекте на 30% в формате JPG, или представленное выше с помощью фильтрации высоких пространственных частот на 25% приводят примерно к одинаковым результатам. В целом, на основании полученных результатов можно сделать вывод о возможности передачи 3D голографической информации методом SSB практически без потерь в формате кадра 2000х2000 пикселей, или, совсем без потерь, если передавать 3D голографическую информацию в стандарте HD (1280 х 720) и даже Full HD (1920 х 1080). Также, резервом для увеличения скорости передачи является переход от стандарта IEEE 802.11n использованной в эксперименте системы Wi-Fi к системам стандартов 802.11ac, 802.11ax

или более поздних, поскольку даже стандарт 802.11ac даёт увеличение средней скорости почти на порядок.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Van Heerden P. J. A New Optical Method of Storing and Retrieving Information // Appl. Opt. - 1963. - Vol. 2. - № 4. - P. 387-392.

2. Hill B. Some Aspects of a Large Capacity Holographic Memory // Appl. Opt. - 1972. -Vol. 11. - № 11. - P. 182-196.

3. Гибин И. С., Мантуш Т. Н., Нестерихин Ю. Е., Панков Б. Н., Пен Е. Ф., Твердохлеб П. Е. Программируемое голограммное ЗУ с записью и считыванием информации // Автометрия. - 1975. - № 3. - С. 3-11.

4. Авторское свидетельство № 701350, 1979 г, зарегистрировано в Государственном реестре изобретений СССР за № 2468584 от 01.04.1977 г. Голографическое запоминающее устройство / Соскин С. И., Шойдин С. А., Левин В. И. - 1979.

5. Выдрин Л. В., Вьюхина Н. Н., Гибин И. С., Затолокин В. Н., Кибирев С. Ф., Мантуш Т. Н., Нестерихин Ю. Е., Панков Б. Н., Пен Е. Ф., Твердохлеб П. Е., Тищенко Ю. Н., Трубецкой А. В. Экспериментальная оптико-электронная (голографическая) система памяти // Автометрия. - 1980. - № 2. - С. 60-67.

6. Shoydin S. A. Holographic Memory Without Reference Beam // Optical Memory and Neural Networks (Information Optics). - 2016. - Vol. 25. - № 4. - P. 262-267. - ISSN 1060-992X.

7. Титарь В. П., Богданова Т. В. Проблемы создания голографической телевизионной системы // Радиоэлектроника и информатика. - 1999. - № 2. - С. 38-42.

8. Денисюк Ю. Н. Достаточны ли известные фундаментальные принципы голографии для создания новых типов объёмного кинематографа и искусственного интеллекта? // Журнал технической физики. - 1991. - Т. 61. - № 8. - С. 149-161.

9. Патент № 2707582 РФ. Способ дистанционного формирования голографической записи / Шойдин С. А., Опубл. 28.11.2019.

10. Шойдин С. А., Пазоев А. Л. Способ дистанционного формирования голографической записи // Автометрия. - 2021. - № 1. - С. 92-102. DOI: 10.15372/AUT20210110.

11. Shoidin S. A. and Pazoev A. L. Remote Formation of Holographic Record // Optical Information Technologies. - 2021. - Vol. 57. - № 1. - P. 80-88.

12. Шойдин С. А., Пазоев А. Л. Передача голографической информации супергетероди-нированием // HOLOEXPO 2020. - 2020. - С. 87-97.

13. Телевидение высокой чёткости [Электронный ресурс]. - Режим доступа: https://ru.wikipedia.org/wiki/Телевидение_высокой_чёткости (дата обращения: 19.05.2021).

© А. Л. Пазоев, С. А. Шойдин, 2021