CC BY
14
УДК 004.932.2
DOI 10.52575/2687-0932-2022-49-4-863-870
Формирование данных о пространстве многокамерными видеосистемами
1 Константинов И.С., 2 Гайворонский В.А.
1 Орловский государственный университет имени И.С. Тургенева, Наугорское ш., д. 40, г. Орел, 302020, Россия 2 Белгородский государственный национальный исследовательский университет, ул. Победы, д. 85, г. Белгород, 308015, Россия
Аннотация. В настоящее время наблюдается рост в развитии и производстве технологий виртуальной и дополненной реальности. При этом использование данных продуктов зачастую ограничивается воспроизведением видеороликов и фотоматериалов при условии, что данные технологии имеют огромный потенциал. Современные многокамерные системы имеют возможность вести панорамную фото- и видеосъемку, но при этом не существует программных средств, которые на основе полученных данных строят трехмерную модель окружающего пространства. Для ряда технических задач существенное значение имеет вопрос создания такого пространства в режиме реального времени для обеспечения оперативного принятия решений. В данной статье предложен подход к построению модели объемного панорамного изображения, с использованием оценки расстояния до объектов на основе пассивных методов создания карт глубины для многокамерных масштабируемых систем в реальном времени.
Ключевые слова: техническое зрение, компьютерное зрение, панорамное изображение, карты глубины, стереозрение, многокамерные системы
Для цитирования: Константинов И.С., Гайворонский В.А. 2022. Формирование данных о пространстве многокамерными видеосистемами. Экономика. Информатика, 49(4): 863-870. БЭТ 10.52575/2687-0932-2022-49-4-863-870
Formation of Area Data by Multi-Camera Video Systems
1 Igor S. Konstantinov, 2 Vitaliy A. Gaivoronskiy
1 Orel State University named after I.S. Turgenev, 40 Naugorskoe highway, Orel, 302020, Russia 2 Belgorod State National Research University, 85 Pobedy Str., Belgorod, 308015, Russia
Abstract. Currently, there is an increase in the development and production of virtual and augmented reality technologies, while the use of these products is often limited to the playback of videos and photographic materials, provided that these technologies have huge potential. Modern multi-camera systems have the ability to conduct panoramic photo and video shooting, but at the same time, there are no software tools that, based on the data obtained, build a three-dimensional model of the surrounding space. At the same time, for a number of technical tasks, the issue of creating such a space in real time to ensure prompt decision-making is essential. This article proposes an approach to constructing a model of a three-dimensional panoramic image, using the estimation of the distance to objects based on passive methods of creating depth maps, for multi-chamber scalable systems in real time.
Keywords: technical vision, computer vision, panoramic image, depth maps, stereo vision, multi-camera systems
For citation: Konstantinov I.S., Gaivoronsky V.A. 2022. Formation of Area Data by Multi-Camera Video Systems. Economics. Computer Science, 49(4): 863-870. DOI 10.52575/2687-0932-2022-49-4-863-870
Введение
Построение объемной модели на основе фото- или видеоданных является классической задачей технического зрения. В основе построения цифровой модели пространства или построения объемной модели предмета лежат данные о расположении каждой точки объекта в пространстве - карты глубины. Карта глубины представляет из себя копию исходного изображения, где вместо данных о цвете пикселя располагаются данные о расстоянии от оптического центра устройства до этого пикселя в пространстве [Гонсалес, 2006; Шапиро, 2006; Красильников, 2011]. Существует большое количество методов получения данных для построения карт глубины, которые можно разбить на два основных класса: активные и пассивные. К активным относятся методы, применяемые в системах, где помимо приемника изображения присутствуют излучатели, а именно:
• метод лазерной проекции - при помощи лазерного дальномера определяется расположение объектов в пространстве;
• ультразвуковой метод - за счет отражения ультразвуковых волн определяется расстояние до объекта;
• метод проецирования на объекты определенного паттерна с известными характеристиками - определение расстояния за счет расчета искривлений проекции относительно проецируемого паттерна;
• метод инфракрасной проекции - определение расстояния до объектов и их формы за счет проецирования инфракрасной сетки на объекты.
Основным недостатком активных методов построения данных о пространстве является наличие у них передающего устройства. Лежащие в основе таких методов устройства излучения света различного спектра не допускают их использование в ряде задач, например: скрытые системы специального назначения, лабораторные установки (где различный источник излучения может повлиять на результат) и так далее.
Пассивные методы получения данных о пространстве в своей основе задействуют только приемные устройства - оптические модули, которые не вносят дополнительного воздействия на окружающую среду. В данной статье для пассивного метода предлагается использовать многокамерную систему, где все оптические модули разбиты на стереопары. Стереопары - все возможные пары оптических модулей в многокамерной системе, где в каждой паре перекрывающаяся область зрения имеет не менее 50 процентов от общего обзора этой пары, что дает возможность построения объемной модели пространства в реальном времени за счет сканирования пространства «единым снимком» и распараллеливания расчетов для каждой пары оптических модулей.
В настоящее время возникает потребность создания технических комплексов, позволяющих производить построение объемного панорамного изображения для решения задачи обеспечения эффекта присутствия, близко приближенного к реальности, с возможностью визуальной оценки объема и расстояния, обеспечивающее реалистичное построение модели окружающего мира с минимальными временными задержками. В основе пассивного метода построения данных о пространстве лежит определение расстояния за счет физических параметров оптической системы, не зависящих от типа объектов.
Построение объемной модели пространства
Одним из ключевых моментов при построении объемного панорамного изображения является получение карты глубины, основанное на входных кадрах с каждой стереопары многокамерной системы.
Предлагаемый подход включает в себя два этап работы:
• Этап калибровки каждой стереопары многокамерной системы;
• Этап формирования объемного изображения.
Этап калибровки был описан в статье «Подход к созданию объёмного панорамного изображения на основе пассивных методов определения карт глубины» [Гайворонский, 2022]. Калибровка для конкретных конфигураций стереопар происходит один раз до момента формирования объемных панорамных изображений на этом устройстве. В результате калибровки получаем коэффициенты для конкретного устройства, которые используются в дальнейшем при формировании изображения на протяжении всего срока жизни устройства.
Рис. 1. Пассивный метод построения объемного изображения Fig. 1. Passive method of constructing a three-dimensional image
Полученные коэффициенты представляют собой информацию о взаимном расположении камер в пространстве (относительно самой многокамерной системы) и коэффициентах дисторсии для каждого оптического модуля [Гайворонский, 2022].
Этап формирования объемного изображения (рис. 1) включает в себя следующую последовательность действий: 1. 2.
3.
4.
5.
6.
Получение кадров с массива камер;
Выравнивание каждого снимка на основании калибровочных коэффициентов; Расчет локальных карт глубины для каждой стереопары; Сглаживание шумов на локальных картах глубины;
Расчет облака точек для каждой стереопары (на основе локальных данных карт глубины); Формирование общего облака точек на основании локальных облаков точек на виртуальной сцене окружающего пространства;
7. Отображение итоговой трехмерной модели окружающего пространства.
После выполнения пункта 1 (получение кадров с массива камер) данные обрабатываются в пунктах 2-6 в соответствии с коэффициентами калибровки в параллельном режиме для каждой стереопары. После формирования общего облака точек информация передается внешнему потребителю (пункт 7). Поскольку процессы обработки информации для каждой стереопары являются идентичными, тогда рассмотрим реализацию действий 26 на примере одной стереопары.
На рисунке 2 представлены исходные данные, полученные правым и левым оптическими модулями рассматриваемой стереопары.
Рис. 2. Исходные данные с левого и правого оптических модулей в стереопаре Fig. 2. Source data from the left and right optical modules in a stereo pair
Исправление искажений на исходных кадрах происходит на каждом из представленных снимков исходной стереопары независимо друг от друга.
На каждом исходном снимке производится поиск особенностей, в данном случае применяется метод на основе дескриптора SURF (рис. 3). Дескриптор SURF относится к числу тех дескрипторов, которые одновременно выполняют поиск особых точек и строят их описание инвариантное к изменению масштаба и вращению [Джгаркава, Лавров, 2011]. После этого происходит их сопоставление и ректификация (выравнивание) снимков относительно друг друга.
Рис. 3. Нахождение особенностей на паре снимков Fig. 3. Finding features on a pair of images
Для формирования карты глубины каждой стереопары предлагается применять как корреляционный, так и полуглобальный метод сопоставления, в зависимости от требований к условиям использования многокамерной системы. Алгоритм полуглобального сопоставления построения карт глубины - один из ведущих стереоалгоритмов. Этот алгоритм использует эффективную стратегию для приблизительной минимизации целевой функции (энергии), которая состоит из весовых коэффициентов пикселей (попиксельной стоимости) и близости однозначных пикселей и их окрестностей на рассматриваемых снимках (попарной гладкости) [Хиршмюллер, 2005]. Корреляционный метод является локальным методом. К его особенностям можно отнести скорость работы, высокую способность к распараллеливанию, но при этом существует недостаток, выражающийся в качестве получаемой карты глубины [Брадски, 2008, Кручинин, 2011]. Данный недостаток состоит в размере окна кор-
реляции на снимках: при недостаточном размере окна повышается влияние шума на конечный результат и увеличивается время расчета, при большом окне - растет ошибка в определении цвета/расстояния при сокращении времени расчетов. Качественного результата можно добиться лишь опытным путем, используя различные размеры окна при различных цветосветовых характеристиках окружающей среды.
В результате исследований полуглобальный метод показал более высокое качество построения модели при использовании в реальном времени. Корреляционный метод приемлемо использовать в изолированных условиях, например, в лабораторных установках, где существуют фиксированные источники света, с ограниченными и известными параметрами окружающей среды (сканирование объектов в специальной камере), при этом обеспечивается рост скорости вычислений при сохранении качества.
Эффект выравнивания (рис. 4) наиболее важен при расчете карт глубины корреляционным методом, поскольку позволяет перейти от плавающего окна к построчной корреляции снимков, за счет чего и происходит уменьшение скорости вычислений.
Ректификация снимков
Рис. 4. Сопоставленные выравненные снимки Fig. 4. Consistent aligned snapshots
На этапе фильтрации к карте глубины применяется низкочастотный фильтр, позволяющий убрать шумы и сгладить контуры, более качественно разделить границы. На рисунке 5 представлен результат работы построения карты глубины на основе полу-глобаль-ного метода с применением низкочастотного фильтра.
Disparity Map
Рис. 5. Карта глубины с использованием полуглобального метода, цветом обозначаются расстояния до каждой точки в пространстве Fig. 5. Depth map using the semi-global method, the color indicates the distance to each point in space
Для сравнения на рисунке 6 представлен результат работы корреляционного метода с ручным подбором размера окна. Результат является приемлемым, но из-за однородности
заднего плана произошло неверное вычисление расстояний до него (синий означает максимальное удаление).
Рис. 6. Карта глубины с применением корреляционного метода и низкочастотного фильтра, цветом обозначаются расстояния до каждой точки в пространстве Fig. 6. Depth map using the correlation method and a low-frequency filter, the color indicates
the distance to each point in space
На основе построенной карты глубины происходит соотнесение каждого пикселя в пространстве с сохранением его исходной яркостной и цветовой характеристики. Визуализация итоговой структуры выглядит следующим образом (рис. 7):
Рис. 7. Виртуальная сцена, отображающая объемную модель исходных данных пространства, под разными углами виртуальной камеры сцены Fig. 7. A virtual scene displaying a three-dimensional model of the source data of the space, at different angles of the virtual camera of the scene
На основе рассчитанных карт глубины (см. рис. 5) и выровненных снимков (см. рис. 4) происходит построение объемного изображения в пространстве виртуальной сцены, где данные с карт глубины обеспечивают расположение пикселя в трехмерном пространстве, а выровненные снимки передают параметры яркости и цвета пикселя. Различные положения камеры на сцене доказывают эффективность применения рассмотренного в статье метода.
Заключение
В статье представлен подход к построению облака точек с массива стереопар многокамерной системы. По результатам исследования был предложен подход к формированию
объемного видеопотока, обеспечивающего эффект виртуального присутствия для систем технического зрения различного назначения.
Проведенные исследования позволили создать универсальное программное обеспечение и структуры данных, обеспечивающие реализацию процесса виртуального присутствия в режиме реального времени. Программная реализация данного подхода была внедрена в уже существующие многокамерные системы технического зрения и учитывалась при создании новых систем [Константинов, Гайворонский, 2018].
Список литературы
Анисимов Б.В., Курганов В.Д., Злобин В.К. 1983. Распознавание и цифровая обработка
изображений. М.: Высшая школа. Гайворонский В.А. 2022. Подход к созданию объемного панорамного изображения на основе пассивных
методов определения карт глубины. Информационные системы и технологии. с. 24-29. Гонсалес Р., Вудс Р. 2006. Цифровая обработка изображений. М.: Техносфера. Джгаркава Г.М, Лавров Д.Н. 2011. Использование метода SURF для обнаружения устойчивых признаков изображения при создании сферических панорамных снимков. Омский государственный университет им. Ф.М. Достоевского, Математические структуры и моделирование, вып. 22. Журавель, И.М. 1999. Краткий курс теории обработки изображений. М.
Кравченко В., Басараб М., Волосюк В., Горячкин О., Зеленский А., Ксендзук А., Кутуза Б., Лукин А., Тоцкий А., Яковлев В. 2007. Цифровая обработка сигналов и изображений. М.: ФИЗМАТЛИТ.
Красильников, Н.Н. 2011. Цифровая обработка 2D- и 3D-изображений: Учебное пособие. СПб.: БХВ-Петербург.
Кручинин А. 2011. Распознавание образов с использованием OpenCV.
Лукьяница А.А. Шишкин А.Г. 2009. Цифровая обработка видеоизображений. М.: Ай-Эс-Эс Пресс. Рудаков П.И., Сафонов И.В. 2000. Обработка сигналов и изображений. М.: Диалог-МИФИ. Савельева И.П. 2011. Панорамное фото. М.
Сергиенко А.Б. 2002. Цифровая обработка сигналов: Учебное пособие для студентов вузов. СПб.: Питер.
Фисенко В.Т., Фисенко Т.Ю. 2008. Компьютерная обработка и распознавание изображений.
Учебное пособие. СПб.: СПбГУ ИТМО. Фурман А.Я. 2007. Визуализация изображений в трехмерных сценах. Учебное пособие. Йошкар-Ола: МарГТУ.
Шапиро Л., Стокман Дж. 2006. Компьютерное зрение. М.: БИНОМ. Лаборатория знаний. Яншин В. В. 1995. Анализ и обработка изображений: принципы и алгоритмы. М.: Машиностроение. Gary Bradski. 2008. Learning OpenCV. Published by O'Reilly Media, Inc., 1005 Gravenstein Highway
North, Sebastopol, CA 95472. Hirschmuller H. 2005. Accurate and efficient stereo processing by semi-global matching and mutual information. IEEE Conf. on Computer Vision and Pattern Recognition. San Diego, California, USA. V. 2. P. 807-814.
Konstantinov I.S., Lazarev S.A., Rubcov K.A., Maslakov Y.N. 2016. Algorithms in Portable Digital Device UHDTV Panoramic Image Formation. Application of information and communication - AICT2016: Confernce proceedings. Baku, Azerbaijan. P. 449-451. Konstantinov I.S., Lazarev S.A., Rubcov K.A., Maslakov Y.N., Gaivoronskiy V.A. 2018. Method For Improving Image Recognition In Portable Panoramic Video Capture Devices. Journal of Advanced Research in Dynamical and Control Systems, Volume 10, Issue 10 Special Issue. P. 1871-1878.
References
Anisimov B.V., Kurganov V.D., Zlobin V.K. 1983. Recognition and digital image processing. Moscow: Higher School.
Gaivoronsky V.A. 2022. An approach to creating a three-dimensional panoramic image based on passive
methods for determining depth maps. Information systems and technologies. pp. 24-29. Gonzalez R., Woods R. 2006. Digital image processing. Moscow: Technosphere.
Jgarkava G.M., Lavrov D.N. 2011. Using the SURF method to detect stable image features when creating spherical panoramic images. Omsk State University named after F.M. Dostoevsky, Mathematical Structures and Modeling, vol. 22. Zhuravel, I.M. 1999. A short course in the theory of image processing. M.
Kravchenko V., Basarab M., Volosyuk V., Goryachkin O., Zelensky A., Ksenzuk A., Kutuza B., Lukin A.,
Totsky A., Yakovlev V. 2007. Digital signal and image processing. M.:FIZMATLIT. Krasilnikov, N.N. 2011. Digital processing of 2D and 3D images: A textbook. St. Petersburg: BHV-Petersburg.
Kruchinin A. 2011. Image recognition using OpenCV.
Lukyanitsa A.A. Shishkin A.G. 2009. Digital processing of video images. Moscow: AI-ES-Es Press. Rudakov P.I., Safonov I.V. 2000. Signal and image processing. Moscow: Dialog-MEPhI. Savelieva I.P. 2011. Panoramic photo. M.
Sergienko A.B. 2002. Digital signal processing: A textbook for university students. St. Petersburg: Peter. Fisenko V.T., Fisenko T.Y. 2008. Computer processing and image recognition. Study guide. St. Petersburg:
St. Petersburg State University ITMO. Furman A.Ya. 2007. Visualization of images in three-dimensional scenes. Study guide. Yoshkar-Ola: MarGTU.
Shapiro L., Stockman J. 2006. Computer vision. M.: BINOM. Laboratory of knowledge. Yanshin V. V. 1995. Image analysis and processing: principles and algorithms. M.: Mechanical Engineering.
Gary Bradski. 2008. Learning OpenCV. Published by O'Reilly Media, Inc., 1005 Gravenstein Highway
North, Sebastopol, CA 95472. Hirschmuller H. 2005. Accurate and efficient stereo processing by semi-global matching and mutual information. IEEE Conf. on Computer Vision and Pattern Recognition. San Diego, California, USA. V. 2. P. 807-814.
Konstantinov I.S., Lazarev S.A., Rubcov K.A., Maslakov Y.N. 2016. Algorithms in Portable Digital Device UHDTV Panoramic Image Formation. Application of information and communication - AICT2016: Confernce proceedings. Baku, Azerbaijan. P. 449-451. Konstantinov I.S., Lazarev S.A., Rubcov K.A., Maslakov Y.N., Gaivoronskiy V.A. 2018. Method For Improving Image Recognition In Portable Panoramic Video Capture Devices. Journal of Advanced Research in Dynamical and Control Systems, Volume 10, Issue 10 Special Issue. P. 1871-1878.
Конфликт интересов: о потенциальном конфликте интересов не сообщалось. Conflict of interest: no potential conflict of interest related to this article was reported.
ИНФОРМАЦИЯ ОБ АВТОРАХ
Константинов Игорь Сергеевич, доктор технических наук, профессор, профессор кафедры информационных систем и цифровых технологий Орловского государственного университета имени И.С. Тургенева, г. Орел, Россия
Гайворонский Виталий Александрович,
старший преподаватель кафедры математического и программного обеспечения информационных систем Белгородского государственного национального исследовательского университета, г. Белгород, Россия
INFORMATION ABOUT THE AUTHORS
Igor S. Konstantinov, Doctor of Technical Sciences, Professor, Professor of the Department of Information Systems and Digital Technologies, Orel State University named after I.S. Turgenev, Orel, Russia
Vitaliy A. Gaivoronskiy, Senior Lecturer, Department of Mathematical and Software Support of Information Systems, Belgorod State National Research University, Belgorod, Russia
