CC BY
11
КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ COMPUTER SIMULATION HISTORY
УДК 004.932.2
DOI 10.52575/2687-0932-2023-50-1-133-143
Разработка и исследование структурной модели построения объемного панорамного изображения
Константинов И.С., Гайворонский В.А.
Белгородский государственный национальный исследовательский университет, Россия, 308015, г. Белгород, ул. Победы, д. 85 E-mail: gaivoronskiy@bsu.edu.ru
Аннотация. Пассивные методы получения данных о пространстве в своей основе используют только приемные устройства без использования активных систем излучения - оптические модули. Данные методы подразумевают использование совокупности оптических модулей, образующих систему стереобаз, например: использование пленоптических систем, систем вращения и многокамерные устройства. Разрабатываемые методы предполагают строить объемные модели на основе данных с существующих многокамерных систем для использования в системах безопасности, системах умного города или для применения в развлекательных и образовательных целях, а также для обеспечения полного погружения и эффекта присутствия.
Ключевые слова: техническое зрение, компьютерное зрение, панорамное изображение, карты глубины, стереозрение, многокамерные системы
Для цитирования: Константинов И.С., Гайворонский В.А. 2023. Разработка и исследование структурной модели построения объемного панорамного изображения. Экономика. Информатика, 50(1): 133-143. DOI 10.52575/2687-0932-2023-50-1-133-143
Development and Research of a Structural Model for Constructing a Three-Dimensional Panoramic Image
Igor S. Konstantinov, Vitaliy A. Gaivoronskiy
Belgorod National Research University, 85 Pobedy St., Belgorod, 308015, Russia E-mail: gaivoronskiy@bsu.edu.ru
Abstract. Passive methods of obtaining space data basically use only receiving devices - optical modules, without the use of active radiation systems. These methods imply the use of a set of optical modules forming a system of stereo bases, for example: the use of plenoptic systems, rotation systems and multi-chamber devices. The developed methods suggest building three-dimensional models based on data from existing multi-chamber systems, for use in security systems, smart city systems or for entertainment and educational purposes, to ensure full immersion and the effect of presence.
Keywords: technical vision, computer vision, panoramic image, depth maps, stereo vision, multi-camera systems
For citation: Konstantinov I.S., Gaivoronsky V.A. 2023. Development and Research of a Structural Model for Constructing a Three-Dimensional Panoramic Image. Economics. Computer Science, 50(1): 133-143 (in Russian). DOI 10.52575/2687-0932-2023-50-1-133-143
Введение
В настоящее время наблюдается развитие и создание новых технологий на основе виртуальной и дополненной реальности, но чаще всего данные технологии ограничивается воспроизведением видеороликов и фотоматериалов, хотя возможности применения данных технологий имеют огромный потенциал. Так, например, современные многокамерные системы имеют возможность вести панорамную фото- и видеосъемку, но при этом не существует программных средств, которые на основе полученных данных строят трехмерную модель окружающего пространства. Однако для ряда технических задач, при оперативном принятии решений, существенное значение имеют вопросы понимания пространственного расположения объектов в режиме реального времени. В связи с ростом использования многокамерных систем возникает необходимость решения научно-технической задачи разработки технологии построения карт глубины на основе многокамерных систем (панорамные камеры) с построением модели в режиме реального времени как на видеопотоке, так и для статичных снимков высокого разрешения.
Разработка структурной модели построения объемного панорамного изображения
Пассивные методы построения данных о пространстве позволяют определить расстояние до объектов на основе физических параметров оптической системы. При построении объёмного панорамного изображения с целью получить карты глубины используются входные кадры с каждого оптического модуля многокамерной системы для последующего объединения в стереопары. На рисунке 1 представлена структурная модель построения объемного панорамного изображения.
Рис. 1. Структурная модель построения объемного панорамного изображения Fig. 1. Structural model of building a three-dimensional panoramic image
Для детектирования объектов на различных кадрах используется метод корреляции изображений, обладающий следующими преимуществами: 1. Высокая точность нахождения общих фрагментов;
2. Простота реализации (возможна аппаратная реализация алгоритма); Данные преимущества обусловлены заранее известными зонами перекрытия кадров, что позволяет сократить область поиска особенностей, повысить точность и скорость работы алгоритма.
Алгоритм детектирования объектов методом корреляции состоит из следующих шагов:
1. считывание исходных изображений;
2. выбор сравниваемых областей, размера окна поиска и шага окна;
3. формирование корреляционных полей (расчет корреляции для окна поиска);
4. нахождения пика корреляции и сохранение координат на исходном изображении;
5. сохранение полученных данных, для дальнейшего использования при формировании панорамного изображения.
Изображение приходит по сети от каждой камеры: для этого указывается адрес камеры, номер камеры и размер исходного изображения. Далее изображение преобразуется в серый цвет (для увеличения скорости вычислений и уменьшении объема считываемых данных) и сохраняется в массив для дальнейших расчетов.
Область поиска на изображениях является особенностью различных моделей камер, используемых для получения панорамных снимков, которая определяется в зависимости от количества оптических модулей камеры, а также расположения в пространстве и итоговой зоны перекрытия камер. После определения вышеуказанных параметров они принимаются за константу и в дальнейшем не подлежат изменению [Константинов, 2018].
В задаче построения объемной модели объектов на основе стереопары ключевым моментом является получение карты глубины на основе входных кадров. На рисунке 1 представлена схема работы модели.
Данная модель предполагает два блока работы:
1. блок калибровки стереобаз;
2. блок формирования объемного изображения.
Предполагается, что во время работы данной модели в реальном устройстве при запуске происходит калибровка стереобаз, этап калибровки был описан в статье «Подход к созданию объёмного панорамного изображения на основе пассивных методов определения карт глубины» [Гайворонский, 2022]. Рассчитанные калибровочные значения, не изменяемые в процессе работы системы, используются блоком формирования объемного изображения.
Исследование и построение метода поиска особых точек для получения панорамного изображения
На Рисунке 2 представлена общая схема функции нахождения особенностей на снимках. В общем виде данный подход состоит из следующих частей:
1) получение исходных данных;
2) поиск особенностей на каждом из снимков (дескриптор SURF);
3) совмещение особенностей на паре снимков (каждый с каждым);
4) фильтрация особенностей - удаление ошибочных совмещений (рис. 4).
Рис. 2. Схема нахождения особенностей на снимках Fig. 2. The scheme of finding features in the images
На рисунке 3 представлен результат работы поиска соответствий на изображениях дескриптором SURF. На каждом кадре происходит поиск особенностей и выполняется соотнесение особенностей на паре кадров. На примере видно, что при поиске особенностей первого изображения (книга) на втором (общая сцена с книгой), выявлено большое количество ложных совпадений [Гонсалес, 2006, Джгаркава, 2011, Кручинин, 2011].
а) б)
Рис. 3. Пример ошибочного нахождение особенностей. а - найденные особенности на изображениях, б - соответствующие друг другу особенности
Fig. 3. Example of erroneous finding of features. a- the features found in the images, b - the features corresponding to each other
Для решения данной проблемы был выдвинут метод реализации фильтрации особенностей на изображениях при использовании в многокамерной системе.
На этапе калибровки изображения были сформированы в пары и выровнены относительно друг друга. Далее производится фильтрация на основании определения их физического расположения в пространстве, фиксированное расположение оптики позволяет исключить проблемы ложного обнаружения особенностей (например, поворот изображения) и уменьшить область поиска за счет геометрического соответствия на паре изображений.
- с
в
Рис. 4. Геометрическое соответствие точек на изображениях, точки a совпадающие, в и с не совпадающие Fig. 4. Geometric correspondence of points in the images, points a are coincident, a and c is not coincident
Как видно из рисунка 4, точки «а» являются совпадающими, а точки «в» и «с» таковыми не являются. Это обусловлено тем, что области «сшивки» изображений подразумевают выделение именно таких областей, которые являются общими на обоих изображениях, за счет этого все особенности, расположенные не на одной линии или же расположенные по разным граням области нахождения, являются ложными, даже с учетом совпадения особенностей.
Исследование и разработка метода калибровки стереобаз многокамерной системы
Первым этапом работы над исходными снимками является корректировка изображений на основе данных калибровки стереопары. Для калибровки стереопары используется паттерн - шахматная доска с известными размерами (размер ячейки шахматной доски). Данный паттерн имеет известные размеры ячеек, необходимые для точного расчёта расстояний до объектов, а также параллельные вертикальные и горизонтальные блоки, что позволяет корректировать оптические искажения объектива [Хиршмюллер, 2005, Шапиро, 2006, Савельева, 2011]. Для калибровки можно использовать и другие паттерны с условием выполнения вышеописанных условий.
Ниже представлена модель калибровки многокамерных систем:
Рис. 5. Модель процесса калибровки многокамерных систем Fig. 5. Model of the calibration process of multi-chamber systems
Калибровочные снимки (Рисунок 6) позволяют вычислить геометрическое положение камер, в многокамерной системе, относительно друг друга (рисунок 7), и данные об искажениях, вносимые оптикой каждого отдельного модуля. Важным моментом при калибровке системы является баланс между размером калибровочного шаблона и разрешающей способностью оптических модулей. Например, при использовании камер более низкого разрешения необходимо использовать шаблон, имеющий наибольшую шахматную сетку, иначе, при поиске шаблонов на снимках, сдвиг в несколько пикселей будет нести ошибки в расчеты данных о глубине. На основании вышесказанного сформированы требования для калибровки многокамерной системы:
1. Разрешение матрицы каждого оптического модуля;
2. Размер калибровочного паттерна - как его площадь, так и размер каждой ячейки в паттерне;
3. Максимальное покрытие области видимости калибровочным паттерном - размещение паттерна перед оптическим модулем или перемещение его по области видимости;
4. Синхронизация оптических модулей - при передвижении паттерна при калибровке, при отсутствии синхронизации, будут получены ложные калибровочные коэффициенты.
Рис. 6. Тестовый пример пары снимков для получения данных о глубине, с использованием калибровочной доски, для калибровки системы Fig. 6. A test example of a pair of images to obtain depth data, using a calibration board, to calibrate the system
Калибровка оптической системы выполняется путем многократной съемки тестового шаблона, с постоянным перемещением по зоне видимости (на рисунке 7 представлена модель оптической системы с размещенными шаблонами в пространстве). Также данный метод предлагает производить калибровку относительно неподвижного тестового шаблона, производя перемещение непосредственно системы [Гайворонский, 2022].
Рис. 7. Модель камер, основанных на калибровке системы Fig. 7. Model of cameras based on system calibration
Такой подход позволяет применять данный метод к различным устройствам - как к портативным, так и к статичным. Данное решение предоставляет данные о смещении внутри кадров, позволяет произвести коррекцию искажений исходных снимков для последующего их сопоставления .
Исследование системы построения карт глубины для статичных изображений и видеопотока
Основным процессом работы является нахождение карты глубины. Карта глубины является изображением, где каждый пиксель хранит расстояние данного пикселя в пространстве, так как просто изображение хранит информацию о цвете пикселя.
Рис. 8. Модель построения облака точек для стереопары Fig. 8. A model for constructing a point cloud for a stereo pair
Как описывалось ранее, для построения карты глубины необходимо знать смещение каждого пикселя относительно друг друга на паре стереоснимков. После ректификации снимков эпиполярные линии на кадрах лежат параллельно друг другу, что упрощает процесс поиска соответствий, так как зная, что строки на снимках выравнены между собой, данный процесс можно распараллелить для увеличения скорости вычислений, что является основным преимуществом при работе данного метода с обработкой видеопотока в реальном времени. На основе данной модели (рисунок 8) производится построение карты глубины [Кручинин, 2011], представленной на Рисунке 9.
Disparity Map
Рис. 9. Расчет карты глубины Fig. 9. Calculation of the depth map
На снимке более близкие объекты находятся в красной зоне, а наиболее удаленные стремятся к нулю. Далее, имея карту глубины и базисный снимок, создается облако точек -трехмерная модель исходного снимка в пространстве, где каждый пиксель исходного снимка располагается в пространстве на основе данных карты глубины. Тем самым достигается структура, хранящая все точки в пространстве, представляющая объемное изображение. На Рисунке 10 представлена модель системы, которая отображает один из секторов многокамерной системы панорамной съемки.
Рис. 10. Построение объемной модели на основе карты глубины Fig. 10. Building a volumetric model based on a depth map
На снимке видно, что близлежащие объекты расположены наиболее близко к началу системы координат, при этом удаленные объекты располагаются в пространстве дальше, сохраняя свою форму. Ниже представлен пример использования данного алгоритма как системы отсечения удалённых объектов, то есть отображаются только объекты на расстоянии 30-50 сантиметров от камеры. Данный пример позволяет построить на основе данного метода систему детектирования препятствий или же детектирование приближающихся в зону объектов.
Заключение
В статье предложена структура построения объемного панорамного изображения для многокамерных систем, а также предложен метод калибровки и построения карт глубины для пары оптических модулей в многокамерной системе. Данный метод позволяет произвести расчет параметров для каждого оптического модуля, произвести калибровку и в дальнейшем использовать полученные параметры для построения панорамного объемного изображения на всей системе.
Список литературы
Анисимов Б.В., Курганов В.Д., Злобин В.К. 1983. Распознавание и цифровая обработка
изображений. М.: Высшая школа. Гайворонский В.А. 2022. Подход к созданию объемного панорамного изображения на основе пассивных методов определения карт глубины. Информационные системы и технологии. с. 24-29.
Гонсалес Р., Вудс Р. 2006. Цифровая обработка изображений. М.: Техносфера. Джгаркава Г.М, Лавров Д.Н. 2011. Использование метода SURF для обнаружения устойчивых признаков изображения при создании сферических панорамных снимков. Омский
государственный университет им. Ф.М. Достоевского, Математические структуры и моделирование, вып. 22.
Журавель, И.М. 1999. Краткий курс теории обработки изображений. М.
Кравченко В., Басараб М., Волосюк В., Горячкин О., Зеленский А., Ксендзук А., Кутуза Б., Лукин А., Тоцкий А., Яковлев В. 2007. Цифровая обработка сигналов и изображений. М.:ФИЗМАТЛИТ.
Красильников, Н.Н. 2011. Цифровая обработка 2D- и SD-изображений: Учебное пособие. СПб.: БХВ -Петербург.
Кручинин А. 2011. Распознавание образов с использованием OpenCV.
Лукьяница А.А. Шишкин А.Г. 2009. Цифровая обработка видеоизображений. М.: Ай-Эс-Эс Пресс.
Рудаков П.И., Сафонов И.В. 2000. Обработка сигналов и изображений. М.: Диалог-МИФИ.
Савельева И.П. 2011. Панорамное фото. М.
Сергиенко А.Б. 2002. Цифровая обработка сигналов: Учебное пособие для студентов вузов. СПб.: Питер.
Фисенко В.Т., Фисенко Т.Ю. 2008. Компьютерная обработка и распознавание изображений. Учебное пособие. СПб.: СПбГУ ИТМО.
Фурман А.Я. 2007. Визуализация изображений в трехмерных сценах. Учебное пособие. Йошкар-Ола: МарГТУ.
Шапиро Л., Стокман Дж. 2006. Компьютерное зрение. М.: БИНОМ. Лаборатория знаний.
Яншин В.В. 1995. Анализ и обработка изображений: принципы и алгоритмы. М.: Машиностроение.
Gary Bradski. 2008. Learning OpenCV. Published by O'Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472.
Hirschmuller H. 2005. Accurate and efficient stereo processing by semi-global matching and mutual information. IEEE Conf. on Computer Vision and Pattern Recognition. San Diego, California, USA. V. 2. P. 807-814.
Konstantinov I.S., Lazarev S.A., Rubcov K.A., Maslakov Y.N. 2016. Algorithms in Portable Digital Device UHDTV Panoramic Image Formation. Application of information and communication - AICT2016: Confernce proceedings. Baku, Azerbaijan. P. 449-451.
Konstantinov I.S., Lazarev S.A., Rubcov K.A., Maslakov Y.N., Gaivoronskiy V.A. 2018. Method For Improving Image Recognition In Portable Panoramic Video Capture Devices. Journal of Advanced Research in Dynamical and Control Systems, Volume 10, Issue 10 Special Issue. P. 1871-1878.
References
Anisimov B.V., Kurganov V.D., Zlobin V.K. 1983. Recognition and digital image processing. Moscow: Higher School.
Gaivoronsky V.A. 2022. An approach to creating a three-dimensional panoramic image based on passive methods for determining depth maps. Information systems and technologies. pp. 24-29.
Gonzalez R., Woods R. 2006. Digital image processing. Moscow: Technosphere.
Jgarkava G.M., Lavrov D.N. 2011. Using the SURF method to detect stable image features when creating spherical panoramic images. Omsk State University named after F.M. Dostoevsky, Mathematical Structures and Modeling, vol. 22.
Zhuravel, I.M. 1999. A short course in the theory of image processing. M.
Kravchenko V., Basarab M., Volosyuk V., Goryachkin O., Zelensky A., Ksenzuk A., Kutuza B., Lukin A., Totsky A., Yakovlev V. 2007. Digital signal and image processing. M.:FIZMATLIT.
Krasilnikov, N.N. 2011. Digital processing of 2D and 3D images: A textbook. St. Petersburg: BHV-Petersburg.
Kruchinin A. 2011. Image recognition using OpenCV.
Lukyanitsa A.A. Shishkin A.G. 2009. Digital processing of video images. Moscow: AI-ES-Es Press.
Rudakov P.I., Safonov I.V. 2000. Signal and image processing. Moscow: Dialog-MEPhI.
Savelieva I.P. 2011. Panoramic photo. M.
Sergienko A.B. 2002. Digital signal processing: A textbook for university students. St. Petersburg: Peter.
Fisenko V.T., Fisenko T.Y. 2008. Computer processing and image recognition. Study guide. St. Petersburg:
St. Petersburg State University ITMO. Furman A.Ya. 2007. Visualization of images in three-dimensional scenes. Study guide. Yoshkar-Ola: MarGTU.
Shapiro L., Stockman J. 2006. Computer vision. M.: BINOM. Laboratory of knowledge. Yanshin V.V. 1995. Image analysis and processing: principles and algorithms. M.: Mechanical Engineering.
Gary Bradski. 2008. Learning OpenCV. Published by O'Reilly Media, Inc., 1005 Gravenstein Highway
North, Sebastopol, CA 95472. Hirschmuller H. 2005. Accurate and efficient stereo processing by semi-global matching and mutual information. IEEE Conf. on Computer Vision and Pattern Recognition. San Diego, California, USA. V. 2. P. 807-814.
Konstantinov I.S., Lazarev S.A., Rubcov K.A., Maslakov Y.N. 2016. Algorithms in Portable Digital Device UHDTV Panoramic Image Formation. Application of information and communication - AICT2016: Confernce proceedings. Baku, Azerbaijan. P. 449-451. Konstantinov I.S., Lazarev S.A., Rubcov K.A., Maslakov Y.N., Gaivoronskiy V.A. 2018. Method For Improving Image Recognition In Portable Panoramic Video Capture Devices. Journal of Advanced Research in Dynamical and Control Systems, Volume 10, Issue 10 Special Issue. P. 1871-1878.
Конфликт интересов: о потенциальном конфликте интересов не сообщалось. Conflict of interest: no potential conflict of interest related to this article was reported.
ИНФОРМАЦИЯ ОБ АВТОРАХ
Константинов Игорь Сергеевич, доктор технических наук, профессор, профессор кафедры математического и программного обеспечения информационных систем Белгородского государственного национального исследовательского университета, г. Белгород, Россия
Гайворонский Виталий Александрович,
старший преподаватель кафедры математического и программного обеспечения информационных систем Белгородского государственного национального исследовательского университета, г. Белгород, Россия
INFORMATION ABOUT THE AUTHORS
Igor S. Konstantinov, Doctor of Technical Sciences, Professor, Professor of the Department of Mathematical and Software Support of Information Systems, Belgorod National Research University, Belgorod, Russia
Vitaliy A. Gaivoronskiy, Senior Lecturer, Department of Mathematical and Software Support of Information Systems, Belgorod National Research University, Belgorod, Russia
