CC BY
19
УДК 004.4'275
DOI: 10.24412/2071-6168-2023-6-51-65
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ СОЗДАНИЯ ТРЕХМЕРНЫХ СЦЕН ТЕСТИРОВАНИЯ АЛГОРИТМОВ КОМПЬЮТЕРНОГО
ЗРЕНИЯ
П.А. Гессен, А.В. Колдомасов, А.И. Лизин, В.А. Павлова, В.А. Тупиков
В процессе тестирования алгоритмов обнаружения и сопровождения объектов одной из основных задач является оценка работоспособности алгоритмов в сложных условиях. Например, тестирование алгоритма сопровождения в экстремальных погодных условиях, таких как снег, сильный дождь или туман, не всегда возможно или безопасно. Чтобы решить эту проблему, были разработаны различные программные средства для моделирования реалистичных сцен, в частности, собственная среда моделирования с использованием игрового движка Unreal Engine. Показано успешное моделирование наборов данных для алгоритмов обнаружения и отслеживания объектов. СМ позволяет создавать уникальные сценарии движения объектов и моделировать различные погодные условия. Наборы данных, созданные в среде моделирования, сопоставимы с наборами данных, полученными от реальных объектов, что позволяет тестировать алгоритмы в смоделированных опасных условиях, не подвергая риску людей или оборудование. Широкие функциональные возможности среды моделирования и возможность настройки уникальных сцен позволяют значительно повысить эффективность тестирования алгоритмов обнаружения и сопровождения объектов.
Ключевые слова: трехмерное моделирование, трехмерная реконструкция, да-
тасет.
Введение. Задача тестирования алгоритмов обнаружения и сопровождения объектов в реальных условиях при различных сценариях остается одной из наиболее трудоемких и актуальных. На данный момент исследователи пользуются однотипными записанными видеофрагментами или различными бенчмарками (OTB2013, OTB2015, TC128, UAV20L, POT2018) [1,2], поэтому возникает задача создания различных сценариев с уникальными траекториями движений объектов и разного рода помехами. Основное направление исследования статьи заключается в решении проблем тестирования алгоритмов обнаружения, распознавания и отслеживания объектов в опасных или экстремальных погодных условиях, а также сложных траекториях полета носителя, которые могут быть небезопасными, трудными или невозможными для воспроизведения в реальных сценариях.
Существует несколько причин, требующих создания собственного инструмента моделирования вместо использования существующего. Вот некоторые из них.
Отсутствие инструмента в свободном доступе. Множество разработчиков создают свои средства для моделирования в своих командах и не распространяют их ни в каком виде.
Отсутствие функционала. Исходя из своих собственных задач, разработчики создают инструменты под себя, и зачастую качество таких решений может не устраивать другие команды.
Настройка. Одно из основных преимуществ создания собственного инструмента моделирования заключается в том, что можно настроить его в соответствии со своими конкретными потребностями. Создавая собственный инструмент, получаете полный контроль над функциями и возможностями, что позволяет адаптировать его к своему рабочему процессу и требованиям.
Производительность. Создав свой собственный инструмент, появляется возможность оптимизировать его производительность. Это особенно важно для больших или сложных моделей, с которыми сложно работать в существующих инструментах. Создав инструмент, специально разработанный под текущие задачи, появляется возможность оптимизировать его скорость и эффективность.
Разработка реалистичной среды моделирования сцен на основе программной платформы с открытым исходным кодом, такой как Unreal Engine [3] или Unity [4], может быть очень полезной для исследователей. Создав инструмент, позволяющий создавать уникальные сценарии движения объектов и различных погодных условий, исследователи могут более точно моделировать условия, с которыми алгоритмы могут столкнуться в реальных ситуациях. Однако создание пользовательского инструмента также может быть серьезной задачей и может потребовать значительного количества времени и ресурсов.
Разработка собственного программного обеспечения имеет преимущество, позволяющее исследователям настраивать программное обеспечение в соответствии со своими конкретными потребностями. Это может включать создание новых инструментов и функций, а также возможность модифицировать существующие, чтобы они лучше соответствовали исследовательским требованиям. Кроме того, поскольку исходный код доступен, исследователи могут легко интегрировать инструмент с другим программным обеспечением и рабочими процессами.
Возможность создавать наборы данных для алгоритмов обнаружения и отслеживания объектов также является самой важной функцией среды моделирования. Создавая реалистичные сценарии и записывая видеозаписи движущихся объектов, исследователи могут создавать большие наборы данных, которые можно использовать для обучения и оценки производительности алгоритмов.
Ввиду вышесказанного было принято решение разработать собственную среду моделирования реалистичных сцен. Выбор был сделан в пользу Unreal Engine, так как в этой системе применяется множество инструментов для ускорения разработки и наличия большего маркета с готовыми бесплатными решениями.
Состав среды моделирования. В состав среды моделирования могут входить различные компоненты, позволяющие создать реалистичную и динамичную среду для тестирования классических алгоритмов обработки изображений, а также и оценки моделей машинного обучения. Ниже перечислены некоторые из основных компонентов.
1. Освещение. СМ должна иметь систему освещения, которая может имитировать различные условия освещения, такие как день и ночь, яркое и тусклое освещение и т.д. Это может помочь оценить, насколько хорошо алгоритмы работают в различных условиях освещения.
2. Погода и условия окружающей среды. СМ может включать в себя различные погодные условия, такие как дождь, снег, туман и ветер. Это может помочь проверить, насколько хорошо алгоритмы работают в неблагоприятных погодных условиях.
3. Размещение объектов и траектории движения. СМ должна позволять размещать объекты, такие как транспортные средства, люди и другие объекты, а также создавать для них траектории движения.
4. Инструменты размещения и редактирования объектов. Эти инструменты позволяют пользователям размещать 3D-модели в сцене и редактировать их свойства, такие как размер, положение, ориентация и свойства материала.
5. Инструменты моделирования камеры. Эти инструменты имитируют настройки камеры, такие как размер сенсора, фокусное расстояние и шум, а также могут применять фильтры, например, тепловизионные, для имитации различных типов камер.
6. Инструменты сбора данных. Эти инструменты позволяют пользователям собирать данные из моделируемой среды, такие как изображения.
7. Инструменты оценки. Эти инструменты оценивают качество моделей машинного обучения на основе таких показателей, как точность, достоверность, полнота.
Комбинируя эти компоненты, можно создать комплексную среду 3D-тестирования как для классических алгоритмов компьютерного зрения, так и для машинного обучения, позволяя создавать уникальные сценарии движения объектов, различных погодных условий и настроек камеры. Этот тип среды может обеспечить безопасную, контролируемую и экономичную альтернативу реальному тестированию и оценке, что значительно ускорит разработку как классических алгоритмов компьютерного зрения, так и различных моделей машинного обучения.
Создание карт местности. Существуют три основных метода представления ландшафтных данных в пространстве.
1. Первый метод использует обычную сетку высот, также известную как карта высот (height map).
2. Второй метод использует неравномерную сетку вершин и соединяющих их связей, которая, по сути, является триангулированной картой.
3. Третий метод включает в себя сохранение информации о типе используемого блока местности, а не информации о конкретной высоте. Этот метод предполагает предварительное построение сегментов и указание на карте только их индексов.
Импорт (рис. 1), создание и редактирование ландшафтов осуществляется встроенным функционалом Unreal Engine и не требует дополнительной разработки. Unreal Engine использует для создания ландшафтов
карты высот. Стоит отметить, что существует множество различных бесплатных инструментов для получения карты высот реальных местностей любой точки планеты. Unreal Engine предоставляет встроенные функции для импорта, создания и редактирования карт высот. Карты высот можно импортировать из внешних источников или создавать внутри движка с использованием различных инструментов ландшафта, включая инструменты скульптинга и рисования. Эти инструменты позволяют пользователю создавать реалистичные ландшафты, которые затем можно заполнить 3D-моделями, чтобы создать полную среду для работы алгоритмов машинного зрения.
Рис. 1. Пример выполнения работы по импорту карты высот
1Ц
Рис. 2. Пример Blueprint-скрипта создание реалистичной текстуры
Реалистичные текстуры создаются на основе виртуальных материалов, которые возможно заранее подготовить в любой программе обработки изображений. Настройка виртуального материала происходит с помощью системы визуальных сценариев Blueprint [5] (рис. 2) - системы сценариев
54
на основе узлов в Unreal Engine, которая позволяет разработчикам создавать игровую логику без написания кода. Он предоставляет визуальный интерфейс, который позволяет разработчикам перетаскивать узлы и соединять их для создания сложного поведения объектов в игровом мире. Виртуальный материал, по сути, является набором инструкций о том, как текстура должна быть применена к 3D-объекту, и система Blueprint используется для определения этих инструкций. Используя эту систему, разработчики могут легко создавать и изменять виртуальные материалы для достижения желаемого вида своих 3D-моделей.
В итоге с корректной настройкой параметров материалов можно получить хороший результат в виде карт местности (рис. 3).
Рис. 3. Пример карты, созданной с использованием карты высот
Режим размещения трехмерных моделей и редактирования погодных условий. Большая часть трехмерных моделей для данного режима были найдены в открытых источниках [6] и импортированы в Unreal Engine с помощью встроенных утилит. Оставшаяся часть трехмерных моделей была спроектирована самостоятельно с помощью профессионального программного обеспечения для создания трёхмерной компьютерной графики Blender [7].
Все трехмерные модели были помещены во встроенные типы отображения геометрии Static Mesh [8] и Skeletal Mesh [9].
Размещение 3D-моделей и индикация траекторий их движения в среде моделирования может осуществляться пользователем через интуитивно понятный интерфейс (рис. 4). Настройки и принципы взаимодействия пользователя с 3D-моделями создавались с помощью скриптовой системы Blueprint.
Создание
Настроим Транспорт Воздушные Беспилотник (UAV_MQl) Строения Контейнер
Масштаб создэния.тоо БТР-В2
самолет Бочка с насосом
Абрамс-М1А1 БМПЗ HUM 9С552
Размещать на земг[Д] Су-33 трансформатор
Беспплотник (UCAV_Qrion) каркас дома
Создание объектов |
б
в
Рис. 4. Интерфейс установки объектов: а - панель выбора объекта для установки; б - пример установки модели; в - различная техника, установленная пользователем
Погодные условия. В дополнение к размещению 3D-моделей СМ позволяет пользователю создавать различные погодные условия, такие как дождь, туман и снег (рис. 5). Смена дневного и ночного циклов также была смоделирована с помощью сценариев Blueprint.
Погодные настроики
Солнце
Текущее время ГОД:
Погодные эффекты
Дикаыическая погода Текущая погода:
Туман
вмсотл ночного тумана: Видимость ту шна:
(005
а
б
Рис. 5. Пример различных погодных условий: а - дождливая погода с туманом; б - солнечная погода
Режим имитации видео захватываемого объекта. Данный режим был реализован в целях создания конечных видеофрагментов, а также баз данных для тестирования алгоритмов обнаружения и сопровождения объектов (рис. 6).
Пользователь может задать точку, за которой выбранный носитель может вести наблюдение и корректировать трасу движения в зависимости от требования тестирования (рис. 7).
В данном режиме пользователь СМ с помощью специального интерфейса может имитировать различные настройки камеры, такие как размер матрицы, угол обзора, фокусное расстояние, гамма, контраст, насы-
57
щенность цветов, тепловая цветокоррекция. Также пользователю доступно имитировать разного рода помехи - шум камеры, тряску. Возможность моделирования различных настроек камеры и помех может быть полезна при оценке эффективности алгоритмов в различных условиях.
Рис. 6. Пример носителя, пролетающего над местностью
Чи чЙЬИ ж ^ У Яг ^ я ^ ¿Ш
Рис. 7. Пример готового изображения, полученного из режима имитации видео захватываемого объекта
Дополнительно была реализована функция переключения видео захватывающего объекта в состояние тепловизионной камеры (рис. 8). Моделирование тепловизионной камеры также полезно для тестирования алгоритмов, специально разработанных для работы с тепловизионными изображениями.
Рис. 8. Пример картинки, полученной при моделировании работы
тепловизионной камеры
Метрики для оценки алгоритмов отслеживания и обнаружения.
Существуют несколько показателей, которые можно использовать для оценки эффективности алгоритмов отслеживания и обнаружения. Конкретные используемые показатели будут зависеть от конкретного приложения и целей оценки. Рассмотрим некоторые часто используемые показатели.
1. Точность. Измеряет точность обнаружения или отслеживаемых объектов. Точность рассчитывается как количество истинно положительных обнаружений или отслеживаемых объектов, деленное на общее количество обнаружений или отслеживаемых объектов.
2. Отзыв. Измеряет способность алгоритма обнаруживать или отслеживать все соответствующие объекты на сцене. Отзыв рассчитывается как количество истинных положительных обнаружений или отслеживаемых объектов, деленное на общее количество наземных объектов в сцене.
3. Пересечение по союзу (^Ц). Измеряет перекрытие между предсказанными и наземными ограничивающими рамками обнаруживаемого или отслеживаемого объекта. IoU рассчитывается как площадь перекрытия между двумя ограничивающими прямоугольниками, деленная на площадь их объединения.
4. Оценка F1. Это комбинация точности и отзыва, которая обеспечивает единую метрику для оценки общей производительности алгоритма. Показатель F1 представляет собой гармоническое среднее значение точности и отзыва и находится в диапазоне от 0 до 1, причем более высокие значения указывают на лучшую производительность.
5. Средняя точность (MAP). Это широко используемый показатель для оценки производительности алгоритмов обнаружения объектов. MAP измеряет среднюю точность по всем классам и пороговым значениям IoU. Он рассчитывается путем усреднения точности при различных значениях отзыва и находится в диапазоне от 0 до 1, причем более высокие значения указывают на лучшую производительность.
Таким образом, существуют несколько показателей, которые можно использовать для оценки эффективности алгоритмов отслеживания и обнаружения. Эти показатели можно использовать для сравнения различных алгоритмов и оптимизации параметров алгоритма для данного приложения. Ранее была разработана программа для оценки качества алгоритмов сопровождения с использованием размеченных видеофайлов. Она описана в статье «Программный комплекс автоматизации тестирования алгоритмов обнаружения и сопровождения» [10]. Оба этих программных средства отлично себя дополняют и расширяют свой функционал с возможностями для исследователей.
Подготовка данных для машинного обучения. Создание наборов данных для алгоритмов обнаружения и отслеживания объектов - важная задача в исследованиях машинного обучения, а наличие реалистичной и настраиваемой среды моделирования может значительно повысить качество и разнообразие данных. Возможность создавать уникальные сценарии движения объектов и различных погодных условий также может помочь повысить надежность алгоритмов и подготовить их к реальным сценариям.
Использование SD-моделирования для подготовки данных для машинного обучения может иметь несколько преимуществ с точки зрения ускорения сбора наборов данных и повышения качества нейронных сетей.
Во-первых, использование SD-моделирования позволяет создавать большие объемы синтетических данных (рис. 9), которые можно применять для обучения моделей машинного обучения. Это может быть полезно, когда реальные данные сложно или дорого получить. Создавая синтетические данные, исследователи могут контролировать различные факторы, такие как условия освещения, ракурсы камеры и конфигурации объектов, что может улучшить обобщение обученной модели.
Рис. 9. Пример некоторых моделей техники
60
Во-вторых, 3D-моделирование можно использовать для расширения наборов данных реального мира путем создания дополнительных данных, манипулируя существующими данными. Например, 3D-модели можно использовать для создания дополнительных обучающих выборок путем добавления новых экземпляров объекта или изменения внешнего вида объекта, например цвета или текстуры. Это может помочь увеличить разнообразие обучающих данных и повысить надежность обученной модели.
Наконец, 3D-моделирование можно использовать для создания высококачественных аннотаций для обучающих наборов данных, таких как ограничивающие рамки или маски сегментации. Это может быть особенно полезно для сложных объектов или сценариев, когда ручное аннотирование затруднено или чревато ошибками. Используя 3D-моделирование, исследователи могут точно аннотировать наборы данных, что может повысить качество и надежность обученной нейронной сети.
В целом, использование 3D-моделирования при подготовке данных для машинного обучения может помочь ускорить сбор наборов данных, улучшить качество нейронных сетей и снизить стоимость сбора данных. Однако важно убедиться, что сгенерированные синтетические данные репрезентативны для реальных данных и что обученные модели могут быть обобщены на реальные сценарии.
Важно отметить, что процесс подготовки набора данных для машинного обучения может занять много времени и потребовать знаний в предметной области. Однако хорошо подготовленный набор данных может значительно повысить производительность моделей машинного обучения и имеет решающее значение для успешного обучения и развертывания моделей.
Применение программного комплекса автоматического тестирования алгоритмов. В процессе оптимизации разработанного много-агентного алгоритма автоматического обнаружения и сопровождения возникла задача выбора оптимальных параметров для разрабатываемого алгоритма: количество уровней пирамиды изображений и коэффициент сжатия изображений на каждом следующем уровне пирамиды, а также выбор работы подалгоритмов в зависимости от текущей наблюдаемой сцены. Выбор этих параметров вручную является трудоемким процессом с ограниченными критериями сравнения и может привести к ошибкам оценки. Необходимо было подобрать такие параметры пирамиды изображений, при которых возможно снижение вычислительных затрат без потери качества сопровождения. Провести выбор указанных параметров самостоятельно - весьма трудоемкий процесс, к тому же критерии сравнения будут ограничены, а человеческий фактор допускает погрешность оценки. В связи с этим при помощи среды моделирования тестированию подвергался многоагентный алгоритм автоматического обнаружения и сопровождения с разными параметрами. В рамках данной работы были сгенерированные видеопоследовательности с различными масштабными изменениями объектов, каждый выбранный набор параметров был проверен в различных услови-
ях. По полученным результатам тестирования для более удобного анализа были оформлены графики, каждый из которых показывал результат работы всех версий алгоритма по одной из метрик оценки для каждой видеопоследовательности. На рис. 10 и 11 приведены примеры графиков по средним значениям времени работы и области перекрытия всех вариантов алгоритма для каждой видеопоследовательности. Ось ординат соответствует значению метрики, по которой построен график. На оси абсцисс отмечены все видеопоследовательности, у каждой из которых отмечен результат всех тестируемых алгоритмов.
30 20 10 О
Ж
аГ
t .ll 1 1
llllll 1 llll 1 Mill 1 ll ..l,h.l l.lllll illllll
сЙ>'
Key P ol n (Tracker A M E_4_ 18 KeyP oin (TrackerA M E_4_20 Key Poi n tTracker_A M E_5_ 16 KeyPointTracker_AME_5„17 Key P oi n (TrackerA M E_6_ 14 Key Poi ri (Tracker AM E_6_15 Key Poi ri (Tracker AM E_6_16 Key Pol n (Tracker AM E_8_12
Track Time (Average ms)
Puc. 10. График, показывающий среднее время работы на кадр всех алгоритмов для выборки видеопоследовательностей
■ KeyPoinn~racker_.AME_.4_lS
■ KeyPain(Tracker_AME_4_20 KeyPoin (Trac ker_ А М Е_5_16
■ KeyPoin (Trac ker_ А М Е_5_17
■ KeyPoin (Trac ker_ AM E_6_14
■ KeyPoinlTrac kerAM E_6_15
■ KeyPoin (Trac ker_AME_6_16 Щ KeyPoin rTracker_AME_a_12
Average Overlap
Puc. 11. График, показывающий среднюю область перекрытия всех алгоритмов для выборки видеопоследовательностей
Комплекс тестирования способствовал взвешенному и аргументированному выбору оптимальных параметров для многоагентного алгоритма автоматического обнаружения и сопровождения за короткий промежуток времени.
По результатам тестирования удалось установить оптимальные параметры разрабатываемого алгоритма и убедиться в эффективности применяемого подхода к повторному обнаружению сопровождаемого объекта в присутствии ложных целей.
Заключение. Созданные видеофрагменты и базы данных в разработанной среде моделирования могут использоваться наравне с видеофрагментами, полученными с реальных объектов.
Широкий функционал и возможность настройки уникальных сцен позволяют значительно улучшить эффективность тестирования алгоритмов обнаружения и сопровождения объектов. Создавая и настраивая сцены в
62
0.8 0.6 0.4
0.2 0.0
llll
#
CJ-'
llllllil_III
V
1
¿v
среде моделирования, исследователи могут генерировать большие объемы разнообразных и реалистичных данных, которые можно использовать для обучения и оценки моделей машинного обучения. Этот подход позволяет лучше контролировать процесс генерации данных, что может помочь улучшить качество и разнообразие данных, а также ускорить процесс сбора данных.
Кроме того, возможность моделирования различных условий окружающей среды и погодных условий, а также различных настроек и типов камер обеспечит более полную оценку производительности алгоритмов, что приведет к созданию более точных и надежных алгоритмов.
Таким образом, данное исследование состоит в том, чтобы представить решение проблем тестирования алгоритмов обнаружения и отслеживания объектов в опасных или экстремальных погодных условиях, которое может повысить эффективность и безопасность таких испытаний за счет создания реалистичной и настраиваемой среды моделирования.
Список литературы
1. Wu Y., Lim J., Yang M.-H. Online object tracking: A benchmark // CVPR. 2013.
2. Wu Y., Lim J., Yang M.-H. Object tracking benchmark // IEEE TPAMI. 37(9):1834-1848, 2015.
3. Что такое Unreal Engine [Электронный ресурс]. URL: https://ru.wikipedia.org/wiki/Unreal Engine (дата обращения: 10.05.2022).
4. Что такое Unity [Электронный ресурс]. URL: https://ru.wikipedia.org/wiki/Unity (игровой движок) (дата обращения: 10.05.2022).
5. Blueprint-скриптинг [Электронный ресурс]. URL: https://docs.unrealengine.com/5.0/en-US/blueprints-visual-scripting-in-unreal-engine (дата обращения: 10.05.2022).
6. Источник трёхмерных моделей [Электронный ресурс]. URL: https://www.unrealengine.com/marketplace/en-US/store (дата обращения: 10.05.2022)..
7. Серова М. Учебник-самоучитель по графическому редактору Blender. М., 2020.
8. StaticMesh объекты [Электронный ресурс]. URL: https://docs.unrealengine.com/5.0/en-US/static-meshes (дата обращения: 10.05.2022)..
9. SkeletalMesh объекты [Электронный ресурс]. URL: https://docs.unrealengine.com/5.0/en-US/ skeletal-meshes (дата обращения: 10.05.2022).
10. Программный комплекс автоматизации тестирования алгоритмов обнаружения и сопровождения / В.А. Бондаренко, А.Ю. Гагарина, В.А. Павлова, В.А. Тупиков // Известия ЮФУ. Технические науки. 2021. №7.
11. Liang P., Blasch E., Ling H. Encoding color information for visual tracking: Algorithms and benchmark // IEEE TIP. 24 (12): 5630-5644, 2015.
12. Mueller M., Smith N., Ghanem B. A benchmark and simulator for UAV tracking // ECCV. 2016.
13. Planar Object Tracking in the Wild: A Benchmark / P. Liang, Y. Wu, H. Lu, L. Wang, C. Liao, H. Ling // Proc. of IEEE Int'l Conference on Robotics and Automation (ICRA). 2018.
14. Framework for performance evaluation of face, text, and vehicle detection and tracking in video: data, metrics, and protocol / R. Kasturi, D. Goldgof, P. Soundararajan, V. Manohar, J. Garofolo, R. Bowers, M. Boonstra, V. Korzhova, J. Zhang // TPAM. 2009. Vol. 31. No. 2. P. 319-326.
15. Wu H., Sankaranarayanan A.C., Chellappa R. Online empirical evaluation of tracking algorithms // IEEE Trans. Pattern Anal. Mach. Intell. 2010. Vol. 32. No. 8. P. 1443-1458.
16. Collins R., Zhou X., Teh S.K. An open-source tracking testbed and evaluation web site // IEEE International Workshop on Performance Evaluation of Tracking and Surveillance (PETS 2005). January 2005.
17. Wang D., Lu H., Yang M. Online object tracking with sparse prototypes. // IEEE Image Processing Conference. 2013. Vol. 22. No. 1. P. 314-325.
18. Nawaz T., Cavallaro A. A protocol for evaluating video trackers under real-world conditions // Image Processing IEEE. 2013. Vol. 22. No. 4. P. 1354-1361.
19. Bashir F., Porikli F. Performance Evaluation of Object Detection and Tracking Systems // PETS. 2006. P. 190-203.
20. Kao E., Daggett M., Hurley M. An information theoretic approach for tracker performance evaluation // CVPR. 2009. P. 1523-1529.
Гессен Павел Алексеевич, магистрант, gessen.pa@,edu.spbstu.ru, Россия, Санкт-Петербург, Санкт-Петербургский политехнический университет имени Петра Великого,
Колдомасов Артем Владимирович, младший научный сотрудник, koldomasov@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Лизин Алексей Игоревич, начальник центра средств интеллектуальной обработки изображений (ЦСИОИ) НПК РТС СН, lizin aanppcime. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Павлова Валерия Анатольевна, канд. техн. наук, заместитель директора НПК РТС СН по НИОКР, pavlova@nppame. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Тупиков Владимир Алексеевич, д-р техн. наук, профессор., заместитель генерального директора, директор НПК РТС СН, tupikov@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
SOFTWARE FOR CREATING THREE-DIMENSIONAL SCENES FOR TESTING COMPUTER VISION ALGORITHMS
P.A. Gessen, A.V. Koldomasov, A.I. Lizin, V.A. Pavlova, V.A. Tupikov
In the process of testing algorithms for detecting and tracking objects, one of the main tasks is to evaluate the performance of algorithms in difficult conditions. For example, testing the tracking algorithm in extreme weather conditions such as snow, heavy rain, or fog is not always possible or safe. To overcome this problem, various software tools have been developed to simulate realistic scenes. To solve this problem, the authors of the article developed their own simulation environment using the Unreal Engine game engine. This modeling environment (CM) allows users to create scenes based on real height maps and place 3D-models with different motion paths. Users can work in two main modes - the first is the placement of 3D-models and setting the trajectories of objects, and the second is the object capture simulation scheme. CM also includes the ability to simulate various weather conditions such as rain, fog, snow, and day/night cycles. The article shows the successful modeling of datasets for object detection and tracking algorithms. CM allows you to create unique scenarios for the movement of objects and simulate various weather conditions. The datasets created in the simulation environment are comparable to datasets obtained from real objects, which allows you to test algorithms in simulated hazardous conditions without putting people or equipment at risk. The wide functionality of the simulation environment and the ability to customize unique scenes can significantly increase the efficiency of testing algorithms for detecting and tracking objects.
Key words: 3D-modeling, three-dimensional reconstruction, dataset.
Gessen Pavel Alekseevich, undergraduate, gessen.pa@edu.spbstu.ru, Russia, Saint Petersburg, Peter the Great St. Petersburg Polytechnic University,
Koldomasov Artem Vladimirovich, researcher, koldomasov@nppame.ru, Russia, Saint Petersburg, SJC «Research and Production Enterprise «Air and Marine Electronics»,
Lizin Aleksey Igorevich, Chief of intellectual image processing center (IIPC) RPCSPRS, lizin_a@nppame.ru, Russia, Saint Petersburg, SJC «Research and Production Enterprise «Air and Marine Electronics»,
Pavlova Valeria Anatolyevna, candidate of technical sciences, Deputy Director of research at Research and production complex of special purpose robotic systems, pavlo-va@nppame.ru, Russia, Saint Petersburg, SJC «Research and Production Enterprise «Air and Marine Electronics»,
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, Deputy Director General, Director of Research and Production Complex of Special Purpose Robotic Systems, tupikov@,nppame.ru, Russia, Saint Petersburg, SJC «Research and Production Enterprise «Air and Marine Electronics»
