CC BY
0УДК 004.93/004.932 DOI 10.24412/2413-7383-2024-3-55-63
Б. В. Павленко, В. И. Бондаренко
Федеральное государственное бюджетное научное учреждение «Институт проблем искусственного интеллекта», г. Донецк 283048, г. Донецк, ул. Артема, 118 б
ИНТЕЛЛЕКТУАЛЬНО-АЛГОРИТМИЧЕСКИЙ МЕТОД КАЛИБРОВКИ ПРИЦЕЛОВ
B. V. Pavlenko, V. I. Bondarenko
Federal State Budgetary Scientific Institution «Institute of Artificial Intelligence Problems» 283048, Donetsk, Artema str, 118-b
AN INTELLIGENT ALGORITHMIC METHOD FOR CALIBRATING SIGHTS
В статье представлен процесс разработки и результаты работы полуавтономной экспериментальной интеллектуально-алгоритмической системы калибровки оптических прицелов по сетке mildot. Затрагиваются особенности создания собственных датасетов для специфичных сфер. В основе системы распознавания лежит использование быстрых нейросетей, таких как YOLO. Ключевые слова: интеллектуальный алгоритм, калибровка, оптический прицел, YOLO.
The article presents the development process and the results of the semi-autonomous experimental intelligent algorithmic optical sight calibration system using the mildot grid. The features of creating your own datasets for specific areas are touched upon. The recognition system is based on the use of fast neural networks such as YOLO.
Key words: intelligent algorithm, calibration, optical sight, YOLO.
Введение
Развитие искусственного интеллекта и расширение сфер его применения невозможно остановить. Текущая нестабильность в мировой обстановке толкает страны на исследования и внедрения передовых технологий в сферы обороны, вооружения, разведки и других подобных структур. Россия, Китай и США уделяют особенно много внимания военным исследованиям и IT-разработкам, укрепляющим и модернизирующим военную сферу. Конкретные примеры использования ИИ затрагивают от средств радиоэлектронной борьбы и подавления систем обнаружения, до управления беспилотными летательными аппаратами (далее БПЛА), а также распознавание и трекинг целей.
Сложность систем, работающих на базе искусственного интеллекта (далее ИИ) варьируется от крупного программного обеспечения (DARPA [1], Palantir AIP [2]), до умных прицельных комплексов и интеграций ИИ в военную экипировку. На внедрение интеллектуальных систем ставится немалый упор, о чем свидетельствуют расходы на соответствующие исследования и разработки [3], а также представляемые на выставках достижения в данном направлении. В России соответствующие исследования ведут такие компании, как «Инновационные оружейные технологии» (IWT), концерн «Калашников», «Управление минобороны РФ по развитию искусственного интеллекта».
В данной работе уделено большее внимание системам калибровки и интеллектуальной помощи в оружии и прицельных комплексах.
Цели работы:
- экспериментально оценить способность нейросети распознавать схожие графические элементы в разных визуальных контекстах, в данном смысле специфичных.
- разработать алгоритм, работающий совместно с распознающей нейросетью, позволяющий получать данные для калибровки прицелов без встроенных калибровочных решений и производящий на выходе полезные данные разного формата.
Тема специфичности графических данных затрагивалась в работе Е.П. Кадукова, посвященной в большей мере радиолокационным изображениям [4]. Под специфичностью в данном случае можно понимать определенные цветовые режимы, характерные для изображений в различных спектрах, что может значительно повлиять на процесс сбора таких данных, а также на методы их аугментации, в частности цветовые изменения. Для решения задачи было необходимо сделать несколько шагов. Первый заключался в определении классов объектов и сборе данных для будущего датасета. Задача требовала ручной разметки (или же аннотирования) изображений выделенными классами объектов. Для этого использовалась онлайн платформа Label Studio.
Второй в тестировании обученной нейросети и написании алгоритма вычисления смещения и/или поправки.
Изображения разделялись на два контекста: мишень и прицельная сетка. Ключевыми объектами на мишени были выбраны мишень, центр с некоторой окружающей областью, пулевое отверстие. В прицельной сетке было также три класса: деление по горизонтали, по вертикали и перекрестье также с некоторой областью, обычно в размере отступа до первой точки на mildot-сетке [5].
В качестве основы или идейного вдохновителя были взяты умные прицелы компании IWT, в частности умный прицельный комплекс IWT LF640 PRO [6], чьи особенные свойства в виде пристрелки одним патроном с последующим анализом изображения мишени для расчета отклонений и поправок были упомянуты в статье [7] об испытаниях данного прицела. В работе преследовалась попытка реализации упомянутой особенности работы данного комплекса на основе предположений о реальном алгоритме работы системы, описанной в источнике [7].
Для задачи распознавания образов была выбрана нейросеть YOLO (You Only Looks Once) по причине скорости ее работы и удовлетворительных метрик средней точности mAp в соотношении со скоростями работы даже в реальном времени, согласно сравнительному исследованию «Comparative analysis of deep learning image detection algorithms» [8]. На момент начала работы была выбрана последняя стабильная модель YOLOv8 вариации YOLOv8m с 25.9 млн параметров. Сравнение вариаций версии v8 приведены в табл. 1.
Результаты показывают, что параллельное распознавание при взгляде на минешь через прицельную сетку затруднительно, что проявляется в большом количестве ложных срабатываний и отсутствия нахождения верных объектов. При распознавании визуальных контекстов отдельно друг от друга нейросеть распознает от 95% до 100% объектов на изображениях с мишенью. На изображениях с прицельной сеткой наблюдается нестабильность полноты результатов. Примеры результатов обоих случаев приведены на рис. 1 и 2.
Таблица 1 - Параметры кастомизированных версий YOLOv8
Model Size (pixels) mAPval 50-95 Speed CPU ONNX (ms) Speed A100 TensorRT (ms) params (M) FLOPs (B)
YOLOv8n 640 37.3 80.4 0.99 3.2 8.7
YOLOv8s 640 44.9 128.4 1.20 11.2 28.6
YOLOv8m 640 50.2 234.7 1.83 25.9 78.9
YOLOv8l 640 52.9 375.2 2.39 43.7 165.2
YOLOv8x 640 53.9 479.1 3.53 68.2 257.8
Рисунок 1 - Сравнение результатов обнаружения в режимах распознавания
1
Рисунок 2 - Примеры ситуаций полного и неполного обнаружения объектов на изображениях прицельных сеток
На разных дистанциях и, соответственно, разном масштабе мишени в объективе прицела картина отличается, но в целом можно выделить следующие аномалии:
1. Путаница между точками mil-dot и пулевыми отверстиями;
2. Отсутствие распознанных объектов;
3. Нестабильность определения отметок прицельной сетки;
Визуализация метрик модели представлена на рис. 3 - 6. Стоит отметить, что объекты на изображениях часто являлись контекстно зависимыми, что негативно повлияло на сбалансированность датасета по числу сэмплов каждого класса. Например, на одно изображение прицельной сетки приходится один центр и в среднем по 8 объектов делений по горизонтали и вертикали. Также на одно изображение мишени может приходиться намного больше изображений пулевых отверстий. Решением для повышения сбалансированности могло бы быть дополнение датасета контекстно независимыми экземплярами или аугментация. Проблема несбалансированности показана на рис. 4.
train/dfl loss
train/box loss
train/els loss
metrlcs/precislon(B)
metrics/recalKB)
5 10
metrics/mAP50(B)
5 10
metrics/mAP50-95(B)
Рисунок 3 - Значения лосс-функции, точности, полноты и среднего mAP по эпохам
Рисунок 4 - Гистограмма числа примеров классов и наложений рамок
Рисунок 5 - Кривая PR-score
Рисунок 6 - Кривая F1-score
Неизвестно точно, применялась ли нейросеть на этапе распознавания данных с прицельной сетки, и был ли такой этап вообще. Исходя из тестов, было решено уйти от идеи получения координат прицельных маркеров через нейросеть. Это ставит новую подзадачу: для работы алгоритма координаты прицельных маркеров должны быть известны заранее, отталкиваясь от типа используемого прицела.
Для этого был разработан алгоритм «чтения» прицельной сетки, требующий, однако, некоторых действий со стороны пользователя. Предполагается, что данный аддон к основному алгоритму должен дать возможность подготавливать часть входных данных.
Для этой подзадачи был разработан следующий алгоритм:
1.
2.
3.
4.
5.
6.
7.
сначала инструментами визуализации matplotlib [9] или PIL считывается изображение прицельной сетки используемого прицела. С этим же выводятся оси со значениями в диапазонах (0, height) для вертикали, (0, width) для горизонтали;
Исходя из того, что в большинстве случаев входные изображения имеют равное соотношение сторон, рассчитываются координаты центра простым делением h, w пополам; Выводится центральная точка;
В консоли запрашивается смещение для центральной точки и производится, если смещение задано отличным от нуля; Задается точка ниже центра с неким начальным смещением; В консоли запрашивается смещение для второй точки и производится, если смещение задано отличным от нуля;
В консоли запрашивается количество точек на полуосях, для которых необходимо поставить метки;
Все точки равномерно распределяются поверх прицельной сетки в точках нахождения ключевых маркеров, рассчитываясь по формулам (1 - 4)
(1) (2)
(3)
(4)
СиГГуип = Ycenter — i * offset ,
= Ycenter + i * offset , CUrrxieft = Xcenter — i * offset , + i * offset ,
Уир ydown
currY
'bright = Xcenter
9. Результат сохраняется в конфигурационный JSON-файл. Пример распределения точек изображены на рис. 6, 7.
200 -
300 -
60
100
120
140
160
Рисунок 6 - Пример распределения точек по прицельной сетке
145 150 155 160 165
160 170 180 190 200 210 220 Рисунок 7 - Пример распределения точек по прицельной сетке
Основной алгоритм, работающий с предобученной моделью, принимает конфигурационный файл описание прицела в формате JSON, а также изображение мишени с пулевым отверстием. Программа подает входное изображение в модель и сохраняет результат распознавания в виде маркированного изображения - изображения с ограничивающими рамками (bounding boxes) вокруг ключевых распознанных объектов, а также txt-файл с записями векторов вида v = (en, х, у, w, h). Где cn - метка класса (номер класса в датасете), x, y - координаты bbox, w, h - ширина и высота рамки.
Далее с помощью библиотеки pybboxes относительные координаты YOLO конвертируются в координаты на двумерной плоскости изображения, в значения в пределах высоты и ширины изображения в пикселях. Следующим шагом является загрузка координат прицела, их десериализация и наложение друг на друга для нахождения ближайших точек на сетке и вычисления смещений и поправок. Точки на сетке десериализуются в специальные объекты, содержащие информацию о стороне и удалении от центра, что облегчает работу по поиску ближайшей точки. Смещения выводятся в виде десятичного значения от одного мила. Пример вывода показан на рис. 8.
Results saved to runs\detect\predict
1 label saved to runs\detect\predict\labels
Backend QtAgg is interactive backend. Turning interactive mode on. x: 159, y: 159, Точка 0 Центр x: 159, у: 184, Точка 1 Вверх Смещения:
- по горизонтали: 0.3 мил
- по вертикали: 1.0 мил
Рисунок 8 - Пример финального вывода
Заключение
В результате работы была выявлена нецелесообразность использования распознавания образов для нахождения координат ключевых точек прицельной сетки. Экспериментально проверен подход с одновременным распознаванием изображений с похожими паттернами и пересекающимися виз. Соответственно, разработан альтернативный алгоритм, не исключающий, однако, наличие погрешности распределения точек до 0.2 мил и требующий повышения точности распределения точек.
Список литературы
1. DARPA: искусственный интеллект в воздушном бою истребителей F-16 [Электронный ресурс] / Хабр : [Сайт]. URL: https://habr.com/ru/companies/itelma/articles/548724/ (Дата обращения: 04.09.2023).
2. palantir.com/platforms/aip/ [Электронный ресурс]. Режим доступа: https://www.palantir.com/platforms/aip/
3. Искусственный интеллект в ВПК [Электронный ресурс]. Режим доступа: https://www.tadviser.ru/ index.php/ Статья: Искусственный_интеллект_в_ВПК (дата обращения: 17.01.2024).
4. Кадуков, Е. П. Распознавание объектов контроля на радиолокационных изображениях с использованием метода опорных векторов. Научно-технический журнал: Вопросы оборонной техники. Технические средства противодействия терроризму. Серия 16. 2022. № 171-172. С. 96-105. ISSN 2306-1456.
5. Потапов, А. А. Искусство снайпера; 2-е изд., испр. и доп. Москва : Гранд : ФАИР-пресс, 2005. 543 с.: ил., табл.; 21 см. (Спецназ).; ISBN 5-8183-0872-3 (В пер.) : 45000.
6. Тепловизионные прицелы IWT. [Электронный ресурс]. Режим доступа: https://inwetech.ru/?ysclid=m17tgwn6fw679876439
7. Cнайпер: тест российского «умного» прицела. [Электронный ресурс]. Режим доступа: https://topwar.ru/97759-icnayper-test-rossiyskogo-umnogo-pricela.html (дата обращения: 12.02.2024).
8. Srivastava, S., Divekar, A.V., Anilkumar, C. et al. Comparative analysis of deep learning image detection algorithms. J Big Data 8, 66 (2021). https://doi.org/10.1186/s40537-021-00434-w [Электронный ресурс] / Doi : Сайт. - URL: https:// doi.org/10.1186/s40537-021-00434-w.
9. МакКинни, У. Python и анализ данных; 2-е изд. Санкт-Петербург : Питер, 2018. 576 с.
References
1. DARPA: artificial intelligence in air combat of F-16 fighters [Electronic resource] / Hubr : [Website]. URL: https://habr.com/ru/companies/itelma/articles/548724/ (Date of access: 04.09.2023).
2. palantir.com/platforms/aip/ [Electronic resource]. Access mode: https://www.palantir.com/platforms/aip/
3. Artificial intelligence in the military-industrial complex [Electronic resource]. Access mode: https://www.tadviser.ru/ index.php/ Article: Artificial_Intelligence_in_the_ICC (date of access: 17.01.2024).
4. Kadukov, E. P. Recognition of control objects on radar images using the method of reference vectors. Scientific and Technical Journal: Defense Technology Issues. Technical means of counteraction to terrorism. Series 16. 2022. № 171-172. C. 96-105. ISSN 2306-1456.
5. Potapov, A. A. The Art of the Sniper; 2nd ed. revised and supplemented. Moscow : Grand : FAIR-press, 2005. 543 c. : ill., tabl.; 21 cm. (Spetsnaz).; ISBN 5-8183-0872-3 (In per.) : 45000.
6. IWT thermal imaging sights. [Electronic resource]. Mode of access: https://inwetech.ru/?ysclid=m17tgwn6fw679876439
7. Sniper: test of the Russian "smart" sight. [Electronic resource]. Access mode: https://topwar.ru/97759-icnayper-test-rossiyskogo-umnogo-pricela.html (access date: 12.02.2024).
8. Srivastava, S., Divekar, A.V., Anilkumar, C. et al. Comparative analysis of deep learning image detection algorithms. J Big Data 8, 66 (2021). https://doi.org/10.1186/s40537-021-00434-w [Electronic resource] / Doi : Website. - URL: https:// doi.org/10.1186/s40537-021-00434-w.
9. McKinney, W. Python and data analysis; 2nd ed. St. Petersburg : Peter, 2018. 576 c.
RESUME
B. V. Pavlenko, V. I. Bondarenko
An intelligent algorithmic method for calibrating sights.
Much attention is paid to the research of intelligent methods of modernizing weapons. Intelligent sighting systems make it possible to significantly simplify the calibration process due to algorithms for visual analysis of the target.
During the experiment on reproducing intelligent and partially intelligent algorithms, it was proposed to store coordinates on the sighting grid in the form of a JSON template, assigning only hit recognition to the neural network.
РЕЗЮМЕ
Б. В. Павленко, В. И. Бондаренко Интеллектуально-алгоритмический метод калибровки прицелов
Исследованиям интеллектуальных методов модернизации вооружений уделяется большое внимание. Интеллектуальные прицельные комплексы позволяют значительно упростить процесс калибровки за счет алгоритмов визуального анализа мишени.
В процессе эксперимента по воспроизведению интеллектуального и частично интеллектуального алгоритмов было предложено хранить координаты на прицельной сетке в виде JSON-шаблона, возлагая на нейросеть только распознавание попаданий.
Павленко Богдан Викторович - инженер-программист 1-й категории, аспирант, Федеральное государственное бюджетное научное учреждение «Институт проблем искусственного интеллекта». Область научных интересов: системы распознавания образов, эл. почта bogdanpavl2000@gmail.com, адрес: 283048, г. Донецк, ул. Артема, д. 118 б, телефон +7949 438 64 50.
Бондаренко Виталий Иванович - кандидат технических наук, доцент кафедры компьютерных технологий, Государственное образовательное учреждение высшего профессионального образца «Донецкий государственный университет», г. Донецк. Область научных интересов: искусственный интеллект, интеллектуальный анализ данных, математическое моделирование гидро и теплофизических процессов. эл. почта bondarenko@donnu.ru, адрес: 283001, г. Донецк, ул. Университетская, д. 24, телефон: +7949 376 31 06.
Статья поступила в редакцию 24.04.2024.
