CC BY
0УДК 004.93/004.932 DOI 10.24412/2413-7383-2024-3-70-79
Р. С. Хакимов, О. Л. Нижникова, М. В. Близно Федеральное государственное бюджетное научное учреждение «Институт проблем искусственного интеллекта», г. Донецк 283048, г. Донецк, ул. Артема, 118 б
К ВОПРОСУ О РАЗРАБОТКЕ СИСТЕМЫ АННОТИРОВАНИЯ ДАННЫХ ДЛЯ ЗАДАЧ КОМПЬЮТЕРНОГО ЗРЕНИЯ
R.S. Khakimov, O.L. Nizhnikova, M.V. Blizno
Federal State Budgetary Scientific Institution «Institute of Artificial Intelligence Problems» 283048, Donetsk, Artema str, 118-b
ON THE ISSUE OF DEVELOPING A DATA ANNOTATION SYSTEM FOR COMPUTER VISION TASKS
В статье приведен аналитический обзор программных решений для аннотирования данных с целью выделения их функциональных возможностей, определения преимуществ и недостатков, которые следует учитывать при создании собственного аннотатора. Ключевые слова: система аннотирования данных, аннотатор, разметка данных.
The article provides an analytical overview of software solutions for annotating data in order to highlight their functionality, identify advantages and disadvantages that should be taken into account when creating your own annotator.
Key words: data annotation system, annotator, data markup.
Введение
Цифровизация способствует росту спроса на модели глубокого обучения и способность машин распознавать и классифицировать объекты. Аннотирование изображений является ключевой задачей при создании моделей и обучении нейронных сетей.
Более того, использование методов аннотирования изображений может принести пользу различным отраслям, где используется машинное обучение, таким как здравоохранение, автомобильная промышленность, сельское хозяйство, сфера безопасности, электронная коммерция. Эти методы позволяют повысить точность и эффективность, решая задачи идентификации, сегментации и классификации объектов.
В статье формализован процесс аннотации данных, а также рассмотрены программные средства для аннотирования изображений такие как Label Studio Enterprise [1], Labellmg [2], CVAT [3], Fifty-One [4], ImageTagger[5], COCO Annotator [6], V7 Labs[7], Labelbox [8], SuperAnnotate [9], Supervisely [10] и другие, выделены их особенности и недостатки, а также отмечены наиболее значимые инструменты, которые следует использовать, создавая собственную программу аннотирования данных.
Цель исследования - провести анализ программ для аннотирования изображений, выделить их функциональные возможности, преимущества и недостатки, которые следует учитывать при создании собственного аннотатора.
Для проведения анализа отобраны двадцать программных средств для аннотирования данных, разработанных за последние пять лет.
1 Разметка данных
Разметка данных (также известная как аннотирование данных) представляет собой процесс добавления тегов в исходные данные для демонстрации модели машинного обучения целевых атрибутов (ответы), которые она должна прогнозировать. Метки или теги являются описательными элементами, которые сообщают модели о том, чем является каждый элемент данных, позволяя ей обучаться на примерах.
Таким образом, в размеченных данных выделяются особенности (характеристики) данных, которые помогают модели анализировать информацию и выявлять закономерности в данных, чтобы делать точные прогнозы для новых, относительно близких входящих данных. Ошибки разметки также усваиваются моделью, так как аннотирование устанавливает стандарты, которым она должна соответствовать.
Процесс аннотации данных можно выразить с помощью формул, охватывающих этапы предобработки, аннотирования, проверки качества и корректировки. Рассмотрим каждый из этих этапов последовательно.
1. Предобработка данных:
D' = P(D)
где P - функции предобработки; D - множество исходных данных:
D = {di, d2,..., dv},
где di - отдельный объект данных.
2. Аннотация данных:
ai = H(di) для всех di Е D'
где H - функция аннотирования; ai - аннотация для объекта di.
Множество аннотаций A получается следующим образом:
А = {ai, ад,..., aw} = {#(¿1), #№),..., #(dw)}
3. Проверка качества аннотаций:
qt = Q(di, at) для всех (dt, ai) Е (D', A)
где Q - функция проверки качества qt - мера качества аннотации at.
Множество оценок качества Qt выглядит так:
Qt = {qi, q2,., qw} = {Q(di, ai), Q(d2,a2),., Q(dw, aw)}
4. Корректировка аннотаций:
at = C(dt, at) если qt не удовлетворяет требованиям
где C - функция корректировки.
Множество скорректированных аннотаций A' определяется следующим образом:
A' = {a'tla't = C(dt, ai) для всех i, где qi не удовлетворяет требованиям.
2 Классификация систем аннотирования данных
Система аннотирования, называемая также инструментом аннотации или «аннотатором», представляет собой систему, позволяющую пользователям комментировать различные типы электронных ресурсов с помощью аннотаций разного типа.
Существующие аннотаторы можно классифицировать, исходя из пяти общих критериев:
- тип аннотации:
o вычислительная аннотация (метаданные). Аннотацию можно рассматривать как метаданные, то есть дополнительные данные, которые относятся к существующему контенту и уточняют его свойства и семантику.
o когнитивная аннотация (трек чтения): это аннотация, которая обрабатывается и манипулируется людьми. Эта категория аннотаций требует когнитивных и интеллектуальных усилий для интерпретации;
- категория системы аннотаций (приложение / веб-сайт);
- вид аннотативной деятельности (ручной / полуавтоматический / автоматический);
- аннотированный тип ресурса (текст / веб-страница / видео / аудио / изображение / база данных / веб-сервис / документ / HTML / PDF)
- область применения (семантическая сеть / социальные сети / цифровая библиотека / обучение / базы данных / компьютерная лингвистика / биоинформатика).
3 Анализ систем аннотирования данных
В данном исследовании рассмотрены системы аннотирования когнитивного типа с различными категориями и видами аннотирования для ресурсов вида изображение, работающие с различными форматами изображений для обучения, такими как .bmp, .gif, .jpg, .png, .svg. Более детальная информация по поддерживаемым типам данным различными системами аннотирования данных представлена в табл. 1.
Таблица 1 - Поддерживаемые типы данных систем аннотирования
Название Общее
№ программы для Тип данных
аннотирования Импорт Экспорт
1 Label Studio - Audio: .flac, .m4a, .mp3, .ogg, .wav; JSON, JSON - MIN, CSV,
Enterprise - HyperText (HTML): .html, .htm, .xml; - Images: .bmp, .gif, .jpg, .png, .svg, .webp; - Paragraphs (Dialogue): .json; - Structured data: .csv, .tsv; - Text: .txt, .json; - Time series: .csv, .tsv, .json; - Tasks with multiple data types: .csv, .tsv, .json; - Video: .mp4, .webm TSV, CONLL2003, Pascal VOC XM0L
2 Labellmg -Images: .bmp, .gif, .jpg, .png, .svg XML, YOLO, CreateML, Pascal VOC XM0L
3 CVAT - Audio:.flac, .m4a, .mp3, .ogg, .wavl; - Images: .bmp, .gif, .jpg, .png, .svg; - Structured data: .csv; - Text: .txt, .json; - Video: .mp4, .webm txt, png, JSON, xml, csv
4 Fifty-One -Images: .jpg, .png COCO, Pascal VOC, CVAT, YOLO, TFRecords
5 ImageTagger -Images: .jpg, .png Self, imp, PASCAL, VOC, JSON, CSV, XML,
6 COCO Annotator -Images: .jpg, .png JSON (COCO)
7 V7 Labs - Images: .jpg, .jpeg, .webp, .png, .bmp, .tif, .tiff, .dcm, .rvg, .nii (.nii.gz), .zip (.dcm), .svs, .ndpi; - Video: .mp4, .mov, .mkv, .hevc, .avi; - Others: .pdf JSON, XML, PNG
8 Labelbox - Image: jpg, png, bmp; - Video: mp4; - Text: .txt json
9 SuperAnnotate - S3 bucket; - Images: .JPG, .JPEG, .PNG, .WEBP, .TIFF, .BMP, .TIF; - Others: .PDF, .DCM; - Video and Audio: .OGG, .WEBM, .MP4; - Text: .txt JSON, COCO
10 Supervisely - Images: .jpg, .png; - Video: .webp, .MP4 COCO, Pascal VOC, csv, YOLOv8, DOTA.
11 RectLabel - Images: .jpg, .png COCO, YOLO, JSON
12 Deepen - Images: .jpg, .png; - Video: .MP4; JSON
13 Alegion - Structured data: .csv JSON
14 Diffgram - Images: .jpg, .jpeg, .png, .tif; - Video: .CSV media, .mp4, .mov, .avi; - Audio: .mp3, .wav, .flac; - 3D: json; - Text: .txt JSON, TF RECORDS
В результате изучения систем аннотаций можно выделить стандартные элементы их интерфейса и возможности рассмотренных систем.
Интерфейс систем аннотирования содержит следующие стандартные элементы:
- поле с инструментами;
- поле для управление метаданными (переключение между объектами и возможно аугментация);
- поле для отображения размеченных классов;
- рабочая область;
Все рассмотренные аннотаторы обладают следующим стандартным функционалом:
- создание аккаунта, настройка прав пользователей (чтение, аннотация и др.);
- создание / удаление проекта (название проекта, загрузка данных и прочее), а также его редактирование;
- панель переключения между классами и просмотра/изменения их свойств (возможность быстрого создания классов и выбора цвета рамки);
- несколько из инструментов аннотирования: блоки, линии (полилинии), многоугольники/полигоны, точки;
- панель с аннотируемым изображением (рабочая область);
- ключевые точки на рамке блоков, концах линий;
- динамическое редактирование класса;
- наличие масштабирования изображения;
- наличие ленты изображений в выбранном каталоге.
Управление проектами в программах аннотирования данных рассматривалось с двух функциональных возможностей: ведение нескольких проектов и возможность аннотирования проектов. В таблице 2 представлены поддерживаемый функционал управления проектами программ, где «+» отмечено наличие такого функционала, а «-» его отсутствие.
Таблица 2 - Функциональные возможности управления проектами
№ Название программы для аннотирования Менеджмент
Управление проектами
Вести несколько проектов Аннотации проекта
1 Label Studio Enterprise + -
2 Labellmg - -
3 CVAT + +
4 Fifty-One - -
5 ImageTagger - -
6 COCO Annotator + -
7 V7 Labs + -
8 Labelbox + -
9 SuperAnnotate + -
10 Supervisely + -
11 RectLabel - -
12 Deepen + -
13 Alegion + -
14 Hasty.ai + -
15 Diffgram + +
В ходе анализа выявлены следующие преимущества и ограничения рассмотренных аннотаторов: Преимущества:
- умная разметка, автоматическая разметка с помощью ИИ (пред обученная модель, разметка с описанием объекта, сегментированная разметка);
Х
- разнообразие видов инструментов аннотирования;
- редактирование исходного изображения (контраст яркость);
- поддержка популярных форматов разметки;
- анализ датасета, введение статистики метаданных в проекте;
- многопользовательская работа, структура ролей пользователей для улучшения процесса работы;
менеджмент проектов, возможность распределять задачи в проекте и отслеживать их выполнение и корректность; поле для взаимодействия с проектом;
- полнота документации и активное сообщество.
Недостатки:
- сложность в настройке работы программ - большинство из них имеют большой набор предустановок, что может вызвать затруднение у пользователей;
- отсутствие гарантии конфиденциальности при работе с веб-сервисами - большинство программ используют веб-версию, что не исключает сбора конфиденциальной информации при работе;
- стоимость - многие системы имеют довольно высокую стоимость, что исключает их применение в небольших компаниях или учебных заведениях, а значит и ограничивает их возможности в проведении исследований и разработке приложений на основе машинного обучения.
Отличительные особенности исследуемых аннотаторов формализованы и представлены в табл. 3.
Таблица 3 - Отличительные особенности исследуемых аннотаторов
№ Название программы для аннотирования Отличительные особенности
1 Label Studio Enterprise - настройка маркировки при создании проекта (настройка интерфейса (клавиш) с помощью кода); - инструмент аннотирования: кисть; - отображение статистики
2 LabeIImg - отображение пути к открытому файлу; - курсор с горизонтальной и вертикальной линией в «рабочей зоне»; - инструмент аннотирования: кисть, рамка
3 CVAT - настройка отображения масштаба рабочей области; - редактирование изображения; - инструмент аннотирования: кисть, рамка, Polygon (многоугольник), Polyline (полилиния), Points (точки), Ellipses (эллипсы),Cuboid (кубоид), Cuboid in 3d task (кубоид в 3D-задаче), Tag (тег); - выбор цвет для каждой метки; - можно добавить атрибут и задать его свойства; - Raw-режим работы с метками для опытного пользователя; - Страницы Tasks и Task details (Задачи и их подробная информация); - Страница работы с списком объектов; - Аннотировать объекты одинакового типа (система иерархии); - Создание масок; - Режим проверки; - Аналитика для мониторинга статистики использования
Продолж. табл. 3
4 Fifty-One - инструмент аннотирования: рамка
5 ImageTagger - коллекции отфильтрованных изображений; - инструмент аннотирования: рамка, кисть
6 COCO Annotator - возможность добавлять ключевые моменты; - конечные точки API для анализа данных; - импорт наборов данных, уже аннотированных в формате COCO; - маркировка сегментов изображения любым количеством меток одновременно; - пользовательские метаданные для каждого экземпляра или объекта; - расширенные инструменты выбора, такие как DEXTR, MaskRCNN и Magic Wand; - возможность аннотирования изображения с помощью полуобученных моделей
7 V7 Labs - на панели классов указываются координаты; - кнопка со списком подсказкой горячих клавиш
8 Labelbox - администратор может отправлять комментарии менеджерам; - наличие статистики
9 SuperAnnotate - наличие вкладки "Analytics" со статистикой по проектам, аккаунтам и прочее; - наличие вкладки "Explore", в которой возможен просмотр проектов, поиск изображений в проектах по классам; - возможность изменить размер шрифта; - наличие клавиш для действий "отменить" и "вернуть"; - аннотация по ключевым точкам ("скелет"); - наличие функций интеллектуальное прогнозирование, интеллектуальная сегментация
10 Supervisely - наличие "Экосистемы" - дополнительные материалы и библиотеки; - возможность сортировки изображений; - возможность создания групп изображений в датасете; - инструмент аннотирования: кисть; - возможность настраивать прозрачность рамки, толщину границ; - большое перекрестие для упрощения понимания границ объекта; - вкл/выкл отображения названия класса над рамкой; - через CTRL выбор конкретных аннотаций или всего класса; - кнопка "Скриншот", "Скрыть панели", "Во весь экран"; - панель с отображением только выполненных изображений; - AI: "волшебная палочка" - инструмент, позволяющий в установленной рамке путем нажатия автоматически обводить объект
11 RectLabel - offline (отсутствие аккаунтов) - все данные хранятся на ПК; - аннотация кубическими кривыми Безье ("полигоны", Segment Anything), кистью; - AI: настройки "умного" полигона - предел/граница предсказания (confidence/overlap - доверие/совпадение); - кнопка поворота изображения на 90 градусов; - ключевые точки в виде "скелета"; - возможность конвертации маски в полигон; - большое перекрестие для упрощения понимания границ объекта
12 Deepen - экспорт/импорт профиля пользователя; - ведение статистики в виде графиков и таблиц по классам, пользователям; - вкл/выкл отображения названия класса над рамкой; - переключение между семантической сегментацией и сегментацией объектов; - просмотр свойств изображения; - семантическое аннотирование по точкам; - кнопка поворота изображения на 90 градусов
Продолж. табл. 3
13 Alegion - вызов контекстного меню на ПКМ на рамке для изменения атрибутов и параметров; - изменение яркости, контрастности изображения; - больший упор сделан на видео; - контроль доступа к проекту (установка разрешений); - описание отношений между объектами и описание действий объектов (добавление классификации, типа объекта, ассоциаций типов объектов) и редактирование их на панели классов; - добавление комментариев к классу; - наличие кнопки скрыть/отобразить рамку; - AI: отслеживание перемещения объекта; настройки «умного» полигона -предел/граница предсказания, непрозрачность маски; - ускорение аннотаций за счет установки «общие ребра»
14 Hasty.ai - инструмент аннотирования: кисть (пиксельная аннотация -«раскрашивание», а также возможность заливки и инверсии, если кистью нарисован замкнутый контур, возможность рисования над и под другой областью аннотации); - наличие ленты изображений в выбранном каталоге; - AI-функции: создание «полигона» (Dextr) (многоугольника) по точкам, Box to instance (объект обводится рамкой и в этом блоке распознается объект), Atom (распознавание по точке), подсказка по неверно выбранным классам (показывает предыдущий выбор и вероятный + отображение вероятности в %), автоматическое аннотирование полигонами "одним кликом" за счет функции "confidence" + возможность стирания полигонов; - большое перекрестие для упрощения понимания границ объекта; - создание проектов и предварительная настройка перед началом работы (создание классов, атрибутов, пользователей и их уровней доступа; - постепенное обучение в процессе работы и отображение уровня обучения. При достижении высокого уровня появляется возможность аннотирования "одним кликом; - изменение статуса изображения (выпадающий список - в процессе, готово и пр. - возможность конвертации маски в полигон
15 Diffgram - масштабирование панели инструментов (изменение ее размеров); - возможность привязки и быстрого переключения между каталогами (в виде списка); - большое перекрестие для упрощения понимания границ объекта; - вкл/выкл отображения названия класса над рамкой; - наличие кнопки "Complete", означающей завершение аннотирования (отображение завершения в виде галочки в каталоге) и переход к следующему изображению; - возможность сортировки изображений в каталогах по классам; - панель переключения между классами и просмотра/изменения их свойств
По результатам проведенного анализа будет разработана архитектура собственной системы аннотирования изображений, которая учитывает преимущества и особенности рассмотренных программ и исключает их недостатки.
Заключение
Выполненный анализ современных систем аннотирования позволил сформулировать основные требования к функциональным возможностям разрабатываемого аннотатора. Помимо стандартного функционала в разрабатываемой системе аннотирования необходимо реализовать следующее:
- разнообразие видов инструментов аннотирования;
- поддержка популярных форматов разметки;
- анализ датасета, введение статистики метаданных.
Список литературы
1. Label Studio Enterprise [Электронный ресурс]. Режим доступа: https://labelstud.io/ (дата обращения: 21.03.2024).
2. Labellmg [Электронный ресурс]. Режим доступа: https:// github.com/HumanSignal/labelImg (дата обращения: 28.03.2024).
3. CVAT [Электронный ресурс]. Режим доступа: https://github.com/cvat-ai/cvat (дата обращения: 29.02.2024).
4. Fifty-One [Электронный ресурс]. Режим доступа: https://voxel51.com/fiftyone-teams/ (дата обращения: 29.04.2024).
5. ImageTagger [Электронный ресурс]. Режим доступа: https://github.com/bit-bots/imagetagger (дата обращения: 29.04.2024).
6. COCO Annotator [Электронный ресурс]. Режим доступа: https://github.com/jsbroks/coco-annotator (дата обращения: 29.04.2024).
7. V7 Labs [Электронный ресурс]. - Режим доступа: https://www.v7labs.com/ (дата обращения: 29.04.2024).
8. Labelbox [Электронный ресурс]. - Режим доступа: https://labelbox.com/ (дата обращения: 29.04.2024).
9. SuperAnnotate [Электронный ресурс]. Режим доступа: https://www.superannotate.com/ (дата обращения: 29.04.2024).
10. Supervisely [Электронный ресурс]. Режим доступа: https://supervisely.com/ (дата обращения: 29.04.2024).
11. RectLabel [Электронный ресурс]. Режим доступа: https://rectlabel.com/ (дата обращения: 29.04.2024).
12. Deepen [Электронный ресурс]. Режим доступа: https://www.deepen.ai/ (дата обращения: 29.04.2024).
13. Alegion [Электронный ресурс]. Режим доступа: https://alegion.com/ (дата обращения: 29.04.2024).
14. Hasty.ai [Электронный ресурс]. Режим доступа: https://hasty.cloudfactory.com/ (дата обращения: 29.04.2024).
15. Diffgram [Электронный ресурс]. Режим доступа: https://www.diffgram.com/#use_cases (дата обращения: 29.04.2024).
16. Акимов, А. А. Предварительная обработка данных для машинного обучения / А. А. Акимов, Д. Р. Валитов, А. И. Кубряк. Научное обозрение. Технические науки. 2022. №. 2. С. 26-31.
17. Шляпников, В. М. Разработка прототипа системы аннотирования изображений для моделей компьютерного зрения / В. М. Шляпников. Научные междисциплинарные исследования. 2020. № 8-1. С. 107-114.
References
1. Label Studio Enterprise [Electronic resource]. Access mode: https://labelstud.io / (date of access: 03/21/2024).
2. Labellmg [Electronic resource]. Access mode: https:// github.com/HumanSignal/labelImg (date of access: 03/28/2024).
3. CVAT [Electronic resource]. Access mode: https://github.com/cvat-ai/cvat (date of access: 02/29/2024).
4. Fifty-One [Electronic resource]. Access mode: https://voxel51.com/fiftyone-teams / (date of access: 04/29/2024).
5. ImageTagger [Electronic resource]. Access mode: https://github.com/bit-bots/imagetagger (date of application: 04/29/2024).
6. COCO Annotator [Electronic resource]. Access mode: https://github.com/jsbroks/coco-annotator (date of access: 04/29/2024). '
7. V7 Labs [Electronic resource]. Access mode: https://www.v7labs.com / (date of access: 04/29/2024).
8. Labelbox [Electronic resource]. Access mode: https://labelbox.com / (date of access: 04/29/2024).
9. SuperAnnotate [Electronic resource]. Access mode: https://www.superannotate.com / (date of access: 04/29/2024).
10. Supervisely [Electronic resource]. Access mode: https://supervisely.com / (date of access: 04/29/2024).
11. RectLabel [Electronic resource]. Access mode: https://rectlabel.com / (date of access: 04/29/2024).
12. Deepen [Electronic resource]. Access mode: https://www.deepen.ai / (date of access: 04/29/2024).
13. Alegion [Electronic resource]. Access mode: https://alegion.com / (date of access: 04/29/2024).
14. Hasty.ai [Electronic resource]. Access mode: https://hasty.cloudfactory.com / (date of access: 04/29/2024).
15. Diffgram [Electronic resource]. Access mode: https://www.diffgram.com/#use_cases (date of application: 04/29/2024).
16. Akimov, A. A. Preliminary data processing for machine learning [Text] / A. A. Akimov, D. R. Valitov, A. I. Kubryak // Scientific Review. Technical sciences. 2022. No. 2. pp. 26-31.
17. Shlyapnikov, V. M. Development of a prototype of an image annotation system for computer vision models [Text] / V. M. Shlyapnikov // Scientific interdisciplinary research. 2020. No. 8-1. pp. 107-114.
RESUME
R.S. Khakimov, O.L. Nizhnikova, M.V. Blizno
ON THE ISSUE OF DEVELOPING A DATA ANNOTATION SYSTEM FOR COMPUTER VISION TASKS
The article discusses software solutions for data annotation used in computer vision tasks. An analytical review of various annotation systems such as Label Studio, CAT, COCO Annotator and others is provided, evaluating their functionality, advantages and disadvantages. The main purpose of the article is to identify key aspects that should be taken into account when developing your own annotator in order to increase the efficiency and accuracy of working with data. In conclusion, the article highlights important requirements for future annotation systems, including support for various markup formats and the availability of intelligent markup tools.
РЕЗЮМЕ
Р.С. Хакимов, О.Л. Нижникова, М.В. Близно
К вопросу о разработке системы аннотирования данных для задач компьютерного зрения
В статье рассматриваются программные решения для аннотирования данных, используемые в задачах компьютерного зрения. Приводится аналитический обзор различных систем аннотирования, таких как Label Studio, CVAT, COCO Annotator и другие, оценивая их функциональные возможности, преимущества и недостатки. Основная цель статьи - выявить ключевые аспекты, которые следует учитывать при разработке собственного аннотатора, чтобы повысить эффективность и точность работы с данными. В заключение статьи подчеркиваются важные требования к будущим системам аннотирования, включая поддержку различных форматов разметки и наличие инструментов интеллектуальной разметки.
Нижникова Олеся Леонидовна - инженер-исследователь, Федеральное государственное бюджетное научное учреждение «Институт проблем искусственного интеллекта». Область научных интересов: компьютерное зрение, машинное обучение, нейронные сети, эл. почта lesia.nijnikova@mail.ru, адрес: 283048, г. Донецк, ул. Артема, д. 118 б, телефон +7 (949) 417-39-47.
Близно Максим Витальевич - младший научный сотрудник, Федеральное государственное бюджетное научное учреждение «Институт проблем искусственного интеллекта». Область научных интересов: компьютерное зрение, машинное обучение, нейронные сети, эл. почта bmv.ipai@mail.ru, адрес: 283048, г. Донецк, ул. Артема, д. 118 б, телефон +7 (949) 431-53-50.
Хакимов Ренат Саитович - младший научный сотрудник, Федеральное государственное бюджетное научное учреждение «Институт проблем искусственного интеллекта». Область научных интересов: компьютерное зрение, машинное обучение, нейронные сети, эл. почта khakimov.ru@mail.ru, адрес: 283048, г. Донецк, ул. Артема, д. 118 б, телефон +7 (949) 458-49-95.
Статья поступила в редакцию 29.05.2024.
