CC BY
36
ИНТЕЛЛЕКТУАЛЬНЫЕ ПРОГРАММНО-АППАРАТНЫЕ РЕШЕНИЯ ДЛЯ АВТОМАТИЗИРОВАННЫХ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ РЕАЛЬНОГО ВРЕМЕНИ
Гаврилов Д.А.*
Ключевые слова: автоматизированные оптико-электронные системы, переработка визуальной информации, эффективность, робототехнические комплексы, техническое зрение, автоматизированная разметка, обнаружение, селекция, классификация, сопровождение целей, наземно-космический мониторинг.
Аннотация.
Цель работы: анализ основных подходов к созданию программно-аппаратного обеспечения автоматизированных оптико-электронных систем наземно-космического мониторинга, предназначенных для решения задач сбора, обработки и хранения визуальной информации в робототехнических комплексах специального назначения с повышенной степенью автономности.
Методы исследования: экспертный анализ основных направлений и тенденций развития в области цифровых средств автоматизированной обработки визуальной информации, выработка обоснованных организационно-технических требований к информационно-техническому и программному обеспечению процессов переработки информации, анализ возможностей применения аппаратного, алгоритмического и программного обеспечения автоматизированных оптико-электронных систем в робототехнических комплексах специального назначения.
Результаты: представлены возможные перспективные направления применения аппаратного, алгоритмического и программного обеспечения систем технического зрения в робототехнических комплексах специального назначения, выделены основные направления и тенденции развития в области цифровых средств автоматизированной обработки визуальной информации. Представлены основные авторские разработки в области современных интеллектуальных систем технического зрения, основанных на автоматизированных оптико-электронных робототехнических комплексах специального назначения.
Р01: 10.21681/1994-1404-2021-3-14-24 Введение
В современных условиях определяющим фактором достижения стратегического и оперативно-тактического превосходства над противником становится поддержание высокого уровня информационного обеспечения [10] как для систем управления движением при решении навигационных задач, так и для систем управления вооружением при решении огневых задач. Необходимость решения задач автономного движения, навигации и управления вооружением в условиях отсутствия спутниковых навигационных сигналов требует использования перспективных средств аппаратного, алгоритмического и программного обеспечения, основанных на использовании методов искусственного интеллекта для максимально быстрого реагирования на изменяющуюся оперативную обстановку. Требования по обеспечению повышенной степе-
ни автономности робототехнических комплексов специального назначения оказывают непосредственное влияние на необходимость оснащения специальных служб и армии современными автоматизированными системами вооружений, средствами разведки и навигации, подвижной и роботизированной техникой различного назначения, беспилотными летательными аппаратами, функционирующими как в автономном, так и в дистанционно пилотируемом режимах [14, 17].
Задачи оперативной переработки информации, стоящие перед робототехническим комплексами специального назначения, как правило, требуют решения в режиме реального времени, поэтому все более востребованными становятся системы, использующие техническое зрение в качестве основного источника информации, получаемой при обработке изображений и разнообразных сигналов, в том числе радиолокационных. Системы технического зрения востребованы в средствах противовоздушной обороны, поисково-спасательных операциях, медицине, беспилотных и
* Гаврилов Дмитрий Александрович, кандидат технических наук, докторант Института точной механики и вычислительной техники им. С. А. Лебедева Российской академии наук, г. Москва, Российская Федерация. E-mail: [email protected]
дистанционно пилотируемых аппаратах, обеспечивающих получение, переработку и передачу визуальной информации на пункт дистанционного управления в реальном масштабе времени.
В настоящей работе рассматриваются основные подходы к созданию программно-аппаратного обеспечения автоматизированных оптико-электронных систем (АОЭС) наземно-космического мониторинга (НКМ), предназначенных для решения задач сбора, обработки и хранения визуальной информации в робо-тотехнических комплексах специального назначения с повышенной степенью автономности.
Основные направления и тенденции развития в
области цифровых средств автоматизированной обработки визуальной информации
Системы технического зрения являются одним из важнейших направлений развития автоматизированной обработки изображений. Перед разработчиками систем такого типа остро встают проблемы преобразования визуальной информации неаналитического характера в аналитические данные, в том числе в режиме реального времени в условиях высоких скоростей движения мобильных объектов сложной формы в различных фоноцелевых обстановках. На основе полученной информации оператор может сформировать план дальнейшего использования выявленных аналитических данных.
Одним из основных требований к оптико-электронной робототехнической системе является способность автономно, без участия оператора выделять во входном видеопотоке объекты интереса и осуществлять слежение за данными объектами. При этом обработка информации, получаемой оптико-электронной системой, должна осуществляться в автоматическом режиме. Оптико-электронная система приобретает роль «органов зрения», ключевым моментом построения которых является необходимость реализации качественного алгоритма обнаружения объектов [5, 7]. Современные цифровые средства формирования изображений охватывают практически весь электромагнитный спектр от гамма-излучения до радиоволн [4]. Полученные изображения позволяют проводить неограниченное число операций и процедур по их обработке, существенно отличающихся как по сложности выполнения, так и по реализации. Процесс переработки визуальной информации охватывает широкий спектр методов, имеющих различное применение. Из множества методов выделяется определенный их набор с целью построения алгоритмов для решения конкретных поставленных задач [18, 22]. Основной целью данных операций является получение информации описательного характера, позволяющей производить расширенный логический анализ имеющихся графических данных.
Таким образом, общей современной тенденцией развития систем технического зрения является совер-
шенствование методов и средств формирования и обработки зрительной информации.
Основная функциональность систем технического зрения робототехнических комплексов специального назначения
Основную функциональность систем технического зрения робототехнических комплексов специального назначения составляет решение задач детектирования, локализации и классификации объектов на фото- и видеоданных применительно к различным фоноцелевым обстановкам. Основные трудности при решении данных задач возникают вследствие: потери информации при проецировании трехмерной сцены на плоскость изображения; наличия шума на изображении; изменения экспозиции сцены; сложной формы объектов; изменения формы объекта; частичных или полных перекрытий и загораживаний объектов сцены; сложной траектории движения объекта; выхода объекта за пределы кадра и появления объекта в кадре; относительного движения камеры; требований обработки в реальном времени [14].
Для решения каждой из задач технического зрения, как правило, требуется разработка оптимальных (подходящих) для данного типа задачи методов и алгоритмов [20, 21]. Продуктивная классификация методов переработки визуальной оптико-электронной информации включает глобальные, локальные и точечные методы (рис. 1).
Каждый из методов переработки включает совокупность способов обработки изображений. В свою очередь, для реализации какого-либо способа могут быть использованы разнообразные алгоритмы или инструменты. Для разных целей могут использоваться различные способы обработки или их комбинации. Чем выше сложность задачи обработки изображения, тем большее число процессов может требоваться для ее решения. При этом обработка и анализ изображений — это пошаговая процедура, зависящая от результатов предыдущего этапа. Основной стратегией является разделение сложной задачи обработки на последовательность подзадач, большинство которых решается путем применения к изображению определенного набора типовых операций обработки. Тем не менее универсальные способы и алгоритмы решения любых задач обнаружения, локализации и классификации пока не найдены.
Необходимость автоматизации дешифровки аэрокосмических изображений связана, прежде всего, со взрывным ростом объема данных дистанционного зондирования Земли и невозможностью пропорционального увеличения количества квалифицированных экспертов для их анализа. Традиционным подходом для решения задачи обнаружения и распознавания является использование методов машинного обучения с учителем. Для успешной реализации методов машинного обучения с учителем требуется накопление колоссаль-
Высокий уровень
Глобальны« Методы а Нижний уровень Регистрация • Геометрические преобразования Средний уровень Определение параметров • Вычисление статистических показателей Анализ • Классификация • Технологии искусственного интеллекта • Нейросетевые методы • Получение качественно новой информации V J
Локальные методы Сжатие • Вей влеты Восстановление • Фильтрация • Свертка • Вейвлеты Представление и описание • Сегментация • Определение края • Морфологические операции 1 Г
Точечные методы Улучшение • Уменьшение шума • Повышение контраста • Улучшение резкости "1 1 1 1 1 1 1 1 1 1
Рис. 1. Продуктивная классификация методов обработки изображений
ных объемов размеченных экспертом обучающих выборок по каждому типу объекта, в этой связи такие методы неэффективны для решения задачи обнаружения редких объектов, по которым невозможно накопить достаточную выборку; объектов, имеющих большую вариативность внешнего вида, а также скрытых объектов. Методы обучения без учителя направлены на самостоятельный поиск нейронной сетью необходимых шаблонов, корреляции в данных, извлечение полезных признаков непосредственно из исследуемых образцов и их анализ. Таким образом, применение методов обучения без учителя открывает возможность обработки несопоставимо больших объемов данных по сравнению с другими методами, поскольку не требуется ручная разметка для обучения алгоритма.
Обоснование организационно-технических требований к информационно-математическому обеспечению
АОЭС переработки визуальной информации могут быть использованы в космических системах дистанционного зондирования Земли на базе космических аппаратов (КА) «Аркон», «Канопус», «Ресурс» [9] различных модификаций и других для решения задач информационного обеспечения государственных органов управления и контроля по оперативному освещению
обстановки в районах катастроф природного и техногенного характера, а также для мониторинга районов локальных конфликтов, крупных террористических актов, в качестве оптических датчиков для автоматических космических аппаратов программы исследования Луны [8].
Основная сложность при создании дистанционно пилотируемых аппаратов (ДПА) специального назначения заключается в создании необходимой для их применения системы управления, включая алгоритмы, информационные датчики, оптико-электронные системы [14, 15]. Особое место в данном случае занимает проблема замещения пилота как оператора управления на борту ДПА [1 ]. На различных этапах полета могут возникать ситуации, требующие наличия на борту ДПА полностью автономной системы управления и соответствующего информационного обеспечения.
Эффективность системы управления современных автономных ДПА в значительной мере определяется эффективностью работы алгоритмов оптико-электронной системы. Существующие оптико-электронные системы НКМ, использующие в своей работе автоматизированные методы переработки информации, часто недостаточно эффективны в отношении точности и оперативности при решении вопросов переработки визуальной информации. Основной причиной недостаточной эффективности является отсутствие фор-
мально-логического аппарата теории детектирования, локализации и классификации, обеспечивающего как выработку обоснованных требований к информационно-техническому и программному обеспечению процессов переработки информации, так и количественную оценку их эффективности и качества.
Основными организационно-техническими требованиями (ОТТ) информационно-математического обеспечения (ИМО) АОЭС НКМ, влияющими на эффективность ее функционирования, являются точность, характеризующая качество дешифровки визуальной информации, и оперативность, характеризующая обеспечение необходимого быстродействия своевременно в соответствии с поставленными целями и задачами.
Дополнительными ОТТ к ИМО АОЭС НКМ являются имитостойкость, характеризующая способность не допускать навязывания дезинформации в условиях информационного соперничества; устойчивость, характеризующая способность сохранять состояние динамического равновесия в условиях дестабилизирующих воздействий; живучесть, характеризующая способность выполнять установленный минимальный объем функций при подавляющих внешних воздействиях; а также добротность, характеризующая возможность функционирования в условиях отказов [23].
Показатели информационно-целевой эффективности [12, 13, 16] могут быть охарактеризованы следующим образом:
Информационная точность:
X
где
м
171= 1
1п
ПОтЬ
Информационно-технологическая эффективность характеризуется следующими показателями:
Информационная устойчивость:
Эх
/и
Т, к т £ (0Д>
[Эт+^Се)]'
где ЭТ = Н(М1)-^р(т0,)Н(М1\то1) -
мера (оценка) технологического эффекта, получаемого от данного информационного узла в результате выполнения процесса переработки информационных массивов (ИМ) ТЛ-о*' г = 1 ,М0',
= 1 :■.-' : — статистиче-
ская энтропия множества переработанных ИМ;
Н(М1\т^) = 1п р(™1г1™«)
— частная (при т01) условная энтропия множества переработанных ИМ; 1$(6) — количество используемой структурной информации, содержащейся в информационном узле, определяющее затраты на преобразование содержательной информации. Информационная живучесть: I
где N — сумарная производительность всех функциональных компонентов.
Информационная имитостойкость:
Эц = тах\12(М, Г)| = тах%
— ' - - - ' — количество получаемой от подсистемы наблюдения осведомляющей содержательной информации; 0т — оператор преобразования тезауруса Т, соответствующий единичному информационному массиву (ИМ) Ш Е М ; X — средний интервал времени
переработки осведомляющей информации от одного объекта управления.
Информационная добротность:
где / — общее количество информации, которое хранится и циркулирует в эргасистеме (узле); /0 — количество информации, хранимой в информационной базе эргасистемы (узла).
Информационная оперативность:
где 5еА — единичное подпространство параметров; : ^ — общее число возможных состояний системы.
Возможности применения аппаратного, алгоритмического и программного обеспечения АОЭС в робототехнических комплексах специального назначения
Обеспечение функционирования современных робототехнических комплексов требует разработки и изготовления всего тракта системы технического зрения, включая следующие основные направления: применение камеры видимого, MWIR и LWIR диапазонов; автоматическое детектирование (селекция), локализация, классификация объектов; сопровождение объектов (в том числе в многоспектральных системах); аппаратура (специализированные вычислители) для систем технического зрения реального времени, в том числе искусственные нейронные сети; автоматизированная разработка нейросетевых алго-
Рис. 2. Схема камеры панорамного видения
ритмов; синтезированное зрение-комплексирование изображений различных спектральных диапазонов, построение панорамных изображений; оценка egomotion, стабилизация изображения [2]; многоканальные системы регистрации видеоизображения; сжатие и передача HD-видео по радиоканалу (90 Мбит/c). Основные аппаратно-программные компоненты АОЭС включают следующие.
Камера панорамного видения. В качестве основы для камеры панорамного видения разработана оптическая схема, позволяющая осуществлять панорамную съемку из одной точки (рис. 2). Используется 8 сенсоров. В разработке находится оптическая схема,
при которой число сенсоров будет минимизировано с 8 до 6.
Данное решение позволяет обеспечивать построение панорамного изображения и поддерживать ситуационную информированность (осведомленность), а также решать задачи компьютерного зрения с применением полученного панорамного изображения. Внешний вид камеры панорамного видения представлен на рис. 3.
Портативный комплекс обнаружения, селекции, классификации и сопровождения целей. Портативный программно-аппаратный комплекс (далее — ПАК обнаружения) реализован на нейросетевой аппаратной
Рис. 3. Внешний вид камеры панорамного видения
платформе. Существует также реализация на ПЛИС. Внешний вид ПАК обнаружения представлен на рис. 4.
Особенностью предлагаемого ПАК обнаружения является высокая вычислительная мощность — не менее 1 Тфлопс при достаточно низком энергопотреблении, малых габаритных размерах и массе, которая составляет от 80 до 200 г в зависимости от требований по питанию и радиатору (таблица 1). Данные параметры обеспечены высокой энергоэффективностью
нейросетевых вычислителей, а также высокой эффективностью авторских алгоритмов.
ПАК обнаружения способен обрабатывать поток видеоданных с разрешением 640x480 и частотой 30 кадров в секунду в режиме реального времени. Образцы обработанных изображений представлены на рис. 5.
Набор инструментов для автоматизированной разработки нейросетевых алгоритмов [3].
Программное обеспечение разметки обучающей выборки фото- и видеоданных для формирования об-
Рис. 4. Внешний вид ПАК обнаружения
Таблица 1
Технические характеристики ПАК обнаружения
Характеристика Значение
Формат видео произвольный не менее 50 мегапикселей в секунду, типично 1024x768x24 бит @ 50 Гц, 640x512x16 бит @100 Гц
Видео входы 2x CameraLink base, Gigabit Ethernet, USB 3.0, PCIe, CSI 2.0
Энергопотребление 15 Вт
Габариты 90x50x20 мм
Масса 80—200 г
учающих выборок позволяет проводить автоматическую подготовку исходных данных для обучения нейронной сети при решении задачи сегментации объектов интереса с целью классификации объектов по их форме [6]. Прецедентная информация для обучения представляет собой аэрокосмические снимки с отмеченными на них изображениями объектов, которые выделены оператором с максимальной возможной точностью. Внешний вид интерфейса программы разметки изображений представлен на рис. 6.
Применение программного обеспечения разметки обеспечивает снижение трудозатрат оператора на подготовку исходных данных для обучения нейронной сети [20]. Высокая скорость разметки достигается за счет использования асессором векторных шаблонов, описывающих границы объектов интереса, а также инструментов для подгонки шаблонов к изображениям объектов. Пример процесса разметки объектов авиационной техники представлен на рис. 7.
Фотореалистичный симулятор видимого и инфра- щих выборок. Образцы реального и синтезированного красного диапазонов позволяет получать синтетиче- изображений представлены на рис. 8. ские данные для пополнения и расширения обучаю-
Рис. 6. Внешний вид интерфейса программы разметки изображений
Разведывательно-аналитический комплекс «Автопол»
Бортовые АОЭС широко применяются в составе разведывательно-аналитических комплексов «Авто-пол», включающих радиоэлектронное и алгоритмическое, интегрированное с транспортными модулями наземного или воздушного базирования различного типа обеспечение, что позволяет осуществлять оперативное наблюдение за обстановкой с воздуха и с Земли (рис. 9).
Комплекс включает следующие подсистемы: - подсистема воздушного мониторинга, представляющая собой дистанционно пилотируемый (беспилотный) летательный аппарат (ДПА) [14], осна-
щенный оптико-электронными и тепловизионны-ми системами наблюдения;
- подсистема наземного мониторинга, представляющая собой автомобиль с системой автоматического управления, оснащенный оптико-электронными, тепловизионными и радиолокационными системами наблюдения;
- пункт командного управления, обеспечивающий интеграцию подсистем в единый комплекс и предназначенный для сбора, анализа и визуализации воздушной и наземной обстановки.
Организация сбора и регистрации информации обеспечивается с помощью трехканальной системы сбора и регистрации фото- и видеоинформации для ДПА и робототехнических средств, технические харак-
Рис. 7. Процесс разметки вертолетов
теристики которой представлены в таблице 2. Реализованные алгоритмы позволяют исследовать разновременные изображения дистанционного зондирования Земли, снятые в различных спектральных диапазонах, что обеспечивает возможность обнаружения объектов интереса как аномалий в пространственных и пространственно-временных данных [2].
Заключение
Рассмотрены основные подходы к решению задач сбора, обработки и хранения визуальной информации в робототехнических комплексах специального назначения. Необходимость автоматизации дешифровки аэрокосмических изображений связана, прежде всего, со взрывным ростом объема данных дистанционного зондирования Земли и невозможностью пропорционального увеличения количества квалифицированных экспертов для их анализа.
Выполнен анализ современного состояния и основных тенденций развития систем технического зрения, основанных на использовании методов искусственного интеллекта, показавший, что основным направлением развития в области цифровых
средств автоматизированной обработки визуальной информации является совершенствование методов и средств формирования и переработки зрительной информации. Для решения каждой из задач технического зрения требуется разработка оптимальных (приемлемых) для данного типа задачи методов и алгоритмов. Обоснована продуктивная классификация методов логической обработки изображений. Обоснована совокупность основных и дополнительных организационно-технических требований к функциям, информационно-математическому и программному обеспечению АОЭС НКМ.
Рассмотрены возможности применения аппаратного, алгоритмического и программного обеспечения АОЭС в робототехнических комплексах специального назначения с учетом того, что обеспечение функционирования современных робототехнических комплексов требует разработки и изготовления всего тракта системы технического зрения.
Представлены основные аппаратно-программные компоненты АОЭС, в том числе: камера панорамного вида, позволяющая обеспечивать построение панорамного изображения и поддерживать ситуационную осведомленность, а также решать задачи компьютерного
Таблица 2
Технические характеристики 3-канальной системы сбора и регистрации фото- и видеоинформации
для ДПА и робототехнических средств
Наименование Технические характеристики
Камера видимого диапазона 2048x1536 пикселей, 12 бит, частота кадров 100 Гц
Инфракрасная камера на базе неохлаждаемого сенсора диапазона от 8 до14 мкм 640x480 пикселей (в разработке 1024x768), АЦП 16 бит, 30 Гц
Инфракрасная камера на базе охлаждаемого сенсора 1п5Ь диапазона от 3 до 5 мкм 640x512, АЦП 16 бит, 100 Гц
Габариты (без камер и гиростабилизированного подвеса) 280x195x69 мм
Вес (без камер и гиростабилизированного подвеса) 2,3 кг
Общий вес регистратора 4,9 кг
зрения с применением полученного панорамного изображения; портативный комплекс обнаружения, селекции, классификации и сопровождения целей, повышающий эффективность бортовых систем обработки фото- и видеоданных без необходимости сжатия, шифрования и последующей передачи на землю, что существенно сокращает время принятия решения и минимизирует риск утечки; набор инструментов для автоматизированной разработки нейросетевых алгоритмов, обеспечивающий снижение трудозатрат оператора на подготовку исходных данных для обучения нейронной сети.
Приведены общее описание и характеристики разведывательно-аналитического комплекса «Автопол», включающего совокупность алгоритмического, радиоэлектронного и вычислительного обеспечения, инте-
грированного с транспортными модулями наземного или воздушного базирования различного типа и позволяющего осуществлять оперативное наблюдение за обстановкой из космоса (с воздуха) и с Земли. Реализованные алгоритмы позволяют исследовать разновременные изображения дистанционного зондирования Земли, снятые в различных спектральных диапазонах, что обеспечивает возможность обнаружения объектов интереса как аномалий в пространственных и пространственно-временных данных [19].
Разработанные аппаратные, алгоритмические и программные решения имеют значительные перспективы для решения практических задач автономного движения, навигации и управления робототехнических комплексов специального назначения.
Литература
1. Васильев В.В., Джуган Р.В. Отождествление беспилотных летательных аппаратов в оптико-электронной системе контроля их группового полета // Правовая информатика. 2021. № 2. С. 40—48. DOI: 10.21681/1994-14042021-2-40-48 .
2. Гаврилов Д.А., Ивкин А.В., Щелкунов Н.Н. Система тестирования алгоритмов стабилизации видеоизображений, функционирующих в режиме реального времени // Вестник МГТУ им. Н.Э. Баумана. Сер. «Приборостроение». 2018. № 6. С. 22—36.
3. Гаврилов Д.А., Ловцов Д.А. Автоматизированная переработка визуальной информации с помощью технологий искусственного интеллекта // РАН. Искусственный интеллект и принятие решений. 2020. № 10. С. 33—46. DOI: 10.14357/20718594200404 .
4. Гаврилов Д.А., Мелерзанов А.В., Щелкунов Н.Н., Закиров Э.И. Применение технологий глубокого обучения для диагностики кожных заболеваний на основе нейронных сетей // Медицинская техника. 2018. № 5. С. 26—39.
5. Гаврилов Д.А., Павлов А.В. Поточная аппаратная реализация алгоритма SURF // Известия ВУЗов. Электроника. 2018. Т. 23. № 5. С. 502—511.
6. Гаврилов Д.А., Щелкунов Н.Н. Программное обеспечение разметки крупноформатных аэрокосмических изображений и подготовки обучающих выборок // Научное приборостроение. 2020. Т. 30. № 2. С. 67—75.
7. Гаврилов Д.А., Павлов А.В., Щелкунов Д.Н. Аппаратная реализация сжатия динамического диапазона цифровых изображений на ПЛИС Xilinx // Журнал радиоэлектроники. 2018. № 10. URL: http://jre.cplire.rU/jre/oct18/6/text.pdf .
8. Ефанов В.В. Многофункциональная космическая платформа «Навигатор». Химки : НПО им. С. А. Лавочкина, 2017. 358 с.
9. Ефанов В.В., Клименко Н.Н., Семункина В.И. и др. Космическая система дистанционного зондирования Земли на базе космического аппарата «АРКОН»: к 20-летию первого запуска // Вестник НПО им С.А. Лавочкина. 2017. № 4. С. 25—34.
10. Ловцов Д.А. Информационная теория эргасистем : тезаурус. М. : Наука, 2005. 248 c. ISBN 5-02-033779-Х.
11. Ловцов Д.А. Информационная теория эргасистем : монография. М. : Рос. гос. ун-т пр-судия, 2021. 314 с. ISBN 978-5-93916-887-8.
12. Ловцов Д.А. Эффективность правовых эргасистем в инфосфере // Правовая информатика. 2020. № 1. С. 4—14. DOI: 10.21681/1994-1404-2020-1-04-14 .
13. Ловцов Д.А. Информационные показатели эффективности функционирования АСУ сложными динамическими объектами // Автоматика и телемеханика. 1994. № 12. C. 143—150.
14. Ловцов Д.А., Гаврилов Д.А. Моделирование оптико-электронных систем дистанционно пилотируемых аппаратов : монография. М. : Технолоджи-3000, 2019. 164 с. ISBN 978-5-94472-036-8.
15. Ловцов Д.А., Гаврилов Д.А. Вопросы оперативной переработки визуальной информации в АОЭС наземно-кос-мического мониторинга // Тр. VI Междунар. науч.-прак. конф. «Информационные технологии и нанотехноло-гии — ИТНТ-20» (26—29 мая 2020 г.). В 4-х т. / ИСОИ РАН, СНИУ. Т. 2. Обработка изображений и дистанционное зондирование Земли. Самара : Самарский ун-т, 2020. С. 271—276.
16. Ловцов Д.А., Гаврилов Д.А. Эффективная автоматизированная оптико-электронная система аэрокосмического мониторинга // Правовая информатика. 2019. № 2. С. 29—35. DOI: 10.21681/1994-1404-2021-2-29-35 .
17. Ловцов Д.А., Гаврилов Д.А., Татаринова Е.А. Эффективная автоматизированная переработка визуальной информации в оптико-электронной системе наземно-космического мониторинга // Профессорский журнал. Сер. «Технические науки». 2019. № 3. С. 26—40.
18. Ловцов Д.А., Князев К.В. Защищенная биометрическая идентификация в системах контроля доступа. I. Математические модели и алгоритмы // Информация и космос. 2013. № 1. С. 100—103.
19. Ловцов Д.А., Черных А.М. Геоинформационные системы. М. : Российская академия правосудия, 2012. 188 с. ISBN 978-5-93916-340-8.
20. Местецкий Л.М., Гаврилов Д.А., Семенов А.Б. Метод разметки изображений самолетов на аэрокосмических снимках на основе непрерывных морфологических моделей // Программирование. 2019. № 6. С. 3—13.
21. Омельченко В.В. Общая теория классификации. Ч. 1. Основы системологии познания действительности. М. : ИПЦ «Маска», 2008. 436 с.
22. Пунь А.Б., Гаврилов Д.А., Щелкунов Н.Н., Фортунатов А.А. Алгоритм адаптивной бинаризации объектов в видеопоследовательности в режиме реального времени // Успехи современной радиоэлектроники. 2018. № 8. С. 40—48.
23. Lovtsov D.A., Gavrilov D.A. Automated special purpose optical electronic system's functional diagnosis // Proceedings of International Seminar on Electron Devices Design and Production, SED-2019 (23—24 April 2019). Prague, Czech Republic: IEEE, 2019. Pp. 70-73.
Рецензент: Бурый Алексей Сергеевич, доктор технических наук, эксперт РАН, директор департамента ФГУП «Российский научно-технический центр информации по стандартизации, метрологии и оценке соответствия», Российская Федерация, г. Москва. E-mail: [email protected]
INTELLIGENT SOFTWARE AND HARDWARE SOLUTIONS FOR AUTOMATED REAL TIME ELECTRONIC OPTICAL SYSTEMS
Dmitrii Gavrilov, Ph.D. (Technology), postdoctoral student at the Lebedev Institute of Precision Mechanics and Computer Engineering of the Russian Academy of Sciences, Moscow, Russian Federation. E-mail: [email protected]
Keywords: automated electronic optical systems, visual information processing, efficiency, robotic complexes, technical vision, automated marking, detection, selection, classification, target tracking, ground and space monitoring.
Abstract.
Purpose of the paper: analysing the main approaches to setting up software and hardware for automated electronic optical systems for ground and space monitoring intended to solve the tasks of collecting, processing and storing visual information in special applications robotic complexes with an increased autonomy.
Methods used: expert analysis of the main lines and development trends in the field of digital tools for automated processing of visual information, working out justified organisational and technical requirements for information technology and software support for information processing, analysis of the possibilities for using hardware, algorithms and software for automated electronic optical systems in special applications robotic complexes.
Results obtained: possible promising areas of applying hardware, algorithms and software for technical vision systems
in special applications robotic complexes are presented, the main lines and development trends in the field of digital tools
for automated processing of visual information are highlighted. The author's main works in the field of modern intelligent
systems of technical vision based on automated special applications electronic optical robotic complexes are presented.
References
1. Vasil'ev V.V., Dzhugan R.V. Otozhdestvlenie bespilotnykh letatel'nykh apparatov v optiko-elektronnoi sisteme kon-trolia ikh gruppovogo poleta. Pravovaia informatika, 2021, No. 2, pp. 40-48. DOI: 10.21681/1994-1404-2021-2-40-48 .
2. Gavrilov D.A., Ivkin A.V., Shchelkunov N.N. Sistema testirovaniia algoritmov stabilizatsii videoizobrazhenii, funkt-sioniruiushchikh v rezhime real'nogo vremeni. Vestnik MGTU im. N.E. Baumana, ser. "Priborostroenie" 2018, No. 6, pp. 22-36.
3. Gavrilov D.A., Lovtsov D.A. Avtomatizirovannaia pererabotka vizual'noi informatsii s pomoshch'iu tekhno-logii iskusstvennogo intellekta. RAN. Iskusstvennyi intellekt i priniatie reshenii, 2020, No. 10, pp. 33-46. DOI: 10.14357/20718594200404 .
4. Gavrilov D.A., Melerzanov A.V., Shchelkunov N.N., Zakirov E.I. Primenenie tekhnologii glubokogo obucheniia dlia diagnostiki kozhnykh zabolevanii na osnove neironnykh setei. Meditsinskaia tekhnika, 2018, No. 5, pp. 26-39.
5. Gavrilov D.A., Pavlov A.V. Potochnaia apparatnaia realizatsiia algoritma SURF. Izvestiia VUZov. Elektronika, 2018, t. 23, No. 5, pp. 502-511.
6. Gavrilov D.A., Shchelkunov N.N. Programmnoe obespechenie razmetki krupnoformatnykh aerokosmicheskikh izo-brazhenii i podgotovki obuchaiushchikh vyborok. Nauchnoe priborostroenie, 2020, t. 30, No. 2, pp. 67-75.
7. Gavrilov D.A., Pavlov A. V., Shchelkunov D.N. Apparatnaia realizatsiia szhatiia dinamicheskogo diapazona tsifrovykh izobrazhenii na PLIS Xilinx. Zhurnal radioelektroniki, 2018, No. 10. URL: http://jre.cplire.ru/jre/oct18/6/text.pdf .
8. Efanov V.V. Mnogofunktsional'naia kosmicheskaia platforma "Navigator". Khimki : NPO im. S. A. Lavochkina, 2017. 358 pp.
9. Efanov V.V., Klimenko N.N., Semunkina V.I. i dr. Kosmicheskaia sistema distantsionnogo zondirovaniia Zemli na baze kosmicheskogo apparata "ARKON": k 20-letiiu pervogo zapuska. Vestnik NPO im S.A. Lavochkina, 2017, No. 4, pp. 25-34.
10. Lovtsov D.A. Informatsionnaia teoriia ergasistem : tezaurus. M. : Nauka, 2005. 248 c. ISBN 5-02-033779-Kh.
11. Lovtsov D.A. Informatsionnaia teoriia ergasistem : monografiia. M. : Ros. gos. un-t pr-sudiia, 2021. 314 pp. ISBN 9785-93916-887-8.
12. Lovtsov D.A. Effektivnost' pravovykh ergasistem v infosfere. Pravovaia informatika, 2020, No. 1, pp. 4-14. DOI: 10.21681/1994-1404-2020-1-04-14 .
13. Lovtsov D.A. Informatsionnye pokazateli effektivnosti funktsionirovaniia ASU slozhnymi dinamicheskimi ob"ektami. Avtomatika i telemekhanika, 1994, No. 12. C. 143-150.
14. Lovtsov D.A., Gavrilov D.A. Modelirovanie optiko-elektronnykh sistem distantsionno pilotiruemykh apparatov : monografiia. M. : Tekhnolodzhi-3000, 2019. 164 pp. ISBN 978-5-94472-036-8.
15. Lovtsov D.A., Gavrilov D.A. Voprosy operativnoi pererabotki vizual'noi informatsii v AOES nazemno-kosmicheskogo monitoringa. Tr. VI Mezhdunar. nauch.-prak. konf. "Informatsionnye tekhnologii i nanotekhnologii -- ITNT-20" (26-29 maia 2020 g.), v 4-kh t., ISOI RAN, SNIU, t. 2. Obrabotka izobrazhenii i distantsionnoe zondirovanie Zemli. Samara : Samarskii un-t, 2020, pp. 271-276.
16. Lovtsov D.A., Gavrilov D.A. Effektivnaia avtomatizirovannaia optiko-elektronnaia sistema aerokosmicheskogo monitoringa. Pravovaia informatika, 2019, No. 2, pp. 29-35. DOI: 10.21681/1994-1404-2021-2-29-35 .
17. Lovtsov D.A., Gavrilov D.A., Tatarinova E.A. Effektivnaia avtomatizirovannaia pererabotka vizual'noi informatsii v op-tiko-elektronnoi sisteme nazemno-kosmicheskogo monitoringa. Professorskii zhurnal, ser. "Tekhnicheskie nauki" 2019, No. 3, pp. 26-40.
18. Lovtsov D.A., Kniazev K.V. Zashchishchennaia biometricheskaia identifikatsiia v sistemakh kontrolia dostupa. I. Matematicheskie modeli i algoritmy. Informatsiia i kosmos, 2013, No. 1, pp. 100-103.
19. Lovtsov D.A., Chernykh A.M. Geoinformatsionnye sistemy. M. : Rossiiskaia akademiia pravosudiia, 2012. 188 pp. ISBN 978-5-93916-340-8.
20. Mestetskii L.M., Gavrilov D.A., Semenov A.B. Metod razmetki izobrazhenii samoletov na aerokosmicheskikh snim-kakh na osnove nepreryvnykh morfologicheskikh modelei. Programmirovanie, 2019, No. 6, pp. 3-13.
21. Omel'chenko V.V. Obshchaia teoriia klassifikatsii. Ch. 1. Osnovy sistemologii poznaniia deistvitel'nosti. M. : IPTs "Maska" 2008. 436 pp.
22. Pun' A.B., Gavrilov D.A., Shchelkunov N.N., Fortunatov A.A. Algoritm adaptivnoi binarizatsii ob"ektov v videoposle-dovatel'nosti v rezhime real'nogo vremeni. Uspekhi sovremennoi radioelektroniki, 2018, No. 8, pp. 40-48.
23. Lovtsov D.A., Gavrilov D.A. Automated special purpose optical electronic system's functional diagnosis. Proceedings of International Seminar on Electron Devices Design and Production, SED-2019 (23-24 April 2019). Prague, Czech Republic: IEEE, 2019. Pp. 70-73.
