CC BY
36
Lepeshkin Oleg Mikhailovich, doctor of technical sciences, docent, lep-echkin1@yandex.ru, Russia, St. Petersburg, Military Academy of Communications named after Marshal of the Soviet Union S.M. Budyonny,
Shuravin Andrey Sergeevich, adjunct, and. shuravin@yandex. ru, Russia, St. Petersburg, Military Academy of Communications named after Marshal of the Soviet Union S.M. Budyonny,
Permyakov Alexander Sergeevich, adjunct, permyak@yandex. ru, Russia, St. Petersburg, Military Academy of Communications named after Marshal of the Soviet Union S.M. Budyonny,
Zroychikov Pavel Sergeevich, student, zroychikov 79@mail. ru, Russia, St. Petersburg, Military Academy of Communications named after Marshal of the Soviet Union S.M. Budyonny,
Shimarov Evgeny Vyacheslavovich, student, chimarov84@,mail. ru, Russia, St. Petersburg, Military Academy of Communications named after Marshal of the Soviet Union S.M. Budyonny
УДК 004.932.2
АНАЛИЗ ЭФФЕКТИВНЫХ МЕТОДОВ ОЦЕНКИ ДАЛЬНОСТИ И АЛГОРИТМОВ ОБРАБОТКИ ВИДЕОИНФОРМАЦИИ НА БПЛА
Д.В. Алаторцев, А.В. Хамухин
В статье рассматривается способ получения плотной метрической карты глубины для задач анализа видеоинформации на борту БПЛА (беспилотных летательных аппаратов), оснащенных монокулярной оптической системой видимого диапазона. Рассматривается применение карты глубины для уменьшения количества вычислений и повышения точности детектирования и распознавания. Предлагается конвейер, реализующий получение карты глубины, и метод, повышающий плотность карты глубины, что в совокупности позволяет повысить эффективность алгоритмов обработки информационных видеосигналов и уменьшить требования к вычислительному модулю.
Анализ видеоизображений, карта глубины, SLAM, одометрия, восстановление сцены по изображениям, GMS, детектирование, распознавание.
Распознавание объектов на изображении видеокамер, установленных на борту БПЛА, является актуальной задачей компьютерного зрения [1]. Наиболее перспективными являются системы, определяющие присутствие объектов интереса на сцене с помощью единственной камеры, поскольку это повышает энергоэффективность аппаратов, что в конечном итоге определяет их запас хода, одну из важнейших характеристик автономного устройства. В данной статье рассматривается метод повышения эффективности алгоритмов идентификации объектов на изображении путём оценки расстояния до детектируемого объекта в метрической системе измерения, что позволяет снизить объем необходимых вычислений и повысить точность детектирования. Назовем оценку расстояния в метрах от камеры до сцены в каждой точке изображения, получаемой оптической системой, метрической картой глубины, согласно терминологии, принятой в компьютерном зрении.
Снижение объема необходимых вычислений с помощью метрической карты глубины может достигаться с помощью исключения из работы алгоритмов тех областей, в которых маловероятно получение результатов алгоритмов обработки изображений с требуемой точностью, например, таких удаленных областей, где из-за слишком малого углового размера наблюдаемого объекта невозможно устойчиво провести детектирование. Также, возможно исключить из рассмотрения те области изображений, нахождение в которых объекта маловероятно по физическим ограничениям.
Повышение точности детектирования с помощью метрической карты глубины достигается благодаря фильтрации изображений объектов по размерам. Например, детектирование объекта является успешным, если его размеры сопоставимы со статистикой, описывающий габариты объектов искомой категории. Карта глубины в метрической системе измерения в данном случае позволяет получить с достаточной точностью оценку размеров объектов, выделенных с помощью обработки видеопотока от бортовой камеры.
На качество карты глубины влияет то, с какой плотностью алгоритмы могут находить на изображении хорошо отслеживаемые опорные точки, с помощью которых осуществляется триангулирование и увязка с данными бортовой инерциальной навигационной системы (БИНС), и, таким образом, с достаточной точностью вычисляется расстояние от сцены до камеры.
Точность триангулирования существенно зависит от метрического расстояния между камерами, наблюдающими одну и ту же точку. При установке на БПЛА стереопары камер их стереобаза зачастую незначительна и не позволяет с достаточной точностью определять дальность до удаленной наблюдаемой точки. Но если учитывать, что существует линейное движение БПЛА, то можно решить задачу определения дальности до точки наблюдения с помощью одной камеры и нескольких изображений, полученных с нее во время полета во все время наблюдения точки интерес. Этот вид стереозре-ния называется монокулярным и дает более точное значение дальности, чем стереопара, из-за возможности более гибкого выбора базы между парными изображениями. Основанные на данном принципе подходы называют SLAM (Simultaneous Localization And Mapping - одновременное определение местоположение и построение карты).
Рассмотрим подходы применяемые, для построения сцены на основе монокулярного оптического потока. Основой всех современных подходов является структура, состоящая из двух основных потоков: первый поток вычисляет изменение собственного положения на основе актуальной поступающей оптической информации с максимально возможной скоростью и называется потоком оптической одометрии (localization), второй поток осуществляет добавление новых опорных точек в сцену, то есть построение карты (mapping). По применяемым способам обработки оптического потока подходы можно разделить на две основные группы: методы непосредственного сопоставления изображений (direct) и методы на основе сопоставления особенностей изображения (sparse).
Методы непосредственного сопоставления изображений дают более плотную сцену и основаны на поиске такого оптимального положения камеры, которое минимизирует фотограмметрическую разницу изображений оптического потока. Среди этих методов выделяется LSD-SLAM(Large-Scale Direct Monocular SLAM - масштабный прямой монокулярный SLAM) [2], обладающий высокой производительностью благодаря тому, что в поиске фотограмметрической разницы участвуют только области с достаточным градиентом изменения яркости.
Методы на основе сопоставления особенностей изображения используют для поиска оптимального положения камеры информацию об особенностях изображения. Особенность изображения описывается положением, ориентацией и описанием, которое обладает достаточно высокой степенью уникальности. Таких устойчивых особенностей существенно меньше количества элементов изображения, поэтому методы дан-
ной категории называются разряженными. Одним из классических подходов данного метода является ORB-SLAM (SLAM основанный на выделении особенностей методом ORB) [3].
Преимуществами прямых методов являются плотная карта построенной сцены, но основным недостатком считается слабая устойчивость к резкому изменению яркости оптического потока. Также недостатком является низкая способность к восстановлению своего положения относительно сцены в случае потери связи между кадрами оптического потока (relocalization). Так как изменения в свойствах оптического потока в процессе полета БПЛА могут быть существенны из-за таких факторов как засветка, изменение экспозиции при существенных колебаниях камеры, игра света и теней от облаков, то применение на БПЛА данных методов не дает достаточной надежности построения сцены. Влияние изменения освещения на работу метода показано в [2].
К преимуществам разряженных методов следует отнести то, что особенности изображения, на основе которых данные методы строятся, обладают достаточной степенью уникальности и достаточно устойчиво могут находиться на изображениях даже на больших промежутках времени. Это дает возможность устойчивого построения трёхмерной структуры сцены, несмотря на существенные изменения яркости. В случае, если теряется связь между изображениями оптического потока, то она достаточно легко находится благодаря описанной выше совокупной уникальности всех особенностей на каждом изображении.
Карта сцены, построенная с помощью подходов построения сцены, существует в своей системе координат. Чтобы привязать ее к текущему положению камеры БПЛА, необходима информация от ИНС. После осуществления взаимной увязки карты сцены и данных от ИНС становится доступной актуальная информация о метрической дальности до каждой точки сцены и ее координатах на текущем изображении. Пример использования информации от ИНС в структуре построения сцены и взаимной увязки всей информации показан в работе VI-SLAM (Visual-Inertial Monocular SLAM - оптический и инерциальный монокулярный SLAM) [4].
Так как карта сцены разряжена, то необходимо провести интерполирование. Процесс интерполирования заключается в построении треугольников, связывающих точки карты, находящиеся в пределах текущего изображения. После интерполирования строится карта глубины, которую возможно использовать в алгоритмах обработки видеопотока.
Так как методы построения относятся к категории разряженных, то количество точек сцены обычно небольшое и зачастую неравномерно распределено по текущему изображению. На практике часто на изображении присутствуют области, не заполненные треугольниками, и в этих местах глубина не определена. Чтобы уменьшить количество и размер областей, не заполненных треугольниками, необходимо повышать количество выделенных, и впоследствии сопоставленных, особенностей на изображениях.
В данной статье предлагается улучшить карту глубины, реализовав и добавив в конвейер алгоритма обработки видеоизображений следующее.
1. Повысить количество точек карты путем применения метода GMS (Grid-based motion statistics - статистика движения по ячейкам) [5]. Данный метод позволяет эффективно использовать особенности при поиске соответствий между ними, что должно уменьшить количество пятен на изображении, где отсутствуют данные о глубине. Применение метода Grid Matching Spatial существенно повышает количество найденных соответствий при незначительном уменьшении общего быстродействия.
2. Вычислять оценку расстояния в тех местах карты глубины, где присутствуют области, не заполненные треугольниками, используя информацию, предоставляемую ИНС и GPS о текущем значении высоты относительно уровня моря, а также загружаемую в вычислительный блок БПЛА карту высот ландшафта. Использование перечисленной выше информации для вычисления глубины заключается в:
a) создании вектора, начало которого совпадает с местом положения оптической системы БПЛА, а конец соответствует элементу изображения в области с неопределенной глубиной;
b) проецировании созданного вектора в метрическую СК (систему координат);
c) поиске пересечения данного вектора с плоскостью земли;
d) определения длины данного вектора и занесения её значения в карту глубины.
Далее предложенный способ назовем методом определения глубины по модели карты высот.
Учитывая предлагаемые улучшения, получаем следующий вид конвейера:
1) поиск особенностей изображения;
2) корректировка положения найденных особенностей;
3) сопоставление особенностей на различных изображениях;
4) триангуляция сопоставленных особенностей;
5) вычисление собственного положения в своей СК;
6) добавление триангулированных точек в список опорных точек карты;
7) привязка собственного положения в своей СК с картой точек;
8) сопоставление собственного положения и карты точек с информацией от блока инерциальной навигации БЛА;
9) триангуляция точек сцены, проецируемых на текущее изображение;
10) составление для текущего изображения карты глубины;
11) определение областей, в которых глубина не определена, и вычисление для каждого элемента этой области значений расстояния с помощью предложенного метода определения глубины по модели карты высот.
Рассмотрим каждый из методов в предложенном конвейере.
При выборе метода поиска особенностей изображения следует учитывать требования по быстродействию, точности и плотности найденных особенностей сравнительно с другими методами поиска особенностей на изображении. Метод ORB [6], как и другие, сочетает в себе метод поиска ключевых точек (локализация и ориентация) и метод вычисления уникальных инвариантных признаков данной точки по ее окрестности (дескриптор). Данный метод основан на целочисленной арифметике и содержит много приёмов, оптимизирующих вычисления. Скорость поиска особенностей в разы превышает скорость поиска более тяжелого метода как SURF (Speeded up robust features - ускоренный поиск устойчивых особенностей) [7] и на порядок быстрее, чем SIFT (Scale-Invariant Image Features - инвариантные к масштабу особенности изображения) [8].
Корректировка положения найденных особенностей изображения заключается в устранении искажения, связанного с радиальной дисторсией для каждой найденной особенности, что позволяет повысить точность триангуляции точек сцены, особенно для периферийных особенностей изображения. Коэффициенты радиальной дисторсии вычисляются на этапе калибровки внутренних параметров камеры (матрицы и объектива). Метод калибровки описан в работе [9].
Сопоставление особенностей на различных изображениях проводятся методом FLANN (Fast Library for Approximate Nearest Neighbors - библиотека для быстрого поиска примерно похожего ближайшего объекта) [10], который на порядок превосходит по скорости метод полного перебора, или методом поиска соответствий в ближайших ячейках, что позволяет увеличить скорость и точность в случае небольших изменений положения камеры, характерных для последовательных кадров в видеопотоке. Для поиска более плотного облака соответствий применяется, как предложено выше, метод GMS с целью повышения эффективности.
Пункты от 4 до 7 (Триангуляция сопоставленных особенностей, вычисление собственного положения в своей СК, добавление триангулированных точек в карту точек, увязка собственного положения в своей СК с картой точек) реализованы в подходе, упомянутом выше как ORB-SLAM [3].
Увязка собственного положения и карты точек с информацией от блока инер-циальной навигации БПЛА осуществляется с помощью подхода VI-SLAM [4].
Триангуляция точек сцены, проецирумых на текущее изображение, позволяет вычислить глубину каждой точки посредством интерполирования в пределах треугольника, полученного методом триангуляции Делоне, как показано во FLAME (Fast Lightweight Mesh - быстрое построение легкой сетки) [11].
В последней части конвейера применим метод определения глубины по модели карты высот, которая позволяет получить плотную карту глубины без областей неопределенностей.
Запишем связь экранных координат точки (CK экрана) с системой координат камеры (CK камеры) как
^экрана _ ^калиб ^ ^камеры
U V 1
fx О
О
где ХэкРана =
; и - индекс пикселя по горизонтали; v - индекс пикселя по вертикали.
А
калиб
/у Су 0 0 1
где /у - фокусное расстояние по осям х и у; сх, су - оптический центр камеры в пикселях по осям х и у.
А взаимосвязь СК камеры с системой координат сцены (СК сцены) запишем как ХкамеРа = Я * Хсцены + £ (2), где
X
^•камеры _ У ^•сцены _ Y
Z Z
0
cos (roll) sin (roll)
R — Rx*Ry* Rz-
0 1 0
sin (tilt) 0
cos (tilt)
0 cos (tilt)
— sin (roll) * 0 cos (roll) —sin (tilt) cos (yaw) — sin(yaw) 0 * sin(yaw) cos(yaw) 0,
0 0 1
где yaw, pitch, roll - углы положения камеры относительно сцены, полученные из ИНС и установочных углов камеры относительно БЛА.
0 0
^GPS _ ^земли
где hGPS —высота БЛА над уровнем моря полученная из GPS приемника; h3eMm — высота земли под БЛА полученная из карты высот.
Тогда, на основании формул (1) и (2) и данных полученных от модуля ИНС и карты высот, можем вычислить расстояние до точки сцены (глубину) в заданном пикселе изображения камеры как:
ЙСЦ6НЫ = Кв-ть112,
t =
где = k * Хсцены, k = (hGPS - h3eM™)/Z; Хсцены
^•камера _ ^дкалиб^-1 ^ ^-экрана . ^-экрана
RT * ^камера _
Метод построения карты глубины, реализованный предложенным способом, позволяет отказаться от перебора масштабов при обработке поступающих изображений, что увеличивает скорость обработки в 3-5 раз и, таким образом, снижает требова-
ния к вычислительным блокам, установленным на БПЛА. Также достигается увеличение на 5... 10% таких характеристик обнаружения как полнота (recall) и точность (precision).
В задачах подготовки и обучения нейросетей для детектирования достигаются следующие эффекты от применения карты глубин:
сокращается количество необходимых примеров изображений детектируемых объектов для обучения, так как подаются примеры только оптимального масштаба и нет необходимости добиваться устойчивого детектирования на разных масштабах;
уменьшается входной размер и глубина нейросети, так как количество примеров и масштабов существенно меньше.
Суммарное увеличение скорости обучения нейросети, связанное с уменьшением количества примеров и уменьшения количества весов, по порядку величины десятикратное. Таким образом, реализация конвейера с предложенными методами позволяет более эффективно решать задачи детектирования и распознавания при работе систем обработки изображений на борту БПЛА, оснащенном системами навигации.
Список литературы
1. Kanellakis C., Nikolakopoulos G. Survey on computer vision for UAVs: Current developments and trends // Journal of Intelligent & Robotic Systems. 2017. Т. 87. №. 1. P. 141-168.
2. LSD-SLAM: Large-Scale Direct Monocular SLAM. Jakob Engel and Thomas Sch'ops and Daniel Cremers. Technical University Munich. 16 p.
3. ORB-SLAM: a Versatile and Accurate Monocular SLAM System Raul Mur-Artal*, J. M. M. Montiel, Member, IEEE, and Juan D. Tardos, Member, IEEE. 17 p.
4. Visual-Inertial Monocular SLAM with Map Reuse. Raul Mur-Artal and Juan D.
Tardos.
5. Gms: Grid-based motion statistics for fast, ultra-robust feature correspondence. JiaWang Bian, Wen-Yan Lin, Yasuyuki Matsushita, Sai-Kit Yeung, Tan Dat Nguyen, and Ming-Ming Cheng. In IEEE Conference on Computer Vision and Pattern Recognition, 2017. 10 p.
6. ORB: an efficient alternative to SIFT or SURF. Ethan Rublee Vincent Rabaud Kurt Konolige Gary Bradski Willow Garage, Menlo Park, California. 8 p.
7. SURF: Speeded up robust features. Herbert Baya , Andreas Essa , Tinne Tuy-telaarsb , and Luc Van Goola, 2008. 14 p.
8. Distinctive Image Features from Scale-Invariant Keypoints. David G. Lowe Computer Science Department University of British Columbia Vancouver, B.C., Canada January 5, 2004. 28 p.
9. Zhang Z. A flexible new technique for camera calibration //IEEE Transactions on pattern analysis and machine intelligence. 2000. V. 22. №. 11. P. 1330-1334.
10. FLANN - Fast Library for Approximate Nearest Neighbors, Marius Muja, mari. [Электронный ресурс] URL: https://github.com/mariusmuja/flann (дата обращения: 10.02.2020).
11. FLaME: Fast Lightweight Mesh Estimation using Variational Smoothing on De-launay Graphs. W. Nicholas Greene Nicholas Roy Computer Science and Artificial Intelligence Laboratory Massachusetts Institute of Technology. 9 p.
Алаторцев Денис Владиславович, инженер-программист, dalator@elvees. com, Россия, Москва, АО НПЦ «ЭЛВИС»
EFFICIENT METHODS ANALISYS FOR OBTAINING A DENSE DEPTH MAP AND VIDEO
PROCESSING ONBOARD UAVS
D. V. Alatortsev, A. V. Khamukhin 260
The article discusses a methodfor obtaining a dense metric depth map for video processing tasks on board a UAV equipped with a monocular optical system. The necessity of a depth map is shown for reduction the number of calculations and for the increase in the accuracy of detection and recognition. A conveyor algorithm is proposed that implements the acquisition of a depth map along with a method that increases the density of a depth map, which together allows to increase the efficiency of video analytics and reduce the requirements for the computational module.
Key words: video analytics, depth map, SLAM, odometry, scene reconstruction, GMS, detection, recognition.
Alatortsev Denis Vladislavovich, software engineer, dalator a elvees. com, Russia, Moscow, JSC SPC «ELVES»
УДК 004.056.55
ВОССТАНОВЛЕНИЕ УТРАЧЕННЫХ ФАЙЛОВ В ФАЙЛОВЫХ СИСТЕМАХ
NTFS И FAT
Д.В. Афанасьева
Современное общество в больше с каждым годом зависит о компьютерные технологии, в связи с чем актуальным является проблема сохранения данных в целостности. Однако зачастую файлы могут быть утрачены ввиду компьютерных вирусов, неопытности пользователя, несовершенной системы информационной безопасности. В данной статье пойдет речь о том, как восстановить потерянные файлы.
Ключевые слова: утраченные файлы, NTFS, FAT, файловые системы, программное обеспечение, вирусы, информационная безопасность.
Потеря файлов является частой проблемой, основными причинами которой является [1, 2, 3]:
воздействие компьютерных вирусов; неосторожные действия пользователя; действия хакеров; программные ошибки ОС или ПО;
повреждения и ошибки жестких дисков, иных носителей информации. Данную проблему частично можно исправить. Для этого существуют несколько способов, самым распространённым из которых является применение специализированного ПО. При этом в зависимости от типа файловой системы методы восстановления утерянных файлов могут отличаться. Например, для восстановления удаленных данных с файловой системы FAT32 или FAT16 применяется программный продукт Hetman FAT Recovery, а если NTFS, то в таком случае применяется Hetman NTFS Recovery [4, 5].
Hetman FAT Recovery — это утилита, предназначенная для эффективного восстановления информации с разнообразных носителей, обладающих файловой системой FAT16 и FAT32. Как известно, исчезновение данных происходит после форматирования, заражения различными вирусными программами, сбоев жесткого диска, ошибок чтения флешки, случайного удаления пользователем, нарушения информационной безопасности повлекшее к потере данных. Данная программа позволит восстановить утраченные файлы, внимательно просканировав дисковое пространство карт памяти формата MicroSD, накопителей USB Flash, жестких дисков и так далее.
261
