CC BY
29
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ сентябрь-октябрь 2020 Том 20 № 5 ISSN 2226-1494 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS September-October 2020 Vol. 20 No 5 ISSN 2226-1494 http://ntv.ifmo.ru/en/
ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
УДК 528.72 doi: 10.17586/2226-1494-2020-20-5-649-660
МЕТОДИКА И ЧАСТНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ КАЧЕСТВА ПОИСКА КЛЮЧЕВЫХ ТОЧЕК ПО МАТЕРИАЛАМ ОПТИКО-ЭЛЕКТРОННОЙ АЭРОСЪЕМКИ А.И. Алтухов^ В.И. Билан% А.Н. Григорьев^ В.В. Поповичь
a Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация
b Акционерное общество «СПИИРАН-Научно-техническое Бюро Высоких Технологий», Санкт-Петербург, 199178,
Российская Федерация
Адрес для переписки: [email protected]
Информация о статье
Поступила в редакцию 04.08.20, принята к печати 09.09.20 Язык статьи — русский
Ссылка для цитирования: Алтухов А.И., Билан В.И., Григорьев А.Н., Попович В.В. Методика и частные результаты исследования качества поиска ключевых точек по материалам оптико-электронной аэросъемки // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 5. С. 649-660. doi: 10.17586/2226-1494-2020-20-5-649-660
Аннотация
Предмет исследования. Представлены результаты исследования метода поиска ключевых точек, выполненного на примере метода Scale-Invariant Feature Transform, для использования при решении задач фотограмметрической обработки снимков местности, получаемых с воздушных и космических носителей. Метод. Выбранный метод широко используется для решения задач пространственной привязки изображений, отслеживания изменений и поиска объектов, построения цифровых моделей и ортофотопланов местности. Актуальность анализа метода обусловлена тем, что он изначально разрабатывался как универсальный метод для обработки изображений в области технического зрения. Существующие модификации рассматриваемого метода, специализированные под обработку снимков местности, применяются на практике ограниченно и исследованы без полного учета свойств изображений. В существующих исследованиях не учтено влияние изображенного сюжета на качество поиска ключевых точек, который в общем случае характеризуется случайным сочетанием изображений объектов местности. Предполагается, что особенности сюжета на изображении местности при использовании метода поиска ключевых точек могут обуславливать существенные вариации в распределении выбираемых точек по изображению отдельного снимка. Для определения зависимости качества поиска ключевых точек от изображенного сюжета необходима разработка методики, основанной на анализе особенностей реализации метода и использовании набора эталонных изображений с разным сюжетным составом. В результате анализа содержания данного метода определены критерии и параметры отбраковки определяемых ключевых точек. В основе подхода к анализу влияния сюжета изображения на качество ключевых точек предложено использовать набор снимков, классифицированных по особенностям сюжетов на однородные и неоднородные изображения. Согласно предложенной методике, анализ выполняется на основе статистического и пространственного распределений ключевых точек, полученных по отдельным изображениям и их совокупностям. Основные результаты. Предложена методика исследования зависимости качества результата поиска ключевых точек от сюжета на изображении. В результате выполнения эксперимента выявлены факторы, вызывающие нарушение равномерности пространственного распределения ключевых точек при использовании стандартного критерия отбраковки ключевых точек. Практическая значимость. Полученные результаты позволяют, с одной стороны, обосновать необходимость разработки сюжетно-ориентированного подхода к обработке снимков местности с использованием методов поиска ключевых точек в силу того, что для выполнения и уточнения пространственной привязки изображений требуется обеспечивать равномерность расположения ключевых точек, используемых в качестве опорных или связующих точек. С другой стороны, выявлено, что нарушение плотности расположения ключевых точек может определяться неравномерным качеством изображения по полю кадра. Такое явление связано, в частности, с разной резкостью изображения в центральной и периферийной зонах. Ключевые слова
ключевые точки, оптико-электронная съемка, сюжетно-ориентированный подход, изображение, критерий отбраковки, статистическое и пространственное распределение
doi: 10.17586/2226-1494-2020-20-5-649-660
SEARCH QUALITY METHODOLOGY AND PARTICULAR FINDINGS FOR KEY POINTS BASED ON MATERIALS OF OPTICAL-ELECTRONIC AERIAL SURVEY A.I. Altukhova, V.I. Bilana, A.N. Grigor'eva, V.V. Popovichb
a Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation b SPIIRAS Hi Tech Research and Development Office Ltd, Saint Petersburg, 199178, Russian Federation Corresponding author: [email protected] Article info
Received 04.08.20, accepted 09.09.20 Article in Russian
For citation: Altukhov A.I., Bilan V.I., Grigor'ev A.N., Popovich V.V. Search quality methodology and particular findings for key points based on materials of optical-electronic aerial survey. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2020, vol. 20, no. 5, pp. 649-660 (in Russian). doi: 10.17586/2226-1494-2020-20-5-649-660
Abstract
Subject of Research. This paper presents the findings of the Scale-Invariant Feature Transform method for key points search. The method is used for the problems of photogrammetric processing of terrain images obtained from aircrafts and satellites. Method. The chosen method is widely used for spatial linking of images, tracking of changes and searching for objects, building of digital models and terrain orthophotoplans. The relevance of the Scale-Invariant Feature Transform method analysis lies in the fact that it was originally developed as a universal method for image processing in the field of technical vision. The existing modifications of this method, specialized for processing of terrain images, are applied in practice to a limited extent and have been studied without complete account of the image properties. In particular, the existing studies do not take into account the effect of the depicted plot on the key points search quality, which, in the general case, is characterized by a random combination of terrain objects. It is assumed that the plot features on the terrain image can cause significant variations in the distribution of the selected points in the image of a separate exposure when applying of the key points search method. To determine the dependence of the search quality for key points on the depicted plot, it is necessary to develop a methodology based on the features analysis of the Scale-Invariant Feature Transform method implementation and the use of a reference image set with various plot composition. As a content analysis result of the Scale-Invariant Feature Transform method, the criteria and rejection parameters of the determined key points are defined. The approach to the analysis of the image plot effect on the key points quality is based on the set of images classified by the characteristics of the plots on homogeneous and heterogeneous images. According to the proposed technique, the analysis is performed on the basis of the statistical and spatial distributions of key points obtained from individual images and their aggregates. Main Results. The research proposes a methodology for the dependence of the quality of the key points search result on the plot in the image. As a result of the experiment, factors are identified that cause a uniformity violation of the key points spatial distribution with the standard criterion for rejection of the key points. Practical Relevance. The results obtained make it possible to substantiate the need for development of a plot-oriented approach to terrain image processing by the key point search methods. The reason is that in order to perform and refine the spatial image linking, it is required to ensure the location uniformity of the key points used as control or joining points. It is revealed that the location density violation of the key points can be determined by the uneven image quality over the frame field. This phenomenon is associated, in particular, with different image sharpness in the central and peripheral zones. Keywords
key points, optoelectronic photography, plot-oriented approach, image, rejection criterion, statistical and spatial distribution
Введение
Современные успехи в области прикладного использования аэросъемочных технологий обусловлены действием определенных факторов. К основным из них относятся: возможность использования высокопроизводительных оптико-электронных камер и широкое внедрение экономичных носителей полезной нагрузки — беспилотных летательных аппаратов. Кроме того, выход на качественно новый уровень прикладных возможностей определен развитием методов и средств цифровой обработки больших объемов изображений, получаемых в системах технического зрения с использованием оптико-электронных камер на матричных приемниках излучения [1].
К востребованным продуктам эксплуатации аэросъемочных систем относятся: цифровые модели, ор-тофотопланы и панорамные снимки местности [2, 3].
Получение таких пространственных данных основано на выполнении фотограмметрической обработки снимков, регистрируемых оптико-электронным бортовым специальным комплексом в соответствии с задаваемыми требованиями. Качество модели и ортофотоплана местности, получаемых в результате фотограмметрической обработки, характеризуется пространственной точностью и детальностью.
Указанные свойства зависят, в частности, от точности параметров внешнего ориентирования снимков и от плотности облака точек, определяемых на основе результата сопоставления перекрывающихся изображений по связующим точкам. Кроме того, отдельные подходы к пространственной привязке изображений местности и ее уточнению также основываются на определении связующих точек между исходным снимком и используемыми базовыми пространственными данными [4-7]. В свою очередь, решение задачи совме-
щения снимков местности, синхронно регистрируемых в разных спектральных диапазонах, также представляет значительный практический интерес [8]. При этом качество результата пространственной привязки или совмещения снимков местности определяется плотностью и равномерностью распределения связующих точек на обрабатываемом изображении.
Процедура автоматического определения связующих точек основывается на предварительном поиске по изображению ключевых (особых) точек, для выполнения которого применим отдельный класс методов из области технического зрения. К таким процедурам относятся широко применяемые методы: Speeded Up Robust Features (SURF) [5], Scale-Invariant Feature Transform (SIFT) [4, 9], а также ряд современных разработок: методы Oriented FAST and Rotated BRIEF (ORB) [6] и KAZE [7].
Анализ современных исследований в области обработки данных дистанционного зондирования Земли, в том числе снимков поверхности, показал, что одним из самых часто используемых методов получения ключевых точек на изображении является метод SIFT. Данный метод и его модификации применяются для решения задач обработки снимков, полученных с воздушных и космических носителей, при пространственной привязке изображений, отслеживании изменений и поиске объектов, построении цифровых моделей и ортофотопланов местности [10-24].
Усилия исследователей при разработке методов рассматриваемого класса в основном направлены на улучшение качества обработки и получаемого результата сопоставления изображений. При этом отработка предлагаемых методов поиска ключевых точек выполняется в основном по реальным снимкам, но без анализа зависимости качества получаемого результата от свойств изображенного на снимке сюжета. В общем случае сюжет на аэрофотоснимке представлен случайным сочетанием изображений природных и техногенных объектов.
Изображения объектов отдельных классов и их сочетаний характеризуются разными свойствами, от которых может зависеть качество результата поиска ключевых точек. Знание такой зависимости необходимо для обоснования сюжетно-ориентированного подхода к фотограмметрической обработке аэрофотоснимков, использование которого потенциально позволит улучшить качество получаемых моделей и ортофотопланов местности.
Таким образом, тема исследований по разработке научно-методического аппарата квалиметрического анализа зависимости качества поиска ключевых точек от свойств изображения является актуальной. Цель настоящего исследования состоит в определении характера влияния состава сюжета, изображенного на аэрофотоснимке, на качество результата поиска ключевых точек. Для достижения сформулированной цели предполагается решение частных задач, а именно: анализ метода поиска ключевых точек SIFT, как наиболее востребованного в области обработки изображений местности; разработка методики исследования зависимости качества результата поиска ключевых точек от
изображенного сюжета; проведение и анализ результатов экспериментального исследования по обработке реальных аэрофотоснимков.
Анализ метода SIFT
В качестве метода поиска ключевых точек на изображении рассматривается метод SIFT. Содержание указанного метода подробно описано в известных работах [4, 9], а обобщенная схема обработки исходного изображения представлена на рис. 1.
В методе SIFT ключевые точки определяются на основе построенного гауссова масштабного пространства (Gaussian Scale-Space) исходного изображения [4, 9]. Данное пространство предназначено для представления изображений, регистрируемых с различной дистанции.
Базовым элементом масштабного пространства является слой (layer), получаемый путем вычисления свертки исходного изображения с функцией Гаусса:
1 _J?P
Gc(z) ® u(z) = ¡Ga(z')u(z - z')dz', Ga(z) = — e ^, (1)
2nd2
где G0 — функция Гаусса; u — исходное изображение; ® — операция свертки; z = (m, n) и z — (m', n') — параметры, определяющие координаты и сдвиг по координатам при свертке; о — коэффициент масштаба.
Слои объединяются в подпространства — октавы (octaves). Внутри октавы каждый последующий слой формируется на основе предыдущего слоя (1). В первой октаве размещаются слои, полученные на основе исходного изображения. Для формирования второй октавы требуется редуцированное изображение, получаемое путем уменьшения размеров исходного изображения по строкам и столбцам в два раза. Для построения следующих октав выполняются аналогичные преобразования. Число формируемых октав определяется в зависимости от размеров исходных изображений.
Поиск ключевых точек по полученному масштабному пространству заключается в определении трехмерного экстремума в разностях слоев Гауссиан (DoG — Difference of Gaussians) [4, 9].
Для выполнения настоящего исследования целесообразно определить параметры и критерии метода SIFT, определяющие качество результата его работы, а именно: качество и количество ключевых точек. В свою очередь, к критериям отбраковки ключевых точек относятся правила сравнения с контрастным порогом (contrast threshold) и порогом грани (edge threshold) [4, 9].
Получаемые ключевые точки должны проверяться по условию стабильности экстремума DoG, определяемому контрастным порогом
М > CdoG, (2)
где м — нормированная величина экстремума DoG; Cd0g — заданный контрастный порог.
В известных источниках значение порога Cd0g рекомендуется выбирать на уровне 0,04 [4]. По своей сущности условие (2) позволяет отбраковывать ключевые точки, определяемые на искаженных шумами участках изображения.
Рис. 1. Этапы обработки отдельного изображения по методу SIFT
Порог граней определяет условие нахождения экстремума DoG на грани объекта на изображении. Данные точки не являются информативными, так как не обладают свойством инвариантности и должны удаляться.
Для определения факта нахождения точки на грани объекта необходимо использовать матрицу Гессе размерности 2 х 2
H„
h11 h12
h21 h22
, - 2ю„
11 wm+1,n wm-1,n~ i"VA'm,n' h22 = ®m,n+1 + ®m,n-1 - 2®m,n;
h12 h21 ®ш+1,п+1 + ®ш-1,п-1 - шш-1,п+1 - шш+1,п-1;
ш е [0, 1, ..., M - 1], п е [0, 1, ..., N - 1],
где (ш, п) — координаты точки в слое; (М, Л) — размеры изображения по строкам и столбцам.
След и определитель матрицы Hш п вычисляются по формулам:
^^ШПП) = h11 + h22; Ъ^^П) = h11h22 - ^12)2.
Для проверки ключевой точки по порогу граней необходимо найти значение Н:
п_ (Тг(Ни,„))2
Ое1(Нт,„) '
Выражение, определяющее критерий отбраковки точки по порогу грани, имеет вид
Ж
(Cedge+1)2
где Н — отношение квадрата следа матрицы Гессе к ее определителю; — заданный порог граней.
Анализ существующих работ и предварительные исследования авторов показывают, что в качестве ква-лиметрического параметра ключевых точек следует рассматривать контрастность ключевых точек.
Методика исследования зависимости качества результата поиска ключевых точек от изображенного сюжета
В обобщенном виде предлагаемая методика исследования зависимости качества результата поиска ключевых точек от изображенного сюжета содержит следующие этапы:
1) формирование набора исходных изображений;
2) поиск ключевых точек по методу SIFT и формирование их выборки;
3) анализ ключевых точек для изображений с однородными сюжетами;
4) анализ совокупностей ключевых точек для изображений с однородными сюжетами;
5) анализ совокупностей ключевых точек для изображений со смешанными сюжетами;
6) обобщенный анализ результатов и формулирование выводов.
Для формирования набора исходных изображений на текущем уровне исследования предлагается учитывать следующие требования. Во-первых, изображения не должны иметь перекрытий для обеспечения независимости выборок ключевых точек. Во-вторых, изображения должны быть зарегистрированы при близких условиях, что наиболее простым образом обеспечивается выбором снимков из серии, полученной в течение времени съемки одного маршрута с выдерживанием заданной высоты съемки. Для получения таких изображений могут организовываться аэросъемочные работы или использоваться существующие архивы материалов
аэросъемки, на основе анализа содержания которых для формируемого набора исходных изображений определяется перечень исследуемых сюжетов. В полученном перечне определяются однородные сюжеты, содержащие изображения объектов одного класса, и смешанные (неоднородные) сюжеты, включающие изображения объектов разных классов.
В рамках этапа поиска ключевых точек по методу SIFT предварительно определяется количество точек, которое требуется получить для последующего анализа. На основе заданного количества ключевых точек проверяется корректность рекомендуемого значения контрастного порога. В процессе поиска для ключевых точек сохраняется контрастность, по значению которой выполняется последующее ранжирование и отбор заданного количества наиболее качественных ключевых точек для каждого исходного изображения.
При анализе ключевых точек для изображений с однородными сюжетами предполагается изучение выборок точек с отдельных изображений, содержащих изображения объектов одного класса. Для этого предлагается изучение статистического ряда распределения ключевых точек по контрастности и пространственного распределения ключевых точек на изображениях. В силу того, что исходные изображения не имеют перекрытий, и определена принадлежность каждого изображения к определенному сюжету, то статистический анализ предлагается производить визуальным способом на основе графиков типа «Violin Plot» [25]. График указанного типа представляет собой развитие графика типа «Box Plot». Основное отличие заключается в том, что вместо отметок квартилей и медианы, на графике типа «Violin Plot» отображается плотность распределения вероятности.
Анализ совокупностей ключевых точек для изображений с однородными сюжетами основывается на статистическом исследовании результата объединения выборок ключевых точек, полученных по изображениям с объектами одного класса. Цель этого анализа состоит в определении отличий статистического распределения совокупностей ключевых точек, соответствующих однородным сюжетам.
Анализ совокупностей ключевых точек для изображений со смешанными сюжетами выполняется для исследования влияния на распределения ключевых точек наличия в пределах кадра изображений объектов разных классов. Для улучшения наглядности анализ распределения может выполняться на основе отображения отобранных ключевых точек непосредственно на изображении с построением их распределения по строкам и столбцам растра.
Описание набора исходных изображений
Для проведения экспериментальных исследований используется набор из 640 исходных изображений, сформированный на основе открытого архива зарубежных материалов аэросъемки «КС ОпеМар» [26]. Изображения соответствуют неперекрывающимся аэрофотоснимкам, зарегистрированным при несущественно изменявшихся условиях. При предварительном изучении материалов аэросъемки выделены три класса объектов и определены семь вариантов сюжетов для экспериментального исследования (таблица).
Примеры изображений отдельных сюжетов представлены на рис. 2.
В рамках настоящего эксперимента предполагается проведение анализа по N = 1000 ключевых точек, характеризующихся наиболее высоким качеством. В соответ-
Таблица. Перечень и описание исследуемых сюжетов
Обозначение сюжета Перечень классов объектов, изображенных на снимке Число изображений Характеристика сюжета
С-1(О) Поле 50
С-2(О) Лес 90 Однородный
С-3(О) Урбанизированная территория 100
С-4(Н) Поле и лес 100
С-5(Н) Поле и урбанизированная территория 100 Неоднородный
С-6(Н) Лес и урбанизированная территория 100 (смешанный)
С-7(Н) Поле, лес и урбанизированная территория 100
Рис. 2. Примеры изображений с разными сюжетами
800
400
I
0,03 0,05
Контрастный порог, отн. ед.
Рис. 3. Зависимость количества ключевых точек от контрастного порога
ствии с предложенной методикой требуется проверка возможности получения заданного числа ключевых точек N при рекомендуемом значении контрастного порога. Для подтверждения такой возможности целесообразно исследовать зависимости количества получаемых ключевых точек от значения контрастного порога для изображений с однородными сюжетами (рис. 3).
Представленные графики (рис. 3) демонстрируют, что при стандартном значении CDoG = 0,04 для изображений всех исследуемых классов объектов не обеспечивается получение заданного количества ключевых точек, поэтому принимается значение CD0G = 0,035. При этом следует отметить, что для сюжетов С-1(О) и С-2(О) полученные зависимости близки, а для сюжета С-3(О) условия получения большего числа ключевых точек, имеющих высокую контрастность, существенно лучше.
Результаты анализа ключевых точек для изображений с однородными сюжетами
В рамках рассматриваемого эксперимента к однородным сюжетам относятся три группы изображений С-1(О), С-2(О) и С-3(О). Согласно предложенной методике исследований для указанных изображений по отдельности производится получение и изучение выборок
Номер изображения
Рис. 4. Распределение контрастности ключевых точек по отдельным изображениям с сюжетом С-1(О)
ключевых точек по графикам типа «Violin Plot» и по их пространственному распределению на изображении.
График распределения контрастности ключевых точек для изображений с сюжетом С-1(О) представлен на рис. 4. Из графика видно, что форма графика распределения несимметричная, и медиана выборок смещена к нижней границе распределения.
Пример пространственного распределения ключевых точек по типовому изображению с сюжетом С-1(О) представлен на рис. 5, а. Указанный пример показывает, что при допустимо постоянном содержании и текстуре изображения по кадру наблюдается увеличенная концентрация точек в центральной части. Кроме того, следует отметить, что распределение контрастности ключевых точек для изображений 1 и 4 отличаются от остальных распределений (рис. 4). Причиной этого является наличие частных особенностей на изображениях. Например, наличие небольшой каменистой насыпи, изображение которой содержит малые контрастные элементы, приводит к концентрации точек в пределах ее границы (рис. 5, б). При этом контрастность ключевых точек меняется незначительно (рис. 4).
График распределения контрастности ключевых точек для изображений с сюжетом С-2(О) представлен на рис. 6, а. Для данного класса характерен больший разброс в параметрах распределений контрастности ключевых точек. Это обусловлено большим разнообразием содержания рассматриваемых изображений по сравнению с изображениями, относящимися к сюжету С-1(О). Форма графика распределения несимметричная, и наблюдается смещение медианы.
Пример пространственного распределения ключевых точек на типовом изображении с сюжетом С-2(О) представлен на рис. 6, б, из которого видно, что несмотря на постоянство содержания изображения ключевые точки сгруппированы в центральной части кадра.
Распределение контрастности ключевых точек для изображений с сюжетом С-3(О) представлено на рис. 7, а. По своему содержанию изображения с указанным сюжетом существенно отличаются от изображений, относящихся к сюжетам С-1(О) и С-2(О). При наличии изображений многочисленных контрастных объектов обеспечивается получение более качественных ключевых точек. В силу этого пространственное распределение ключевых точек связано с распределением объектов по изображению (рис. 7, б). Но, несмотря на наличие такой связи, может наблюдаться определенное увеличение численности ключевых точек в центральной части кадра.
Таким образом, в результате анализа результатов поиска ключевых точек для изображений всех однородных сюжетов определен ряд общих особенностей. Во-первых, распределение контрастности ключевых точек имеет несимметричную форму, медиана выборок смещена в область малых значений контрастности. Выполненное исследование показало, что это объясняется увеличением количества срабатываний критерия отбраковки ключевых точек при приближении значения контрастности к контрастному порогу. Во-вторых, наблюдается большая плотность ключевых точек в центральной части кадра. Выполненный анализ позволил
Рис. 5. Изображения сюжета С-1(О): типичное распределение точек (а); влияние особенностей на распределение ключевых
точек (б)
3 5 7
Номер изображения
Рис. 6. Распределение контрастности ключевых точек для сюжета С-2(О) (а); типичное пространственное распределение
точек (б)
^___
V
3 5 7
Номер изображения
Рис. 7. Распределение контрастности ключевых точек для сюжета С-3(О) (а); типичное пространственное распределение
точек (б)
связать этот эффект с качеством исходного изображения. Известно, что оптическое изображение, формируемое реальным объективом в фокальной плоскости камеры, как правило, характеризуется лучшей резкостью и меньшими искажениями именно в центральной части. Фокусировка объектива камеры также производится, как правило, по центральной зоне. При этом к краям кадра свойства изображения ухудшаются. В силу этого, ключевые точки, определяемые в центральной части кадра, имеют лучшее качество, чем точки на краях кадра.
Результаты анализа совокупностей ключевых точек для изображений с однородными сюжетами
Объединение независимых выборок ключевых точек с изображений, сгруппированных по принадлежности к однородным сюжетам, позволяет получить совокупности ключевых точек, по которым формируются обобщенные распределения контрастности ключевых точек (рис. 8, а), по которым видно, что отдельные
м &
С-1(0) С-2(0) С-З(О) Сюжет
0,04
0,08
Контрастность, отн. ед.
0,12
Рис. 8. Распределение контрастности ключевых точек для сюжетов С-1(О), С-2(О) и С-3(О): статистические распределения
(а); особенности распределений по октавам (б)
распределения характеризуются большей симметрией. Распределения контрастности, полученные по изображениям с сюжетами С-1(О) и С-2(О), характеризуются близостью. Контрастность ключевых точек сюжета С-2(О) по среднему значению в 1,02 раза выше, чем контрастность ключевых точек сюжета С-1(О).
Наблюдается значительное отличие распределения, полученного для сюжета С-3(О), от распределений, относящихся к сюжетам С-1(О) и С-2(О). Контрастность ключевых точек сюжета С-3(О) по среднему значению выше контрастности ключевых точек других сюжетов приблизительно в 1,5 раза. Сравнение диапазонов полученных распределений показывает, что по изображениям рассматриваемых природных комплексов практически не могут быть получены ключевые точки такого высокого качества, как по изображениям урбанизированной местности.
Для более глубокого исследования различия результатов поиска ключевых точек по изображениям с однородными сюжетами предлагается рассмотреть зависимости между контрастностью ключевой точки и ее октавой (рис. 8, б).
На рис. 8, б использованы следующие обозначения сюжетов: С-1(О) — синий цвет, С-2(О) — оранжевый цвет и С-3(О) - зеленый цвет. Размер кружка соответствует размеру области, определяемой точкой на изображении.
Из рисунка видно, что ключевые точки для различных сюжетов распределены по октавам неоднородно. Учитывая, что с ростом октавы, образ изображения смещается в область низких частот, то по распределению ключевых точек по октавам можно судить о частотных характеристиках точек.
Так, точки С-1(О) сконцентрированы в начальных октавах, и характеризуют высокочастотные колебания яркости текстуры. Поскольку текстура снимка С-1(О) на высоких октавах является практически однородной, то ключевые точки на них обнаружить практически невозможно.
Точки С-2(О) и С-3(О) представлены на всех октавах. Это связано с наличием неоднородностей текстуры различных размеров вследствие наличия отдельных объектов природного и искусственного происхождения.
Полученные результаты анализа совокупностей ключевых точек для изображений с однородными сюжетами позволяют сделать предварительный вывод о том, что в результате поиска ключевых точек по изображению со смешанным сюжетом при использовании процедуры получения заданного количества точек путем отбраковки по контрастному порогу точки будут получены преимущественно на изображении урбанизированной территории.
Результаты анализа совокупностей ключевых точек для изображений со смешанными сюжетами
При аэросъемке в естественных условиях регистрируются снимки местности, которые могут содержать смешанные сюжеты, сформированные объектами разных классов. Результаты предыдущих этапов анализа показали, что по изображениям объектов отдельных классов определяются ключевые точки, характеризующиеся разным качеством. Для проверки гипотезы о смещении распределения контрастности и пространственного распределения ключевых точек, определяемых по изображениям со смешанным сюжетом, анализируются данные эксперимента, выполненного по соответствующим снимкам.
Графики распределений контрастности ключевых точек для сюжетов С-1(О), С-2(О) и сюжета С-4(Н), представляющего сочетание сюжетов С-1(О) и С-2(О), изображены на рис. 9, а. В силу того, что распределения, соответствующие сюжетам С-1(О) и С-2(О), близки, то их сочетание С-4(Н) характеризуется подобным распределением контрастности ключевых точек. При этом анализ полученных пространственных распределений показывает, что большая концентрация ключевых точек наблюдается на участке изображения, соответствующего сюжету С-2(О) и вблизи границы смены класса объектов. Кроме того, также наблюдается эффект группировки ключевых точек в центральной части кадра.
Другие исследуемые смешанные сюжеты представляют собой все варианты комбинации сюжетов С-1(О), С-2(О) с сюжетом С-3(О). Анализ полученных распре-
С-1(0) С-2(0) С-4(Н) Сюжет
Рис. 9. Распределение контрастности ключевых точек для сюжетов С-1(О), С-2(О) и их сочетания — С-4(Н) (а); особенность
пространственного распределение точек (б)
С-1(0) С-З(О) С-5(Н) Сюжет
С-2(0) С-З(О) С-6(Н) Сюжет
С-1(0)С-2(0) С-З(О) С-7(Н) Сюжет
Рис. 10. Распределение контрастности ключевых точек для изображений с сюжетами: С-1(О), С-3(О) и их сочетания — С-5(Н) (а); С-2(О), С-3(О) и их сочетания — С-6(Н) (б); С-1(О), С-2(О), С-3(О) и их сочетания — С-7(Н) (в)
делений контрастности ключевых точек показывает, что получаемый результат в большей мере близок к распределению контрастности, соответствующему сюжету С-3(О) (рис. 10).
Пространственное распределение ключевых точек, получаемых по изображениям с элементами сюжета
С-3(О), также имеет особенность в том, что полученные точки размещаются преимущественно на участках с указанным сюжетом (рис. 11).
Обнаруженная особенность объясняется тем, что ключевые точки, полученные по изображению урбанизированной территории, характеризуются более высо-
Рис. 11. Примеры пространственного распределения ключевых точек по изображениям с сюжетами: С-5(Н) (а); С-6(Н) (б);
С-7(Н) (в)
ким качеством/контрастностью по отношению к точкам с изображений объектов других рассмотренных классов. Вследствие этого, при использовании стандартной операции получения заданного числа ключевых точек путем ранжирования и отбраковки по значению контрастности наблюдается группировка точек на изображении объекта одного класса.
Заключение
С использованием предложенной методики решены поставленные задачи и для отдельных сочетаний классов объектов местности определены зависимости качества результата поиска ключевых точек от изображенного сюжета. Частный характер полученных результатов обусловлен ограниченным набором сюжетов, использованным для проведения эксперимента. При этом полнота исследований может быть обеспечена путем использования более представительных банков исходных изображений.
Отмечено, что для обеспечения автоматизированной фотограмметрической обработки и привязки снимков местности, получаемых с использованием оптико-электронных аэрофотокамер, в общем случае рекомендуется получение плотного и равномерного пространственного распределения ключевых точек по соответствующим изображениям. В результате исследования, выполненного с использованием метода поиска ключевых точек Scale-Invariant Feature Transform, выявлены факторы, обуславливающие нарушение равномерности пространственного распределения ключевых точек при использовании стандартного критерия отбраковки ключевых точек по контрастному порогу. 1. В результате выполнения кадровой оптико-электронной съемки снимок регистрируется с разным качеством по полю изображения. В силу того, что в центральной части кадра изображение, как правило, обладает лучшей резкостью и контрастностью, то наиболее качественные ключевые точки определяются в этой области. В результате получаемый
массив ключевых точек обладает увеличенной плотностью размещения в центральной части, снижающейся к краям кадра. 2. По изображениям объектов местности, относящихся к разным классам, определяются ключевые точки, характеризующиеся отличающимся качеством. В силу этого, при обработке реальных изображений, характеризующихся смешанным сюжетом, имеет место группировка отбираемых ключевых объектов на участке снимка, содержащего изображение объекта отдельного класса. Указанный эффект явно проявляется в случае съемки урбанизированной территории совместно с участками природных комплексов.
Использование рассматриваемого метода и его аналогов для автоматизированной обработки реальных аэрофотоснимков сопряжено с указанными трудностями в получении пространственного распределения ключевых точек с требуемыми свойствами. В практических приложениях, связанных с выполнением маршрутной съемки, выявленные негативные факторы можно отчасти компенсировать увеличением перекрытия снимков. Но такой подход не применим в случае пространственной привязки одиночного снимка. В силу этого дальнейшее направление исследований целесообразно связать с разработкой подхода к обработке аэрофотоснимков, учитывающего вариации качества изображения по полю кадра и свойства изображенного сюжета.
Выполненные экспериментальные исследования подтвердили применимость выбранного метода для обработки реальных аэрофотоснимков. Достоинство исследованного метода поиска ключевых точек состоит в том, что для типовых сюжетов обеспечивается высокая численность определяемых точек. При этом ограничение данного метода без использования дополнительных модификаций выражается в существенной зависимости плотности распределения ключевых точек от качества изображения и свойств представленного сюжета.
Литература
1. Lobanova A., Ryzhova V., Korotaev V., Drozdova D. Solid-state optical radiation matrix receivers in robots' vision systems // Studies in Systems, Decision and Control. 2020. V. 261. P. 171-188. doi: 10.1007/978-3-030-32710-1_13
2. Григорьев А.Н., Дмитриков Г.Г., Попович Т.В., Пятицкий А.А., Смирнова О.В. Принципы и примеры использования технологии дистанционного зондирования в информационном обеспечении инфраструктур пространственных данных // Труды Военно-космической академии имени А.Ф. Можайского. 2018. № 664. С. 51-59.
3. Лазаренко В.П., Джамийков Т.С., Коротаев В.В., Ярышев С.Н. Метод создания сферических панорам из изображений, полученных всенаправленными оптико-электронными системами // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 1. С. 46-53. doi: 10.17586/2226-1494-2016-16-1-46-53
4. Lowe D. Object recognition from local scale-invariant features // Proc. 7th IEEE International Conference on Computer Vision (ICCV'99). Kerkyra, Greece. 1999. V. 2. P. 1150-1157. doi: 10.1109/ICCV.1999.790410
References
1. Lobanova A., Ryzhova V., Korotaev V., Drozdova D. Solid-state optical radiation matrix receivers in robots' vision systems. Studies in Systems, Decision and Control, 2020, vol. 261, pp. 171-188. doi: 10.1007/978-3-030-32710-1_13
2. Grigoriev A.N., Dmitrikov G.G., Popovich T.V., Pyatitskiy A.A., Smirnova O.V. Principles and examples of the remote sensing technology use for information support of spatial data infrastructures. Proceedings of the Mozhaisky Military Space Academy, 2018, no. 664, pp. 51-59. (in Russian)
3. Lazarenko V.P., Dzhamiykov T.S., Korotaev V.V., Yarishev S.N. Method for creation of spherical panoramas from images obtained by omnidirectional optoelectronic systems. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2016, vol. 16, no. 1, pp. 46-53. (in Russian). doi: 10.17586/2226-1494-2016-16-1-46-53
4. Lowe D. Object recognition from local scale-invariant features. Proc. 7th IEEE International Conference on Computer Vision (ICCV'99), Kerkyra, Greece, 1999, vol. 2, pp. 1150-1157. doi: 10.1109/ICCV. 1999.790410
5. Bay H., Tuytelaars T., Van Gool L. SURF: speeded up robust features. Lecture Notes in Computer Science (including subseries Lecture
5. Bay H., Tuytelaars T., Van Gool L. SURF: Speeded up robust features // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2006. V. 3951. P. 404-417. doi: 10.1007/11744023_32
6. Rublee E., Rabaud V., Konolige K., Bradski G. ORB: an efficient alternative to SIFT or SURF // Proc. of the IEEE International Conference on Computer Vision (ICCV 2011). 2011. P. 2564-2571. doi: 10.1109/ICCV.2011.6126544
7. Alcantarilla P.F., Bartoli A., Davison A.J. KAZE features // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2012. V. 7577. P. 214-227. doi: 10.1007/978-3-642-33783-3_16
8. Маркушин Г.Н., Коротаев В.В., Кошелев А.В., Самохина И.А., Васильев А.С., Васильева А.В., Ярышев С.Н. Комплексирование изображений в двухдиапазонной сканирующей оптико-электронной системе поиска и обнаружения браконьерского промысла // Оптический журнал. 2020. Т. 87. № 6. С. 57-65. doi: 10.17586/1023-5086-2020-87-06-57-65
9. Rey-Otero I., Delbracio M. Anatomy of the SIFT method // Image Processing On Line. 2014. P. 370-396. doi: 10.5201/ipol.2014.82
10. Ai M., Hu Q., Li J., Wang M., Yuan H., Wang S. A robust photogrammetric processing method of low-altitude UAV images // Remote Sensing. 2015. V. 7. N 3. P. 2302-2333. doi: 10.3390/rs70302302
11. Fan B., Huo C., Pan C., Kong Q. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT // IEEE Geoscience and Remote Sensing Letters. 2013. V. 10. N 4. P. 657-661. doi: 10.1109/LGRS.2012.2216500
12. Berveglieri A., Tommaselli A. Multi-scale matching for the automatic location of control points in large scale aerial images using terrestrial scenes // ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2014. V. 40. N 3W1. P. 27-31. doi: 10.5194/isprsarchives-XL-3-W1-27-2014
13. Wu C., Zhang L., Zhang L. A scene change detection framework for multi-temporal very high resolution remote sensing images // Signal Processing. 2016. V. 124. P. 184-197. doi: 10.1016/j.sigpro.2015.09.020
14. Liu F., Bi F., Chen L., Shi H., Liu W. Feature-area optimization: A novel SAR image registration method // IEEE Geoscience and Remote Sensing Letters. 2016. V. 13. N 2. P. 242-246. doi: 10.1109/LGRS.2015.2507982
15. Lingua A., Marenchino D., Nex F. Performance analysis of the SIFT operator for automatic feature extraction and matching in photogrammetric applications // Sensors. 2009. V. 9. N 5. P. 37453766. doi: 10.3390/s90503745
16. Long T., Jiao W., He G., Zhang Z. A Fast and reliable matching method for automated georeferencing of remotely-sensed imagery // Remote Sensing. 2016. V. 8. N 1. P. 56. doi: 10.3390/rs8010056
17. Ma Y., Chen F., Liu J., He Y., Duan J., Li X. An automatic procedure for early disaster change mapping based on optical remote sensing // Remote Sensing. 2016. V. 8. N 4. P. 272. doi: 10.3390/rs8040272
18. Sima A.A., Buckley S.J. Optimizing SIFT for matching of short wave infrared and visible wavelength images // Remote Sensing. 2013. V. 5. N 5. P. 2037-2056. doi: 10.3390/rs5052037
19. Sirmacek B., Unsalan C. Urban-area and building detection using SIFT keypoints and graph theory // IEEE Transactions on Geoscience and Remote Sensing. 2009. V. 47. N 4. P. 1156-1167. doi: 10.1109/TGRS.2008.2008440
20. Sun Y., Zhao L., Huang S., Yan L., Dissanayake G. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry // ISPRS Journal of Photogrammetry and Remote Sensing. 2014. V. 91. P. 1-16. doi: 10.1016/j.isprsjprs.2014.02.001
21. Suri S., Schwind P., Uhl J., Reinartz P. Modifications in the SIFT operator for effective SAR image matching // International Journal of Image and Data Fusion. 2010. V. 1. N 3. P. 243-256. doi: 10.1080/19479832.2010.495322
22. Tong X., Liu X., Chen P., Liu S., Luan K., Li L., Liu S., Liu X., Xie H., Jin Y., Hong Z. Integration of UAV-based photogrammetry and terrestrial laser scanning for the three-dimensional mapping and monitoring of open-pit mine areas // Remote Sensing. 2015. V. 7. N 6. P. 6635-6662. doi: 10.3390/rs70606635
23. Yang K., Pan A., Yang Y., Zhang S., Ong S.H., Tang H. Remote sensing image registration using multiple image features // Remote Sensing. 2017. V. 9. N 6. P. 581. doi: 10.3390/rs9060581
24. Song Z.-I., Li S., George T.F. Remote sensing image registration approach based on a retrofitted SIFT algorithm and Lissajous-curve
Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2006, vol. 3951, pp. 404-417. doi: 10.1007/11744023_32
6. Rublee E., Rabaud V., Konolige K., Bradski G. ORB: an efficient alternative to SIFT or SURF. Proc. of the IEEE International Conference on Computer Vision (ICCV2011), 2011, pp. 2564-2571. doi: 10.1109/ICCV.2011.6126544
7. Alcantarilla P.F., Bartoli A., Davison A.J. KAZE features. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2012, vol. 7577, pp. 214-227. doi: 10.1007/978-3-642-33783-3_16
8. Markushin G.N., Korotaev V.V., Koshelev A.V., Samokhina I.A., Vasil'ev A.S., Vasil'eva A.V., Yaryshev S.N. Image fusion in a dualband scanning optoelectronic system for the search and detection of poaching activity. Journal of Optical Technology, 2020, vol. 87, no. 6, pp. 365-370. doi: 10.1364/J0T.87.000365
9. Rey-Otero I., Delbracio M. Anatomy of the SIFT method. Image Processing On Line, 2014, pp. 370-396. doi: 10.5201/ipol.2014.82
10. Ai M., Hu Q., Li J., Wang M., Yuan H., Wang S. A robust photogrammetric processing method of low-altitude UAV images. Remote Sensing, 2015, vol. 7, no. 3, pp. 2302-2333. doi: 10.3390/rs70302302
11. Fan B., Huo C., Pan C., Kong Q. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT. IEEE Geoscience and Remote Sensing Letters, 2013, vol. 10, no. 4, pp. 657-661. doi: 10.1109/LGRS.2012.2216500
12. Berveglieri A., Tommaselli A. Multi-scale matching for the automatic location of control points in large scale aerial images using terrestrial scenes. ISPRS — International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, vol. 40, no. 3W1, pp. 27-31. doi: 10.5194/isprsarchives-XL-3-W1-27-2014
13. Wu C., Zhang L., Zhang L. A scene change detection framework for multi-temporal very high resolution remote sensing images. Signal Processing, 2016, vol. 124, pp. 184-197. doi: 10.1016/j.sigpro.2015.09.020
14. Liu F., Bi F., Chen L., Shi H., Liu W. Feature-area optimization: A novel sar image registration method. IEEE Geoscience and Remote Sensing Letters, 2016, vol. 13, no. 2, pp. 242-246. doi: 10.1109/LGRS.2015.2507982
15. Lingua A., Marenchino D., Nex F. Performance analysis of the SIFT operator for automatic feature extraction and matching in photogrammetric applications. Sensors, 2009, vol. 9, no. 5, pp. 37453766. doi: 10.3390/s90503745
16. Long T., Jiao W., He G., Zhang Z. A Fast and reliable matching method for automated georeferencing of remotely-sensed imagery. Remote Sensing, 2016, vol. 8, no. 1, pp. 56. doi: 10.3390/rs8010056
17. Ma Y., Chen F., Liu J., He Y., Duan J., Li X. An automatic procedure for early disaster change mapping based on optical remote sensing. Remote Sensing, 2016, vol. 8, no. 4, pp. 272. doi: 10.3390/rs8040272
18. Sima A.A., Buckley S.J. Optimizing SIFT for matching of short wave infrared and visible wavelength images. Remote Sensing, 2013, vol. 5, no. 5, pp. 2037-2056. doi: 10.3390/rs5052037
19. Sirmacek B., Unsalan C. Urban-area and building detection using SIFT keypoints and graph theory. IEEE Transactions on Geoscience and Remote Sensing, 2009, vol. 47, no. 4, pp. 1156-1167. doi: 10.1109/TGRS.2008.2008440
20. Sun Y., Zhao L., Huang S., Yan L., Dissanayake G. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, vol. 91, pp. 1-16. doi: 10.1016/j.isprsjprs.2014.02.001
21. Suri S., Schwind P., Uhl J., Reinartz P. Modifications in the SIFT operator for effective SAR image matching. International Journal of Image and Data Fusion, 2010, vol. 1, no. 3, pp. 243-256. doi: 10.1080/19479832.2010.495322
22. Tong X., Liu X., Chen P., Liu S., Luan K., Li L., Liu S., Liu X., Xie H., Jin Y., Hong Z. Integration of UAV-based photogrammetry and terrestrial laser scanning for the three-dimensional mapping and monitoring of open-pit mine areas. Remote Sensing, 2015, vol. 7, no. 6, pp. 6635-6662. doi: 10.3390/rs70606635
23. Yang K., Pan A., Yang Y., Zhang S., Ong S.H., Tang H. Remote sensing image registration using multiple image features. Remote Sensing, 2017, vol. 9, no. 6, pp. 581. doi: 10.3390/rs9060581
24. Song Z.-I., Li S., George T.F. Remote sensing image registration approach based on a retrofitted SIFT algorithm and Lissajous-curve trajectories. Optics Express, 2010, vol. 18, no. 2, pp. 513-522. doi: 10.1364/OE.18.000513
trajectories // Optics Express. 2010. V. 18. N 2. P. 513-522. doi: 10.1364/0E.18.000513
25. Hintze J.L., Nelson R.D. Violin plots: A box plot-density trace synergism // American Statistician. 1998. V. 52. N 2. P. 181-184. doi: 10.1080/00031305.1998.10480559
26. Morris S., Tuttle J., Essic J. A partnership framework for geospatial data preservation in North Carolina // Library Trends. 2009. V. 57. N 3. P. 516-540. doi: 10.1353/lib.0.0050
25. Hintze J.L., Nelson R.D. Violin plots: A box plot-density trace synergism. American Statistician, 1998, vol. 52, no. 2, pp. 181-184. doi: 10.1080/00031305.1998.10480559
26. Morris S., Tuttle J., Essic J. A partnership framework for geospatial data preservation in North Carolina. Library Trends, 2009, vol. 57, no. 3, pp. 516-540. doi: 10.1353/lib.0.0050
Авторы
Алтухов Александр Иванович — кандидат технических наук, доцент, заведующий кафедрой, Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация, ORCID ID: 0000-0002-4105-029, [email protected] Билан Владимир Иванович — кандидат военных наук, старший преподаватель, Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация, ORCID ID: 0000-0002-5280-6191, [email protected] Григорьев Андрей Николаевич — доктор технических наук, доцент, начальник кафедры, Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация, Scopus ID: 57200211777, ORCID ID: 0000-0001-6941-6475, [email protected]
Попович Василий Васильевич — доктор технических наук, профессор, главный конструктор, Акционерное общество «СПИИРАН-Научно-техническое Бюро Высоких Технологий», Санкт-Петербург, 199178, Российская Федерация, Scopus ID: 55778882900, ORCID ID: 0000-0001-7965-7141, [email protected]
Authors
Alexander I. Altukhov — PhD, Associate Professor, Head of Chair, Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation, ORCID ID: 0000-0002-4105-029, [email protected]
Vladimir I. Bilan — PhD, Senior Lecturer, Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation, ORCID ID: 0000-0002-5280-6191, [email protected]
Andrey N. Grigor'ev — D.Sc., Associate Professor, Head of Chair, Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation, Scopus ID: 57200211777, ORCID ID: 0000-0001-6941-6475, [email protected]
Vasily V. Popovich — D.Sc., Professor, Chief Designer, SPIIRAS Hi Tech Research and Development Office Ltd, Saint Petersburg, 199178, Russian Federation, Scopus ID: 55778882900, ORCID ID: 0000-0001-7965-7141, [email protected]
