CC BY
118
ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕX
УДК: 621.865.8
ПРИМЕНЕНИЕ СПЕКТРАЛЬНЫХ ХАРАКТЕРИСТИК ДЛЯ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ ПРИ ДИСТАНЦИОННОМ ЗОНДИРОВАНИИ ЗЕМНОЙ ПОВЕРХНОСТИ
Н. В. Соловьев,
старший преподаватель Санкт-Петербургский государственный университет аэрокосмического приборостроения (ГУАП)
Рассмотрены некоторые проблемы распознавания изображений, полученных при дистанционном зондировании земной поверхности с помощью многополосных спектрометров. Основное внимание уделено вопросам снижения размерности пространства признаков при классификации аномалий и определению их геометрических параметров при наличии проективных искажений. Предложен метод идентификации «реперных» точек по их спектральным характеристикам и рассмотрены особенности его компьютерной реализации.
Some problems of the identification of the images obtained during remote sensing of a terrestrial surface with using of multiline spectrometers are considered. The main attention is given to the problems of reduction of dimensionality of space of indications for classifications of anomalies and calculation of their geometric parameters with availability of projective distortions. The method of identification of reference points through their spectral reflectance is offered and the features of its computer realization are considered.
Введение
Задача распознавания объектов и определения их геометрических характеристик и параметров положения в пространстве по изображениям возникает при разработке систем очувствления и управления роботов, например, системы «глаз— рука» [1]. Сходные проблемы возникают и при создании различных робототехнических комплексов, например, при автоматизации сбора и анализа визуальной информации для систем типа «летающая лаборатория». Общая концепция распознавания изображений достаточно хорошо проработана [2]. Классический подход предполагает выполнение следующих этапов:
1) предварительная фильтрация изображения с целью удаления яркостных помех и выделения наиболее информативных участков изображения, например, контура (проблема—выбор из очень большого числа разнообразных линейных и нелинейных фильтров тех, которые обеспечат на последнем этапе максимальную надежность распознавания);
2) бинаризация изображения с постоянным или адаптивным порогом (проблема—выбор способа определения порога);
3) сегментация изображения, возможно, с последующим возвратом к многоградационному изображению отдельных фрагментов (проблема—выбор
параметров сегментации, например, типа связности пикселов);
4) вычисление признаков для каждого фрагмента (проблема—выбор наиболее информативных признаков, инвариантных к неустраненным пространственным искажениям);
5) классификация фрагментов одним из известных методов, например, по расстоянию в пространстве признаков (проблема—выбор метода распознавания, дающего наилучшие результаты для имеющейся совокупности классов объектов при значительной вариативности признаков).
Следует отметить, что в результате выполнения этих этапов распознавание произойдет, скорее всего, только для плоских объектов. В свою очередь, определение их геометрических характеристик и положения в пространстве может потребовать выполнения дополнительных операций, например, компенсации пространственных искажений, связанных с изменением взаимного расположения устройства получения изображения и распознаваемого объекта. Анализ более сложных объемных объектов и трехмерных сцен [3] предполагает выполнение еще целого ряда процедур, например, построение трехмерной модели объекта по двум изображениям (проблема—нахождение соответствия точек), анализ взаимного расположения объектов в пространстве и т. п.
Постановка задачи
Наряду с классической задачей распознавания образов и анализа сцен существуют и другие, во многом сходные с ней задачи, в частности, автоматизация обработки и анализа аэрокосмических снимков. В некоторых случаях при анализе фотоснимков поверхности Земли, полученных обычным способом, на предмет выявления каких-либо аномалий (загрязнения, заражения, косяки рыбы и т. п.) и определения их геометрических характеристик (площадь, форма и т. д.) последние или вообще не различимы даже человеком, или отличия лежат в пределах допустимых статистических отклонений, что не позволяет с достаточной степенью надежности выявить возможные аномалии [4].
В то же время, изображения этих же зон земной поверхности, сделанные с помощью щелевого многополосного спектрометра, позволяют сопоставить каждой точке изображения (в компьютерном представлении — пикселу) набор спектральных отсчетов размером Л/, где N — число полос спектрометра. Последующий анализ полученных спектральных изображений может повысить надежность выделения аномалий, обеспечить их идентификацию и определение геометрических характеристик. Некоторые возможные подходы к разрешению проблем, связанных с попыткой автоматизации этой задачи, рассмотрены ниже.
Снижение размерности пространства признаков и классификация объектов
Одна из проблем, возникающих при обработке спектральных изображений, — это слишком большой объем информации, поступающей от устройства ввода. В самом деле, при наличии 256-полосного щелевого спектрометра с числом отсчетов в каждой полосе 256 (1 байт на одну полосу для одного пиксела) и числом пикселов в щели 256 на передачу спектральных данных по одной щели требуется 64 Кб, что при скорости работы спектрометра в режиме телекамеры требует около 2 Мб/с. Увеличение числа пикселов до значения, стандартного для компьютерных фотоизображений, приведет к значительному росту объема передаваемой информации. Желательно понизить его без существенной потери информативности.
Если считать каждую спектральную полосу признаком объекта, относящегося к некоторому классу, то можно рассматривать эту проблему как задачу выявления наиболее информативных признаков. В качестве возможного решения может быть использован критерий информативности Фишера [3]
И-т/
" о,+оу ’ (')
где сУ;у — значение критерия по гг-му признаку для пары классов /' и у; /т?,, О,-, /т?у, Оу — математические ожидания и дисперсии по л-му признаку для классов / и у. Критерий (1) позволяет выбрать наи-
более информативный признак для пары классов с учетом статистических характеристик разброса значений каждого признака для сравниваемых классов. Естественно, для эффективного применения этого критерия необходимо наличие репрезентативной выборки спектральных отсчетов пикселов для каждой из возможных аномалий. Применение данного метода на спектральных изображениях, адекватно моделирующих возможные реальные аномалии, показало возможность 30 % сокращения объема необходимой информации без существенного снижения качества распознавания.
Учитывая большое число признаков и их статистический характер, наиболее эффективным представляется использование в качестве параметра классификации минимальное расстояние Махала-нобиса [3] в пространстве признаков
г1=(Х-М1)С-\Х-М1)т, (2)
где г — расстояние до /-го класса; X = {хьхп) — вектор признаков распознаваемого образа; М; -= {тп тп) — вектор математических ожиданий /-го класса; С/"1 — обратная матрица ковариации /-го класса.
Классификация по расстоянию (2) позволяет учесть статистические параметры всей совокупности признаков. Применение данного метода для классов, адекватно моделирующих спектральные характеристики реальных аномалий с учетом их статистических параметров, показало вполне допустимую степень надежности распознавания (около 85 %). Сокращение числа распознаваемых классов за счет априорной информации о возможных аномалиях на конкретном изображении позволяет для некоторых сочетаний аномалий повысить степень распознаваемости до 98 %.
Определение геометрических характеристик аномалии
После распознавания, т. е. отнесения подавляющего большинства пикселов изображения к тому или иному классу объектов, естественно возникает необходимость определения геометрических характеристик каждого из распознанных объектов, например площади. Возможно, для дальнейшей обработки изображения потребуется провести предварительную фильтрацию для удаления случайных малоразмерных помех и сегментацию для пространственного разделения объектов одного класса.
Вопрос определения истинных геометрических характеристик объекта фактически сводится к проблеме компенсации пространственных искажений изображения, связанных с взаимным расположением объекта и устройства получения изображения. Если оптическая ось устройства при съемке направлена вертикально вниз, то необходимо компенсировать только масштабные искажения, что не вызывает сложностей при наличии информации о расстоянии до поверхности Земли в момент съемки. Более сложным является вопрос компен-
сации пространственных искажений изображения объекта при его получении устройством бокового обзора (рис.1). Использование подобных устройств особенно актуально при анализе возможных аномалий, так как в некоторых случаях нахождение «летающей лаборатории» непосредственно над аномалией не представляется целесообразным.
Для определения геометрических характеристик объекта и, возможно, сравнения его с «эталонным» изображением можно использовать аппарат теории групп. Как известно [5], преобразование изображения объекта при изменении взаимного расположения самого объекта и устройства получения изображения описывается при условии центрального проецирования проективной группой:
'х,= аАх + а2у + а5х + а6у +1 _ а3х + а4у + Ь2 1 (3)
а5х + а6у +1
гдех, у, х', у' — исходные и преобразованные проективной группой координаты точки изображения; а,, ..., а6, Ь1( Ь2 — параметры проективной группы. При параллельном проецировании преобразование изображения описывается аффинной группой—частным случаем проективной:
х' = а-|Х + а2у + Ь-|
у'= а3х + а4у + Ь2 ^
В каждом конкретном случае все точки изображения X = {х, у} подвергаются преобразованию X' = д * X одним и тем же элементом группы д е С, т. е. параметрыа?, ..., а6, Ьл, Ь2 группы постоянны при преобразовании всех точек изображения. Следовательно, для приведения искаженного изображения к исходному виду достаточно найти параметры обратного преобразования дг1 и применить его к искаженному изображению, компенсируя тем самым пространственные искажения. Известно несколько способов нахождения д~1. Общая процедура устранения на изображениях перспективных и иных искажений описана и обоснована в работе [6].
■ Рис. 1. Пространственные искажения изображения
Пусть в пространстве и действует транзитивная группа преобразований в, каждый элемент де в которой может быть представлен в виде произведения некоторых элементов ее подгрупп , в2, ..., вп, т. е.д = д, * д2* ... * дп; д, е Тогда каждая точках исходного изображения (эталонного образа) преобразуется элементом д: X' - д * X = д1 *
д2* * 9п*х-
Если из каких-либо соображений будет найден элементд, (илид,--1), тогда, подвергнув искаженное изображение преобразованию элементом дг\ мы обеспечим «сближение» искаженного и эталонных изображений. Продолжая процесс последовательной нейтрализации подгрупп, можно либо полностью устранить искажения (распознать все объекты и определить параметры их положения), либо существенно упростить задачу и свести ее к известному решению. В качестве первых шагов обычно выбираются некоторые характеристики изображения, такие, например, как центр формы или центр массы фигуры, ее площадь и т. п.
К сожалению, на практике этот способ пока эффективно применяется только для компенсации искажений смещения и масштабирования. В самом деле, смещение предварительно центрированного изображения полностью описывается параметрами Ь-,, Ь2, которые определяют смещение центра объекта соответственно по осиХ и У. Масштабное искажение может быть компенсировано предварительной нормализацией площади исходных изображений всех возможных объектов, что фактически позволяет учесть смешения объекта по оси Z, перпендикулярной к плоскости изображения. При отсутствии других искажений дальнейшая классификация объекта не представляет трудностей. Например, можно использовать метод масок [1]. Однако, повороты объекта вокруг осейХ, У, Z приводят к искажениям, групповое представление которых не может быть эффективно выражено через произведение более простых групп. Именно такие искажения необходимо компенсировать при определении геометрических характеристик аномалий на изображениях, полученных методом бокового обзора.
Метод полной одновременной компенсации искажения, описываемого аффинной или проективной группой, обеспечивается использованием так называемых «реперных» точек или просто «реперов» на изображении [6].
В самом деле, как уже отмечалось, групповое преобразование всех точек изображения происходит с одними и теми же коэффициентами а7, ..., а6, Ь-,, Ь2. Достаточно определить эти коэффициенты для обратного преобразования, чтобы вернуть изображение к исходному виду. Из уравнений (3), (4) следует, что при наличии информации о координатах нескольких точек на исходном и преобразованном изображениях и их взаимном соответствии можно определить параметры как прямого, так и обратного преобразования, решив линейную систему уравнений. Для аффинной группы необходимое число этих точек, называемых «реперными», — три и, соответственно, необходимо решить систе-
му из шести линейных уравнений, для проективной группы число «реперов» — четыре, и необходимо решить систему уже из восьми линейных уравнений. Заметим, что для проективной группы уравнения относительно коэффициентов группы остаются линейными, хотя уравнения, описывающие преобразование, таковыми не являются.
Если искажению подвергается изображение плоского объекта, то оно полностью описывается, как максимум, проективной группой. В случае объемного изображения, например, многогранника, искажение изображения каждой из видимых граней будет описываться проективной группой со своими коэффициентами. Применительно к аэрофотоснимкам это означает, что, если высота какого-либо объекта на земной поверхности представляет собой значительную величину по сравнению с высотой до точки съемки, то следует как-то учесть эту особенность. Одним из возможных решений может быть представление преобразования в виде кусочно-проективного или кусочно-аффинного [7]. Для этого следует выделить на исходном изображении достаточное количество «реперных» точек и разбить все изображение или только интересующую нас часть на треугольные фрагменты, используя в качестве вершин выбранные «реперы». Компьютерное моделирование данного метода показало, что разбиение на треугольники, т. е. представление преобразования в виде кусочно-аффинного, более эффективно с точки зрения автоматизации, так как не приводит к существенной потере точности представления.
В качестве «реперов» естественно использовать малоразмерные и хорошо различимые объекты. На поверхности Земли это могут быть перекрестки дорог, мосты, отдельно стоящие здания, деревья или их компактные группы, характерные по форме участки береговой черты или речного русла. Очевидно, можно предложить следующую последовательность действий:
1) оператор на карте местности, которую предполагается обследовать на предмет выявления возможных аномалий, заранее выбирает «реперы» и заносит их координаты в компьютер;
2) полученная в процессе обследования информация (аэрофотоснимки и спектральные характеристики земной поверхности) обрабатывается в автоматическом режиме для классификации максимально возможного числа пикселов изображения;
3) при выявлении аномалий оператор на соответствующем аэрофотоснимке в интерактивном режиме находит «реперные» точки и определяет их соответствие выбранным ранее;
4) по полученной информации автоматически производится восстановление пространственных искажений аномальной зоны и определяются ее реальные геометрические характеристики.
Моделирование предложенной последовательности действий на компьютере показало ее достаточную эффективность. Однако наибольшие проблемы вызывает необходимость вмешатель-
ства оператора на этапе выявления и идентификации «реперов» на снимке земной поверхности. Эксперименты с реальными изображениями выявили значительный процент ошибок и резкое увеличение общего времени обработки информации, особенно у малоопытного оператора.
В свете сказанного выше представляется существенным исключение из предложенного алгоритма участие оператора на этапе выявления «реперов» на снимке с аномальной зоной. В качестве альтернативы можно предложить автоматизировать поиск и идентификацию «реперных» точек на основании спектральной информации.
Выявление «реперных» точек
Очевидно, проблема сводится к рассмотренному выше обычному распознаванию объектов по их изображению. Следует заметить, что задача поиска соответствующих точек на стереоизображениях, возникающая при анализе сцен в случае бинокулярного зрения, только на первый взгляд близка к поставленной выше. Проблема поиска соответствия характерных точек при анализе стереоизображений достаточно хорошо освещена в литературе [2, 6]. Отличие кроется в самой постановке задачи и, как следствие, в возможном способе решения. Действительно, при работе со стереоснимками предполагается наличие двух изображений одной и той же сцены, снятых практически одновременно и отличающихся смещением точек съемки. В таком случае предполагается поиск соответствующих точек по характерным фрагментам на изображениях, возможно предварительно подвергнутым обработке тем или иным фильтром [2]. В другом варианте [6] предполагается использовать ту или иную подсветку, например лазером, для однозначного нахождения соответствия точек на стереоснимках.
В задаче выявления «реперов», во-первых, как правило, имеется только одно изображение. Если даже существует другое изображение данной области поверхности Земли, то оно чаще всего получено значительно раньше и с другого ракурса. Во-вторых, на карте местности или ранее сделанном снимке «реперы» уже отмечены и требуется идентифицировать на обрабатываемом снимке именно их.
Применение известных методов распознавания, рассмотренных выше, дает положительный результат только на сравнительно простых изображениях, например, при распознавании характерного фрагмента береговой линии, небольших островов и других объектов на водной поверхности. Поиск «реперов» на снимках, насыщенных различными объектами, в большинстве случаев не дает приемлемых результатов.
В качестве альтернативы можно предложить выявление объектов, выбранных в качестве «реперов», по их спектральным характеристикам. Если «реперы» имеют различные спектры, то их идентификация фактически заканчивается в момент
■ Рис. 2. Восстановление изображения путем преобразования аффинными группами
распознавания по этим спектрам в соответствии с расстоянием (2) в пространстве признаков. Если различные «реперы» относятся к одному классу в пространстве спектральных признаков, то их дальнейшую идентификацию можно проводить обычными методами распознавания, используя их изображения на обычном аэрофотоснимке, поскольку этап фрагментации изображения уже будет выполнен. Учитывая малые размеры объектов, используемых в качестве «реперов», практически можно не учитывать искажения формы их изображений, ограничиваясь искажениями типа смещения, изменения масштаба и поворота. Методы компенсации таких искажений и выбора признаков, инвариантных к некоторым из них, известны [6]. На рис. 2 в качестве примера приведены исходное изображение выявленной аномалии с указанием «реперов» и изображение этой же аномалии, преобразованное аффинной группой с коэффициентами, определенными по координатам «реперов».
Некоторые особенности программной реализации
Программная [8] и аппаратная [9] реализации методов обработки аэрофотоснимков имеют свои особенности. Групповые преобразования (3), (4) относятся к разряду непрерывных, т. е. не только ко-
эффициенты ар ..., а6, Ь1, Ь2 могут принимать действительные значения, но и координаты х, у, х', у', также могут принимать действительные значения, естественно, в определенных пределах. Очевидно, последнее невозможно для компьютерного представления изображения. Следует различать абстрактное представление изображения как непрерывной действительной функции двух переменных f{x, у), значения которой представляют яркость изображения в точке с координатами х, у. В таком случае естественно использовать термин «точка изображения», подчеркивая тем самым, что речь идет о не имеющем собственного размера элементе изображения. Представление изображения в компьютере носит принципиально дискретный характер. Под изображением понимается матрица, значение элемента которой соответствует яркости некоторой области поля зрения устройства получения изображения и, следовательно, носит интегральный характер. Номер элемента матрицы может быть только целым числом, и значения элемента, хотя и могут представляться в действительной форме, как правило, представляются в целочисленной форме. Представляется оправданным использовать в таком случае термин «пиксел изображения», подчеркивая наличие конечных размеров у «точки изображения».
В рассмотренном методе компенсации пространственных искажений, описываемых групповыми преобразованиями, предложено определять коэффициенты обратного преобразования и последовательно применять его к точкам искаженного изображения, приводя его тем самым к исходному виду. Непосредственная реализация этого метода на компьютере приводит к некоторым проблемам. Представление изображения как непрерывной функции фактически означает наличие взаимно однозначного соответствия между точками исходного и искаженного изображения, которое и описывается групповым преобразованием. Естественно, следует исключить вырожденные случаи — преобразование изображения в точку или линию, как не имеющие практического значения. Представление изображения в виде матрицы не дает возможности говорить о взаимно однозначном соответствии между пикселами исходного и преобразованного изображений. Как следствие, применение обратного преобразования к искаженному изображению приводит в общем случае к появлению на восстановленном изображении пропусков в виде незаполненных пикселов. Применение тех или иных методов аппроксимации для их заполнения приводит, с одной стороны, к усложнению алгоритма восстановления, а с другой — к уменьшению резкости восстановленного изображения, хотя и без изменения контрастности, что может в дальнейшем снизить надежность распознавания. Под резкостью изображения в данном случае понимается разность яркости соседних пикселов, а под контрастностью — разность максимальной и минимальной яркости на изображении. Понятно, что чем выше резкость изображения, тем точнее можно определить его контур, а, как извес-
тно [2], именно контур несет максимум информации о распознаваемом объекте.
При компьютерной реализации процесса компенсации пространственных искажений, описываемых групповым преобразованием, представляется более оправданным находить коэффициенты прямого преобразования. После их вычисления следует найти для всех пикселов восстанавливаемого изображения соответствующие им пикселы на искаженном изображении и присвоить им найденные значения яркости. В таком случае никаких пропусков в восстановленном изображении не будет и, следовательно, не потребуется их заполнение. Соответственно и резкость для соседних пикселов восстановленного изображения не
Литература
1. Мошкин В. И., Петров А. А., Титов В. С. и др. Техническое зрение роботов.—М., Машиностроение, 1990,272с.
2. Марр Д. Зрение. Информационный подход. — М.: Радио и связь, 1987. — 400 с.
3. Ту Дж., Гонсалес Р. Принципы распознавания образов. — М.: Мир, 1978. — 411 с.
4. Дистанционное зондирование: количественный подход / Под ред. Ф. Свейна и Ш. Девис. Пер. с англ. — М.: Недра, 1983. — 396 с.
5. Файн В. С. Опознавание изображений. Основы непрерывно-групповой теории и ее применение. — М.: Наука, 1970.
6. Ерош И. Л., Игнатьев М. Б., Москалев Э. С. Адаптивные робототехнические системы (методы анализа
будет меньше, чем на искаженном изображении. Практическая реализация предложенного алгоритма показала вполне удовлетворительное качество восстановления изображения с точки зрения надежности распознавания имеющихся на нем образов.
Описанный метод был использован для определения характеристик аномалий земной поверхности (выявления области радиоактивного или химического заражения местности, учета природных ресурсов и т. п.) с привязкой этих новых объектов к карте местности, а также для выбора оптимальных маршрутов движения автономного мобильного робота на неизвестной пересеченной местности.
и системы обработки изображений). — Л.: Изд-во ЛИАП, 1985.
7. Ерош И. Л. Восстановление рельефа неровной поверхности по плоскому изображению и реперным точкам. «Экстремальная робототехника». — Вып. VII. — СПб.: Изд-во СПбГТУ, 1998.
8. Ерош И. Л., Гладкова И. Г., Соловьев Н. В. Программная реализация методов обработки и анализа аэрофотоснимков // В сб.: Теория и практика создания систем технического зрения. — М., 1990.
9. А. С. №1466542. Устройство для ввода изображения /И. Л. Ерош, В. Л. Генкин, Н. В. Соловьев и др.
