CC BY
74
Комплексный анализ и мониторинг состояния окружающей среды
на основе данных ДЗЗ
Л.И. Лебедев1, Ю.В. Ясаков1, Т.Ш. Утешева1, В.П. Громов1, А.В. Борусяк1, В.Е. Турлапов1 'Национальный исследовательский государственный университет им. Н.И. Лобачевского, пр. Гагарина 23, 903950, Россия, Н. Новгород
Аннотация
Исследуется проблема комплексного анализа и мониторинга окружающей среды на основе прежде всего данных гиперспектральных изображений и вариант ее решения с созданием необходимого алгоритмического обеспечения для обработки и хранения гиперспектральных изображений. Гиперспектральное изображение рассматривается как двумерное поле сигнатур пикселей. Предложены методы оценки сходства сигнатуры пикселя гиперспектрального изображения с эталоном, включающие в себя простые преобразования совмещения пикселя с эталоном: тождественное; масштабирование по амплитуде; смещение по у; сочетание последних двух. Предложен метод кластеризации/распознавания с самообучением, определяющий значения параметров преобразования, обеспечивающего совмещение сигнатуры текущего пикселя с эталоном. Сходство с эталоном устанавливается по величине среднеквадратического отклонения. На этой основе предложен метод сжатия гиперспектральных изображений с контролируемыми потерями путем формирования базиса накоплением эталонов сигнатур и представления остальных сигнатур параметрами совмещения их с распознанным эталоном класса. В эксперименте с данными гиперспектральных изображений П00520Ю1р00г12 спектрометра АУШ1Б, при величине потерь в 2%, метод обеспечил коэффициенты сжатия исходного гиперспектрального изображения для разных типов преобразований совмещения от 43 до 165 без необходимости архивации, т.е. сохраняя доступ к гиперспектральному изображению и используя список эталонов как аналог палитры гиперспектральных изображений. Предложен алгоритм для формирования плотных групп детектируемых объектов (например, пятен нефти) и их невыпуклого оконтуривания, управляемый 4 параметрами.
Построена и реализована в пилотном варианте концепция геоинформационной системы и ее СУБД, обеспечивающая мониторинг и основанная на приоритете обработки и хранения гиперспектральных изображений, как источнике данных для него. В структуру системы введен лабораторный комплекс с новыми алгоритмами обработки и хранения гиперспектральных изображений, способный формировать на основе данных гиперспектральных изображений объекты цифровой векторной карты и данные о состоянии сформированных объектов.
Ключевые слова: гиперспектральные изображения, обработка изображений, распознавание с самообучением, сжатие с потерями, сжатие без архивации, невыпуклое оконтурива-ние, цифровые карты, СУБД, мониторинг окружающей среды.
Цитирование: Лебедев, Л.И. Комплексный анализ и мониторинг состояния окружающей среды на основе данных ДЗЗ / Л.И. Лебедев, Ю.В. Ясаков, Т.Ш. Утешева, В.П. Громов, А.В. Борусяк, В.Е. Турлапов // Компьютерная оптика. - 2019. - Т. 43, № 2. - С. 282-295. -Б01: 10.18287/2412-6179-2019-43-2-282-295.
Введение
Появление технологий дистанционного зондирования Земли (ДЗЗ), и гиперспектральных изображений в частности, сразу же включило их в ряд приоритетных направлений исследований, таких как снижение риска возникновения и уменьшение последствий природных и техногенных катастроф, комплексный мониторинг основных характеристик природной среды и климата. В исследованиях последнего десятилетия по обработке результатов ДЗЗ и обработке гиперспектральных изображений (ГСИ) в частности решено много задач, обеспечивающих мониторинг и анализ состояния окружающей среды, водных и наземных хозяйственных и экосистем. В обеспечении задач мониторинга все чаще применяются методы искусственного интеллекта.
Так, в работе [1] 2016 года реализована технология решения задачи раннего распознавания видов с/х культур по космическим снимкам полей в разные периоды вегетации в ситуации недостаточности исходных космических и наземных данных для формирования полноценной обучающей выборки. Метод основан на комбинации данных экспериментальных исследований на территории Самарской области.
В публикации [2] 2014 года предложена методика тематической обработки гиперспектральных данных в задаче оценки различных загрязнений акваторий портов, в том числе нефтью. А уже через три года с участием автора [2] оформлен патент [3] на «Способ оценки уровня загрязнения акваторий по гиперспектральным данным аэрокосмического зондирования», содержащий ручной алгоритм детектирования типов
загрязнения, также включая нефть, основанный на достаточно представительных экспериментальных данных, увязывающих данные сигнатур с типами и интенсивностью загрязнений и глубиной в месте детектирования.
Не менее ценным практическим материалом является отчет-методическое руководство [4] по воздушному наблюдению морских разливов нефти, составленное в 2015 по заказу трех крупных перевозчиков нефти. Подробно рассмотрены все фазы разливов нефти во времени при разных метеоусловиях, факторы, определяющие форму нефтяного пятна, его толщину и время жизни, некоторые оценки по визуальному и гиперспектральному наблюдению.
Публикация [5] 2014 года утверждает, что в теоретическом плане найден подход к решению задачи распознавания многомерных изображений с помощью интерактивного формирования эталонов этих изображений путем выделения сходных участков специалистом. В условиях отсутствия размеченных эталонов сегментация групп пикселей выполняется «без учителя» по условию близости спектральных свойств (сигнатур) без классификации. Отмечено, что создание базы опорных сигнатур, классифицированных специалистом, значительно повышает точность анализа. Формирование опорных сигнатур поддержано обширным экспериментальным материалом.
В публикации [6] 2017 года того же коллектива предложен метод классификации гиперспектрального изображения с экспертной разметкой части снимка, использующий гипотезу о кластерной структуре данных. На первом этапе алгоритм выполняет кластеризацию областей интереса, максимизируя функцию правдоподобия для смеси гауссовских распределений. На втором - классификацию методом дерева решений по расстоянию Махаланобиса до центров кластеров.
В работе Мясникова [7] 2017 года задачу сегментации ГСИ предложено решать, используя трехэтап-ную процедуру: 1) уменьшить размерность ГСИ методом главных компонент; 2) применить один из классических алгоритмов сегментации (кластеризации, разрастания региона, водораздела); 3) чтобы преодолеть проблему чрезмерной сегментации, использовать процедуру объединения областей на основе очередей приоритетов.
В публикации [8] 2015 года рассмотрена задача сжатия фрагментов изображений произвольной формы. Теоретически обоснована возможность построения сжимающих преобразований фрагментов реализаций случайных полей с использованием нейронных сетей.
В публикации [9] 2013 года предложена модификация метода сжатия ГСИ на основе межканальной корреляции, перекликающаяся с методом, реализованным в 3Б-САЫС.
В публикации [10] также 2016 года предложен алгоритм автоматического построения процедуры нелинейной локальной обработки изображений, устойчивой к переобучению и дефициту обучения. Для об-
работки изображения использовано локальное дискретное вейвлет-преобразование и иерархическая регрессия на основе обучающего набора данных. Построен метод, позволяющий на основе кросс-валидации решить, должен ли процесс обучения быть завершен или продолжен.
Публикация [11] 2018 года предлагает развитие иерархической компрессии многомерных сигналов методом интерполяции на основе контекстного моделирования в отличие от интерполяции на основе усреднения. Показано, что такой прием заметно повышает точность интерполяции и эффективность иерархической компрессии. При этом локально оптимальные параметры, найденные для более прореженных масштабных уровней сигнала, используются для интерполяции отсчётов менее прореженных масштабных уровней сигнала.
В работе [12] 2018 года рассматриваются проецирование цифровых изображений в собственные подпространства в рамках линейных методов РСА, ЬБА, РЬ8 и ССА и причины появления, развития и применения методов двумерной проекции в собственные подпространства - 2БРСА, 2БЬБА, 2БРЬ8 и 2БССА. Рассмотрение выполнено в рамках задачи распознавания лиц методами глубокого обучения, однако просматриваются возможности применения аналогичного подхода к исследованию и сжатию ГСИ.
Подводя итог анализа методов тематической обработки и сжатия данных ДЗЗ, и прежде всего ГСИ, следует отметить, что остается ряд нерешенных или недостаточно проработанных проблем и прежде всего в создании комплексного инструментария, позволяющего интегрировать средства исследования ГСИ и цифровой картографии в интересах мониторинга окружающей среды, водных и наземных хозяйственных систем и экосистем.
1. Исследование и сжатие данных ГСИ на основе методов распознавания с самообучением Одним из инструментов в системе обработки и хранения ГСИ должен быть инструмент детектирования сигнатуры ГСИ заданной формы (сравнения с эталоном) и сжатия ГСИ для нужд оперативной обработки с дозированными потерями или почти без потерь (пеайозБкББ) на основе множества эталонов, например в форме проецирования ГСИ на множество эталонов.
Будем далее рассматривать пиксель (р) изображения ГСИ в качестве базовой единицы описания. При пространственном анализе ГСИ пиксель р будет интерпретироваться как точка х в пространстве Я" или как функция у, заданная таблично для представления сигнатуры (спектрального образа пикселя). Значение " определяет число каналов в ГСИ и сигнатуре, а интенсивность в /-м канале является значением функции описания пикселя в точке.
1.1. Методы вычислений оценок сходства Основная идея методов сжатия с использованием методов распознавания заключается в подмене ис-
ходного описания пикселя на запись со значениями параметров, полученных при распознавании. В качестве основных методов распознавания рассмотрим методы сравнения с эталонами. Распознавание на основе методов сравнения с эталонами заключается в установлении сходства (близости) некоторого пикселя y к классу эквивалентности K(ye,A), порождаемому эталоном ye и заданным оператором преобразований A. В качестве оценки близости sm(A) пикселя y с эталоном ye возьмем минимальное значение ошибки s(A) по параметрам оператора A, вычисляемое по формуле:
ет (A) = min e(A) = min| |y - A(ye )||2/n =
" A A / (!) = minYXy< - A(ye)) jn.
При A(ye) = ye формула для вычисления оценки близости sm' будет иметь следующий вид:
sm =M(y• )2 +My2 - 2 -Myey, (2)
где M(ye)2, My2 и Myey - начальные моменты второго порядка для эталонной и распознаваемой сигнатур.
Решение оптимизационной задачи (1) при преобразовании Aye = km-ye дает оценку близости sm, инвариантную относительно масштабирования и оптимального значения параметра масштаба km, которые будут задаваться формулами:
sm = My2 -М2yey/M(ye)2, (3)
km =Mye^M(ye )2.
Вычисление оценки близости sm', инвариантной относительно ортогональных преобразований A(ye) = ye + Aye (смещение по оси OY на Aye) с учетом сделанных замечаний, будет задаваться формулой:
sm = D ye + D y - 2 • cov(ye, y), (4)
Aye = M y - M ye,
где Dye и Dy - дисперсии эталонной и распознаваемой сигнатур, cov(ye, y) - ковариация, а Mye и My -начальные моменты первого порядка.
Формула вычисления оценки sam, инвариантной относительно аффинных преобразований (АП) A(ye) = km-ye + Aye и определения оптимальных параметров, будет иметь следующее выражение:
sam = D y2 - cov2(yey)/D ye, (5)
km = cov(yey)/D ye, Aye = M y - km • M ye.
1.2. Распознавание пикселей ГСИ
Для решения задачи распознавания необходимо, во-первых, сформировать обучающую последовательность и, во-вторых, на ее основе построить классификатор. Эталонные сигнатуры обучающей последовательности формируются либо на основе спектральных образов покрытий, полученных в лабораторных условиях, либо на основе соответствующих пикселей распознаваемого гиперспектрального изо-
бражения. Решающими правилами классификатора в данном случае будут неравенства, накладывающие ограничения на величину оценки сходства
ет <5, (6)
где ет - одна из используемых для распознавания оценок (2) - (5), а 5 - пороговая величина. Для нахождения порогового значения 5 рассмотрим два возможных варианта. В первом случае значением 5 является максимальная оценка сходства ет, полученная на основе сигнатур обучающей последовательности. Однако следует иметь в виду, что для предложенного способа получения порогового значения обучающая выборка может быть недостаточно представительной или состоять из нескольких кластеров, что в том и другом случаях может привести к ошибкам в нахождении величины 5. Другой вариант получения значения 5 предполагает использование сведений о точности описания сигнатур распознаваемого ГСИ, которая является многофакторной величиной. Основной гипотезой о точности описания является предположение о возможном искажении значений сигнатур в процентах (ст) от исходного представления распознаваемого пикселя. Таким образом, использование этого варианта будет характеризоваться распознаванием с адаптивным порогом, вычисляемым для каждой из сигнатур по формуле
5 = М у2-10-4-ст2. (7)
1.3. Сжатие и восстановление ГСИ
Предлагаемое сжатие ГСИ является сжатием с контролируемыми потерями и базируется на методах распознавания сигнатур пикселей изображения с организацией самообучения в процессе распознавания. Исходное множество эталонов сигнатур пополняется за счет нераспознанных пикселей. Базовое множество эталонов изначально может быть как пустым, так и содержать некоторое число эксклюзивных сигнатур. Распознавание осуществляется с использованием методов, реализующих вычисление оценок близости по формулам (2) - (5) на основе решающего правила (6) с адаптивным порогом (7). Отметим, что получаемые при использовании формул (2) - (5) множества эталонных сигнатур в общем случае будут различаться как по составу, так и по количеству. На выходе алгоритма сжатия ГСИ будут два файла, один из которых содержит множество эталонных сигнатур Е, а другой - множество структур У, используемых для хранения параметров преобразования распознанных пикселей. В зависимости от вида преобразования А, выбранного для конкретной оценки сходства из (2) - (5), длина структуры, необходимая для записи сжатого ГСИ, будет различной. Если длины структур не подвергать оптимизации, то для записи параметров Дуе и кт как действительных величин потребуется по 4 байта, а под ссылку на номер эталонной сигнатуры - не более 2 байт (количество эталонов ограничено числом 65536). Отсюда, если для сжатия используется
оценка близости (2), то структура для записи распознанного пикселя будет иметь длину 2 байта, при оценках близости (3), (4) - 6 байт, а при оценке близости (5) - 10 байт. Предложенное структурированное описание изображения является достаточно универсальным и не требует значительных усилий для адаптации к конкретному ГСИ. Однако оптимальный выбор типа преобразования и оценки близости при различных значениях допустимой ошибки 5 или ст требует дополнительного исследования. Наиболее интересными решениями здесь представляются решения, не требующие использования архивации, с тем чтобы сохранить доступность обращения к ГСИ.
Восстановление ГСИ осуществляется посигнатур-но в соответствии со следующим алгоритмом. Для реставрации пикселя Р1 из множества структур У извлекается описание с номером / и определяется номер эталона V = YN в массиве эталонных сигнатур
Е = {Е1}, с которым было получено наибольшее сходство при распознавании. Если распознавание производилось с оценкой близости (2), то восстановленный пиксель будет находиться по формуле Р1 = Е„ (индекс V указывает номер эталона). Для сжатия с оценкой (3), инвариантной к масштабированию, восстановление пикселя осуществляется по формуле Р1 =Укт • Е „, с оценкой (4), инвариантной к смещению вдоль оси ОТ, - по формуле р = Е„ +Y1Ау , с оценкой (5), инвариантной к аффинным преобразованиям, - р = Y1km • EV +YА.
1.4. Экспериментальные исследования
Эксперименты в области решения задач распознавания проводились на файле П00520Ю1р00г12 ГСИ спектрометра АУТЮБ с 224 каналами в диапазоне длин волн от 365,9298 до 2496,236 нм. Исходное ГСИ было представлено матрицей размерами 813^2109 пикселей с разрешением 17,3 м. Использовался двухбайтовый формат представления значений амплитуды спектра. Общий объем файла при двухбайтовом описании компонент пикселя составил 768148416 байт. Вначале была проведена предобработка спектральных образов исходного ГСИ, заключающаяся в замене отрицательных значений сигнатуры в отдельных каналах результатом кусочно-линейной аппроксимации по ближайшим положительным значениям. Сигнатуры с полностью отрицательными или положительными значениями не корректировались. Количество пикселей с полностью отрицательными значениями (на рисунках отображаются как черные края) составило 207055 из 1714617 (-12 %).
Сравнительный анализ возможностей адаптивных методов сжатия изображения, реализующих оценки близости (2) - (5), проведен для значения ст = 2 (согласно [13] реальная точность не аппаратной фиксации ГСИ, а представления в нем реального отражения света от объектов земной поверхности, из-за влияния атмосферы не может быть выше 2 %). Результаты сжатия для различных методов приведены в табл. 1.
Коэффициент сжатия приведен в последнем столбце для сжатия без использования архиватора и с использованием архиватора (в скобках). Значение с архивацией вычислялась относительно размера архивированного исходного ГСИ. Архивация пикселей осуществлялось алгоритмом 77. Коэффициент сжатия исходного ГСИ составил 4,39 (исходный объем уменьшен до 175012 Кб). Как следует из таблицы, наибольший коэффициент сжатия данного ГСИ получен при оценке соответствия сигнатуры эталону без преобразований. Этот способ сжатия обеспечивает также индексный доступ к сжатому ГСИ без потери времени, аналогично доступу к изображению с палитрой.
В табл. 1 даны коэффициенты сжатия, полученные без использования методов архивации и с использованием архивации, которые вычисляются уже относительно не исходного ГСИ, а его архивированного размера (приведены в скобках).
Табл. 1. Сравнительные оценки сжатия ГСИ предлагаемыми методами
Метод сжатия по оценке Суммарный объем (Кб) Число эталонов Объем эталонов (Кб) Объем структур (Кб) После архивации (Кб) Коэф. сжатия без (с) архив.
б"' т 4640 2703 1 211 3 429 1 250 165,54 (140,0)
6* т 10 725 976 437 10 288 4 714 71,62 (37,13)
6°' т 11 164 1956 876 10 288 3 984 68,81 (43,93)
а т 17 555 913 409 17 146 10 294 43,76 (17,00)
ГСИ 768 148 1714617 768148 - 175012 4,39
1.5. Выводы
Предложены методы оценки сходства сигнатуры пикселя ГСИ с эталоном, включающие в себя простые преобразования, соответствующие совмещению сигнатур: тождественное; масштабирование по оси ОТ; смещение вдоль оси ОТ; сочетание последних двух. Предложен метод распознавания с самообучением, определяющий значения параметров преобразования совмещения для каждой сигнатуры пикселя, сравниваемой с эталоном. Факт сходства с эталоном устанавливается по величине среднеквадратического отклонения преобразованной сигнатуры от эталона. На этой основе предложен метод сжатия ГСИ с контролируемыми потерями, не требующий архивации.
Метод накопления эталонов находит поддержку в подходах создания банков натурно подтвержденных опорных сигнатур, получаемых при гиперспектральной съемке как в интересах управления территориями в целом, так и в лесном хозяйстве в частности [2, 3, 5 - 9].
Опыт применения предложенных методов при решении задач распознавания и сжатия ГСИ показывает необходимость решения вопросов быстродействия при сжатии с малыми значениями ошибки. Для повышения качества распознавания целесообразно исследовать оценку близости, основанную на других нормах. Интересным также является развитие метода накопления эталонов в сторону стохастической реа-
лизации выборок пикселей при инициализации и дальнейших шагах.
2. Векторизация и количественный анализ результатов классификации Результатом выполнения процедуры классификации объектов ГСИ является специальная разметка (часто цветовая) их точек, сходных с эталонными сигнатурами. Однако реальный мониторинг существенно сложнее и предполагает также средства визуальной аналитики, необходимые для одновременного обнаружения, описания, количественной оценки и, по возможности, также количественного прогнозирования развития ситуации, и сразу по множеству объектов. Для этого разработан набор процедур, называемых операциями постклассификационной обработки, которые включают, кроме прочего, построение границ объектов интереса (плотных групп нефтяных пятен), удаление мелких ложных объектов, вычисление площадей и т.д. При решении задачи мониторинга нефтяных загрязнений конечной целью может служить оценка минимального количества загрязняющего вещества, которая производится с учетом площади загрязненной поверхности и толщины пятен.
Предлагаемая методология постклассификационной обработки гиперспектральных изображений включает в себя следующие шаги: выделение эпсилон-связных совокупностей маркированных пикселей (групп нефтяных пятен); формирование границ совокупностей в векторном формате; вычисление площадей сформированных полигонов; вычисление плотности их покрытия нефтью.
2.1. Формирование эпсилон-связных совокупностей Рассмотрим пример постклассификационной обработки для пятен нефти в районе ее разлива в море. Параметрами являются: величина eps - допустимый максимум до ближайшего элемента той же совокупности (в пикселях) и минимальное количество элементов в формируемой совокупности. Выполняется один основной просмотр матрицы (M, N) пикселей. Текущий пиксель с координатами (i, j), маркированный признаком класса, но не вошедший по параметру eps ни в одну из ранее образованных совокупностей, считается «свободным» и становится ядром новой совокупности, которая формируется итерационно. Поиск каждого очередного элемента совокупности осуществляется в пределах границы поиска, корректируемой на каждой итерации. Каждая итерация включает следующие шаги:
1) Формирование или коррекция границ поиска. Первоначальная граница поиска элементов очередной совокупности формируется относительно ядра (i, j) и определяется следующими значениями: i min = max{1, i - eps}; i max = min{M i+eps}; j min= max{1, j-eps}; j max = min{N,j+eps}. Существующая граница поиска корректируется с учетом координат (k, l) каждого вновь найденного элемента совокупности:
i min = min{i min, max[1, k- eps]};
i max = max{i max, min[M, k+eps]};
j min = min{j min, max[1, l - eps]};
j max = max{ j max, min[N, l+eps]};
2) В пределах актуальных границ осуществляется поиск «свободного» маркированного пикселя, отстоящего не далее, чем на eps от какого-либо элемента формируемой совокупности.
3) Если на шаге (2) найден пиксель, удовлетворяющий требуемым условиям, он помечается как очередной элемент текущей совокупности и осуществляется переход к шагу (1).
4) Если на шаге (2) очередной элемент не найден, процесс формирования текущей совокупности завершается, производится оценка количества отобранных элементов. Совокупности, не набравшие минимальное число пикселей, рассыпаются на отдельные пиксели.
Далее, начиная с пикселя (i,j+1) (или (i+1, 1), если j = N) продолжается основной просмотр матрицы, осуществляется поиск ядра новой совокупности.
Пример сформированных совокупностей показан на рис. 1 для плотных групп пятен нефти.
Рис. 1. Сформированные совокупности нефтяных пятен (показаны в светло-серых тонах) на фоне океана и островов (темно-серые). Фрагмент
2.2. Формирование границ совокупностей в векторном формате
С геометрической точки зрения решается задача построения невыпуклой оболочки массива Б(А/) дискретных элементов. В отличие от алгоритмов построения выпуклой оболочки, результатом которых является единственное и строгое решение, построение невыпуклой оболочки (контура, охватывающей границы) должно быть параметризировано. Чем корректнее выбор ограничивающих параметров, тем более естественен результат построения. В предлагаемом алгоритме используются два геометрических ограничения, выбор значений которых определяет конфигурацию и степень сглаженности формируемых контуров. Первый параметр задает минимальный допустимый внешний угол, образуемый смежными реб-
рами границы. Второй параметр определяет максимальную длину ребра (рис. 2).
Min угол
Мах ребро
Рис. 2. Параметры формирования векторной границы
Интерфейс приложения, решающего задачи формирования эпсилон-связных совокупностей (групп) и формирования их границ (оконтуривания совокупностей), показан на рис. 3.
Рис. 3. Интерфейс приложения. Нефть на поверхности воды размечена увеличенной яркостью
Построение охватывающей границы осуществляется итерационно методом наращивания.
Первое приближение G0 искомого решения представляет собой треугольник минимальной площади, вершинами которого являются точки рассматриваемого множества. Строится последовательность приближений G0,0\, G2,..., Ок, где к< N. Gi формируется из G¡_l по следующим правилам.
1) Определяется точка множества S(N), (х,у)<£^0, G1, G2,...,GI-1}, расстояние от которой до ребер границы G¡_1 минимально. Граница G¡_1 перестраивается с учетом найденной новой вершины, при этом происходит или вставка новой вершины, или замена существующей.
2) Производятся корректировки:
а) самой границы - оценка внешних углов смежных ребер (если угол меньше заданного, то формируется хорда соответствующего клина, с учетом ограничения на ее длину); поиск самопересечений границы, при необходимости - откат к предыдущему состоянию;
б) входных данных - помечаются новые элементы, попавшие внутрь на данной итерации.
Вычислительная сложность алгоритма формирования границы О(^), где N - количество элементов совокупности. Пример результата показан на рис. 4.
2.3. Вычисление площадей и плотности заполнения сформированных полигонов
Для вычисления площадей полигонов, ограниченных сформированными границами совокупностей маркированных пикселей, предлагается алгоритм, ис-
пользующий комплексирование растровых и векторных данных.
Вычисление площади ведется в пределах ограничивающего прямоугольника полигона {(¡_тт; 1_тах), (]_т1п; ]_тах)}. Осуществляется последовательный просмотр строк. Первый элемент строки расположен или вне, или на границе полигона. Далее каждое пересечение границы меняет состояние элементов строки «вне-внутри». Выполняется суммирование внутренних элементов полигона.
Рис. 4. Векторные границы плотных групп (совокупностей) маркированных элементов. Фрагмент
Плотность заполнения или плотность покрытия полигона интереса классифицированными пикселями определяется как отношение количества элементов, принадлежащих оконтуренной совокупности, к площади полигона. В качестве исходных данных вычислительного эксперимента использовано ГСИ, полученное сенсором АУШ1Б 24 августа 2010 года в районе взрыва нефтяной платформы Deepwater, произошедшего 20 апреля 2010 года в Мексиканском заливе.
В табл. 2 показан фрагмент таблицы площадей и плотностей, рассчитанной для анализируемой полосы размером 501x852 из 5010x852 пикселей ГСИ.
Табл. 2. Фрагмент таблицы площадей и плотностей
№ контура
x_min y_min x_max y_max Площадь Плотность
0 0 0 0 11 20 32 42
63 85 95 198 46 82 108 61
9 9
77 50 23 30 66 56
70 92 186 265 69 90 121 74
29 37 1615 1861 102 46 176 77
0,751 0,83 0,61 0,44 0,90 0,80 0,65 0,62
Число маркированных пикселей нефти на ней -22102. Минимальное число пикселей нефти в формируемых совокупностях - 15. Каждый пиксель представлен вектором из 224 значений спектральных яркостей в диапазоне 366 - 2500 нм.
Зависимость производительности формирования эпсилон-связных совокупностей от параметра близости объектов совокупности ерт показана в табл. 3.
1
2
3
4
5
6
7
8
Табл. 3. Зависимость производительности формирования эпсилон-связных совокупностей от близости (ерз)
Величина (Px) Число совокупностей Мощность максимальной совокупности Время формирования совокупностей, (с)
1 905 24 0,031
2 78 12288 12,036
3 54 15030 94,023
Характеристики компьютера: Pentium(R) Dual-Core CPU T4300 @ 2.10GHz, 3.00 GB, Win'10, х64.
Результат работы алгоритма формирования совокупностей существенно зависит от величины параметров метода: eps (см. табл. 3), минимальное число пикселов в совокупности. Алгоритм оконтуривания совокупностей существенно зависит от параметров max ребро, min угол (см. рис. 2). Алгоритм задачи уникален по возможностям управления. Время обработки приемлемо для интерактивной работы.
3. Системная информационная поддержка
мониторинга окружающей среды на основе многомасштабных данных ДЗЗ Системообразующим компонентом программного комплекса анализа и мониторинга состояния окружающей среды на основе данных ДДЗ является система управления базами (СУБД) цифровых карт или пространственно распределенных данных (ПРД), обеспечивающая многоаспектное коллективное использование многообразия данных (векторных, растровых, данных ДДЗ и т.п.). Включение в мониторинг многомасштабных изображений поверхности участков Земли в разные сезонные и временные периоды предъявляет к СУБД многочисленные нетривиальные для реализации требования, первыми из которых являются:
1) объектность СУБД;
2) топологическая связность объектов;
3) наличие цифровых векторных карт в качестве кар-тосновы обработки объектов и их связности;
4) наличие средств пространственной и временной привязки последовательности ГСИ к картоснове.
3.1. СУБД ГИС Терра Плюс Части из этих требований удовлетворяла объектно-ориентированная база пространственно распределенных и топологически связанных данных цифровых векторных карт СУБД ГИС Терра [14]. Главной информационно-операционной единицей этой СУБД и ее приложений был специальный «Интегральный файл» (ИФ), обеспечивался иерархический доступ к объектам базы данных за счет специальной таблицы классификационных кодов объектов. Три из четырёх названных выше требований реализованы в данном прототипе. Функция пространственной и временной привязки последовательности ГСИ к картоснове, с учетом весьма больших размеров одного ГСИ, реализована в новой СУБД ГИС Терра Плюс [15] на основе современной открытой платформы PostgreSQL с расширением PostGIS (рис. 5).
Клиент (Windows)
SQLite
СУБДГИС Терра Plus
СУБДГИС Терра
Базы данных ГИС Терра
Базы данных ГИС Терра M
-Миграция данных
----Удалённый доступ к данным
Рис. 5. Структура СУБД ГИС Терра Плюс, взаимодействие с интегральным файлом через ГИС Терра, Терра М.
Миграция данных между сервером и клиентами
Модель представления объекта в формате «Интегрального файла» (ИФ) [14] расширена атрибутами объекта, хранящимися отдельно от поля семантики объекта: коэффициент масштаба (для хранения разномасштабных данных); ограничивающий прямоугольник; дата создания/обновления объекта; операции, выполненные над объектом; статус объекта (актуальный, удаленный, заблокированный); наименование объекта. В результате объект базы данных теперь может иметь индивидуальное метрическое описание (тип, масштаб, картопривязку, размеры). В специальный объект с пространственным индексом выделены точки замеров, одна или несколько, задающие местоположение и ориентацию объекта.
Для обеспечения связи объекта (или территории) с временными последовательностями ГСИ (и других изображений) разного масштаба к объекту может быть приписана любая дополнительная информация (мультимедийная, текстовая, графическая и т.п.). Эти данные ассоциированы с приложениями, ориентированными на их обработку. Для отслеживания поведения объекта (реки, нефтяного пятна, сельхозугодия, и т.п.) в заданном временном интервале введена конфигурируемая поддержка многоверсионного ряда хранения объекта. На рис. 6 показана хронология перемещения объекта «Пятно» (изображен прямоугольником) по территории, на которую создана база векторных карт.
У объекта имеется ссылка на источник его поступления в базу данных. Каждый источник информации содержит свой набор метаданных, зависящий от типа источника, а на типовые группы метаданных созданы специализированные обработчики. Объекты базы данных разбиты на несколько групп:
• Точечные (простые) объекты отметок глубин в морской картографии.
• Остальные (сложные) картографические объекты.
• Ограничивающие рамки источников информации.
• Снимки - отдельное хранилище для аэрокосмических снимков и произвольных файлов.
• Гидрографические сетки.
Сервер (Windows)
PostgreSQL
PostGIS
СУБДГИС Терра Plus 1 1 1
СУБДГИС Терра 1 1 1
Базы данных ГИС Терра Plus 1 4-J
Базы данных ГИС Терра
Клиент (Android)
СУБДГИС Терра Plus
SQLite
СУБДГИС Терра M
Базы данных ГИС Терра М
;■• ГИС Терра Plus
База данных Запросы Режим работы Инструменты Редактироеани
Вывод Настройки Выход
Рис. 6. Отображение объекта «Пятно», прогноза его перемещения на цифровой карте территории и отметок глубин для решения задачи детектирования пятен нефти
3.2. Совмещения обычных 80Ь-запросов и специальных не-БОЬ-запросов
В интересах обрабоки ГСИ существенно расширены возможности системы запросов к базе цифровых карт (пространственно распределенных данных). Это сделано в форме совмещения обычных 8рЬ-запросов и специальных не-8рЬ-запросов СУБД ГИС Терра, которые обеспечивают отбор по полям объекта в формате ИФ. Для эффективного выполнения не-8рЬ-запросов разработана специальная DLL-библиотека хранимых функций, выполняющая не-SQL-запросы непосредственно на сервере. Для отбора
объектов базы данных построен аппарат дополнительных SQL-запросов. Основные из них: по метрическому описанию; по логической шкале объекта; по масштабу, типу и названию объекта; по дате создания/обновления объекта; по типу и метаданным источника объектов. Не-SQL-запросы и дополнительные SQL-запросы могут применяться как по отдельности, так и одновременно. При этом производится анализ ^-SQL-запроса и из него исключаются запросы на поля объекта, если таковые имеются в дополнительном SQL-запросе. На рис. 7 приведен пример подобного запроса: на батиметрической базе ПРД (фрагмент Средиземного моря: район Тобрук - остров Крит) выполнен запрос на отбор изобат, имеющих масштаб 1:500000 (SQL-запрос) и значение глубины в интервале от 0 до 50 метров (^-SQL-запрос) для решения задачи детектирования пятен нефти.
СУБД содержит следующие средства программной поддержки базы пространственно распределенных данных (цифровых карт):
• Программный интерфейс приложения (API) для работы с базой: позволяет создавать приложения в рамках системы программирования Embarcadero RAD Studio на языке С++.
• Интегрированная среда для работы с базой цифровых карт [15]: позволяет в интерактивном режиме выполнять загрузку данных, поиск и отбор информации, редактирование векторных объектов и т.д.
• Средства администрирования БД.
Рис. 7. Пример выполнения смешанного запроса на отбор изобат глубины от 0 до 50 м с векторной карты дна Средиземного моря (вверху слева) на участке Крит-Бенгази (выделен вверху справа)
3.3. Одновременное обращение к базам цифровых карт и архиву ГСИ Программный интерфейс приложения (API) для работы с архивом ГСИ позволяет создавать приложения для одновременного использования информации из базы цифровых карт и из архива ГСИ без ограни-
чения на тип информации. В качестве примера типичных запросов на определенную территорию цифровой карты и ГСИ, как источник оперативной информации, рассмотрим: по локализации ГСИ подобрать в архиве морские навигационные карты масштаба 1:100000 на территорию Балтийского моря. Это
можно сделать двумя различными способами: задать выбор в архиве по метаданным, название района «БАЛТИЙСКОЕ» и коэффициент масштаба 100000 (рис. 8), или посредством охватывающего прямоугольника. Требуемый результат можно получить в виде списка карт, а также отобразить рамки карт на
m Отображение рамок документов
♦ Й X ¡й й • |ийх>т». 58.2603710,ДОЛГОТ«. 29.7355616
B<ífO докуижто»: 38
подложке (в данном случае контуре моря). Кроме того, можно посмотреть эту территорию на «Яндекс-Карты».
В приведенных выше примерах использовалось автономное приложение работы с архивами источников информации.
Ш Отобрано документов: 38
Номер Имя документа Дата создания Дата регистраии Масштаб 1 23000_Р_С 08.06.2006 16.01
.6.02.2018
100000
БАЛТИЙСК 503
2Э001_0_С
23004_D_C
23009_Р_С
23020_0_С
23023_D_C
23055_V_D_C
23056_D_C
2Э057_Р_С
230S8_P_C
230S9_P_C
2Э060_0_С
23061_D_C
2Э062_Р_С
08.06.2006 08.06.2006 26.04.2006 11.05.2006 26.04.2006 25.04.2006 2S.04.2006 25.04.2006 27.04.2006 25.04.2006 28.04.2006 28.04.2006
16.02.2018 16.02.2018 16.02.2018 16.02.2018 16.02.2018 16.02.2018 16.02.2018 16.02.2018 16.02.2018 16.02.2018 16.02.2018 16.02.2018 16.02.2018
100000 100000 100000 100000 100000 100000 100000 100000 100000 100000 100000 100000
БАЛТИЮ* 504 БАЛТИЙСК SOS БАЛТИЙСК 506 БАЛТИЙСК 507 БАЛТИЙСК S08 БАЛТИЙСК S12 БАЛТИЙСК 513 БАЛТИЙСК 514 БАЛТИЙСК SIS БАЛТИЙСК S16 БАЛТИЙСК 517 БАЛТИЙСК S18 БАЛТИЙСК 519
♦ ♦
о. а.
Рис. 8. Пример выполнения запроса к цифровым С архивами цифровых карт можно работать и непосредственно из векторной базы данных на территорию. Прямоугольниками изображены рамки источников информации, покрывающих заданный район.
На рис. 9 ниже приведен запрос на пересечение базы цифровых карт лесной растительности и изображений ДЗЗ, покрывающих заданный район.
3.4. Возможности инструментов анализа и классификации ГСИ в среде ГИС Терра Плюс Наличие собственного программного интерфейса приложений (API) как для базы цифровых карт, так и для архивов информации, открывает возможности для создания новых приложений для эффективного анализа и обработки данных ДДЗ / ГСИ совместно с данными карт (как векторными, так и растровыми). Важным в прикладном отношении примером таких приложений является анализатор ГСИ, с помощью которого можно решать многие задачи практического анализа и классификации объектов ГСИ, в том числе такие как:
• визуализация ГСИ в цвете и в оттенках серого по-канально;
• раздельный анализ двухбайтового содержимого каналов в «нормализованном» побайтовом представлении (содержимое двух байт предварительно по-
картам и источникам информации одновременно
битно сдвинуто в сторону старших разрядов на число незначащих бит), пример см. на рис. 10;
• исследование локальных базисов объектов (для указанной совокупности пикселей), пример см. на рис. 11;
• исследование сигнатур пикселей гиперспектральных изображений методом разложения на эмпирические моды [16];
• пространственный анализ гиперспектральных изображений [17], распознавание и классификация объектов, согласно параграфу 1 и публикации [18], и так далее.
3.5. Мобильный доступ к базам цифровых карт
Для обеспечения возможности удаленного доступа к базам разработан локальный вариант системы управления базами цифровых карт для использования на мобильном устройстве под управлением ОС Андроид - СУБД ГИС Терра Mobile [15]. Использована встроенная в Андроид СУБД SQlite, сохранена объектно-ориентированная структура базы данных и иерархический доступ к объектам базы данных. База цифровых карт предоставляется в виде одного Интегрального файла, что обеспечивает большую надежность и мобильность. Обеспечено многоверсионное хранение объекта и индивидуальное метрическое
описание для него. Обеспечена автономная миграция баз цифровых карт (БЦК) между мобильным устройством и персональным компьютером. API для СУБД ГИС Терра Плюс позволяет создавать приложения
В ГИС Teppa Plus
Базадаиных Запросы Режим работы Инструменты Редактирована
Вывод Настройки Выход
X « * м ъ "i fe ® « ® Ы е • a«™«-:
Вывод завершен. Всего объектов=3824
для работы с находящейся на сервере БЦК непосредственно с мобильного устройства в режиме «онлайн».
Двухбайтовое Старший байт Младший байт изображение изображения изображения после смещения после смещения
Рис. 9. Пример выполнения запроса на пересечение базы цифровых карт лесной растительности и ГСИ, покрывающих заданный район
Рис. 10. Пример раздельного визуального анализа двухбайтового содержимого фрагмента ГСИ Cuprite спектрометра AVIRIS (слева) в «нормализованном» побайтовом представлении: старшего байта (середина) и младшего байта (справа)
l'TsSKM-EXEoöpaö
Рис. 11. Пример выбора окном (слева) фрагмента на пятне нефти для построения локального базиса методом главных компонент и визуализация средней сигнатуры (черная составляющая пятна в окне справа) и 3 главных компонент
для окна выбора в светлых тонах серого
Для исследования используется RGB визуализация выбранных каналов ГСИ (в условных псевдоцве-
тах). В таком формате изображения могут быть обработаны средствами ГИС ТЕРРА как для создания растровой подложки, так и формирования линейно-контурной модели такого изображения. Полученная модель может быть загружена в базу цифровых карт с информационной привязкой к локальному или муль-тиклассификатору. Для обработки может быть привлечен и традиционный инструментарий цифровых карт и средства ГИС ТЕРРА для автоматического и интерактивного распознавания, результаты которого также могут быть загружены в БД с геопривязкой. Геопривязка и трансформация снимка к определен-
нои координатной системе выполняются интерактивным заданием опорных точек. Лучшие результаты совмещения удается получить для ДЗЗ, предварительно приведенных к проекции ортоплана. Результаты трансформации могут быть оформлены в виде электронной карты (формат BIG) и непосредственно использованы в качестве растровой подложки при визуализации реальных баз пространственно распределенных данных приложениями, например графическим редактором.
Выбор программных компонент для выполнения геопривязки жестко связан с проекцией картматериа-ла и составом атрибутов. Решение этой проблемы возложено на объектно-ориентированное програм-
мное обеспечение базы знаний. Информационное и программное обеспечение базы знаний в зависимости от проекции автоматически осуществляет выборку из паспорта базы данных, необходимых для этой проекции параметров, и назначает функцию пересчета координат. Разработчику прикладного программного обеспечения предоставляется единый интерфейс и ряд функций пересчета из географических координат в прямоугольные и обратно.
Заключение
Исследуется проблема комплексного анализа и мониторинга окружающей среды на основе данных ГСИ и создания необходимого алгоритмического обеспечения для исследования и обработки ГСИ.
Предложено алгоритмическое обеспечение лабораторного комплекса, решающего приоритетные задачи обработки и хранения ГСИ. В число алгоритмов вошли: 1) методы оценки сходства сигнатуры пикселя ГСИ с эталоном, включающие в себя простые преобразования совмещения пикселя с эталоном; 2) метод кластеризации/распознавания с самообучением, определяющий значения параметров совмещения для каждой сигнатуры пикселя, сравниваемой с эталоном (сходство с эталоном устанавливается по величине среднеквадратического отклонения); 3) метод сжатия ГСИ с контролируемыми потерями, путем формирования базиса накоплением эталонов сигнатур и представления остальных сигнатур параметрами совмещения их с распознанным эталоном класса; 4) метод для формирования плотных групп детектируемых объектов (например, пятен нефти) и их невыпуклого оконтуривания, управляемый 4 параметрами.
В эксперименте с данными ГСИ П00520Ю1р00г12 спектрометра АУШ1Б при величине потерь в 2 % метод сжатия обеспечил для разных типов преобразований совмещения коэффициент сжатия от 43 до 165. Сжатие реализовано без архивации ГСИ и сохраняет возможность работы с ГСИ после сжатия без заметного увеличения времени доступа, используя список эталонов как аналог палитры.
Построена и реализована в пилотном варианте концепция геоинформационной системы и ее СУБД, основанная на приоритете обработки и хранения ГСИ, как источнике данных для мониторинга. В структуру системы введен лабораторный комплекс с новыми алгоритмами обработки и хранения ГСИ, способный формировать на основе данных ГСИ объекты цифровой векторной карты и данные о состоянии сформированных объектов.
ГИС и СУБД в данной концепции обеспечивают хранение и обработку ГСИ, фиксирующих актуальное состояние окружающей среды, и их привязку к архиву объектно и топологически структурированных цифровых карт. В структуру хранения и обработки введены временные ряды состояний объекта, формируемые по данным ГСИ.
Реализованная в пилотном варианте ГИС Терра Плюс имеет средства и возможности для развития
приложений на основе собственного интерфейса программных приложений. Продемонстрированы примеры работы методов анализа ГСИ и совместных запросов к ГСИ и цифровым картам, обеспечена поддержка мобильного доступа.
Благодарности
Работа выполнена при поддержке Российского научного фонда (проект № 16-11-00068).
Литература
1. Воробьёва, Н.С. Информационная технология раннего распознавания видов сельскохозяйственных культур по космическим снимкам / Н.С. Воробьёва, В.В. Сергеев, А.В. Чернов // Компьютерная оптика. - 2016. -Т. 40, № 6. - С. 929-938. - DOI: 10.18287/2412-61792016-40-6-929-938.
2. Жуков, Д. В. Методика тематической обработки гиперспектральных данных в задаче оценки экологического состояния акваторий портов / Д.В. Жуков // Исследование Земли из космоса. - 2014. - № 1. - C. 66-71. - DOI: 10.7868/S0205961414010084.
3. Пат. 2616716 Российская Федерация G 01 N 21/55. Способ оценки уровня загрязнения акваторий по гиперспектральным данным аэрокосмического зондирования / Григорьева О.В., Жуков Д.В., Марков А.В., Саидов А.Г.; № 2015102402, заявл. 26.01.2015, опубл. 18.04.2017, Бюл. № 11. - 13 с., ил.
4. Воздушное наблюдение морских разливов нефти. Методическое руководство для персонала, осуществляющего контроль происшествий и ликвидацию чрезвычайных ситуаций: Отчет IOGP № 518 [Электронный ресурс]. - URL: http://www.oilspillresponseproject.org/wp-content/uploads/ 2017/04/Aerial-Observation_Russian_V2.pdf (дата обращения 28.12.2018).
5. Раменская, Е.В. Получение опорных спектральных сигнатур при гиперспектральной съемке / Е.В. Раменская, А.О. Гурьянова, А.Г. Мандра, В.В. Ермаков // Экология и промышленность России. - 2014. - № 10. - С. 44-47. -DOI: 10.18412/1816-0395-2014-10-44-47.
6. Раменская, Е.В. Классификация гиперспектральных изображений с использованием кластерной структуры данных / Е.В. Раменская, М.П. Кузнецов, В.В. Ермаков, О.Р. Баркова, А.А. Бран // Современные проблемы дистанционного зондирования Земли из космоса. -2017. - Т. 14, № 7. - С. 9-19.- DOI: 10.21046/2070-7401-2017-14-7-9-19.
7. Myasnikov, E.V. Hyperspectral image segmentation using dimensionality reduction and classical segmentation approaches / E.V. Myasnikov // Computer Optics. - 2017.-Vol. 41(4). -P. 564-572. - DOI: 10.18287/2412-61792017-41-4-564-572.
8. Sirota, A.A. Generalized image compression algorithms for arbitrarily-shaped fragments and their implementation using artificial neural networks / A.A. Sirota, M.A. Dryu-chenko // Computer Optics. - 2015. - Vol. 39(5). - P. 751761. - DOI: 10.18287/0134-2452-2015-39-5-751-761.
9. Zamyatin, A.V. An algorithm for compressing hyperspec-tral aerospace images with the account of inter-band correlation / A.V. Zamyatin, A.Zh. Sarinova // Applied Informatics. - 2013. - Vol. 47, Issue 5. - P. 35-42.
10. Kopenkov, V.N. Development of an algorithm for automatic construction of a computational procedure of local image processing, based on the hierarchical regression./ V.N. Kopenkov, V.V. Myasnikov // Computer Optics.- 2016.
- Vol. 40(5). - P. 713-720. - DOI: 10.18287/2412-6179-201640-5-713-720.
11. Гашников, М.В. Интерполяция на основе контекстного моделирования при иерархической компрессии многомерных сигналов / М.В. Гашников // Компьютерная оптика. - 2018. - Т. 42, № 3. - С. 468-475. - DOI: 10.18287/2412-6179-2018-42-3-468-475.
12. Кухарев, Г.А. Методы двумерной проекции цифровых изображений в собственные подпространства: особенности реализации и применение / Г.А. Кухарев, Н.Л. Щеголева // Компьютерная оптика. - 2018. -Т. 42, № 4. - С. 637-656. - DOI: 10.18287/2412-61592018-42-4-637-656.
13. Lee, C. Feature extraction based on decision boundaries / C. Lee, D.A. Langrebe // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1993. - Vol. 4, Issue 15. - P. 388-400. - DOI: 10.1109/34.206958.
14. Vasin, Yu.G. GIS Terra: A graphic database management system / Yu.G. Vasin, Yu.V. Yasakov // Pattern Recognition and Image Analysis. - 2004. - Vol. 14, Issue 4. -P. 579-586.
15. Васин, Ю.Г. Распределённая СУБД для интегрированной обработки пространственных данных в ГИС / Ю.Г. Васин, Ю.В. Ясаков // Компьютерная оптика. -2016. - Т. 40, № 6. - С. 919-928. - DOI: 10.18287/24126179-2016-40-6-919-928.
16. Pakhomov, P.A. Investigation of hyperspectral image pixel signatures by the empirical mode decomposition method / P.A. Pakhomov, A.V. Borusyak, V.E. Turlapov // CEUR Workshop Proceedings. - 2018 - Vol. 2210. -P. 352-364.
17. Лебедев, Л.И. Пространственный анализ гиперспектральных изображений / Л.И. Лебедев, А.О. Шахлан, // Труды 28-й Международной научной конференции по компьютерной графике и машинному зрению (Томск, ТПУ). - 2018. - С. 315-318.
18. Лебедев, Л.И. Распознавание и классификация объектов ГСИ / Л. И. Лебедев // Материалы V Международной научной конференции «Региональные проблемы дистанционного зондирования Земли» (Красноярск, СФУ). - 2018. - С. 138-143.
Сведения об авторах
Лебедев Леонид Иванович, 1949 года рождения, в 1971 году окончил факультет вычислительной математики и кибернетики Горьковского государственного университета им. Н.И. Лобачевского по специальности «Математика, вычислительная математика», работает ведущим научным сотрудником в Институте информационных технологий, математики и механики ННГУ им. Н.И. Лобачевского. В 1995 году защитил диссертацию по специальности 05.13.17 «Теоретические основы информатики» с присвоением ученой степени кандидата физико-математических наук. В 1999 году присвоено ученое звание старшего научного сотрудника. Область научных интересов: распознавание образов и обработка изображений. E-mail: [email protected] .
Ясаков Юрий Васильевич (1949 г.) окончил факультет вычислительной математики и кибернетики Горьковского государственного университета им. Лобачевского (коротко - университет Лобачевского) в 1971 году. Лауреат Премии Совета Министров СССР. Старший научный сотрудник Центра информатики и интеллектуальных информационных технологий Института информационных технологий, математики и механики Нижегородского государственного университета имени Лобачевского. Научные интересы: системное программирование, системы управления базами данных, геоинформационные системы и цифровая картография. E-mail: yuri961 @yandex.ru .
Утешева Тамара Шатовна, 1962 года рождения, в 1984 году окончила энергетический факультет Фрунзенского политехнического института по специальности ЭВМ. Кандидат технических наук, работает ведущим научным сотрудником Института информационных технологий, математики и механики ННГУ им. Н.И. Лобачевского. Область научных интересов: эффективные методы обработки данных, вычислительная геометрия, математическая картография. E-mail: [email protected] .
Громов Владимир Петрович, 1941 года рождения, в 1968 году окончил физический факультет Горьков-ского государственного университета им. Н.И. Лобачевского по специальности «Физика», работает ведущим программистом в Нижегородском университете им. Н.И. Лобачевского. Область научных интересов: распознавание образов, обработка изображений, геоинформатика. E-mail: [email protected].
Борусяк Александр Владимирович, 1989 года рождения, в 2012 окончил магистратуру Национального исследовательского Нижегородского государственного университета им. Н.И. Лобачевского по направлению «Информационные технологии». Работает младшим научным сотрудником Центра информатики и интеллектуальных информационных технологий Института ИТММ университета им. Н.И. Лобачевского. В 2018 году защитил диссертацию по специальности 05.01.01 - «Инженерная геометрия и компьютерная графика» с присвоением ученой степени кандидата технических наук. E-mail: sw-bor@yandex. ru.
Турлапов Вадим Евгеньевич, 1949 года рождения, в 1971 году окончил радиофизический факультет Горьковского государственного университета им. Н.И. Лобачевского по специальности «Радиофизика», работает профессором в Нижегородском университете им. Н.И. Лобачевского. Окончил аспирантуру и докторантуру МАИ. В 2000 году присвоено ученое звание доцента. В 2002 году защитил докторскую диссертацию
по специальности 05.01.01 «Инженерная геометрия и компьютерная графика». Руководит магистерской программой «Компьютерная графика и моделирование живых и технических систем». Область научных интересов: вычислительная математика, компьютерная графика, обработка изображений, геометрическое моделирование, ГИС, компьютерное зрение. E-mail: [email protected] .
ГРНТИ: 20.23.27
Поступила в редакцию б декабря 2018 г. Окончательный вариант - 5 марта 2019 г.
Complex analysis and monitoring of the environment based
on Earth sensing data
L.I. Lebedev1, Yu.V. Yasakov1, T.Sh. Utesheva1, V.P. Gromov1, A.V. Borusjak1, V.E. Turlapov1 1N.I. Lobachevsky National Research State University, 903950, Gagarin Avenue 23, Russia, N.Novgorod
Abstract
We study a problem of complex analysis and monitoring of the environment based on Earth Sensing Data, with the emphasis on the use of hyperspectral images (HSI), and propose a solution based on developing algorithmic procedures for HSI processing and storage. HSI is considered as a two-dimensional field of pixel signatures. Methods are proposed for evaluating the similarity of a HSI pixel signature with a reference signature, via simple alignment transformations: identical; amplitude scaling; shift along y-axis; and a combination of the last two. A clustering / recognition method with self-learning is proposed, which determines values of the transformation parameters that ensure the alignment of the current pixel signature with the reference signature. Similarity with the reference is determined by a standard deviation value. A HSI compression method with controlled losses has been proposed. The method forms a basis via accumulating reference signatures and represents the rest of the signatures by parameters matching them with the already detected class-reference signature. In an experiment with the GSI f100520t01p00-12 data of the AVIRIS spectrometer, the method provided a 2 % loss and compression coefficients of the original HSI ranging from 43 to 165 for various types of alignment transformation, while not requiring archiving and thus maintaining active access to the HSI and using the list of references as an analogue of the HSI palette. An algorithm for the formation of dense groups of detectable objects (for example, oil spots) and their nonconvex contouring, controlled by 4 parameters, is proposed.
A pilot version of the concept of geographic information system (GIS) and an appropriate database management system (DBMS) was built and implemented, which provides monitoring and is based on the prioritized processing and storage of the HSI, which serve as a data source for the system. A laboratory complex with new algorithms for processing and storing the GSE is introduced into the structure of the system.
Keywords: hyperspectral images, image processing, self-learning recognition, lossy compression, compression without archiving, non-convex contouring, digital maps, DBMS, environmental monitoring.
Citation: Lebedev LI, Yasakov YuV, Utesheva TSh, Gromov VP, Borusjak AV, Turlapov VE. Complex analysis and monitoring of the environment based on Earth sensing data. Computer Optics 2019; 43(2): 282-295. DOI: 10.18287/2412-6179-2019-43-2-282-295.
Acknowledgements: This work was supported by the Russian Science Foundation (Project No. 16-11-00068).
References
[1] Vorobiova NS, Sergeyev VV, Chernov AV. Information technology of early crop identification by using satellite images [In Russian]. Computer Optics 2016; 40(6): 929938. DOI: 10.18287/2412-6179-2016-40-6-929-938.
[2] Zhukov DV. Technique of thematic processing of hyper-spectral data to assess the ecological status of water ports [In Russian]. Earth exploration from space 2014; 1: 66-71. DOI: 10.7868/S0205961414010084.
[3] Grigorieva OV, Zhukov DV, Markov AV, Saidov AG. Method for evaluating level of water area pollution by hyper-spectral space sounding [In Russian]. Pat RF of Invent N 2616716 of May, 2017, Russian Bull of Inventions N11, 2017.
[4] Aerial surveillance of marine oil spills. Methodological guide for personnel involved in incident control and emer-
gency response: Report IOGP N518 [in Russian]. Source: (http : //www.oilspillresponseproj ect. org/wp-content/ up-loads/2017/04/Aerial-Observation_Russian_V2.pdf).
[5] Guryanova AO, Ramenskaya EV, Mandra AG, Ermakov VV. Obtaining reference spectral signatures for hyperspectral imaging [in Russian]. Ecology and Industry of Russia 2014; 10: 44-48. DOI: 10.18412/1816-0395-2014-10-44-47.
[6] Ramenskaya EV, Kuznetsov MP, Ermakov VV, Barkova OR, Bran AA. Hyperspectral image classification using cluster data structure [in Russian]. Current Problems in Remote Sensing of the Earth from Space 2017; 14(7): 919. DOI: 10.21046/2070-7401-2017-14-7-9-19.
[7] Myasnikov EV. Hyperspectral image segmentation using dimensionality reduction and classical segmentation approaches. Computer Optics 2017; 41(4): 564-572. DOI: 10.18287/2412-6179-2017-41-4-564-572.
[8] Sirota AA, Dryuchenko MA. Generalized image compression algorithms for arbitrarily-shaped fragments and their implementation using artificial neural networks. Computer Optics 2015; 39(5): 751-761. DOI: 10.18287/0134-24522015-39-5-751-761.
[9] Zamyatin AV, Sarinova AZh. An algorithm for compressing hyperspectral aerospace images with the account of inter-band correlation. Applied Informatics 2013; 5(47): 35-42.
[10] Kopenkov VN, Myasnikov VV. Development of an algorithm for automatic construction of a computational procedure of local image processing, based on the hierarchical regression. Computer Optics 2016; 40(5): 713-720. DOI: 10.18287/2412-6179-2016-40-5-713-720.
[11] Gashnikov MV. Interpolation based on context modeling for hierarchical compression of multidimensional signals [in Russian]. Computer Optics 2018; 42(3): 468-475. DOI: 10.18287/2412-6179-2018-42-3-468-475.
[12] Kukharev GA, Shchegoleva NL. Methods of two-dimensional projection of digital images into eigen-subspaces: peculiarities of implementation and application [In Russian]. Computer Optics 2018; 42(4): 637-656. DOI: 10.18287/2412-6159-2018-42-4-637-656.
[13] Lee C, Langrebe DA. Feature extraction based on decision boundaries. IEEE Transactions on Pattern Analysis and Machine Intelligence 1993: 4(15): 388-400. DOI: 10.1109/34.206958.
[14] Vasin YuG, Yasakov YuV. GIS Terra: A graphic database management system. Pattern Recognition and Image Analysis 2004; 14(4): 579-586.
[15] Vasin YuG, Yasakov YuV. Distributed database management system for integrated processing of spatial data in a GIS [In Russian]. Computer Optics 2016; 40(6): 919-928. DOI: 10.18287/2412-6179-2016-40-6-919-928.
[16] Pakhomov PA, Borusyak AV, Turlapov VE. Investigation of hyperspectral image pixel signatures by the empirical mode decomposition method. CEUR Workshop Proceedings 2018; 2210: 352-364.
[17] Lebedev LI, Shahlan AO. Spatial analysis of hyperspectral images [In Russian]. Proceedings of the 28th International Scientific Conference on Computer Graphics and Machine Vision 2018: 315-318.
[18] Lebedev LI. Recognition and classification of objects HSI [In Russian]. Proceedings of the V International Scientific Conference "Regional Problems of Remote Sensing of the Earth" 2018: 138-143.
Author's information
Leonid Ivanovich Lebedev (b. 1949), in 1971 graduated from Computational Mathematics and Cybernetics faculty of N.I. Lobachevsky Gorky State University, specialty "Mathematics, Computational Mathematics", works as a leading researcher at the Institute of Information Technology, Mathematics and Mechanics of Lobachevsky University. In 1995 he defended his thesis on the specialty 05.13.17 "Theoretical Foundations of Informatics" with assignment of the scientific degree of candidate of Physical and Mathematical Sciences. In 1999 he was awarded the academic title of senior researcher. Research interests: pattern recognition and graphic image analysis. E-mail: [email protected] .
Yurii Vasil'evich Yasakov (b. 1949) graduated from Computational Mathematics and Cybernetics faculty of N.I. Lobachevsky Gorky State University (short - Lobachevsky University) in 1971. Winner of the USSR Council of Ministers Prize. Senior Researcher at the Center for Informatics and Intellectual Information Technologies of the Institute of Information Technology, Mathematics, and Mechanics of N.I. Lobachevsky State University of Nizhny Novgorod. Scientific interests: system programming, database management systems, geoinformation systems, and digital cartography. E-mail: [email protected] .
Tamara Shatovna Utesheva, born in 1962, graduated from Energy department of Frunzensky Polytechnic Institute in 1984 with a Computer Program. Candidate of Technical Sciences, works as a leading researcher at the Institute of Information Technology, Mathematics and Mechanics of N.I. Lobachevsky University. Research interests: effective data processing methods, computational geometry, mathematical cartography.
Vladimir Petrovich Gromov, born in 1941, in 1968 graduated from Physics faculty of N.I. Lobachevsky Gorky State University, specialty "Physics", works as a leading programmer at N.I. Lobachevsky Nizhny Novgorod University. Research interests: pattern recognition, image processing, geoinformatics.
Alexander Vladimirovich Borusyak, born in 1989, in 2012 graduated from the magistracy of the N.I. Lobachevsky National Research Nizhny Novgorod State University, in the direction of "Information Technology". Works as a junior researcher at the Center for Informatics and Intellectual Information Technologies of the Institute ITMM of the N.I. Lobachevsky University. In 2018, he defended his thesis on the specialty 05.01.01 - "Engineering Geometry and Computer Graphics" with conferring the degree of Candidate of Technical Sciences.
Vadim Evgenievich Turlapov, born in 1949, in 1971 graduated from Radio Physics faculty of N.I. Lobachevsky Gorky State University, specialty "Radiophysics", works as a professor at the N.I. Lobachevsky University. He graduated from graduate school and doctoral round of the MAI. In 2000 he was awarded the academic title of associate professor. In 2002 he defended his doctoral thesis in the specialty 05.01.01 "Engineering Geometry and Computer Graphics". Supervises the master's program "Computer Graphics and Modeling of Living and Technical Systems." Area of scientific interests: computational mathematics, computer graphics, image processing, geometric modeling, GIS, computer vision. E-mail: [email protected] .
Received Decemder 6, 2018. The final version - March 5, 2019.
