CC BY
133
УДК 004.852, 004.855.5
МЕТОДЫ И АЛГОРИТМЫ ФИЛЬТРАЦИИ РАЗНОРОДНЫХ ПОМЕХ С ПРИМЕНЕНИЕМ СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ЗАДАЧАХ ОБРАБОТКИ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ
Н.В. Акинина, М.В. Акинин, А.В. Соколова, А.Н. Колесенков, М.Б. Никифоров
Рассмотрен анализ главных компонент и независимых компонент как способы выполнения предварительной обработки изображений с целью снижения размерности классифицируемого пространства и, следовательно, снижения временных и ресурсных затрат на проведение предварительной обработки. Обосновано применение автоэн-кодера для решения задач классификации образов. Приведены результаты экспериментов, доказывающие целесообразность применения означенных методов для решения поставленных задач.
Ключевые слова: нейронная сеть, анализ главных компонент, анализ независимых компонент, автоэнкодер, дивергенция Кулбека - Лейблера.
На современной стадии развития общества, предполагающей интенсивное и часто неразумное природопользование с применением разнообразных технологических средств, оказывающих отрицательный экологический эффект на окружающую среду, на первый план выходит задача рационального природопользования, предполагающая повышение эффективности использования природных ресурсов с одновременным снижением пагубного влияния, оказываемого человечеством на окружающую среду
[1]. Одной из составляющих решения означенной задачи является мониторинг природных ресурсов посредством анализа данных дистанционного зондирования Земли (ДЗЗ), полученных от космических аппаратов (КА)
[2]. Наконец, одним из способов анализа данных ДЗЗ является автоматизированное построение электронных карт посредством которых в дальнейшем решаются прочие прикладные задачи обеспечения рационального природопользования и улучшения экологической обстановки на конкретной местности [3].
Анализ независимых компонент
Анализ независимых компонент (англ. independent component analysis, ICA) впервые был предложен в 1986 году в штате Юта (США) на конференции, посвященной исследованию нейронных сетей, как модель, способная разделить смесь независимых сигналов на основе информации о реализации вектора наблюдений. ICA можно рассматривать как расширение анализа главных компонент (англ. principal component analysis, PCA).
Данный метод, в отличие от PCA, требует статистической независимости отдельных компонентов выходного вектора Y и не связан с требованием ортогональности. Модель, используемая в анализе независимых компонент, может принимать вид (1)
Y = H • X, (1)
где X - n-мерный случайный вектор с независимыми компонентами, Y - m-мерный случайный вектор, H - некоторое обратимое неизвестное преобразование. Задача ICA формулируется как задача поиска такой проекции вектора Y на линейное пространство векторов X, компоненты которой были бы статистически независимы. При этом для анализа доступна только некоторая статистическая выборка значений случайного вектора Y
[4].
Для упрощения проведения анализа независимых компонент принимается ряд ограничений:
выходные сигналы статистически независимы, т. е. значение одного из них никак не влияет на вероятность значений других;
независимые компоненты имеют не гауссово распределение либо допустимо, что только одна из компонент распределена нормально;
обратимость и квадратичность матрицы совмещения, т. е. число независимых компонент совпадает с числом наблюдаемых смешенных сигналов.
Традиционные методы линейного ICA строятся по вариационному принципу:
X = arg minu max(Q(A • Y)), (2)
где А - матрица m * n; Q - функционал модели, имеющей смысл критерия независимости компонентов.
Для нелинейной ICA задача является неопределенной, так как часто неясен вид отображения H в формуле (1). Возможным решением проблемы ICA в таком случае является явное определение преобразования независимости компонент.
В качестве критерия статистической независимости можно выбрать взаимную информацию I(Yj;Yi) между случайными переменными Y и Yj,
которые являются компонентами выходного вектора Y. В идеальном случае эта информация равна нулю, следовательно, соответствующие компоненты Yi и Yj являются статистически независимыми. Такой эффект достигается при минимизации взаимной информации между всеми парами случайных переменных, составляющих вектор Y. Эта цель эквивалентна минимизации дивергенции Кулбека - Лейблера (3) между функцией плотности вероятности fy(y,W), параметризованной по W, и соответствующим
факториальным распределением:
fy(y,W) = П fyi(yi,W),
(3)
i=1
где fY(y,W)— граничная функция плотности вероятности Выражение (3) можно рассматривать как одно из ограничений, налагаемых на алгоритм обучения нейронной сети.
Минимизация дивергенции Кулбека-Лейблера применяется как один из алгоритмов для поиска приращения весовых коэффициентов для реализации однонаправленных нейронных сетей.
Альтернативой использованию алгоритма поиска приращения весовых коэффициентов, основанному на минимизации дивергенции Кулбека-Лейблера, может послужить алгоритм, основанный на естественном градиенте [4]. Преимуществами этого алгоритма являются: простота реализации;
процесс разделения компонент не зависит от соотношения амплитуд входных сигналов.
Для расчета приращения весовых коэффициентов используется формула
dW
dt
n(t)(1 - f(y(t))gT(y(t))),
(4)
где n(t) - функция, характеризующая скорость обучения однонаправленной нейронной сети. Данная функция всегда неотрицательна и ее значение стремится к нулю по мере обучения сети.
Функции f(x) и g(x) могут принимать различный вид, но они никогда не должны быть одинаковы. Чаще всего используемые функции подбираются таким образом, что одна из них имеет вогнутую форму, а другая - выпуклую.
Анализ главных компонент. Анализ главных компонент (principal component analysis, PCA) - один из основных способов уменьшить размерность данных, потеряв минимальный объем информации. Иногда PCA называют преобразованием Карунена - Лоева или преобразованием Хотел-линга. PCA состоит в линейном ортогональном преобразовании входного вектора X размерности n в выходной вектор Y размерности p (рис. 1), где p < n - при этом компоненты вектора Y являются некоррелированными и общая дисперсия после преобразования остается неизменной. Совокупность входных последовательностей можно представить в виде матрицы
X =
x
ii
x
12
x
1n
x21 x22
x
2n
x
L1
x
L2
x
ln
x (xk1, xk2, ..., xkn ):
где х соответствует к-му входному образу; Ь - общее количество образов
[5].
х 1
х 7
'Нейронная
-к У У:
X
сеть
У
Рис. 1. Модель РСА-сети
Автоэнкодер. Автоэнкодер (автоассоциатор) - специальная архитектура нейронных сетей, позволяющая применять обучение без учителя при использовании метода обратного распространения ошибки. Простейшая архитектура автоэнкодера приведена на рис. 2 - сеть прямого распространения без обратных связей, наиболее схожая с перцептроном и содержащая входной слой, промежуточный слой и выходной слой [6].
Главная цель обучения автоэнкодера — добиться того, чтобы входной вектор признаков вызывал отклик сети, равный входному вектору. То есть задача функционирования автоэнкодера сводится к нахождению аппроксимации такой функции, чтобы отклик нейронной сети равнялся значению входных признаков с точностью до заданного значения ошибки.
Чтобы решение поставленной задачи было нетривиальным, топология нейронной сети должна удовлетворять одному из следующих условий: количество нейронов скрытого слоя должно быть меньше, чем размерность входных данных (как показано на рис. 2).
такое ограничение позволяет получить сжатие данных при передаче входного сигнала на выход сети. В таком виде функционирование автоэнкодера напоминает метод анализа главных компонент (РСА);
активация нейронов скрытого слоя должна быть разреженной. Данное требование позволяет получить нетривиальные результаты, даже когда количество нейронов скрытого слоя превышает размерность входных данных [7].
Автоэнкодер как способ понижения размерности пространства признаков может быть использован двумя способами:
используя архитектуру, представленную на рис. 2, можно отметить схожесть функционирования автоэнкодера с нейронной сетью, реализующей метод РСА. Подобный подход обладает следующими достоинствами: высокой точностью результатов; уменьшением количества используемых ресурсов; высоким уровнем параллелизма;
высокой производительностью;
архитектура, представленная на рис. 2, может быть усложнена посредством добавления еще одного внутреннего слоя (рис. 3).
[+1) Layer 1
Рис. 2. Архитектура автоэнкодера
Добавление дополнительного внутреннего слоя в структуру автоэнкодера позволит после проведения обучения разделить нейронную сети на две подсети. Таким образом, автоэнекодер разделяется на две подсети, одна из которых выполняет функции шифратора, а другая - функции дешифратора.
При подобном взгляде на архитектуру автоэнкодера классификация образов будет производиться между применениями шифратора и дешифратора, то есть классифицироваться будут не непосредственно наборы текстурных признаков, а их представления внутри автоэнкодера. После проведения процедуры дешифрации будут получаться наборы уже разделенных по классам образов [7].
Layer 4
Layer 1
Рис. 3. Автоэнкодер усложненной структуры
16
Подобная архитектура автоэнкодера усложняет строение непосредственно классификатора и увеличивает временные и ресурсные затраты, но позволяет более значительно уменьшить размерность классифицируемых векторов.
Выводы
Результаты проведенных экспериментов показывают: целесообразность применения анализа независимых компонент для фильтрации шумов типа «соль - перец» на одномерных и двухмерных дискретных сигналах (изображениях);
использование нейросетевых реализаций PCA позволяет достичь достаточного по точности результата при решении задач классификации данных ДЗЗ в ходе построения электронных карт местности;
использование нейросетевых реализаций PCA позволяет организовать оперативный (с минимальными задержками) процесс построения электронных карт местности;
нейросетевые реализации PCA хорошо поддаются распараллеливанию, что позволяет создавать эффективные с вычислительной точки зрения и недорогие с экономической точки зрения программно-аппаратные комплексы обработки данных ДЗЗ;
применение автоэнкодера в задачах распознавания образов для понижения размерности векторного пространства продемонстрировало высокую вычислительную эффективности и точность настройки, достаточную для применения данного метода на практике. Заключение
Предложенные алгоритмы могут быть использованы в задачах построения цифровых карт и виртуальной модели местности с помощью распознавания, а также для построения подробной двумерной и трехмерной карты и модели местности.
Работа выполнена за счет субсидии Фонда содействия развитию малых форм предприятий в научно-технической сфере.
Список литературы
1. Колесенков А.Н., Костров Б.В., Ручкин В.Н. Нейронные сети мониторинга чрезвычайных ситуаций по данным ДЗЗ // Известия Тульского государственного университета. Технические науки. Тула: Изд-во ТулГУ, 2014. Вып. 5. С. 220-225.
2. Колесенков А.Н., Николаев Н.А. Исследование алгоритма нейро-сетевого прогнозирования нелинейных временных рядов // Современное состояние и перспективы развития технических наук: сборник статей международной научно-практической конференции. Уфа: Аэтерна, 2015. С. 59 - 62.
3. Акинин М.В., Логинов А.А., Никифоров М.Б. Способы описания текстур в задачах построения топографических карт // Материалы XI Международной научно-технической конференции «АВИА — 2013» (т. 4). Киев: НАУ, 2013. С. 27.36 - 27.40.
4 Акинин М.В., Акинина Н.В., Никифоров М.Б. Нейросетевой способ фильтрации аддитивного шума на изображениях, основанный на применении анализа независимых компонент // Информационные и телекоммуникационные технологии. М.: Международная академия наук информации, информационных процессов и технологий, 2013. № 20. С. 62 - 65.
5. Акинина Н.В., Бычкова Н.А., Клочков А.Я. Нейросетевые методы анализа главных компонент в задачах обработки данных дистанционного зондирования Земли // Известия Юго-Западного государственного университета Курск: Юго-Западный государственный университет, 2013. № 6 (51). Ч. 2. С. 69 - 76.
6. Хайкин С. Нейронные сети: полный курс. 2-е изд., испр. / пер. с англ. М.: ООО «И. Д. Вильямс», 2006. 1104 с.
7. Autoencoder: approach to the reduction of the dimension of the vector space with controlled loss of information. / М.В. Акинин, Н.В. Акинина, М.Б. Никифоров, А.И. Таганов // 4th Mediterranean Conference on Embedded Computing (MEC0-2015). Montenegro, Budva, 2015. P. 171 - 173.
Акинина Наталья Викторовна, асп., natalya.akinina@,gmail. com, Россия, Рязань, Рязанский государственный радиотехнический университет,
Акинин Максим Викторович, канд. техн. наук, доц., akinin.m. v@gmail.com, Россия, Рязань, Рязанский государственный радиотехнический университет,
Соколова Александра Владимировна, магистрант, alexandra. sokolova00@mail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Колесенков Александр Николаевич, канд. техн. наук, доц., sk62@mail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Никифоров Михаил Борисович, канд. техн. наук, доц., nikiforov.m. b@evm.rsreu.ru, Россия, Рязань, Рязанский государственный радиотехнический университет
METHODS AND FILTERING ALGORITHMS DISSIMILAR INTERFERENCE WITH THE APPLICA TION OF ARTIFICIAL INTELLIGENCE IN THE TASKS
OF DA TA REMOTE SENSING
N.V. Akinina, M.V. Akinin, A.V. Sokolova, A.N. Kolesenkov, M.B. Nikiforov
The article discusses the principal component analysis and independent component analysis as a means of performing preprocessing of images to reduce the dimensionality of the space to be classified, and hence reduce time and resource costs of pretreatment. The application of autoencoder to solve the problems of classification of images. The results of experiments demonstrating the feasibility of the aforesaid methods for the task.
Key words: neural network, principal component analysis, independent component analysis, autoencoder, Kullback-Leibler divergence.
Akinina Natalia Victorovna, postgraduate, natalya. akinina agmail. com, Russia, Ryazan, Ryazan State Radio Engineering University,
Akinin Maxim Victorovich, candidate of technical sciences, docent, aki-nin. m. vagmail. com, Russia, Ryazan, Ryazan State Radio Engineering University,
Sokolova Aleksandra Vladimirovna, student, alexandra.sokolova((((amail.ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Kolesenkov Aleksandr Nikolaevich, candidate of technical sciences, docent, sk62@mail.ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Nikiforov Michael Borisovich, candidate of technical sciences, docent, nikifo-rov.m. h a evm.rsreu.ru, Russia, Ryazan, Ryazan State Radio Engineering University
УДК 621.391
ОБРАБОТКА РАДИОЛОКАЦИОННЫХ ДАННЫХ ПОЛЯРИМЕТРИЧЕСКИМИ МЕТОДАМИ
Н.С. Акиншин, А.В. Хомяков, В. Л. Румянцев
Предложен эффективный алгоритм, инвертирующий корреляционную матрицу мешающих отражений, используя ее особую структуру в ситуациях с одним источником отражения. Алгоритм является частью адаптивного процессора антенной решетки и предполагает инверсию корреляционной матрицы мешающих отражений для установки весовых коэффициентов в ортогональных каналах поляриметрической антенной решетки.
Ключевые слова: антенная решетка, адаптивная обработка, поляриметрические измерения, корреляционная матрица.
Известно, что адаптивная обработка массивов данных антенной решеткой открывает новые возможности в подавлении мешающих отражений и позволяет осуществить гибкий сценарий сканирования диаграммы направленности антенны [1, 2]. Дополнительные возможности достигают-
