Оптимизация нейронной сети для решения обратной задачи лазерного зондирования Текст научной статьи по специальности «Компьютерные и информационные науки»

Литература

1. Кондратьев К.Я., Тимофеев Ю.М. Термическое зондирование атмосферы со спутников Л.: Гидрометеоиздат, 1970. 410 с.

2. Межерис Р. Лазерное дистанционное зондирование. М.: Мир, 1987. 550 с.

3. Матвеев М.Т. Курс общей метеорологии. Физика атмосферы. Л.: Гидрометеоиздат, 1976. 639 с.

4. Зуев В.В., Маричев В.Н., Смирнов С.В. Оптический мониторинг озоносферы на Сибирской лидарной станции // Изв. АН. Физика атмосферы и океана. 1999. Т. 35. № 5. С. 1-10.

5. Зуев В.Е., Зуев В.В. Дистанционное оптическое зондирование атмосферы. СПб.: Гид-рометеоиздат, 1992. 232 с.

Катаев Михаил Юрьевич

Д-р техн. наук, профессор кафедры автоматизированных систем управления ТУСУРа Телефон (домашний): (3822) 24 49 25 Эл. почта: kataev@mail.tomsknet.ru

Суханов Александр Яковлевич

Аспирант кафедры автоматизированных систем управления ТУСУРа Телефон (домашний): (3822) 41 35 12 Эл .почта: saysandr@mail.ru

Kataev M.Yu, Suhanov A.Ya.

The method of vertical structure definition of an atmospheric components.

The description of a method of vertical structure definition of an atmospheric components (ozone or aerosol scattering ratio) is presented in article. Vertical structure consist of a number of layers and their characteristics (centre, half-width and amplitude) and derived from a spatial — temporary series of measurements of any from atmospheric components. Given technique is checked up on definition of layers number at measurement of the stratospheric scattering ratio profiles.

УДК 551.576

М.Ю. Катаев, А.Я. Суханов

Оптимизация нейронной сети

для решения обратной задачи лазерного зондирования

В работе выполнена оптимизация нейронной сети с целью достижения наилучшей точности восстановления профиля концентрации озона по лидарным данным. Для этого рассматриваются различные подходы к формированию нейронной сети, а именно, выбор числа слоев типа активационной функции, типа нейрона, объема обучающей выборки и числа связей. Из анализа результатов численного моделирования выбрана оптимальная конструкция нейронной сети, позволяющая восстанавливать профиль концентрации озона с наименьшей погрешностью.

Введение

В работе [1] нами был предложен и апробирован подход на основе нейронных сетей к решению обратной задачи восстановления профиля концентрации озона по лидарным данным. Полученные результаты показали принципиальную возможность применения метода нейронных сетей при решении обратной задачи, однако, точность восстановления при выбранной в [1] конструкции нейронной сети в среднем достигала 10% при малом уровне шума во входных данных (1%). Этот результат не позволяет применить данный подход на практике ввиду большой погрешности восстановления. Для того, чтобы метод можно было применять на практике, необходимо определить его оптимальную конструкцию, при которой уровень погрешности восстановления был бы минимальным.

Конструкция нейронной сети позволяет варьировать следующие компоненты: число слоев, тип активационной функции, тип нейрона, объем обучающей выборки и число связей.

Нами проведен анализ существующих подходов, заложенных в известных программных продуктах. Были рассмотрены следующие программные продукты: NeuroOffice, Neural Bench, NeuroIterator, NeuroWizard. Данные программы позволяют создавать сети типа многослойный персептрон, и в целом характеризуются различными возможностями по выбору активационных функций нейронов и алгоритмов обучения. В качестве алгоритмов обучения, в основном, используются градиентные методы, но данные программные продукты не подходят для решения нашей задачи, связанной с дифференцированием эмпирических данных. Сложность применения уже готовых программных продуктов связана либо с ограниченным числом нейронов в сети, либо не позволяют вести просмотр промежуточных результатов и другие моменты. Потому нами предпринята попытка разработать собственную программу, которая позволила бы создавать и проводить анализ работы различных конструкций нейронной сети.

Моделирование

Было решено осуществить моделирование профиля концентрации озона на основе гауссовых функций:

p(h) = A exp

( (h - H)2 Л

\

+1, (1)

где А, Н и ст — максимум, центр и полуширина озонного слоя. Это позволит наиболее наглядно и просто проинтерпретировать качество работы сети и полученные при обучении весовые коэффициенты.

Параметры максимума, центра и полуширины были взяты в определенных интервалах, в пределах которых моделировалась обучающая выборка. В качестве интервалов были взяты А е [160,240], Н е [16,36], ст е [10,36].

Каждый из моделируемых профилей состоял из 70 точек, по высоте от 0 до 40 км.

ст

Обучение сети

Существуют различные способы обучения сети. От выбранного алгоритма зависит скорость обучения, точность обучения и возможность того, что сеть вообще будет обучена. Были проведены исследования различных алгоритмов: стохастического, генетического и обратного распространения ошибки. Относительно наиболее быстрым и эффективным оказался метод обратного распространения ошибки, но при этом возникают определенные сложности. Результат работы алгоритма существенно зависит от выбора начальных весовых коэффициентов. При обучении однослойной сети это играет малую роль, но при обучении сетей с большим количеством слоев есть вероятность, что сеть не обучится в принципе.

При обучении сетей с двумя и с большим количеством слоев, для сети с сигмовидной, положительной функцией активации, необходимо брать начальные коэффициенты случайным образом. При этом должны присутствовать с равновероятной возможностью как отрицательные, так и положительные значения коэффициентов. Чем большее число слоев в сети, тем с большей дисперсией необходимо брать случайные значения. Дисперсию таких значений можно подобрать лишь при начальной проверке сходимости алгоритма, но это занимает много времени и не очень удобно. Для сетей с числом слоев больше трех подобрать дисперсию проблематично.

Был предложен другой вариант задания начальных значений весовых коэффициентов. С нулевыми начальными коэффициентами создавалась и обучалась однослойная нейронная сеть до максимальной степени точности. Затем создавалась двухслойная нейронная сеть, первый слой коэффициентов которой был взят из обученной однослойной сети, второй слой коэффициентов присваивался нулю. Обучалась двухслойная нейронная сеть, и ее коэффициенты использовались при обучении трехслойной нейронной сети и так далее для сетей с большим числом слоев. Стало возможным обучить четырехслойную нейронную сеть, что раньше не удавалось, т.к. градиентный алгоритм поиска минимума не сходился при начальных весовых коэффициентах, заданных каким-либо другим образом (случай-

ным, с различной дисперсией, установкой коэффициентов равным одному определенному значению).

Выбор типа активационной функции

Было проверено несколько функций активации нейронов для двухслойной нейронной сети вида

1) №) = ехр

( ^ 2

V /

; 2) №) =

1

1 + ехр(-£)

; 3) 1 (§) =

вт(£) +1 .

- 9

2

4) т = ^^^; 5) т = ^^^ + 2.

2 я 2

Графики ошибок восстановления при обучении двухслойной нейронной сети при различных видах функции активации (1-5) представлены на рис. 1.

40-

Э о

с; <и

о о

30 25 20 15 10 5 0

30

высота, км

40

50

Рис. 1. Средняя относительная ошибка при использовании в нейронной сети различных функций активации

Для сети, состоящей из нейронов с сигмовидной активационной функцией, сеть обучается с ошибкой, достигающей 12-14% , при других активационных функциях ошибка достигает 15-30% . Таким образом, наиболее приемлемой, на наш взгляд, является сигмовидная актива-ционная функция.

Изменение числа слоев

Было проведено обучение однослойной, двухслойной и трехслойной нейронных сетей для примеров, включающих гауссовы функции во всей области определения параметров с шагом 1. В качестве активационной функции нейронов была взята сигмовидная функция как функция, при которой сеть обучается с наибольшей точностью. Примеры сетей приведены на рис. 2.

На рис. 3 представлена средняя относительная ошибка работы сети по всей обучающей выборке. Как видно из графиков, однослойная сеть в принципе не может с достаточно большой точностью квалифицировать подаваемые на ее вход образы. Трехслойная сеть обладает, по сравнению с однослойной сетью, большими преимуществами по точности, средняя ошибка составляет в среднем 2-3%.

90-,

0 10 20 30 40 50

высота, км

Рис. 3. Относительные ошибки работы сетей с различным количеством слоев

Параметры выборки

Правильный подбор обучающей выборки во многом определяет точность работы нейронной сети, но именно выборка и класс решаемых нейронной сетью задач влияет на выбор типа нейронной сети и ее параметров.

Была проведена оценка нескольких видов выборок в заданном общем интервале и оценка способов ее преобразования для возможности обработки сетью.

Первая возможность заключалась в том, что выходные и входные образы преобразовывались к интервалу от 0 до 1 путем деления на максимально возможное значение во всех профилях концентрации и во всех профилях толщи. Для нашей выборки это значение равно 240 для концентрации и 1 для толщи, нужно учесть, что вне нашей выборки может встретиться большее значение концентрации, потому можно добавить еще 10 условных концентраций.

Вторая возможность заключается в том, что для каждого входного и выходного сигнала находятся его максимально и минимально возможные значения. Учитывая эти значения, выходная и входная выборки преобразуются таким образом, чтобы для каждого входа и выхода нейронной сети все сигналы были равномерно распределены в интервале от 0 до 1. При этом минимально возможное значение входа или выхода соответствовало 0, а максимально возможное 1. Преобразование осуществляется по следующей формуле:

где г (к) — преобразованный профиль концентрации либо толщи; р(к) — преобразуемый профиль; тт(к) — минимально возможное значение толщи либо концентрации на высоте к; тах(к) — максимально возможное значение толщи либо концентрации. Восстановление исходного сигнала производится по формуле

При обучении трехслойной сети с нейронами на основе сигмовидной активационной функции по выборкам, сформированным тремя способами, получены следующие ошибки обучения сети (рис. 4). Первый способ заключался в том, что профили толщи и концентрации преобразовывались путем деления на общий максимум; второй способ осуществлялся путем преобразования по формуле (2) как профилей толщи, так и концентрации; третий способ использовал преобразование по формуле (2) только профилей толщи; четвертый способ использовал преобразование по формуле (2) только профилей концентрации.

г (к)

р(к) - тт(к)

(2)

тах(к) - тт(к) '

р(к) = г(к) • (тах(к) - тт(к)) + тт(к).

(3)

18—1

16-

первый способ второй третий четвертый

0-

0

10

20

30

40

высота, км

Рис. 4. Средние ошибки при обучении сети на выборках, сформированных двумя различными способами

Таким образом, при преобразовании входных и выходных данных по формуле (2) сеть дает наименьшую ошибку. По графику можно сказать, что наибольший эффект по снижению ошибки достигается при преобразовании входных данных.

Дальнейшие исследования были основаны на изучении различных выборок, в которых различным способом меняются основные параметры гауссовой функции.

Для первого случая была создана выборка с широким диапазоном амплитуд, остальные параметры были взяты в узком диапазоне, для второго случая создана выборка с широким диапазоном изменения центра максимума, для третьего случая — с широким диапазоном изменения полуширины, для четвертого — с широким диапазоном изменения полуширины и амплитуды (рис. 5).

Были взяты следующие диапазоны для соответствующих случаев:

1) амплитуда А е [160..240] с шагом 0,5, центр Н е [14..16] с шагом 0,5, полуширина сте [12..18] с шагом 0,5; 2) амплитуда А е [180..220] с шагом 1, центр Н е [10..20] с шагом 0,5, полуширина сте [12..18] с шагом 0,5; 3) амплитуда А е [180..220] с шагом 1, центр Не [14..16] с шагом 0,2, полуширина ст е [12..32] с шагом 0,5; 4) амплитуда Ае [160..240] с шагом 1, центр Не [14..16] с шагом 0,25, полуширина ст е [12..32] с шагом 0,5.

Н-1-1-1-1-1-1-1-1-1-1

0 10 20 30 40

высота, км

Рис. 5. Относительные ошибки трехслойной нейронной сети при обучении различным вариантам выборок

Таким образом, максимальная ошибка возникает из-за сдвига центра гауссовой функции.

При исследовании сетей с различным числом слоев для выборки с максимально широким диапазоном параметров А е [160..240], Н е [10..20], сте [12..32] получены следующие ошибки работы сети (рис. 6).

Таким образом, из проведенных экспериментов следует, что чем меньше дисперсия входных и выходных данных в обучаемой выборке, тем точнее сеть восстанавливает профили концентрации. Любые подаваемые входные данные тоже должны изменяться с той же дисперсией, что и данные, представленные в обучающей выборке.

Возникает идея создания нескольких нейронных сетей, каждая из которых обрабатывала бы данные, предназначенные именно этой нейронной сети. Каждая группа данных обладала бы малой дисперсией в своей группе, но при этом между собой группы различались по определенным признакам, например, по удаленности друг от друга. В качестве такого признака может использоваться евклидово расстояние между входными векторами.

Механизм обработки входных сигналов начинается с того, что входной вектор поступает на классифицирующую сеть, которая указывает, каким из многослойных персептронов будет обрабатываться тот или иной вектор (рис. 7), затем входной вектор подается на выбранную многослойную сеть.

Разбиение на классы проводится следующим образом: для каждой высоты находятся максимально и минимально возможные значения концентрации. Затем промежуток от минимума до максимума для каждой высоты разбивается на равные интервалы по числу классов (числу МП). Для каждого интервала строится вектор класса, т.е. для первого класса все точки вектора равны центру первого интервала, для второго класса — центру второго интервала и т. д. Для проверки, к какому из классов принадлежит данный вектор, необходимо найти сумму разностей входного вектора и векторов класса. Вектор класса, для которого сумма минимальна, и определяет класс входного вектора.

го ^

ю ^

3 о

\ \ \

./. \\

I / /

/ •/' А

А

I \ I \ I \ I \ I » I \

' Л 4

I ~ *

// Ч \

ч

\\

V

/ //

— — 3 слоя

----4 слоя

---5 слоев

\

10

20

высота, км

30

40

Рис. 6. Относительные ошибки при обучении сетей с различным числом слоев

4

3

2

0

0

Рис. 7. Схема работы нейронной сети с разделением обработки (МП — многослойный персептрон)

Разбиение по классам позволяет значительно уменьшить ошибку выходных данных при большой дисперсии входных данных сети, а также разделять входные данные по различным параметрам, сезону зондирования, географическому положению, погодным условиям и т.д.

Заключение

В результате проделанной работы получена оптимальная конструкция для решения поставленной задачи - дифференцирования лидарных данных с целью восстановления профиля концентрации озона. Предложены подходы, позволяющие продолжить дальнейшее совершенствование конструкции нейронной сети. Все полученные результаты основаны на анализе большого количества численных экспериментов с различного рода конструкциями нейронных сетей. Для этих целей разработано соответствующее программное обеспечение.

Развитие полученных в данной работе идей связано с применением разработанной конструкции нейронных сетей на практике, обработкой реальных лидарных данных.

Литература

1. М.Ю. Катаев, А.Я. Суханов. Возможности метода нейронных сетей для восстановления профиля концентрации озона из лидарных данных / / Оптика атмосферы и океана. 2003. Т. 16. № 12. С. 1115-1119.

2. Комарцова Л.Г. Нейрокомпьютеры: Учеб. пособие для вузов / Л.Г. Комарцова, А.В. Максимов. М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. 320 с.

3. V. David, A. Sanchez. On the design a class of neutral networks // Journal of Network and Computer Applications (1996) 19, 111-118.

Катаев Михаил Юрьевич

Д-р техн. наук, профессор кафедры автоматизированных систем управления ТУСУРа Телефон (домашний): (3822) 24 49 25 Эл. почта: kataev@mail.tomsknet.ru

Суханов Александр Яковлевич

Аспирант кафедры автоматизированных систем управления ТУСУРа Телефон (домашний): (3822) 41 35 12 Эл .почта: saysandr@mail.ru

Kataev M. Yu., Sukhanov A. Ya.

Neural network optimization for solving an inverse task of laser sounding

Neural network optimization is perform in this work with the purpose of the best retrieving accuracy of an ozone profile concentration from lidar data. The various approaches to formation neural network, namely, choice of layers number, type of activation function, kind of neuron, volume of training samples and connections number are considered. The optimum design of neural network allowing to retrieving of an ozone concentration profile with the least error is chosen from the analysis of results of numerical modeling.

УДК 681.3:62-52

А.М. Кориков, М.А. Сонькин, А.А. Поздняков

Проблемы создания распределенных информационно-телекоммуникационных систем для задач мониторинга и управления

Рассматриваются проблемы создания территориально-распределенных информационно-управляющих телекоммуникационных систем (РИУТС) для задач мониторинга и управления. Выделены четыре группы проблем создания РИУТС и рассмотрены возможные подходы к их решению.

Введение

Развитие вычислительной техники, средств связи и информационных технологий обеспечивает возможность интеграции систем мониторинга и управления разного уровня и, в частности, создание распределенных информационно-телекоммуникационных систем для решения задач мониторинга и управления на больших территориях. Подобные системы создаются в интересах современных трансконтинентальных и транснациональных компаний, государственных лесных служб, гидрометеослужб, пограничных служб, военных комиссариатов, региональных авиабаз охраны лесов, структур МВД, МЧС и т.п. Проблемы создания больших территориально-распределенных информационно-управляющих телекоммуникаци-