CC BY
29
Применение генетического алгоритма
для автоматизации построения и обучения нейросетевых методов обнаружения очагов лесных пожаров по данным дистанционного зондирования земли
Одним из важнейших свойств искусственных нейронных сетей (НС) является их способность к обучению. Это свойство может быть использовано и для обучения НС обнаружению очагов лесных пожаров по спектрофотометриче-ским данным дистанционного зондирования Земли (ДЗЗ).
Под обучением НС понимается целенаправленный процесс адаптации сети к предъявляемым эталонным образцам (шаблонам) путем модификации параметров сети w в соответствии с заданным алгоритмом, итеративно повторяемым до тех пор, пока сеть не приобретет необходимых для решения практических задач свойств. Найденная в процессе обучения функция, является уникальным результатом работы самой НС, а не предварительно заложенного в нее человеком знания [1].
Для обучения НС ей последовательно предъявляются данные из обучающего набора шаблонов 0=(х, Ф)ф д=1, 2, ..., Q, где Q - число обучающих примеров (объём выборки). Каждый шаблон (х, Ф)д включает в себя вектор известных (эталонных) входных сигналов сети хч=(х1, х2,..., хп\ и соответствующий ему вектор выходных сигналов ФЧ=(Ф1, Ф2,..., Фт)д, определяющих принадлежность эталона к определенному классу, где п и т - число входных и выходных нейронов сети соответственно.
В процессе обучения, под воздействием каждой реализации выборки 0, НС изменяет настраиваемые параметры w до тех пор, пока значение функции ошибки Е не достигнет минимума или не стабилизируется вблизи него [2].
Математически задача обучения заключается в нахождении таких значений параметров сети w (при фиксированной её структуре), при которых минимизируется ошибка Е между реакцией сети уц= (у1г у2, ..., ут)я и требуемым откликом Ф=(Ф1, Ф2,..., Фт)д для всех примеров обучающей выборки. Для определения значения ошибки выхода сети обычно используется выражение
Благодаря обучению сеть приобретает способность правильно реагировать не только на эталонные шаблоны, предъявленные в процессе тренировки, но и на другие наборы данных, которые она ранее не «видела». В этом смысле НС обладает свойством обобщения.
Для решения задач обучения НС применяются различные методы оптимизации, однако из множества разработанных в этой области методов [1, 2],
1 1 1 ^ ^
ВУНЦ ВВС «ВВА», г. Воронеж
Андреев С. Н., Купцов А. В., Шорохов А. А.,
(1)
наибольший интерес для решения задачи обучения НС обнаружению очагов лесных пожаров по данным ДЗЗ представляют генетические алгоритмы (ГА), как наиболее универсальные [3].
ГА представляет собой параллельный асинхронный оптимизационный алгоритм, являющийся, с математической точки зрения, разновидностью известных методов оптимизации - переборного и метода градиентного спуска, в котором поиск решения осуществляется одновременно с использованием целой популяции «особей» или «хромосом» - единичных закодированных решений задачи [3].
Поскольку обучение НС - это оптимизационный процесс, то ГА может быть использован и для обучения НС. Однако при этом возникает вопрос о представлении информации в ГА.
Формально запись ГА представляется в виде кортежа [4]:
ГА = (Б1, L, K, t, s, c, m, i, P , P, P, s, fit{, Fit1), (2)
где Б = {C[, C{,..., C{,..., C'K } - текущая популяция генотипов; t - номер текущей
эпохи; K - размер популяции; C'k = {GI,G'2,...,G'n}, к=1, 2, ..., K - одно из возможных решений задачи, представленное в виде хромосомы, кодирующей n переменных; L - длина хромосомы; s - оператор селекции; c - оператор скрещивания; m - оператор мутации; i - оператор инверсии; Ps - вероятность селекции; Pc - вероятность скрещивания; Pm - вероятность мутации; Pi - вероятность инверсии; s - критерий остановки эволюции (алгоритма); fit[ = f (C2k), к=\, 2, ..., K - приспособленность каждой особи (степень обученности каждой
K
НС) в популяции текущей эпохи t; Fit* = F ( б1 ) = ^ f (C[) - приспособленность
k=1
(степень обученности) всей популяции текущей эпохи t.
Репродукция популяции в ГА состоит из четырех основных генетических операторов: селекции, скрещивания, мутации и инверсии [2].
Чтобы придать нейрону в процессе обучения большую гибкость в отношении формирования его внутренней архитектуры и внешних связей, в структуру модели модифицированного формального нейрона (МФН) была введена «хромосома» C , которая в свернутом виде содержит полную информацию как о самом нейроне, так и о связанной с ним части сети:
r JGLGL GRL DR (3)
C =1 g,' G2-" G, } = d, • u
где d = {G, G,. ., Gn} - последовательность генов, определяющая значения полного набора n параметров МФН (генотип нейрона); DR = {GR,GR,...,GR}-последовательность генов, определяющая свойства, порядок кодирования и принадлежность каждого соответствующего гена из последовательности D множеству подлежащих настройке (оптимизации) переменных параметров нейрона r, = {g,, G2,..., Gm }, m<n.
Тогда процесс обмена генетической информацией между МФН и реализу-
ющим обучение ГА представляется как Св з Д ^ К = СГА, где Д 3 К,
^ 1 н ^ ГА ■■
Г
н
К = ¥(Д | Д), т.е. из набора п параметров МФН д , содержащихся в хромосоме С (3), выделяется т генов, содержащих переменные параметры К, которые перекодируются в хромосому СГА согласно правилу ^, определенному в Д, и в соответствии с кодом, используемым конкретным ГА. При этом длина хромосомы С , передаваемой в ГА для оптимизации, определяется длиной последовательности К , т.е. ЬГА = . После применения к СГА генетических операторов осуществляется декодирование информации из хромосомы потомка С'ГА в хромосому нейрона Сн в обратной последовательности.
В общем случае изменяться могут все параметры МФН кроме его типа и собственного адреса А (положения в сети). С учетом вышеизложенного, выходной сигнал МФН с адресом А в слое I нейросети предлагается определять по формуле:
Г А \
уА = Г А (хАО-У) о,
ФА
г=1
Г А \
А А () С н
1=1
(1)
V '=1 У V '=1 У
где Сн - хромосома МФН с адресом А , определяемая последовательностью (3);
А1 = А(г, у',1) - адрес данного нейрона в слое I; Ас1 = А(г,- адрес любого
нейрона из слоя й лежащего ниже слоя I (в общем случае й < I, однако, поскольку рассматриваемая НС является сетью прямого распространения сигнала и реализуется на ЭВМ последовательной архитектуры, то для й=1 должно соблюдаться условие 1а < г1, Jd < /); г = 0,...,I1 -1, г = 0,...,^ -1 - координаты нейронов сети (или точек изображения (образа), формируемого выходами нейронов этого слоя) в плоскости слоя I; I1, Jl - соответственно число строк и столбцов в матрице плоскости слоя I нейронов сети (или точек изображения); 1=1, 2, ..., Ь - номер слоя сети (или «степень абстрактности» изображения, формируемого на вы-
N Ad
ходах нейронов этого слоя); = у - значение входного сигнала, поступившего
на синапс с локальным адресом а с выхода нейрона одного из нижележащих слоев й, имеющего глобальный адрес Ас1; ^ - синаптическая функция /-го синапса с локальным адресом а; пА - общее число синапсов нейрона с адресом А;
/А - функции активации нейрона с глобальным адресом А. Обучение МФН происходит следующим образом (рис.).
1. Задаются параметры ГА (2) {К, Р, Рт, Р, £, .
2. На вход МФН подается вектор х из набора обучающих шаблонов 0.
3. По формуле (4), в соответствии с заданными в хромосоме Сн (3) параметрами, определяется реакция нейрона у.
4. Вычисляется ошибка рассогласования выхода Е(01 Сн) (1).
5. По значению ошибки рассогласования, через набор переменных параметров нейрона R (Ся R СГА), ГА (2) осуществляет модификацию структуры и функций МФН таким образом, чтобы минимизировать ошибку на его выходе E(01С) ^ min , при этом приспособленность каждой k-ой особи (k-ой реализации МФН) в текущей популяции эпохи t (на каждой итерации ГА) определяется как fit{ = f (Ск) = E(ß\C{).
6. После окончания обучения из популяции (из K реализаций МФН) выбирается наиболее приспособленная особь (реализация МФН у которого fitk = E(0 \ С) = min), а хромосома Ск фиксируется и сохраняется как Сн.
При необходимости использования обученного МФН в расчетах, развертывание его структуры осуществляется из сохраненной хромосомы Сн.
Таким образом, предложенный подход интеграции элементов ГА в структуру нейронов позволяет перейти к автоматизированному построению, в процессе обучения с использованием ГА, нейросетей, предназначенных для решения широкого круга задач, в том числе и задач обнаружения очагов лесных пожаров по данным ДЗЗ.
Рис. Схема обучения МФН с использованием ГА
Схема обучения НС состоящей из МФН и моделирующей систему восприятия и обработки информации, аналогична схеме обучения отдельного МФН. Различие заключается лишь в длине хромосомы СГА, кодирующей переменные признаки структуры НС.
Роль системы управления в этой модели выполняет ГА, который в процессе обучения через аппарат генетической памяти осуществляет управляющее воздействие на формирование структуры и функции систем восприятия, анализа и распознавания входного сигнала и агрегирования вывода.
Однако с ростом сложности решаемой задачи возрастает и сложность архитектуры НС, а вместе с тем затраты временных и вычислительных ресурсов
на её обучение. В то же время ГА, также как и НС, допускает декомпозицию на структурные компоненты, что может быть использовано для ускорения обучения нейросетевых структур большого объема и сложности за счет распараллеливания вычислительного процесса в локальной вычислительной сети.
Таким образом, найден новый подход к решению проблемы обучения НС с использованием ГА, который позволяет подойти к решению задачи обнаружения очагов лесных пожаров по спектрофотометрическим данным ДЗЗ на новом методическом уровне.
Библиографический список
1. Горбань, А. Н. Обучение нейронных сетей / А. Н. Горбань - М.: СП «ПараГраф», 1990. -159 с.
2. Оссовский, С. Нейронные сети для обработки информации / С. Оссов-ский; пер. с польск. И. Д. Рудинского. - М.: Финансы и статистика, 2004. - 344 с.
3. Скурихин, А. Н. Генетические алгоритмы / А. Н. Скурихин // Новости искусственного интеллекта, - 1995, - № 4, - С. 6-46.
4. Вороновский, Г. К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Г. К. Вороновский и др. -Харьков: ОСНОВА, 1997.
5. Андреев, С. Н. Построение нейросетевой системы прогнозирования термогидродинамических процессов (явлений) в атмосфере. / С. Н. Андреев // Нейрокомпьютеры: разработка, применение. - 2007. - № 9. - С. 293-315.
