CC BY
7УДК: 621.385.833
ПРИМЕНЕНИЕ ГЕНЕТИЧЕСКОГО АЛГОРИТМА ДЛЯ ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ В ЗАДАЧЕ ИДЕНТИФИКАЦИИ СТМ-
ИЗОБРАЖЕНИЙ
А.М. Липанов, А.В. Тюриков, А.С. Суворов, Е.Ю. Шелковников, П.В. Гуляев
В работе рассматривается применение генетического алгоритма для обучения нейронной сети в задаче идентификации СТМ-изображений. Он представляет собой алгоритм нахождения глобального экстремума многоэкстремальной функции, заключающийся в параллельной обработке множества альтернативных решений, при этом поиск концентрируется на наиболее перспективных из них. Показано, что применение генетического алгоритма на этапе обучения нейронной сети позволяет исключить недостатки метода обратного распространения ошибки и повысить скорость обработки данных.
Ключевые слова: сканирующий туннельный микроскоп, ультрадисперсные частицы, идентификация изображений, нейронные сети
Введение
При исследовании новых перспективных кластерных материалов (КМ) на основе ультрадисперсных частиц (УДЧ) ключевую роль играет сканирующий туннельный микроскоп (СТМ), позволяющий получать СТМ-изображения поверхности постоянного туннельного тока, величина которого в каждой точке над поверхностью УДЧ определяется суперпозицией определенных электронных состояний, а, следовательно, и квантово-электронным строением исследуемой частицы и подложки. Однако идентификация подобных СТМ-изображений достаточно затруднена вследствие артефактов, обусловленных постоянным наличием искажений различной природы в процессе сканирования. Используемые в подобных случаях алгоритмы и методики анализа данных позволяют увеличить достоверность интерпретации изображений, повысив также и степень автоматизации этого процесса.
В настоящее время наибольшее распространение в задачах анализа изображений и графических структур получили нейронные сети, обладающие высокой степенью автоматизации, гибкостью, свойственной человеческому сознанию, возможностью проводить параллельную обработку большого массива числовой и графической информации.
Среди различных структур нейронных сетей одной из наиболее известных является многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми выходами (аксонами) нейронов предыдущего слоя или, в случае первого слоя, со всеми входами нейронной сети.
Созданию и обучению нейронной сети методом обратного распространения ошибки
для интерпретации и анализа СТМ-изображений УДЧ КМ посвящены работы [1, 2]. Однако в результате экспериментов выяснилось, что данному методу свойственны следующие недостатки:
• возможность преждевременной остановки из-за попадания в область локального минимума;
• необходимость многократного предъявления всего обучающего множества для получения заданного качества распознавания;
• отсутствие приемлемых оценок времени обучения.
Исследования показали, что исключить данные недостатки и повысить скорость обработки данных позволяет генетический алгоритм, используемый на этапе обучения нейронной сети [1]. Разработке методики его применения и посвящено данное исследование.
Нейронная сеть и генетический алгоритм
Генетический алгоритм является итерационным, и, дает лишь приближенное решение, что компенсируется областью его применения и скоростью вычислений при ограниченных вычислительных ресурсах. Он может применяться для подстройки весов скрытых и выходных слоев при фиксированном наборе связей и широко используется в задачах оптимизации и обучения нейронных сетей.
В плане математической модели - это алгоритм нахождения глобального экстремума многоэкстремальной функции, заключающийся в параллельной обработке множества альтернативных решений. При этом поиск
РАЗДЕЛ V. СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
концентрируется на наиболее перспективных
из них.
Алгоритм использует следующие определения:
• ген - весовой коэффициент нейронной сети;
• хромосома - набор генов (т.е. весовых
коэффициентов нейронной сети, считываемых в определенном порядке сверху вниз, справа налево); каждая хромосома является возможным решением (т.е. таким набором весовых коэффициентов, которые лучше подходят для распознавания профилограммы);
• популяция - множество хромосом, вариантов наборов весовых коэффициентов;
• эпоха - итерация, соответствующая созданию нового поколения хромосом.
• Хромосомы являются основными сущно-
стями, над которыми в определенном порядке в пределах одной эпохи проводятся следующие операции:
• скрещивание - создание с определенной степенью вероятности (Рс) новой хромосомы из генов двух других и добавление ее в популяцию;
• мутация - изменение с определенной степенью вероятности (Рт) значения произвольного гена любой хромосомы и добавление ее в популяцию;
• приспособление - удаление из популяции хромосом (т.е. наборов весовых коэффициентов), показавших худший результат при распознавании [2].
Мутация решает одну из проблем, присутствующих в обучении многослойной нейронной сети методом обратного распространения ошибки. Она необходима для выхода популяции из локального экстремума и способствует защите от преждевременной сходимости.
На рисунке 1 показана нейронная сеть, весовыми коэффициентами которой (производя обход сверху вниз, справа налево) заполняются хромосомы. Таким образом, хромосома представляет собой набор генов -весовых коэффициентов [3]:
Са = «, <2), „21
(2)
у33 '
1>(1) 12 '
(1), 31
1>0)
32
(1) 33
^ >
м?(2)-
32 5
|7(1)-23
(1)
Я, "Я).
Обучение нейронной сети с применением генетического алгоритма представлено на рисунке 2.
Так как генетический алгоритм не является строго детерминированным, существует возможность производить скрещивание и мутацию в произвольном порядке в пределах одной эпохи [4]. В рамках данной задачи наиболее эффективным оказался порядок, при котором сначала производится скрещивание (рисунок 3), а затем мутация (рисунок 4) популяции.
Оператор селекции (приспособления) является специфическим для задачи распознавания профилограмм УДЧ. Определение
1 =I ¿Х х) г=1
2 № = I (¿^ х) г=1
3 Я =I (¿"13 х) г=1
1 л(2)
2 у22)
Рисунок 1. Двухслойная нейронная сеть с весовыми коэффициентами - генами хромосом
ПОЛЗУНОВСКИЙ ВЕСТНИК № 2 2010
Рисунок 2. Обучение нейронной сети с адекватности, а, следовательно, выбор наилучшей хромосомы весовых коэффициентов определяется погрешностью при распознавании профилограммы. Из популяции выбираются наборы хромосом, дающие наименьшую погрешность распознавания. Погрешность определяется по формуле:
= 1 - ^.
Уо
(2)
помощью генетического алгоритма
где у0 - эталонное значение выходного сигнала; у - значение выходного сигнала при распознавании эталонной профило-граммы из обучающей выборки с данным набором весовых коэффициентов (эталонным значением выходного сигнала в данной задаче является код профило-граммы).
РАЗДЕЛ V. СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
1
Для каждого гена новой хромосомы присвоить с вероятностью 50% ген хромосомы А или хромосомы В
Gl = D + Random(N) > N[0.5?^ : Glb
(где D - поправочный коэффициент для внесения случайности в значение гена)
Вероятность скрещивания = Random(N) > N0? ? (где N - максимум для генерации случайного числа)
Рисунок. 3. Процедура скрещивания двух хромосом
Рисунок 4. Процедура
Результаты и их обсуждение
Статистика приближения результата к эталонному значению при распознавании показана на рисунке 5. Представлены значения, выходного сигнала лучшей хромосомы в текущей эпохе.
Эксперименты показали, что для достижения наилучшего результата распознавания при результирующем наборе весов вероятность скрещивания составляет Рс « 0,64,
вероятность мутации - Рт « 0,01.
При сравнении работы алгоритма обратного распространения и генетического алгоритма на вход трехслойной нейронной сети (состоящей из 256 входов, 3 нейронов в первом и во втором слое, и 2 выходов) подается обучающий набор профилограммы частицы; обучение заканчивается, когда во всем обу-
220
мутации хромосомы чающем наборе результирующий выходной сигнал равен требуемому эталонному выходному сигналу.
Для обучения нейронной сети достаточно выполнить 100 генераций с помощью генетических алгоритмов, в то время как алгоритмам обратного распространения требуется более 500 итераций (где одна итерация -это полный пересчет всех обучающих данных: весовых коэффициентов, погрешности, значений выходов нейронной сети). При этом две генерации в генетическом алгоритме эквивалентны одной итерации алгоритма обратного распространения, так как обратное распространение состоит из двух частей -прямого прохода (вычисления выхода сети и ошибки) и обратного прохода (изменения весов). Генетические алгоритмы выполняют только первую часть. Таким образом, две ге-
ПОЛЗУНОВСКИЙ ВЕСТНИК № 2 2010
ИСПОЛЬЗОВАНИЕ НЕЙРОННЫХ СЕТЕЙ В СЛЕПЫХ МЕТОДАХ ОБНАРУЖЕНИЯ ВСТРОЕННОЙ СТЕГАНОГРАФИЧЕСКОЙ ИНФОРМАЦИИ В ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ
Ь' с =:yj 11 ■ d I
распознавания
0,5 -■ 0
1 5 11 15 21 26 31 36 41 46
Итерации (эпохи) обучения
Рисунок 5. Статистика приближения результата к эталонному значению при распознавании
нерации занимают меньше времени, чем вычисления единственной итерации алгоритма обратного распространения.
В целом, генетические алгоритмы значительно выигрывают у схемы обратного распространения в задаче распознавания про-филограмм УДЧ, позволяя получать лучшие векторы весовых коэффициентов за существенно меньшее количество времени.
СПИСОК ЛИТЕРЕТУРЫ
1. Rumelhart, D.E. Learning internal representations by error propagation / D.E. Rumelhart, G.E. Hinton, R.J. Williams // Parallel Distributed Processing.- 1986.- V.1.- p. 318-362.
2. Montana, D.J. Training Feedforward Neural Networks Using Genetic Algorithms / D.J. Montana, L. Davis // Proceedings of the Eleventh Interna-
tional Joint Conference on Artificial Intelligence, Detroit, MI.- 1989.- p. 762-767.
3. Prudencio, R.B.C. Evolutionary Design of Neural Networks: Aplication to River Flow Prediction / R.B.C. Prudencio, T.B. Ludemir // Proceedings of the International Conference on Artificial Inteli-gence and Aplications.-2001.- p. 56-66.
4. Prudencio, R.B.C. Design of Neural Networks for Time Series Prediction Using Case-Initialized Genetic Algorithms / R.B.C. Prudencio, T.B. Ludemir // Proceedings of the 8th International Conference on Neural Information Processing, ICONIP.- 2001.- p. 990-995.
Д.т.н., дир. Липанов А.М., к.ф.-м.н., с.н.с. Тюриков А.В., аспирант Суворов А.С., д.т.н., с.н.с. Шелковников Е.Ю., к.т.н., с.н.с. Гуляев П.В. - (3412) 21-89-55, iit@udman.ru - Институт прикладной механики УрО РАН.
УДК: 004.032.26
ИСПОЛЬЗОВАНИЕ НЕЙРОННЫХ СЕТЕЙ В СЛЕПЫХ МЕТОДАХ ОБНАРУЖЕНИЯ ВСТРОЕННОЙ СТЕГАНОГРАФИЧЕСКОЙ ИНФОРМАЦИИ В ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ
А.Ж. Абденов, Л.С. Леонов
В статье рассматривается слепой метод обнаружения встроенной стеганографической информации в цифровых изображениях. В качестве вектора признаков изображения используются статистические моменты в частотной области гистограмм вейвлет-коэффициентов, вычисленных на глубину разложения 3. Классификация обучающей базы данных проводилась с помощью нейронных сетей.
Ключевые слова: стеганография, стегоанализ, нейронные сети, RBF-сети, дискретное преобразование Фурье, вейвлет-преобразование.
Введение.
Стеганография - искусство невидимой коммуникации. Цель стеганографии скрыть сам факт наличия связи. Это достигается путем внедрения скрытых сообщений в различ-
ную мультимедийную информацию - цифровые изображения, видео и звуковые файлы. Исходное изображение (в данной работе будем рассматривать только случай цифровых изображений) называют контейнером, а изо-
А.Ж. АБДЕНОВ, Л.С. ЛЕОНОВ
221
