CC BY
55
УДК 004.822
DOI: 10.20310/1810-0198-2016-21 -2-666-668
МЕТОДЫ И СРЕДСТВА АВТОМАТИЧЕСКОГО КОНТРАСТИРОВАНИЯ НЕЙРОННОЙ СЕТИ
© Т.А. Калистратов
Рассматриваются цели и методы контрастирования нейронных сетей. Предлагается автоматический метод контрастирования сети, основанный на оценке значимости связей с использованием статистической информации о функционировании каждого нейрона сети. Описан метод предварительного автоматического семантического анализа структуры сети, подвергшейся контрастированию.
Ключевые слова: многослойный персептрон; контрастирование; отсечение малозначимых связей.
ВВЕДЕНИЕ
Контрастирование - упрощение структуры нейронной сети. Основная цель контрастирования - сделать механизмы, позволяющие нейронной сети преобразовывать входные данные в верные выходные, более понятными для наблюдателя.
Традиционные подходы [1-3]:
1) уменьшение количества связей;
2) уменьшение количества нейронов;
3) упрощение функций нейронов (переход по возможности к предельным случаям);
4) дискретизация выходных сигналов нейронов, использование конечного числа возможных величин сигнала;
5) уменьшение количества входных сигналов каждого нейрона.
ПОСТАНОВКА ЗАДАЧИ
Стоит отметить, что все эти методы, так же как и метод контрастирования нейронных сетей в целом, применимы далеко не всегда. Ввиду этого они слабо формализуемы и, как следствие, плохо поддаются автоматизации. Исходя из этих недостатков можно поставить следующие задачи для разработки более совершенного подхода к контрастированию:
1) алгоритм должен работать в автоматическом режиме, исключая, возможно, определения числовых коэффициентов, влияющих на чувствительность алгоритма к падению достоверности результатов и на уменьшение сложности сети;
2) помимо собственно упрощения сети, производить ее первичный анализ, который упростит дальнейшее интерпретирование полученных зависимостей в прикладной области задачи.
Для решения поставленных задач предполагается реализовать следующие принципы.
На этапе контрастирования:
1) отказаться от метода уменьшения количества входных сигналов, так как он может привести к потере семантических связей и разделению одного семантического узла на группу связанных нейронов;
2) наряду с использованием информации о величинах связей накапливать и агрегировать статистическую информацию о значениях, возникающих на входах и выходах во время функционирования сети;
3) использовать статистические данные о функционировании сети для анализа значимости ее нейронов и связей с целью дальнейшего отсечения малозначимых.
На этапе предварительного анализа семантики полученной структуры:
1) выявлять связанные блоки нейронов и модули, строить вложенную структуру связанности;
2) отказаться от парадигмы «один нейрон нейронной сети ставится в соответствие одному семантическому узлу» [1], т. к. семантически неделимые узлы могут иметь более сложную логику, нереализуемую с помощью одного нейрона.
Для реализации описанных выше принципов необходимо формализовать следующие критерии:
1) критерий, определяющий, какие нейроны и связи должны быть удалены в ходе контрастирования;
2) критерий, определяющий приемлемое падение достоверности данных, получаемых от нейронной сети в ходе одного шага контрастирования, а также за все этапы контрастирования;
3) критерий, определяющий группу взаимосвязанных нейронов сети как семантический модуль.
СБОР СТАТИСТИЧЕСКОЙ ИНФОРМАЦИИ
При традиционном подходе к построению нейронной сети изменению подвергаются только веса нейронной связи. Таким образом, при статическом анализе структуры нейронной сети можно делать выводы относительно «нужности» каждой связи и нейрона, только опираясь на величины этих весов. Данной информации не всегда бывает достаточно, потому что она не позволяет отследить, например, связь с большим весом, исходящую от фактически вырожденного нейрона (си-наптический сигнал которого близок к нулю на всем множестве входных значений) [4].
Предлагается, помимо данных о весах синаптиче-ских связей, оперировать следующими данными: сред-
2016. Т. 21, вып. 2. Техника
нее значение синаптического сигнала нейрона, вероятность получения высокого уровня синаптического сигнала (более порогового значения). Интересной статистической характеристикой является отклонение синаптического сигнала нейрона, полученного при средних входных сигналов от его среднего статистического синаптического сигнала. Высокий уровень отклонения показывает наличие зависимости между входными сигналами.
Владея описанной статистической информацией, можно оценить средний вклад каждого нейрона и каждой связи на каждый выход сети.
ОПИСАНИЕ ПРОЦЕССА КОНТРАСТИРОВАНИЯ СЕТИ
Основным методом при контрастировании сети является метод отсечения малозначимых связей. Удаление нейрона из сети происходит, если удалены все его входящие или исходящие связи. Применяются также методы объединения двух нейронов, замены функции возбуждения нейрона на более простую и т. п., однако они или слабо применимы в автоматическом режиме, или реализуются через отсечение малозначимых связей.
Отсечение малозначимых связей можно считать первым и, пожалуй, главным шагом в процессе контрастирования сети. В качестве критерия малозначимости связи можно использовать оценку следующих параметров:
1) вес связи;
2) среднее влияние связи на выходные значения сети;
3) верхняя оценка возможного пикового влияния связи на выходные значения сети.
Значение веса связи связано с ее малозначимостью достаточно тривиально: чем меньший по модулю вес имеет связь, тем предположительно меньший вклад в функционирование сети она вносит.
Оценку среднего влияния связи на выходные значения сети можно провести с использованием средних статистических значений сигналов нейронов.
Для оценки среднего влияния веса шу можно воспользоваться формулой
У ¡1 УТаХ также принимает значение 1. Тогда формулы (1, 2) примут вид:
М0)п = К-Ц^М,
если нейрон] не является выходным, и
Мш =
(3)
(4)
если нейрон] является выходным.
Здесь Мы - коэффициент среднего влияния веса связи между нейронами г и ].
Так как нельзя утверждать, что один из параметров обеспечивает большую надежность определения несущественных связей при любых условиях, можно использовать обобщенный параметр:
Д,„... = Хл со,-,- + ХпК„и1 + Л,М„,
(5)
где - коэффициенты значимости параметров.
Опыт показывает, что для эффективной работы механизма контрастирования коэффициенты значимости можно задать следующим образом:
Л1 = 0,1,Л2 = 0,8,А3 = 0, 1.
В качестве критерия малозначимости связи можно использовать некоторое пороговое значение обобщенного параметра значимости связи, однако более результативным способом видится отсечение определенного количества связей. По полученным эмпирическим данным, после окончания построения полносвязной нейронной сети (при первой итерации контрастирования) можно отсечь 20 % наименее значимых связей, и в дальнейшем уменьшать процент отсекаемых связей в зависимости от номера итерации контрастирования и результирующей невязки сети. Базовая эмпирическая формула для расчета процента связей, подлежащих отбрасыванию:
п0 1-
п =
(6)
КшЦ=У1 | шц|£ кКш.к , (1)
если нейрон] не является выходным, и
, (2)
если нейрон] является выходным.
Здесь - коэффициент среднего влияния веса связи между нейронами г и у, ш у - вес связи; у; - среднее статистическое значение сигнала нейрона г; уТах -максимальное значение выходного нейрона ] (на выборке, которая использовалась для сбора статистической информации).
Чтобы оценить возможное пиковое влияние связи на выходные значения, стоит в формулах 1-2 заменить средние статистические значения сигналов на максимально возможные. Для скрытых слоев при использовании сигмоидальной функции активации максимально возможное значение можно оценить, как 1. Отношение
где - относительное число подлежащих отсечению связей; - их начальное количество; - номер итерации; - предыдущем и текущем шаге соответственно.
В случае неприемлемого увеличения невязки сети отсеченные связи восстанавливаются, при этом итерация считается завершенной, однако полученное значение невязки не учитывается в дальнейшем (т. к. оно соответствовало структуре сети, которая не была утверждена).
ВЫВОДЫ
Предложен подход к автоматизации процесса контрастирования (упрощения) нейронной сети с использованием накопленной статистической информации о функционировании нейронов сети.
После проведения контрастирования структура сети является более простой для понимания, что позволяет делать выводы о внутренних структурных особенностях моделируемой системы.
СПИСОК ЛИТЕРАТУРЫ
Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей // Методы нейроинформатики. 1998. С. 176-198. Горбань А.Н. Обучение нейронных сетей. СПб.: «ПараГраф», 1990. 159 с.
Hill T. et al. Artificial neural network models for forecasting and decision making // International Journal of Forecasting. 1994. Т. 10. № 1. С. 5-15.
Царегородцев В.Г. Простейший способ вычисления показателей значимости первого порядка для сетей обратного распространения // Нейроинформатика и ее приложения: материалы 10 Всероссийского семинара. Красноярск: КГТУ, 2002. С. 153-156.
Поступила в редакцию 14 марта 2016 г.
UDC 004.822
DOI: 10.20310/1810-0198-2016-21 -2-666-668
METHODS AND FACILITIES FOR THE AUTOMATIC CONTRAST OF THE NEURAL NETWORK
© T.A. Kalistratov
The aims and methods of staining of neural networks are considered. An automatic method for staining the network based on an assessment of the importance of relations with the use of statistical information on the operation of each neuron network is proposed. The method of automated pre-semantic analysis of the network structure subjected to contrasting is described. Key words: multilayer perceptron; contrast; clipping insignificant links.
REFERENCES
1. Tsaregorodtsev V.G. Proizvodstvo poluempiricheskikh znaniy iz tablits dannykh s pomoshch'yu obuchaemykh iskusstvennykh neyronnykh setey. Metody neyroinformatiki, 1998, pp. 176-198.
2. Gorban' A.N. Obuchenie neyronnykh setey. St. Petersburg, Paragraph Publ., 1990. 159 p.
3. Hill T. et al. Artificial neural network models for forecasting and decision making. International Journal of Forecasting, 1994, vol. 10, no. 1, pp. 5-15.
4. Tsaregorodtsev V.G. Prosteyshiy sposob vychisleniya pokazateley znachimosti pervogo poryadka dlya setey obratnogo rasprostraneniya.
Materialy 10 Vserossiyskogo seminara "Neyroinformatika i ee prilozheniya". Krasnoyarsk, Krasnoyarsk State Technical University, 2002, pp. 153-156.
Received 14 March 2016
Калистратов Тимофей Александрович, Тамбовский государственный университет им. Г.Р. Державина, г. Тамбов, Российская Федерация, аспирант, кафедра математического моделирования и информационных технологий, e-mail: [email protected]
Kalistratov Timofey Aleksandrovich, Tambov State University named after G.R. Derzhavin, Tambov, Russian Federation, Post-graduate Student, Mathematical Modeling and Information Technologies Department, e-mail: [email protected]
