Влияние числа нейронов сети на ее обучение и точность прогноза Текст научной статьи по специальности «Компьютерные и информационные науки»

Рис. 5. Фотография пятна износа

Предложенное устройство просто в эксплуатации и позволяет получить все необходимые показатели качества трущихся материалов и масел с большей точностью и информативностью при меньшей трудоемкости испытаний по сравнению с предыдущими устройствами.

Библиографические ссылки

1. Беркович И. И., Громаковский Д. Г. Трибология, физические основы, механика и технические приложения : учебник для вузов / под ред. Д. Г. Громаков-ского ; Самар. гос. техн. ун-т. Самара, 2000. 268 с.

2. Матвеевский Р. М. Температурная стойкость граничных смазочных слоев и твердых смазочных покрытий при трении металлов и сплавов. М. : Наука. 1971.

3. А. с. № 983522 СССР. МПК G 01 N 19/02. Опубл. 1982.

4. Ковальский Б. И., Безбородов Ю. Н., Петров О. Н., Тихонов В. И. Патент № 2428677 Российская Федерация, G01N 19/02. Устройство для испытания трущихся материалов и масел. Опубл. 10.09.2011. Бюл. № 25.

© Ковальский Б. И., Петров О. Н., Шрам В. Г., Сокольников А. Н., Игнатьев А. А., 2012

УДК 519.7, 612.8

ВЛИЯНИЕ ЧИСЛА НЕЙРОНОВ СЕТИ НА ЕЕ ОБУЧЕНИЕ И ТОЧНОСТЬ ПРОГНОЗА

В. А. Лоренц1, В. Л. Гавриков2, Р. Г. Хлебопрос1

'Сибирский федеральный университет Россия, 660074, Красноярск, ул. Киренского, 26. Е-mail: [email protected] ^Красноярский государственный педагогический университет имени В. П. Астафьева Россия, Красноярск, ул. Перенсона, 7. E-mail: [email protected]

Анализируется зависимость ошибок обучения нейронной сети от числа нейронов. Обнаружен эффект резкого ухудшения параметров обучения и прогноза при некоторых значениях числа нейронов, который может быть связан с влиянием начальных условий, вносящих случайную компоненту в стартовую конфигурацию значений весовых коэффициентов нейронной сети.

Ключевые слова: нейронная сеть, число нейронов, ошибка обучения, ошибка прогноза.

INFLUENCE OF NETWORK NEURONS NUMBER TO NETWORK TRAINING AND FORECAST ACCURACY

V. A. Lorents1, V. L. Gavrikov2, R. G. Khlebopros1

'Siberian Federal University

26 Kirenskiy street, Krasnoyarsk, 660074, Russia. Е-mail: [email protected]

2Krasnoyarsk State Teacher Training University named after V. P. Astafiev 7 Perensona street, Krasnoyarsk, Russia. E-mail: [email protected]

The authors analyze neural network training error dependence on the neurons number. The effect of hard deterioration of training and forecast parameters at some values of neurons number has been found, which can be connected with entry conditions influence, bringing the casual component in the initial configuration of weight factors values of neural network.

Keywords: neural network, neurons number, training error, forecast error.

Вопрос о необходимых и достаточных свойствах сети для решения того или иного рода задач является одним из направлений нейрокомпьютерной науки. Принято считать, что в большинстве случаев в процессе обучения нейросети оптимальный вариант ее параметров получается на основе интуитивного подбора. Тем не менее большое значение имеет зависимость качества обучения и прогноза нейронной сети от параметров самой сети, которая может быть нетривиальной и требует специального исследования для любого класса задач. Знание зависимостей такого рода может помочь в решении важнейшей проблемы нейрокомпьютеринга - ускорения процесса обучения нейронных сетей. В данной работе была поставлена цель исследовать зависимость параметров обучения и прогноза нейронной сети от числа нейронов.

В эксперименте была использована нейросетевая надстройка «Модели», разработанная в Институте биофизики СО РАН, реализующая оперативный синтез аналитических моделей с регулируемым уровнем сглаживания эмпирических данных, функционирующая в среде MS Excel. В математическом отношении программа осуществляет нелинейную многомерную регрессию. В качестве интерполирующего используется один из вариантов многомерных представлений в виде интегралов Фурье с заменой интегралов конечными суммами. Используемая нейронная сеть по своей структуре может называться двухслойной, так как содержит «основной» слой нелинейных элементов типа Asin(rax + ф) и дополнительный слой линейных элементов. При оптимизации используется метод быстрого вычисления многомерных градиентов, известный в рамках нейросетевой идеологии под именем back propagation (обратного распространения ошибки) или метода множителей Лагранжа, лежащий также в основе теории оптимального управления, и метод сопряженных градиентов [1; 2].

Среди задаваемых параметров в данной работе используются следующие: число нейронов, число итераций при обучении, значение спектральной плотности, размер обучающей и тестовой выборок. Нейрон в терминах данной компьютерной среды - это условный элементарный компонент сети, выполняющий роль преобразователя входных сигналов. Под итерацией понимается дискретное изменение весовых коэффициентов нейронной сети, играющее роль единичного интервала времени в процессе решения задачи. Параметр «спектр» определяется как максимальный уровень допустимой нелинейности синтезируемой модели, пропорциональный уровню спектральной плотности. Обучающая выборка содержит последовательность входных данных нейронной сети, используемых для настройки внутрисетевых связей, т. е. непосредственно для процесса обучения. Тестовая выборка - это совокупность данных, имеющих ту же внутреннюю закономерность, что и задачи обучающей выборки, но не включенных в нее. Успешность обучения оценивается по таким параметрам, как ошибка обучения нейронной сети, представляющая собой среднеквадратичное отклонение предсказаний сети от эмпирических входных данных, составляю-

щих обучающую выборку, и ошибка прогноза нейронной сети для тестовых задач, не участвующих в обучении.

В работе использовалась тестовая задача распознавания периодической закономерности. В качестве модельного объекта была выбрана функция Бт(х). На единственный вход сети подавались значения функции Бт(х) и они же служили эталоном для сравнения, что по сути является элементарным тождественным преобразованием. Согласно теореме Вейерштрасса о возможности равномерной аппроксимации непрерывной действительной функции, определенной в диапазоне [-1,1], с помощью полиномов с любой точностью, а также теоретическим доказательствам полноты класса функций, вычислимых нейросетями [3], бесспорным является то, что при довольно слабых ограничениях нейросеть успешно решает задачи распознавания закономерностей типа Бт(х). Соответственно, именно это обстоятельство лежит в основе выбора функции Бт(х) в данной работе, и задача выяснить, может ли нейросеть распознать эту периодичность, не ставилась, так как основной вопрос данной работы - это выявление параметров, влияющих на процесс обучения нейросети, и однозначен ли этот механизм.

В ходе вычислительного эксперимента отслеживалась обучаемость нейронной сети и динамика параметров обучаемости сети в зависимости от числа нейронов. Под обучаемостью нейросети здесь понимается такое количественное значение ошибок обучения и прогноза, которое соответствует прогнозным значениям функции синус, качественно воспроизводящим форму кривой синуса. По нашему мнению, такой критерий, как качественное воспроизведение нейросетью периодической закономерности, вполне адекватно соответствует цели данной работы.

Оценка ошибки обучения при каждом значении числа нейронов проводилась в 50-кратной повторности. Достоверность отличий ошибок обучения нейросети при попарно различных значениях числа нейронов проверялась наиболее распространенными непараметрическими критериями сравнения двух независимых групп (критерий серий Вальда-Вольфовица, критерий Колмогорова-Смирнова, и-критерий Манна-Уитни ).

На предварительном этапе вычислений было установлено, что задача распознавания синуса нейронной сетью решается удовлетворительно, если обучающая выборка содержит не менее % периода синуса, что соответствует 30 значениям данных в обучающей выборке. Это означает, что на основе информации о 3/4 периода входной функции нейросеть в состоянии воспроизводить эту функцию на любом заданном интервале тестовой выборки. Размер тестовой выборки, предлагаемой для прогноза нейросети, был ограничен 5 У периода синуса, что обусловлено соображениями достаточности.

Запуски решения задачи распознавания периодичности нейронной сетью, сопровождаемые отслеживанием динамики обучаемости нейросети, проводились при разных значениях числа нейронов, прочие же па-

раметры нейронных сетей были одинаковыми. По снятым данным выполнено 9 вычислений средних параметров обучаемости нейронной сети, каждое из которых рассчитывалось для семейства нейронных сетей (50 нейросетей с совпадающими параметрами). Нельзя не отметить роль количества итераций в поставленном эксперименте: минимальное количество итераций было выбрано исходя из вероятного значительного практического значения, которое могут иметь сведения о работе нейронных сетей в таком жестком режиме. В созданных условиях нейронная сеть осуществляет однократный просмотр обучающей выборки, что соответствует начальной стадии обучения. Именно с этой точки зрения можно рассматривать процесс обучения нейронной сети как эволюцию показателей ее обучения на разных этапах, и уже на этих первых шагах обучения наблюдается неожиданный, нестандартный эффект.

В процессе эксперимента были отмечены близкие значения средних ошибок обучения и прогноза нейронной сети, свидетельствующие об удовлетворительном распознавании нейронной сетью предложенной периодичности, что не противоречит теоретическим представлениям. По полученным результатам построена зависимость средней ошибки обучения в абсолютном виде от числа нейронов, представленная на рис. 1.

Согласно данным рис. 1, наблюдаются нерегулярные эффекты влияния значения числа нейронов (например, число нейронов N = 4, 7, 9) на средние ошибки обучения. При указанных значениях числа нейронов параметры обучаемости нейросети резко ухудшаются по отношению к значениям ошибок слева и справа от них. В ходе эксперимента обнаружено, что для большинства значений числа нейронов обучение и прогноз в семействе нейронных сетей характеризуются небольшим разбросом значений ошибок, однако выделенные значения числа нейронов N = 4, 7, 9) отличаются значительной дисперсией полученных результатов.

Таблица 1

Статистическая оценка значимости максимумов при числе итераций - 1

Сравниваемые пары значений ошибок обучения нейросетей Достоверность различий средних на уровне р < 0,05

Для 2 нейронов и 4 нейронов Значимо по трем критериям

Для 5 нейронов и 7 нейронов Не значимо

Для 8 нейронов и 9 нейронов Значимо по одному критерию

Что касается вероятных причин данного явления, то, возможно, выявленный эффект может быть связан с чувствительностью нейронной сети при небольшом числе итераций к влиянию начальных условий, содержащих случайную компоненту. Различные значения начальных условий могут существенно менять картину результатов благодаря формированию более или менее благоприятных для обучения стартовых значений весовых коэффициентов.

Поскольку резкие ухудшения параметров обучения и прогноза нейронной сети при некоторых значениях числа нейронов (см. рис. 1) могут быть связаны с минимальным числом итераций, была построена зависимость ошибки обучения от числа нейронов при числе итераций 1 000, отображенная на рис. 2. Из полученной кривой следует, что установленный ранее эффект влияния числа нейронов на успешность обучения нейронной сети (см. рис. 1) сохраняется.

1.00Е-08

1.00Е-09

1.00Е-10

1.00Е-11

1.00Е-12

0 2 4 6 8 10

I

N к 7

Рис. 1. Влияние числа нейронов на ошибку обучения (-◦-) нейронной сети при следующих условиях: значение спектральной плотности - 0,1, число итераций - 1

Помимо этого была произведена статистическая оценка значимости наблюдаемых максимумов, результаты которой представлены в табл. 1.

Сравнивая данные табл. 1 и кривую, изображенную на рис. 1, можно заметить, что наличие второго максимума не подтверждается статистическими критериями из-за значительной дисперсии экспериментальных данных.

число нейронов

Рис. 2 Влияние числа нейронов на ошибку обучения (-◦-) нейронной сети при следующих условиях: значение спектральной плотности - 0.1, число итераций - 1 000

Как и на первом этапе эксперимента была проведена оценка статистической значимости максимумов полученной кривой, отображенная в табл. 2, которая позволяет заключить, что эффект резкого ухудшения обучения при некоторых значениях количества нейронов имеет устойчивую тенденцию сохраняться и при больших значениях числа итераций.

То обстоятельство, что максимумы кривых на рис. 1 и 2 не всегда совпадают, вероятно, может быть связано с тем, что конкретный вид зависимости ошибки обучения нейронной сети от количества нейронов зависит от длительности обучения (количеством итераций) и его выявление требует дальнейших экспериментов с нейронными сетями.

Таблица 2

Статистическая оценка значимости максимумов при числе итераций - 1000

Сравниваемые пары значений ошибок обучения нейросетей Достоверность различий средних на уровне р < 0,05

Для 2 нейронов и 3 нейронов Значимо по трем критериям

Для 4 нейронов и 5 нейронов Значимо по двум критериям

Для 6 нейронов и 7 нейронов Значимо по одному критерию

Для 9 нейронов и 10 нейронов Не значимо

Полученные кривые зависимости параметров обучения и прогноза нейронной сети от числа нейронов характеризуются значительной немонотонностью. Природа наблюдаемого эффекта заложена в самом вычислительном механизме нейронной сети и предположительно отражает чувствительность нейронной сети к начальным условиям. Выявленный эффект влияния количества нейронов на обучаемость нейронной сети может иметь важное практическое и теоретическое значение.

Проведена проверка на наличие эффекта переобучения нейронной сети на каждом этапе эксперимента путем включения в тестовую выборку значений синуса с отличным шагом и некратными значениями по сравнению со значениями обучающей выборки: переобучения нейронной сети не выявлено.

* Авторы благодарят сотрудников Института биофизики СО РАН Барцева С. И. и Щемеля А. Л. за любезное предоставление нейронной сети и ценный

вклад при обсуждении результатов, а также профессора СФУ Миркеса Е. М.

Библиографические ссылки

1. Барцев С. И., Охонин В. А. Адаптивные сети обработки информации // Препринт ИФ СО АН СССР, Красноярск, 1986. № 59Б.

2. Горбань А. Н. Обучение нейронных сетей. М. : ParaGraph, 1990. (English Translation: AMSE Transaction, Scientific Siberian, A. 1993. Vol. 6. Neurocomputing. Р. 1-134)

3. Носков М. В., Симонов К. В., Щемель А. Л. Нелинейная многопараметрическая регрессия данных наблюдений // Вопросы математического анализа. Красноярск : ИЦП КГТУ, 2003. Вып. 7. С. 103-120.

© Лоренц В. А., Гавриков В. Л., Хлебопрос Р. Г., 2013

УДК 621.311.65

МЕТОДИКА ВЫБОРА ПАРАМЕТРОВ СРЕДСТВ КОМПЕНСАЦИИ РЕАКТИВНОЙ МОЩНОСТИ В ТЯГОВЫХ СЕТЯХ ПЕРЕМЕННОГО ТОКА

А. А. Минина1, В. И. Пантелеев1, Е. В. Платонова2

'Сибирский федеральный университет Россия, 660074, Красноярск, ул. Киренского, 26. Е-mail: [email protected] 2Хакасский технический институт - филиал Сибирского федерального университета Россия, 655017, Абакан, Щетинкина, 27. Е-mail: [email protected]

Показана программа расчета нормальных и резонансных режимов с методикой расчета сети с нелинейной нагрузкой на примере тяговой подстанции, позволяющая на основе анализа частотной характеристики входного сопротивления Zвхс = f(v) определять спектры токов и напряжений в элементах сети, а также оценивать уровни активных потерь и перегрузки компенсирующих устройств токами высших гармоник.

Ключевые слова: компенсация реактивной мощности, резонанс, входное сопротивление сети, компенсирующее устройство, гармоники.

METHOD OF SELECTION OF PARAMETERS REACTIVE POWER COMPENSATION

IN TRACTION AC NETWORKS

A. А. Minina1, V. I. Panteleev1, E. V. Platonova2

1Siberian Federal University 26 Kirenskiy street, Krasnoyarsk, 660074, Russia. Е-mail: [email protected]

2Khakas Technical Institute - branch of the Siberian Federal University

27 Shcetinkin street, Abakan, 655017, Russia. E-mail: [email protected]

The authors show a program for calculation of normal and resonant modes with a procedure of calculation of a network with nonlinear load on the example of traction substation, which allows, on the basis of the analysis