CC BY
180
Mathematical model and characteristics of features of non-central hemispherical camera using spherical mirror are considered. Algorithm for feature extraction from images of non-central hemispherical cameras is proposed.
Key words hemispherical camera, vertical line, horizontal line, corner.
Ovchinnikov Aleksandr Viktorovich, candidate of technical sciences, docent, admin telex a niail.ru. Russia, Tula, Tula State University,
Phan Tran Dang Khoa, postgraduate, [email protected], Russia, Tula, Tula State University
УДК 621
АЛГОРИТМ ПРОЕКТИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ С МИНИМАЛЬНОЙ РАЗРЯДНОСТЬЮ
С.Н. Данилин, М.В. Макаров, С. А. Щаников
Определены функция обучения и структура для достижения наилучших показателей точности (качества) работы нейронной сети. Показана возможность снижения влияния шума, искажающего входную информацию на точность (качество) работы нейронных сетей. На базе предложенного общего подхода исследованы возможности методов оптимизации разрядности нейронных сетей, преобразующих информацию, искаженную шумами.
Ключевые слова: оптимизация, разрядность, входная информация, нейронные сети, весовые коэффициенты моделирование, точность, шум.
При разработке алгоритмов преобразования информации в любом логическом базисе и проектировании устройств, реализующих данные алгоритмы, в соответствии с действующими российскими и международными стандартами устанавливаются технические требования к ним, в частности по точности работы, быстродействию, отказоустойчивости, надежности. Объектом, к которому эти показатели относятся, является информация, а не сигнал - носитель информации [1].
В процессе аппаратной реализации нейросетевых алгоритмов обработки информации элементная база накладывает ограничения по разрядности, быстродействию, надежности, числу входов и выходов. Разрядность входной информации и нейронов сети оказывает определяющее влияние на оптимальное распределение ресурсов технических средств.
Теория нейронных сетей в настоящее время не позволяет аналитически определить оптимальную (необходимую и достаточную) разряд-
ность входной информации и нейронных сетей, обеспечивающую требуемую точность их работы и максимальную отказоустойчивость [2].
В настоящее время нейроинформационные системы находят все более широкое применение в частности, в автоматизации технологических процессов, адаптивном управлении сложными и распределенными системами, где информация искажается имеющимися во всех технических объектах шумами [3].
В связи с вышеизложенным в данной работе решаются следующие задачи:
1) определение функции обучения и структуры, для достижения наилучших показателей точности качества работы нейронной сети, аппроксимирующей функцию y=sin(x);
2) Определение возможности снижения влияния шума, искажающего входную информацию, на точность (качество) работы нейронных сетей;
3) Исследование методов, оптимизации разрядности нейронных сетей, преобразующих информацию, искаженную шумами.
Синтез оптимальной структуры математической модели нейронной сети в системе Matlab представляет собой подбор такого соотношения количества слоев сети, количества нейронов в каждом слое, функции обучения сети и функции активации нейронов, при котором достигалось бы наименьшее из возможных значение погрешности аппроксимации. Для решения поставленной вычислительной задачи достаточным будет применение двухслойной сети с одним нейроном в выходном слое и линейной функцией его активации pureline (OUT=NET).
Для выбора соотношения количества нейронов входного слоя и функции обучения сети обратимся к табл. 1, в которую сведены результаты, полученные при проведении моделирования нейронных сетей с различной конфигурацией в рамках данной работы.
Таблица 1
Значение относительной погрешности работы нейронной сети
в зависимости от функций обучения и количества нейронов в первом слое (в процентах)
Количество нейронов Функция обучения нейронной сети
trainscg trainbr trainlm traingdx traingda traingdm traingd
2 0.8105 0.8102 0.8101 1.0294 1.2267 6.2605 3.5212
3 0.8104 0.8000 0.8101 0.9285 1.2145 2.5600 3.5212
4 0.8195 0.8102 0.8101 0.8765 1.0696 1.9619 2.8616
5 0.8215 0.8102 0.8078 0.9093 1.2109 1.8088 1.7135
6 0.8226 0.8101 0.8088 0.9356 1.2880 1.2448 2.1326
7 0.8398 0.8102 0.8093 1.0508 1.5405 1.9874 2.3618
Наиболее точная аппроксимация функции sin(x) достигается в сети с тремя входными нейронами и функцией обучения trainbr, функционирующей на основе метода обратного распространения ошибки с использованием Байесовской регуляризации. Функция активации нейронов первого слоя тангенциальная (tansig) [4].
Для исследования влияния искажений шумами входной информации на точность (качество) работы нейронной сети примем в качестве критерия среднюю квадратичную ошибку (MSE) [4]. Выбор обусловлен типом решаемой задачи и необходимостью получения максимальной отказоустойчивости проектируемой нейронной сети [5].
В качестве фактора внешнего воздействия на рассматриваемый процесс аппроксимации принят стационарный шум- "белый" шум, спектральные составляющие которого равномерно распределены по всему диапазону задействованных частот.
Для добавления "белого" шума ко входной информации в пакете Matlab используется функция y=awgn(x, snr). Скаляр snr задает отношение сигнал/шум в децибелах. Для решаемой задачи он принят равным 30 дБ. Если значения x являются комплексными, функция awgn синтезирует комплексный шум.
На рис. 1 приведен график аппроксимируемой функции sin(x) с "белым" шумом.
о
(н
о
к
п
о
и
и
Я
со
" □ 500 1000 1500 2000 2500 3000 3500
Порядковый номер элемента входного массива
Рис. 1. График аппроксимируемой функции sin(x) с «белым» шумом
во входной информации
Результаты аппроксимации нейронной сетью зашумленной функции sin(x) представлены на рис. 2, где нет видимого влияния факторов, искажающих входную информацию.
Нейронная сеть с тремя входными нейронами и функцией обучения trainbr аппроксимировала функцию sin(x) с точностью до 0,0258 % при искажениях "белым" шумом входной информации на 5 %.
1.4
1.2
0.2
0.8
о.в
0.4
500 1000 1500 2000 2500 3000 3500
Порядковый номер элемента входного массива
Рис. 2. График аппроксимации нейронной сетью функции 8т(х)
На основе общего подхода авторами разработаны теоретикоэкспериментальные методы и алгоритмы оптимизации разрядности входной информации и нейронных сетей, показавшие высокую эффективность при проектировании [6,7]. Оценим их возможности при наличии шума, искажающего входную информацию.
Суть алгоритма наложения разрядной сетки заключается в том, что некоторый диапазон чисел ставится в соответствие узлам, соответствующим битовому представлению, т.е. шагу изменения на 2 в степени N где N - число разрядов.
Аналитически данная операция может быть представлена в следующем виде:
где [•] - операция целочисленного округления; N - количество разрядов; Атах - максимальное значение диапазона существования.
Изначально разрядность входной информации и весовых коэффициентов равнялась 12. Далее в ходе эксперимента эти два показателя снижались на одну единицу до тех пор, пока их разрядность не достигла единицы. В результате была сформирована табл. 2, показывающая значение относительной погрешности при аппроксимации функции Бт(х) с "белым" шумом во входном массиве, т.е. зависимость точности функционирования нейронной сети от значения разрядности её основных элементов.
Полученные результаты (рис. 3) отражают динамику изменения точности аппроксимации созданной нейронной сети в зависимости от значений разрядности входной информации и весовых коэффициентов. Уменьшение разрядности входной информации до 4 единиц и весовых коэффициентов до 5 единиц позволяет сохранить относительную погрешность аппроксимации «зашумленной» функции Бт(х) в пределах 0,1 про-
с «белым» шумом во входной информации
(1)
цента. При менее строгих заданных границах качества функционирования сети, может быть, достигнут более высокий показатель оптимизации разрядности проектируемой нейронной сети.
Таблица 2
Зависимость относительной погрешности работы нейронной сети от разрядности входной информации и весовых коэффициентов
Н/ п Разрядность входной информации
1 2 3 4 5 6
1 1.7444 0.9958 1.2336 0.9998 1.0267 0.9958
2 1.2444 0.6189 0.7336 0.4998 0.5267 0.4953
3 0.9671 0.6410 0.4563 0.2225 0.2494 0.2306
4 0.8518 0.6027 0.3380 0.1062 0.1311 0.1259
5 0.8011 0.5780 0.2842 0.0535 0.0772 0.0744
6 0.7766 0.5651 0.2582 0.0285 0.0514 0.0497
7 0.7646 0.5578 0.2462 0.0157 0.0396 0.0370
8 0.7582 0.5542 0.2402 0.0097 0.0334 0.0310
9 0.7554 0.5524 0.2372 0.0068 0.0304 0.0280
10 0.7539 0.5520 0.2353 0.0054 0.0288 0.0268
11 0.7532 0.5518 0.2347 0.0048 0.0280 0.0262
12 0.7529 0.5516 0.2344 0.0045 0.0277 0.0259
Н/ п Разрядность входной информации
7 8 9 10 11 12
1 1.0132 1.0001 1.0017 0.9985 0.9989 0.9981
2 0.5132 0.5001 0.5017 0.4985 0.4989 0.4981
3 0.2359 0.2228 0.2244 0.2212 0.2216 0.2208
4 0.1176 0.1045 0.1061 0.1043 0.1042 0.1042
5 0.0638 0.0525 0.0526 0.0526 0.0526 0.0525
6 0.0383 0.0280 0.0280 0.0280 0.0280 0.0280
7 0.0264 0.0154 0.0154 0.0154 0.0154 0.0154
8 0.0202 0.0093 0.0094 0.0094 0.0094 0.0094
9 0.0172 0.0063 0.0063 0.0063 0.0063 0.0063
10 0.0156 0.0052 0.0052 0.0052 0.0052 0.0052
11 0.0149 0.0047 0.0047 0.0047 0.0047 0.0047
12 0.0145 0.0044 0.0044 0.0044 0.0044 0.0044
В результате проведенных исследований для достижения наилучших показателей точности (качества) работы нейронной сети, аппроксимирующей функцию Бт(х), определены функция обучения 1гатЬг, функционирующая на основе метода обратного распространения ошибки с использованием Байесовской регуляризации, и двухслойная структура с тремя
Рис. 3. Зависимость относительной погрешности работы нейронной сети от разрядности входной информации и весовых коэффициентов
Показана возможность снижения более чем на два порядка влияния шума, искажающего входную информацию, на точность (качество) работы нейронных сетей.
На базе предложенного авторами общего подхода исследованы возможности разработанного метода оптимизации разрядности нейронных сетей, преобразующих информацию, искаженную шумами.
Учитывая возможность автоматизации данного метода, а также его инвариантность к структуре нейронной сети и типу решаемой задачи, можно применять его в процессе оптимизации нейронных сетей производственного назначения.
Работа выполнена при поддержке гранта РФФИ № 12-08-31064.
Список литература
1. Данилин С.Н. Современное представление об информации // Информационные системы и технологии. 2012. № 4. С. 138-146.
2. Reyneri L.M. Implementation issues of neuro-fuzzy hardware: going toward HW/SW codesign// IEEE Transactions on Neural Networks. Vol. 14 (2003). № 1. Р. 176-194.
3. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия - Телеком, 2003.
4. Медведев В. С., Потемкин В.Г. Нейронные сети. MATLAB 6. - М:
ДИАЛОГ-МИФИ, 2002.
5. Данилин С. Н. Исследование влияния выбора показателя качества работы на результат оценки отказоустойчивости устройств с нейросетевой архитектурой // Радиотехнические и телекоммуникационные системы. 2011. Вып. 4. С. 15-19.
6. Данилин С.Н., Макаров М.В., Щаников С.А. Оптимизация точности работы нейронной сети путем изменения разрядности аппаратных средств // Ползуновский альманах. 2010. Вып. 2. С. 19-21.
7. Данилин С.Н., Макаров М.В., Щаников С.А. Оптимизация разрядности аппаратных средств при обеспечении требуемой точности работы нейронных сетей // ВРЭ. Серия ОТ. Вып. 1. М.: ЦНИИ ЭЛЕКТРОНИКА, 2010. С.39-43.
Данилин Сергей Николаевич, канд. техн. наук, доц., [email protected], Россия, Муром, Муромский институт (филиал) Владимирского государственного университета имени Александра Григорьевича и Николая Григорьевича Столетовых,
Макаров Михаил Вячеславович, аспирант, [email protected], Россия, Владимир, Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых,
Щаников Сергей Андреевич, аспирант, [email protected]. Россия, Владимир, Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых
ALGORITHM OF DESIGNING NEURAL NETWORKS WITH THE MINIMUM CAPACITY
S.N. Danilin, M.V. Makarov, S.A. Schanikov
Defined the function and structure of the training, to ensure the optimum accuracy (quality) of the neural network. The possibility to reduce the effect of noise, which distorts the input information on the accuracy (quality) of the neural networks. Based on the proposed general approach, the possibility of methods to optimize the capacity of neural networks that transform information, distorted noises.
Key words: optimization, capacity, input information, neural network, weights, modeling, accuracy, noise.
Danilin Sergey Nikolaevich, candidate of technical science, docent, [email protected], Russia, Murom, Murom Institute (branch) of Vladimir State University named after A.G. Stoletov and N.G. Stoletov,
Makarov Mihail Vyacheslavovich, postgraduate, nauka-murom@yandex. ru, Russia, Vladimir, Vladimir State University named after A.G. Stoletov and N.G. Stoletov,
Schanikov Sergey Andreevich, postgraduate, [email protected], Russia, Vladimir, Vladimir State University named after A.G. Stoletov and N.G. Stoletov.
