CC BY
12УДК 621.391
Метод определения минимальной разрядности искусственных нейронных сетей
Макаров М.В., Данилин С.Н.
Аннотация: Предложен метод определения минимальной и достаточной разрядности искусственных нейронных сетей, на базе которого разработан алгоритм, инвариантный к структуре сети и решаемым задачам. Приведены результаты теоретико-экспериментального исследования алгоритма на математических моделях, реализующих аппроксимацию функций y=cos(x), y=arccos(x).
Ключевые слова: минимизация, разрядность, входная информация, искусственные нейронные сети, весовые коэффициенты, моделирование, точность.
Введение
Устройства и системы обработки информации с нейросетевой архитектурой, или работающие в нейросетевом логическом базисе (искусственные нейронные сети), обладают рядом преимуществ перед своими аналогами с последовательными принципами функционирования по точности, быстродействию, надежности. Следствием этого является все более широкое применение таких устройств на практике (в системах обработки и преобразования информации, системах управления различными сложными динамическими процессами). Повышенная точность работы и быстродействие искусственных нейронных сетей (ИНС) в пределах заданных допусков обеспечивается параллельным принципом обработки информации, позволяющим достигать их отказоустойчивости при изменении параметров как отдельных нейронов, так и их составных частей в определенных условиях эксплуатации.
В процессе аппаратной реализации нейросетевых алгоритмов обработки информации на любой платформе элементная база накладывает ограничения по разрядности, быстродействию, числу входов и выходов, что существенно влияет на основные технические показатели систем или устройств.
Разрядность входной информации и нейронов сети оказывает определяющее влияние на оптимальное распределение ресурсов элементной базы.
Теория ИНС в настоящее время не позволяет аналитически определить разрядность входной информации и элементов сети, обеспечивающую требуемую точность их работы и максимальную отказоустойчивость [1, 9].
1. Метод и алгоритм определения
минимальной разрядности ИНС
Метод определения минимальной и достаточной разрядности ИНС сводится к выполнению ряда этапов:
1. Синтезируются модели ИНС, удовлетворяющие техническим требованиям.
2. Оптимизируются структуры и топологии моделей ИНС по имеющимся ограничениям для выполнения преобразования информации с наивысшими показателями точности функционирования [3, 4].
3. Определяются технические показатели моделей ИНС при максимальной разрядности входной информации и платформы реализации.
4. Составляется план проведения эксперимента по действующим нормативным документам.
5. Производится пошаговое уменьшение разрядности входной информации и
(или) модели ИНС до достижения минимально допустимой точности функционирования.
6. Получение аналитических оценок границ минимальной и достаточной разрядности проектируемой ИНС.
По результатам исследований [5, 6] авторами был разработан алгоритм автоматизированного определения минимальной и достаточной разрядности ИНС произвольной архитектуры при заданных показателях точности [2].
Существо алгоритма заключается в пошаговой вариации (уменьшении на единицу) значений разрядности входной информации и весовых коэффициентов моделей ИНС с одновременной фиксацией погрешности работы сети при всех возможных значениях изменяемой разрядности.
Для этой цели применяется разработанная авторами методика наложения разрядной сетки на значение разрядности операндов.
Разрядность должна равняться любому целому количеству единиц (И), затем, в процессе эксперимента, она будет уменьшаться на 1,2, ..., N единиц путем округления.
Разрядность формируется логическим способом, путем наложения на операнд разрядной сетки в диапазоне от 0 до 2И (где N изменяется от N до 1), что эквивалентно изменению разрядности представления операндов в том же диапазоне.
Аналитически данная операция может быть представлена в следующем виде:
A =
Л.
^max
:(2w -1)
2w -1
где [.] - операция целочисленного округления; N - количество разрядов; Атах -максимальное значение диапазона существования.
Результаты работы алгоритма с моделями представляют собой зависимость точности работы модели ИНС, реализующих вычисление заданных функций, от разрядности входной информации и весовых коэффициентов.
Результаты проведенных исследований показывают, что уменьшение разрядности весовых коэффициентов и разрядности входной информации на определенное количество единиц снижают точность работы ИНС от исходного уровня. Разработанный алгоритм позволяет определить и зафиксировать их минимальное и достаточное значение.
2. Результаты исследований разработанного алгоритма
В качестве инструментального средства исследований алгоритма использовался пакет прикладных программ Neural Network Toolbox, функционирующий под управлением ядра системы Matlab версии 7.0.
Исследования проведены на моделях ИНС, вычисляющих тригонометрические функции y=cos(x) и y=arcos(x).
Наиболее точная аппроксимация функции y=cos(x) по критерию среднеквадратичной ошибки [7] достигнута в сети с шестью входными нейронами и функцией обучения trainbr, функционирующей на основе метода обратного распространения ошибки с использованием Байесовской регуляризации, которая модифицирует значения весов и смещений в соответствии с алгоритмом оптимизации Левенберга-Маркара. Функция активации нейронов первого слоя тангенциальная (tansig). Выходного нейрона - линейная (pureline).
Наиболее точная аппроксимация функции y=arcos(x) по критерию среднеквадратичной ошибки достигнута в сети с девятью входными нейронами и функци-
ей обучения ^ат1т, функционирующей так же на основе метода Левенберга-Маркара. Функция активации нейронов первого слоя тангенциальная (tansig). Выходного нейрона - линейная (ригеПпе).
Определим минимальное число разрядов входной информации и весовых коэффициентов (Ы), исходя из значения относительной погрешности квантования значений функции y=cos(x) и y=arccos(x), равного 0,02 % по методике, предложенной в [8].
Число уровней квантования для cos(x) и аг^(х) М=1/0,0002=5000 и без симметричного округления N=13. При симметричном округлении отбрасываемых разрядов, следующих за Ы, получим N=12.
Разрядность входной информации и весовых коэффициентов принимаем равной 12. Далее в ходе эксперимента эти два показателя снижались на одну единицу до тех пор, пока их разрядность не достигала единицы. В результате были сформированы графики, показывающие изменение относительной погрешности работы нейронных сетей (в %), аппроксимирующих функции y=cos(x) и y=arcos(x) в зави-
симости от разрядности входной информации и весовых коэффициентов модели ИНС. Полученные результаты показаны на рис. 1 и 2 приведены в таблице 1.
Таблица 1. Выбор разрядности весовых коэффициентов (ВК) и входной информации (ВИ)
Относительная погрешность y=cos(x) y=arccos(x)
ВК ВИ ВК ВИ
0,02 % 6 9 12 10
0,05 % 5 7 12 9
0,1 % 5 6 10 9
0,5 % 5 2 9 9
1 % 2 2 8 6
Анализ результатов математического моделирования показал, что уменьшение разрядности весовых коэффициентов с 12 до 5 и разрядности входной информации с 12 до 7 для сети, реализующей функцию y=cos(x) вносит допустимую погрешность, сохраняя точность работы модели сети на заданном уровне 0,05 %, и является минимальным и достаточным.
Сохранение начального значения разрядности весовых коэффициентов и уменьшение разрядности входной информации с 12 до 9 для модели сети, реализующей функцию y=arccos(x) вносит допустимую погрешность, сохраняя точность работы сети на заданном уровне
0,05%, и является минимальным и достаточным.
Заключение
В результате проведенных исследований разработан метод, позволяющий решать проблему определения минимальной и достаточной разрядности ИНС. На базе данного метода разработан алгоритм автоматизированного определения
Разрядность Бесовых коэффициентов
11 12 1211
Разрядность входной информации
Рис. 1. Зависимость относительной погрешности (%) работы модели ИНС, аппроксимирующей функцию у=соб(х), от разрядности входной информации и весовых коэффициентов
с В
I л
S
ё
и о К
н
О
ость, весовых коэффициентов
Рис.
дели
12 12 Разрядность входной информации
2. Зависимость относительной погрешности (%) работы мо-ИНС, аппроксимирующей функцию у=агс^(х), от разрядности входной информации и весовых коэффициентов
разрядности ИНС, произвольной структуры и назначения. Получены результаты исследований реализации разработанного алгоритма для ИНС, аппроксимирующих функции у=со8(х), у=агссо8(х).
Проведенные исследования показали, что разработанные метод и алгоритм являются эффективными средствами при нахождении необходимой разрядности аппаратных средств, реализующих нейросетевые алгоритмы, и может быть рекомендован для применения как в теоретических исследованиях, так и в инженерной практике проектирования, производства и эксплуатации любых устройств или систем с произвольной нейросетевой архитектурой или работающих в нейросе-тевом логическом базисе.
Литература
1. Галушкин А.И. Теория нейронных сетей.- М.:ИПРЖР, 2000. 416 с.
2. Макаров М.В., Данилин С.Н. Свидетельство о государственной регистрации програм-
мы для ЭВМ
№2013610463. Программа автоматизированной оптимизации разрядности нейронных сетей произвольной архитектуры / Зарегистрировано в реестре программ для ЭВМ 09.01.2013.
3. Данилин С.Н., Макаров М.В., Щаников С.А. Влияние функции обучения на качество работы нейронных сетей
/Радиопромышленность. 2012. № 2. С. 68-73.
4. Данилин С.Н., Макаров М.В., Щаников С.А. Метод определения точности работы устройств с нейросетевой архитектурой. Методы и устройства передачи и обработки информации, -Вып. 12, 2010, - с.68-70.
5. Данилин С.Н., Макаров М.В., Щаников С.А. Оптимизация точности работы нейронной сети путем изменения разрядности аппаратных средств. Ползуновский альманах, Вып. 2. 2010, с. 19-21.
6. Данилин С.Н., Макаров М.В., Щаников С.А. Оптимизация разрядности аппаратных средств при обеспечении требуемой точности работы нейронных сетей. ВРЭ. Серия ОТ. Вып. 1 М. «ЦНИИ ЭЛЕКТРОНИКА», 2010. с.39-43.
7. Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6/ Под общ. ред. Потемкина В.Г.- М.: ДИАЛОГ-МИФИ, 2002. - 496 с.
8. Чекушкин В.В. Вычислительные процессы в информационно-измерительных системах: учеб. пособие / В.В. Чекушкин, В.В. Бул-кин. - Муром: Изд.-полиграфический центр МИ ВлГУ, 2011. - 120 с.
9. Reyneri L.M. Implementation issues of neuro-fuzzy hardware: going toward HW/SW codesign, IEEE Transactions on Neural Networks, volume 14 (2003), number 1, pp. 176-194.
Работа выполнена при поддержке грантов РФФИ №12-08-31064 и №13-08-00348. Поступила 27 февраля 2013 г.
Информация об авторах
Макаров Михаил Вячеславович - аспирант Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых».
Данилин Сергей Николаевич - кандидат технических наук, доцент Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых».
Адрес: 602264, г. Муром, ул. Орловская, 23.
E-mail: [email protected].
English
The method for determining the minimum capacity of artificial neural networks
Makarov Mihail Vyacheslavovich - a postgraduate student of Murom Institute (branch) "Vladimir state university named after Alexander and Nickolay Stoletovs".
Danilin Sergey Nikolaevich - candidate of technical science, docent of Murom Institute (branch) "Vladimir state university named after Alexander and Nickolay Stoletovs".
Address: 602264, Murom, Orlovskaya st, 23.
Abstract: Dynamic models based on neural networks and data processing algorithms of dynamic processes using neural network technology is one of the important ways to develop the process of intel-lectualization of modern information systems. The successful solution of this problem will significantly improve the performance and efficiency of existing information processing systems without significant material costs due to the deep mathematical processing of the data. Moreover, the introduction of dynamic models and algorithms and their application software allows you to create intelligent systems with the ability to customize their dynamic parameters under the external influencing factors. However, during operation of a hardware or software implementation of the artificial neural network is high probability of occurrence of data distortion due to a sharp reduction generalizing capabilities because of the possible redundancy. Analysis of Russian and foreign scientific and technical publications showed that for solutions to this problem have not been developed theoretical or experimental methods for determining the minimum word length and sufficient systems and devices with neural network architecture or operating in a logical neural network basis.
Key words: minimization, capacity, input information, neural network, weights, modeling, accuracy.
References
1. Galushkin A.I. Teoriia neironnykh setei. [The theory of neural networks] M.: IPRZhR, 2000, 416 p.
2. Makarov M.V., Danilin S.N. Svidetel'stvo o gosudarstvennoi registratsii programmy dlia EVM №2013610463. Programma avtomatizirovannoi optimizatsii razriadnosti neironnykh setei proizvol'noi arkhitektury [The program is an automated optimization of the bit architecture of neural networks of arbitrary] Zaregistrirovano v reestre programm dlia EVM 09.01.2013.
3. Danilin S.N., Makarov M.V., Shchanikov S.A. Vliianie funktsii obucheniia na kachestvo raboty neironnykh setei [Influence on the quality of the learning function of the neural networks] Radiopromysh-lennost'. 2012. № 2, pp. 68-73.
4. Danilin S.N., Makarov M.V., Shchanikov S.A. Metod opredeleniia tochnosti raboty ustroistv s nei-rosetevoi arkhitekturoi. [The method of determining the accuracy of the devices with neural network architecture] Metody i ustroistva peredachi i obrabotki informatsii, Vyp. 12, 2010, pp.68-70.
5. Danilin S.N., Makarov M.V., Shchanikov S.A. Optimizatsiia tochnosti raboty neironnoi seti putem izmeneniia razriadnosti apparatnykh sredstv [Optimizing the accuracy of the neural network by changing the bit hardware] Polzunovskii al'manakh, Vyp. 2. 2010, pp. 19-21.
6. Danilin S.N., Makarov M.V., Shchanikov S.A. Optimizatsiia razriadnosti apparatnykh sredstv pri obespechenii trebuemoi tochnosti raboty neironnykh setei. [Optimizing bit hardware, while ensuring the required accuracy of the neural networks] VRE. Seriia OT. Vyp. 1 M. «TsNII ELEKTRONIKA», 2010. pp.39-43.
7. Medvedev V.S., Potemkin V.G. Neironnye seti. MATLAB 6 [Neural network. MATLAB 6] Pod obshch. red. Potemkina V.G. M.: DIALOG-MIFI, 2002, 496 p.
8. Chekushkin V.V. Vychislitel'nye protsessy v informatsionno-izmeritel'nykh sistemakh: ucheb. posobie [Computational processes in information-measuring systems: the manual] V.V. Chekushkin, V.V. Bulkin. Murom: Izd.-poligraficheskii tsentr MI VlGU, 2011. - 120 p.
