CC BY
168
10. Smolin L. Atomy prostranstva i vremeni [Atoms of space and time], V mire nauki, Scientific American [In the world of science, Scientific American], 2004, No. 4, pp. 96.
11. Kon P. Universal'naya algebra [Universal algebra]. Moscow: Mir, 1968, 349 p.
12. Kasti Dzh. Bol'shie sistemy. Svyaznost', slozhnost' i katastrofy [Large system. Connectivity, complexity and catastrophe]. Moscow: Mir, 1982, 286 p.
13. Kulba V., Nikolsky S. Metaontology DEDS: Operational dynamic system on classes, J. Management and Production Engineering Review, September, 2011, Vol. 2, No. 3, pp. 28-34.
14. Wolf K.E. Applications of Temporal Conceptual Semantic System, RF Conference with interna-tionalparticipation, Sobolev Institute of Mathematics, Preprints, September, 2007, Vol. 1, pp. 3-15.
15. Bennett, Matthew B., Ingham, Michel, Jenkins, Steven, Karban, Robert, Rouquette, Nicolas, Wagner, David A. An Ontology for State Analysis: Formalizing the Mapping to SysML, IEEE Aero Conference 2012.
16. Ericksson O., Henderson-Sellers B., Agrefalk P.J. Ontological and Linguistic metamodeling revisited, J. Informanion and Software Technology, 2013, No. 55, pp. 2099-2124.
17. Lee H., Jaekwon S. Ontological semantic inference based on cognitive map, J. Expert systems with Applications, 2014, No. 41, pp. 2981-2988.
18. Christopher L. Delp, Elyse Fosse. Jet Propulsion Laboratory, Systems Engineering Interfaces: A Model Based Approach, California Institute of Technology, Pasadena, CA, USA. Submitted to 2013 IEEE Aerospace Conference Big Sky, Montana, March 2-9, 2013.
19. Delligatti, Lenny. SysML Distilled: A Brief Guide to the Systems Modeling Language. Addison-Wesley Professional, 2013. ISBN 978-0-321-92786-6.
20. Nikol'skiy S.N., Sukhov A. Metodika organizatsii protsessa soprovozhdeniya IT-sistem [The technique of the organization of the maintenance process of IT system], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2011, No. 7 (120), pp. 170-174.
Статью рекомендовал к опубликованию д.ф.-м.н., профессор А.И. Сухинов.
Никольский Сергей Николаевич - Московский государственный университет информационных технологий, радиотехники и электроники;e-mail: [email protected]; 107996, г. Москва, ул. Стромынка, 20; тел.: 89055761402; кафедра автоматизированные системы управления; д.т.н.; профессор.
Сурженко Игорь Феодосиевич - Южный федеральный университет; e-mail: [email protected]; 347928, г. Таганрог, пер. Некрасовский, 44; главный конструктор.
Nikolsky Sergei Nikolaevich - Moscow state University of information technologies, radio engineering and electronics; e-mail: [email protected]; 20, Strominka street, Moscow, 107996, Russia; phone: +79055761402; the department of automated systems and information techcnologies; dr. of eng.sc; professor
Surgenko Igor Pheodosievich - Southern Federal University; e-mail: [email protected]; 44, Nekrasovsky, Taganrog, 347928, Russia; chief designer.
УДК 004.852
Р.М. Немков
ИССЛЕДОВАНИЕ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ, ОБУЧЕННОЙ
С ПОМОЩЬЮ МЕТОДА ПРИМЕНЕНИЯ НЕСТАНДАРТНЫХ РЕЦЕПТИВНЫХ ПОЛЕЙ ПРИ РАСПОЗНАВАНИИ ИЗОБРАЖЕНИЙ
Приведено описание результатов экспериментальной апробации метода синтеза параметров математической модели сверточной нейронной сети (СНС), отличающийся от известных тем, что для повышения обобщающей способности сети, обучающая выборка генерируется путём добавления искажённых образов посредством изменения рецептивных полей СНС. В результате один и тот же паттерн воспринимается сетью по-разному. Значительное внимание уделена анализу результатов экспериментов по распознаванию объектов на системе
технического зрения стенда «Мехатроника» с исследованием робастности сверточной нейронной сети к шуму. Подробно описывается адаптация алгоритма обратного распространения ошибки к СНС с рецептивными полями нестандартной формы. Показано, что использование рецептивных полей нестандартной формы позволяет искажать входные паттерны и, тем самым, расширять обучающее множество, увеличивая обобщающую способность сети. Практическая апробация предложенного метода синтеза параметров модели СНС была проведена на аппаратно-технической платформе стенда "Мехатроника" (производитель НПО "Андроидная техника", Россия), в систему технического зрения которого была интегрирована сверточная нейронная сеть, обученная с помощью расширенной выборки, для распознавания 10 классов объектов. Приведена структура сверточной нейронной сети, имеющая слои двух типов: слои свертки и усреднения. Учитывая важность робастности системы технического зрения к шумам, были проведены эксперименты с белым шумом. В статье приведены результаты экспериментального исследования СНС, обученной предлагаемым методом, так и без него, с учетом шумовой составляющей, установлены границы допустимого уровня шума, не влияющего на качество распознавания.
Сверточные нейронные сети; распознавание образов; рецептивные поля; обучающее множество; равномерный шум.
R.M. Nemkov
INVESTIGATION OF CONVOLUTION NEURAL NETWORK WHICH WAS TRAINED BY THE METHOD OF USE OF NON-STANDARD RECEPTIVE FIELDS IN THE PROCESS OF IMAGE RECOGNITION
In this article we describe the method of synthesis of mathematical model parameters of convolution neural network (CNN), which differs from the known fact that for to improve the generalization capability of the network, training set is generated by adding a distorted image by changing the receptive fields of the CNN. As a result, the same pattern is seen with the network differently. Considerable attention is paid to the analysis of the results of experiments on the recognition of objects in vision systems "Mechatronics" stand and the investigation of robustness of convolution neural network to the noise. An adaptation of backpropagation algorithm to CNN with receptive fields of non-standard form is details described. It is shown that the use of non-standard forms of receptive fields allows you to distort the input patterns and thereby expand the training set, increasing the generalizing of the network. The practical testing of the proposed method ofparameters synthesis of the CNN model was conducted on technical platform of "Mechatronics" stand (manufacturer SPA "Android technics", Russia). Convolution neural network trained using the extended sampling for recognition 10 object classes was integrated in the vision system of this stand. The structure of convolutional neural network was described in this article. This network has two types of layers: convolutional and subsabmping layers. Given the importance of the robustness of the vision system to noises, experiments were conducted with white noise. The results of an experimental study of CNN which was trained proposed method and without it were described in this article. The boundaries of the permissible noise level which does not affect the quality of recognition was set.
Convolutional neural networks; pattern recognition; receptive fields; training set; white noise.
Введение. Инвариантное распознавание изображений является ключевым направлением в области распознавания образов [1, 2]. В настоящее время для инвариантного распознавания изображений наилучшие результаты показывают стохастические модели, а именно, подкласс искусственных нейронных сетей (ИНС) -сверточные нейронные сети (СНС) [3]. Однако, обучение ИНС - это плохо обусловленная (некорректная) обратная задача [4]. Плохая обусловленность означает, что даже большой набор данных, может нести в себе малый объем информации о решении задачи. Поэтому ключевая роль в процессе синтеза параметров конкретной математической модели ИНС принадлежит обучающим данным. Составление же репрезентативной обучающей выборки является одной из самых сложных задач в машинном обучении [4, 5].
Известно несколько альтернатив, применяемых вместо создания большой репрезентативной выборки, по расширению обучающего множества посредством добавления преобразованных паттернов:
1. Использование специальных алгоритмов, которые перед обучением расширяют обучающее множество [6]. Однако, настройка, подбор алгоритмов и получаемого размера множества становятся очень трудным этапом.
2. Использование регуляризации [4]. Основной недостаток - более сложное обучение и трудность выработки устойчивости сети к требуемым искажениям.
3. Изменение внутренних параметров математической модели сети [1]: искажения, накладываемые на вектор антиградиента, на настраиваемые веса сети, временное исключение некоторых нейронов или связей между ними во время обучения сети. Это позволяет решать в основном прикладные задачи: препятствовать переобучению, вырабатывать устойчивость работы сети к возможным отказам некоторых элементов. Увеличение обобщающей способности -лишь косвенное следствие применения подобных решений.
Цели и задачи. Предлагается за счёт изменения таких внутренних параметров СНС, как форма рецептивных полей (РП) [1], создавать искажения по отношению к текущему паттерну, тем самым получая новые паттерны и расширяя обучающую выборку [7-9]. Алгоритм изменения формы РП, а также математическая модель синтеза параметров для СНС с расширенным обучающим множеством представлены в [10-12].
В статье приводятся результаты апробации предлагаемого метода на стенде «Мехатроника» [13]. Проведены эксперименты по распознаванию объектов и исследовано влияние шума на качество распознавания.
Метод решения. Известный обобщённый алгоритм обратного распространения ошибки для синтеза параметров СНС включает в себя следующие шаги:
1. Инициализация всех настраиваемых параметров СНС случайными вещест-
г 1 1 Т V
венными числами из равномерного распределения [--н--], где Ъ - количе-
Л -Л
ство связей между нейронами, принадлежащих нейрону, параметры которого инициализируются.
2. Подача и линейная нормировка паттерна на вход СНС
2*(Вход'' )(о1й) (Вход!,, )(п^ = ( ^)— 1, С1)
где (Вход^ я)(пот) - новое значение входа нейрона, расположенного на карте 1 в
позиции т, п после линейной нормировки.
3. Осуществление прямого прогона, т.е. распространение вычисляемых сигналов от входного слоя к выходному: на сверточном слое (С-слой) (2), на слое усреднения (8-слой) (3), выходном слое (4, 5) соответственно.
Утп = с^=т=Ф+ Е Е Е * ядрод.),, (2
д^ к=0 1=0 К„ -1 Кэ-1
Ут, п = = Ир) = НЬ+ и ЕЕ С' + к,**, +1) , (3)
к=0 1=0
где С'тп Б'тп - выход нейрона расположенного на 1-ой карте С или 8-слоя в позиции
т, п, ф() = Л*1апЬ(Б*р) при А=1.7159, В=2/3, р - взвешенная сумма, Ь - смещение, и -настраиваемый параметр для каждой 8-карты (усредняющий коэффициент) - мно-
жество индексов карт предыдущего слоя, связанных с картой С1, Kc, KS - размер квадратного РП для нейрона Cmn и соответственно, X^+kn+l - входное значение для
нейрона C'mn , Ядро^ - q-я часть настраиваемых параметров, которая отвечает за взаимодействие с q-ой картой предыдущего слоя.
K
p, = (Z C * wa ) + b, (4)
k=1
o.m<, =p(P, ) = JXP <p') , (5)
Z exp(pk)
k=1
где 1 = 1..SizeOutput, SlzeOutput - кол-во нейронов в выходном слое, K - кол-во нейронов в слое, предшествующем выходному слою (вырожденный С-слой), w^ - настраиваемые параметры выходного слоя, b1 - смещение для нейрона этого слоя, p1 - взвешенная сумма нейронов этого слоя, Output1 - выход 1-го нейрона выходного слоя.
4. Вычисление ошибки на выходном слое.
SizeOutput
Е = - Z tk *log(Outputk), (6)
k =1
где tk 6 [0,1] - k-й элемент вектора-учителя.
5. Осуществление обратного прогона.
Для выходного слоя (7), для вырожденного слоя (8), для S-слоёв (9, 10), для С-слоёв (11, 12), для смещений (13) соответственно.
JL.у» (7)
dw? У dp? dw? i J
dE
где 8х =-= Output■ -1 - локальный градиент (невязка), получаемая на вы-
dpг
ходном слое, который далее распространяется от выхода к входу, 1 - номер слоя,
wXj - настраиваемые параметры для 1 слоя, ух 1 - выходное значение нейрона j
со слоя 1-1.
Для слоя 1-1 имеем
тЕ = Z8 * < * Ф(рХ-1 ) * у? 2 = у?* (Z 8? * wk,,) * Ф(рХ-1 ) = 8х-1 * у? 2, (8)
dwi,j keD keD
dE ^ dE „ dv^ dp? „ dvA-1 „ dp?-1 ^ где -= Z -* k * —* ——— * — D - множество нейронов из
dw?1 Z dp? су?-1 dp?-1 dw,15 последующего слоя (1 слой), соединённых с нейроном у? 1, р'(-) производная от
р(-) у? 2 - выходное значение нейрона j со слоя 1-2.
Для C-слоя и S-слоя вычисление компонентов вектора градиента происходит в два этапа: сначала вычисляется накопленная невязка, затем сам компонент вектора градиента по параметру сети.
С= Z (9)
N
,e|J dz
z=1
где - невязка, собираемая для нейрона с координатами т, п в пределах карты слоя X, ^т+1 [т, п] - настраиваемый параметр для связи, соединяющий нейрон т, п
на 8-слое и нейрон с невязкой дт+1, м^+1[т,п] = Ядро^+^А 1;, А(М, Л2) -
смещение в рамках ядра для настраиваемого параметра связи, N - кол-во карт, которые связаны с текущим нейроном из последующего слоя, - множество связанных нейронов последующего слоя из 7-ой карты, которые связаны с нейроном т, п.
ж 11 £, <1»)
ди к=о I=0 дик ,1
где — = Ц <„ * уАтК +кПК +1, т.к. иК1 = и , 81268 - размер карты 8-слоя.
дик,1 т=0 п=0
<п = 1Г1 * ^т+1[т,п] Жп), (11)
¡еБ
где Б - множество нейронов на последующей карте (Х+1 слой), связанных с нейроном п, т, ^т+1[т,п] - это ит+х той карты 8-слоя, с которой связана карта С-слоя.
^^ ¡¡геС ¡¡геС
1 1 ^т,п Ут+к ,п+1 ,
(12)
д(ядрок,| у то п=о т,п
где q - та часть ядра настраиваемых параметров, для которых получают компонент градиента, 812еС - размер карты С-слоя.
Обновления смещений для 8-слоёв и С-слоёв происходит по формуле (13)
= 1 1 5т , (13)
дь т=п п=п
дЕ
где - - компонент вектора градиента для смещения i-й S или C-карты слоя X,
дъл i
SizeCard - размер карты С-слоя или S-слоя, если происходит обновление смещения для C-слоя или S-слоя соответственно.
6. Корректировка настраиваемых параметров СНС.
дЕ
_ эт
"old
= Wold - , (14)
dWold
где wnew, woid - значения новых и старых параметров соответственно, п - скорость
дЕ
обучения, _- вектор градиента.
^^ old
Известно, что классическая форма РП в СНС - это квадрат [3]. Для получения нестандартного РП предлагается использовать шаблон, элементами которого являются индексы [8], обозначающие своих соседей в пределах двух дискретных шагов от них на пиксельной матрице. При изменении всех РП, лежащих на карте, на настраиваемые параметры будет воздействовать дополнительная информация, что приведёт к выделению лучшего инварианта (рис. 1).
Вектор антиградиента, получаемый при использовании нестандартных РП, в контексте процесса обучения, можно рассматривать как наложение искажений на вектор антиградиента, получаемый при использовании стандартных РП.
а б
Рис. 1. а - покрытие, образованное из стандартных РП; б - РП нестандартной формы обеспечивают дополнительное множество Z, влияющее на ядро СНС
= ^(p) = Z ;k;l),n+l+Fj (RP„, ;k;l) * ), (15)
Использование РП нестандартной формы требует адаптации алгоритма обратного распространения ошибки на шаге 3 и 5: предлагается вместо формул (2) и (12) использовать формулы (15) и (17) соответственно.
кг -1 кг -1
У = С
^ т,п т
деО, к=0 I=0
где ^ (ДР и;к;1), ^ (ДР и; к; 1) - функции, возвращающие смещения по строке и столбцу для шаблона РП, принадлежащего нейрону т,п в позиции к, 1 внутри этого шаблона. 1пЛвхк 1 - есть элемент шаблона КРт п в позиции к, 1,
1пЛвхк 1 = 0..24 . Данные функции определяются по следующим формулам:
F (•) =
0; indexkl е {0,4,5,16,17} 1; indexkl е {6,7,8,18,19} 2; indexkJ е {20,21,22,23,24} F. (•) = -1; indexkl е {1,2,3,14,15} -2; indexkl е {9,10,11,12,13}
0; indexkl е {0,2,7,11,22} 1; indexkl е {3,5,8,12,23} 2; indexkl е {13,15,17,19,24}
-1; indexk l е {1,4,6,10,21} -2; indexkl е {9,14,16,18,20}
(16)
дБ
д(Ядрок, )q
m=0 n=0
Л * тЛ-
У,
m+k+Fi (RJ>m,„ ;k;l),n+l+Fj (RP^ ;k;l)'
(17)
Используя предлагаемый метод синтеза параметров математической модели СНС с расширенным обучающим множеством, были проведены эксперименты по распознаванию сетью объектов.
Эксперимент с распознаванием объектов. Эксперименты проводились на стенде «Мехатроника» (производства НПО «Андроидная техника», Россия), общий вид которого представлен на рис. 2.
Аппаратная часть системы технического зрения стенда «Мехатроника» представлена камерой AXIS M1054, рабочее разрешение при распознавании было установлено в 320x240 пикселей (HDTV), горизонтальный угол обзора 80°, допустимый диапазон внешней освещённости 0.9 до 105 люкс, частота кадров при любом разрешении 30 кадров в секунду (H.264/M-JPEG).
Рис. 2. Общий вид стенда «Мехатроника»
Программный комплекс системы, позволяющий распознавать объекты с камер стенда или мобильного робота, состоит из двух модулей: выделение потенциально интересных мест на кадре и распознавание выделенных изображений, переданных на вход СНС [14]. Оболочка комплекса и алгоритм выделения мест написаны на С#, распознавание с помощью СНС реализовано на С++ и подключается в виде библиотеки к основной программе.
Для экспериментов использовалась специально созданная выборка [15] для распознавания объектов со стенда «Мехатроника». Выборка состоит из 10 классов объектов реального мира и пустого класс, не содержащего ни один из объектов. Примеры паттернов из этой выборки показаны на рис. 3.
Рис. 3. Примеры паттернов из выборки для распознавания объектов со стенда
«Мехатроника»
Обучающая выборка содержит 240900 паттернов, тестовая - 21900 паттернов. Размер паттерна 96x96 пикселей (формат кодирования - оттенки серого). Каждый объект представлен 8 ракурсами на плоскости и тремя соотношениями «размер объекта - фон» на паттерне. В качестве фонов использовались различные текстуры: одежды, материалов, фотографии кабинета, а также фотографии сложных пейзажей (леса, горы). Сложные пейзажи использовались, чтобы добиться распознавания сетью именно объекта, а не соотношения объект-фон. Также объекты
были засняты под тремя различными источниками освещения, и от каждого такого снимка программно получалось ещё 3 паттерна, путём прибавления к пикселям значений +30, +60 и -30, соответственно (с соблюдением границ 0..255). Для распознавания использовалась СНС, представленная на рис. 4.
С2 S2 LJ Нейроны
36@18х18 36@6хб [email protected]х1 выходного слоя
Выделение признаков Классификация
Рис. 4. Сверточная нейронная сеть для распознавания объектов со стенда
«Мехатроника»
Множество РП, использовавшееся этой сетью, приведено в статье [7]. Результаты экспериментов для различных расстояний от камеры приведены в табл. 1.
Таблица 1
Процент правильных распознаваний для экспериментов на стенде «Мехатроника» при использовании предлагаемой математической модели СНС [10] и в скобках без неё
Объект/Расстояние 50 см 1 м 1.5 м 2 м
от камеры (расстояние до стола)
Мотоцикл 91% (85%) 87% (79%) 88% (74%) 75% (69%)
Машина 89% (81%) 85% (77%) 82% (71%) 68% (67%)
Фонарь 94% (82%) 90% (71%) 92% (65%) 72% (59%)
Лягушка 95% (79%) 91% (78%) 89% (60%) 69% (59%)
Самолёт 91% (84%) 90% (72%) 87% (67%) 74% (65%)
Плеер 90% (79%) 89% (77%) 90% (63%) 75% (58%)
Тыква 85% (81%) 83% (71%) 80% (68%) 63% (63%)
Солдат 96% (85%) 92% (76%) 90% (64%) 73% (60%)
Степлер 92% (78%) 89% (64%) 88% (62%) 71% (59%)
Пустой класс 98% 98% 98% 96%
Из полученных результатов следует, что точность распознавания для объектов достигает 96 % при использовании метода синтеза параметров математической модели СНС с расширенным обучающим множеством. С увеличением расстояния от камеры точность распознавания падает из-за ухудшающегося качества входного изображения. На расстоянии большем, чем 2 м происходит выделение слишком большого количества потенциально интересных мест и распознавание в реальном времени становится невозможным.
Эксперимент с шумом. Так как в системах технического зрения робастность к шуму имеет одно из ключевых значений [16, 17], то необходимо исследовать влияние шума на обученную СНС, которая является ядром в системе технического зрения стенда «Мехатроника».
Для исследования влияния шума на качество распознавания использовался легко моделируемый вид шума: равномерный цветной шум (белый шум [18], у которого вероятность каждого значения одинакова в заданном диапазоне) с равномерным распределением. К каждому значению пикселя в цветном канале прибавлялась случайное дополнительное значение, зависящее от выбранного уровня шума в процентах. Пример изображения с 20 % уровнем шума приведён на рис. 5.
Параметры сети и доступ к камере
файл параметров сети: TunableParametersForAllProcess
формат запросов к камере: http://192.169.1.21/axis-cgi/jpg/image.cgi?resolution=jresx
Рис. 5. Пример изображения с 20 % уровнем шума в кадре
При использовании сети, обученной без предлагаемого метода синтеза параметров математической модели СНС с расширенным обучающим множеством, стабильное распознавание оставалось до уровня шума в 6%±3%. При использовании предлагаемого метода стабильное распознавание оставалось до уровня шума в 17 %±3 %.
Под стабильным распознаванием подразумеваются результаты, отличающиеся от приведённых в табл. 1 на величину ±2 % для разных расстояний.
Интервал в ±3 % введён из-за того, что ухудшение качества распознавания происходит не сразу для всех расстояний, а постепенно. Таким образом, при 9 % (6 %+3 %) и при 20 % (17 %+3 %) происходит ухудшение распознавания для всех расстояний выбранного объекта.
При уровне шума в 70 % полностью переставал работать алгоритм захвата объектов, а также генерировалось слишком много потенциально интересных мест на кадре, что приводило к невозможности алгоритму распознавать объекты в режиме реального времени.
Устойчивость к шуму у СНС без предлагаемого метода объясняется двумя факторами: особенностями архитектуры (наличием слоёв усреднения, которые уменьшают чувствительность нейронов к случайным изменениям значений входных сигналов [19, 20]), а также учёт в обучающей выборке инвариантности к освещению (разные типы освещения тоже могут восприниматься как шум). Уровень устойчивости к шуму у СНС с предлагаемым методом обучения выше из-за того, что покрытия, состоящие из РП нестандартной формы, по сути, выполняют пере-
становку входных сигналов для нейронов, что создаёт дополнительную робаст-ность к зашумленным входам (перестановку близких пикселей или выходов нейронов на предыдущем слое можно рассматривать как шум [7, 11]).
Вывод. Таким образом, экспериментальные исследования показали, что СНС, обученная с помощью предлагаемого метода синтеза параметров [10], способна распознавать изображения с камеры аппаратно-программного комплекса с точностью до 96 % (в зависимости от расстояния) при уровне шума в 17 %±3 %, тогда как сеть, обученная без использования данного метода, распознаёт изображения с точностью до 85 % при уровне шума в 6 %±3 %.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. - Новосибирск: Нука, 1996. - 278 с.
2. Dileep G., Hawkins J. A Hierarchical Bayesian model of invariant pattern recognition in the visual cortex // In Proceedings of the International Joint Conference on Neural Networks.
- 2005. - Vol. 3. - P. 1812-1817.
3. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-based Learning Applied to Document Recognition // Proceedings of the IEEE. -1998. - Vol. 86. - P. 2278-2324.
4. Хайкин С. Нейронные сети. Полный курс. - 2-е изд.: Пер. с англ. 2008 г. - М.: Изд-во Вильямс, 2008. - 1104 с.
5. Bishop C.M. Pattern Recognition and Machine Learning. - New York: Spring Street, 233, LLC, USA, 2009. - 738 p.
6. Hassoun M. Fundamentals of Artificial Neural Networks. - A Bradford Book, 2003. - 511 c.
7. Немков Р.М., Мезенцева О.С. Динамическое изменение воспринимающих свойств свер-точных нейронных сетей как обучение с шумом и его влияние на обобщающую способность // Нейрокомпьютеры: разработка, применение. - 2015. - № 2 (63). - С. 12-18.
8. Nemkov R., Mezentseva O. The Use of Convolutional Neural Networks with Non-specific Receptive Fields // The 4th International Scientific Conference: Applied Natural Sciences.
- Novy Smokovec, 2013. - C. 284-289.
9. Немков Р.М. Разработка численного алгоритма редукции расширенного обучающего множества, генерируемого изменением рецептивных полей сверточной нейронной сети // Материалы II Всероссийской научно-технической конференции «Студенческая наука для развития информационного общества». - Ставрополь, 2015. - С. 262-264.
10. Немков Р.М. Метод синтеза параметров математической модели сверточной нейронной сети с расширенным обучающим множеством // Современные проблемы науки и образования. - 2015. - № 1.
11. Немков Р.М., Мезенцева О.С. Динамическое изменение воспринимающих свойств свер-точных нейронных сетей как обучение с шумом // Параллельная компьютерная алгебра и её приложения в новых инфокоммуникационных системах: сборник научных трудов I Международная конфереции. - Ставрополь, 2014. - С. 539-548.
12. Nemkov R. Dynamical Change of the Perceiving Properties of Neural Networks as Training with Noise and Its Impact on Pattern Recognition // Young Scientists' International Workshop on Trends in Information Processing (YSIP) - 2014. URL: http://ceur-ws.org/Vol-1145/paper4.pdf/ (дата обращения: 26.07.2015).
13. Каталог продукции НПО «Андроидная техника». URL: http://npo-at.com/products/ каталог-продукции/ (дата обращения: 26.07.2015).
14. Немков Р.М., Мезенцева О.С. Разработка модуля обучения сверточных нейронных сетей для комплекса распознавания изображений с камеры мобильного робота // Фундаментальные и прикладные аспекты компьютерных технологий и информационной безопасности: материалы трудов I Всероссийской научно-технической конференции. - Ростов-на-Дону, 2015. - С. 463-465.
15. Лагунов Н.А., Мезенцева О.С. Влияние предобработки изображений на качество обучения нейронной сети для их распознавания // Вестник Северо-Кавказского государственного технического университета. - 2015. - № 1 (46). - С. 21-25.
16. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - 3-е изд. - М.: Техносфера, 2012. - 1104 с. - ISBN 978-5-94836-331-8.
17. Sermanet P., LeCun Y. Traffic sign recognition with multi-scale convolutional networks // In Proceedings of the International Joint Conference on Neural Networks (IJCNN), August, 2011.
18. Белый шум. URL: https://ra.wikipedia.org/wiki/Белый_шум (дата обращения: 26.07.2015).
19. LeCun, Y., Huang F.-J., Bottou L. Learning methods for generic objects recognition with invariance to pose and lighting // in Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR'04). - Vol. 2. - P. 97-104. Los Alamitos, CA, USA: IEEE Computer Society, 2004.
20. Ciresan D., Meier U., Schmidhuber J. Multicolumn Deep Neural Networks for Image Classification // n Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), CVPR '12. - P. 3642-3649, Washington, DC, USA, 2012. IEEE Computer Society.
REFERENCES
1. Gorban'A.N., RossievD.A. Neyronnye seti na personal'nom komp'yutere [Neural network on a personal computer]. Novosibirsk: Nuka, 1996, 278 p.
2. Dileep G., Hawkins J. A Hierarchical Bayesian model of invariant pattern recognition in the visual cortex, In Proceedings of the International Joint Conference on Neural Networks, 2005, Vol. 3, pp. 1812-1817.
3. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-based Learning Applied to Document Recognition, Proceedings of the IEEE, 1998, Vol. 86, pp. 2278-2324.
4. Khaykin S. Neyronnye seti. Polnyy kurs [Neural network. Full course]. 2nd ed: Translation from English, 2008 g. Moscow: Izd-vo Vil'yams, 2008. 1104 p.
5. Bishop C.M. Pattern Recognition and Machine Learning. New York: Spring Street, 233, LLC, USA, 2009, 738 p.
6. Hassoun M. Fundamentals of Artificial Neural Networks. A Bradford Book, 2003, 511 p.
7. Nemkov R.M., Mezentseva O.S. Dinamicheskoe izmenenie vosprinimayushchikh svoystv svertochnykh neyronnykh setey kak obuchenie s shumom i ego vliyanie na obobshchayushchuyu sposob-nost' [Dynamic change of the perceiving properties of convolu-tional neural networks as training with noise and its impact on the generalization performance], Neyrokomp'yutery: razrabotka, primenenie [Neurocomputers: development, application], 2015, No. 2 (63). pp. 12-18.
8. Nemkov R., Mezentseva O. The Use of Convolutional Neural Networks with Non-specific Receptive Fields, The 4th International Scientific Conference: Applied Natural Sciences. Novy Smokovec, 2013, pp. 284-289.
9. Nemkov R.M. Razrabotka chislennogo algoritma reduktsii rasshirennogo obuchayushchego mnozhestva, generiruemogo izmeneniem retseptivnykh poley svertochnoy neyronnoy seti [Development of numerical algorithm of reduction of the expanded training set generated by a change receptive fields of convolutional neural networks], Materialy II Vserossiyskoy nauchno-tekhnicheskoy konferentsii «Studencheskaya nauka dlya razvitiya informatsionnogo obshchestva» [Materials of II Russian scientific-technical conference "Student science for development of the information society"]. Stavropol', 2015, pp. 262-264.
10. Nemkov R.M. Metod sinteza parametrov matematicheskoy modeli svertochnoy neyronnoy seti s rasshirennym obuchayushchim mnozhestvom [Method of synthesis of parameters of the mathematical model of convolutional neural network with advanced learning lots], Sovremennye problemy nauki i obrazovaniya [Modern problems of science and education], 2015, No. 1.
11. Nemkov R.M., Mezentseva O.S. Dinamicheskoe izmenenie vosprinimayushchikh svoystv svertochnykh neyronnykh setey kak obuchenie s shumom [Dynamic change of the perceiving properties of convolutional neural networks as training with noise], Parallel'naya komp'yuternaya algebra i ee prilozheniya v novykh infokommunikatsionnykh sistemakh: sbornik nauchnykh trudov I Mezhdunarodnaya konferetsii [Parallel computer algebra and its applications in new information and communication systems: proceedings of the I International conference]. Stavropol', 2014, pp. 539-548.
12. Nemkov R. Dynamical Change of the Perceiving Properties of Neural Networks as Training with Noise and Its Impact on Pattern Recognition, Young Scientists' International Workshop on Trends in Information Processing (YSIP) - 2014. Available at: http://ceur-ws.org/Vol-1145/paper4.pdf/ (accessed 26 July 2015).
13. Katalog produktsii NPO «Androidnaya tekhnika» [Product catalog NGOs "Android technology"]. Available at: http://npo-at.com/products/katalog-produktsii/ (data obrashcheniya: accessed 26 July 2015).
14. Nemkov R.M., Mezentseva O.S. Razrabotka modulya obucheniya svertochnykh neyronnykh setey dlya kompleksa raspoznavaniya izobrazheniy s kamery mobil'nogo robota [Development of module training convolutional neural networks for image recognition with a camera of a mobile robot], Fundamental'nye i prikladnye aspekty komp'yuternykh tekhnologiy i informatsionnoy bezopasnosti: materialy trudov I Vserossiyskoy nauchno-tekhnicheskoy konferentsii [Fundamental and applied aspects of computer technologies and information security: materials of I all-Russian scientific-technical conference]. Rostov-na-Donu, 2015, pp. 463-465.
15. Lagunov N.A., Mezentseva O.S. Vliyanie predobrabotki izobrazheniy na kachestvo obucheniya neyronnoy seti dlya ikh raspoznavaniya [The influence of pretreatment images at the quality of training the neural network for recognition], Vestnik Severo-Kavkazskogo gosudarstvennogo tekhnicheskogo universiteta [Bulletin of North Caucasus state technical University], 2015, No. 1 (46), pp. 21-25.
16. Gonsales R., Vuds R. Tsifrovaya obrabotka izobrazheniy [Digital image processing]. 3rd ed. Moscow: Tekhnosfera, 2012, 1104 p. ISBN 978-5-94836-331-8.
17. Sermanet P., LeCun Y. Traffic sign recognition with multi-scale convolutional networks, In Proceedings of the International Joint Conference on Neural Networks (IJCNN), August, 2011.
18. Belyy shum [White noise]. Available at: https://ru.wikipedia.org/wiki/Belyy_shum (accessed 26 July 2015).
19. LeCun, Y., Huang F.-J., Bottou L. Learning methods for generic objects recognition with invariance to pose and lighting, in Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR '04), Vol. 2, pp. 97-104. Los Alamitos, CA, USA: IEEE Computer Society, 2004.
20. Ciresan D., Meier U., Schmidhuber J. Multicolumn Deep Neural Networks for Image Classification, In Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), CVPR '12. pp. 3642-3649, Washington, DC, USA, 2012. IEEE Computer Society.
Статью рекомендовал к опубликованию д.т.н., профессор И.А. Калмыков.
Немков Роман Михайлович - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Северо-Кавказский федеральный университет»; e-mail: [email protected]; 355045, г. Ставрополь, ул. Пирогова, 50/1, кв. 18; тел.: 89624086591; лаборатория робототехнических систем; младший научный сотрудник
Nemkov Roman Mikhaylovich - Federal State Autonomous Educational Institution for Higher Professional Education "North-Caucasus Federal University"; e-mail: [email protected]; 50/1, Pirogova street, ap. 18, Stavropol, 355045, Russia; phone: +79624086591; laboratory of robotics systems; research assistant.
УДК 004.852
Р. Мамедов, А.Б. Чернышев
КЛАССИФИКАЦИЯ ВЫХОДНЫХ ЗНАЧЕНИЙ НЕЙРОННОЙ СЕТИ ДЛЯ ФОРМИРОВАНИЯ ВХОДНЫХ ВОЗДЕЙСТВИЙ ПРОГНОЗИРОВАНИЯ СВОБОДНЫХ РЕСУРСОВ ПРОВАЙДЕРА
В данной статье содержатся уникальные результаты исследования специфики нейронных сетей, также приводятся результаты классификации выходных данных нейронных сетей, способствующие обеспечению автономности интеллектуальной системы в процессе обучения. Целью настоящей статьи является разработка принципиально нового метода, способствующего классификации результатов нейронной сети и служащего для упрощения процедуры наполнения базы знаний и сокращения вычислительных ресурсов для обработки больших объемов данных. Задачи исследования состоят в определении и выборе входных воздействий нейронной сети, а также в определении наиболее перспективных и актуальных методов обработки её результатов. Объектом настоящего исследования послужили нейронные сети в аспекте построения интеллектуальной системы. Предмет исследования -
