CC BY
126
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ
УДК 004.032.24:004.032.26
МОДИФИЦИРОВАННАЯ СЕТЬ ВОРДА И ГИБРИДНЫЙ МЕТОД ОБУЧЕНИЯ ДЛЯ ПРОГНОЗА ПОКАЗАТЕЛЕЙ КАЧЕСТВА МЕТАЛЛУРГИЧЕСКОГО КОКСА
Дороганов Виталий Сергеевич1,
магистр прикладной информатики, аспирант, ст. преподаватель, e-mail: DoroganovV@mail.ru
Пимонов Александр Григорьевич1' 2, доктор техн. наук, профессор, научн. сотр., e-mail: pag_vt@kuzstu.ru
'Кузбасский государственный технический университет имени Т. Ф. Горбачева, 650000, Россия, г. Кемерово, ул. Весенняя, 28
2Институт экономики и организации промышленного производства СО РАН, 630000, Россия, г. Новосибирск, просп. Лаврентьева, 17
Аннотация
В статье представлена модификация модели искусственной нейронной сети Ворда. Суть модификации заключается в том, что предложено использовать передаточные функции с изменяемыми параметрами. В качестве передаточных функций использовались: функция Ферми, тождественная и гиперболическая функции, купол Гаусса и синусоида.
Алгоритм обратного распространения ошибки при обучении нейронной сети не позволяет изменять параметры передаточных функций. Поэтому для обучения был предложен гибридный метод, основанный на генетическом алгоритме и стохастическом методе обучения.
Для выбора характеристик предложенной нейронной сети (количество слоёв и нейронов в каждом слое) была проведена серия вычислительных экспериментов: каждая комбинация обучалась в течении 2000 итераций 40 раз. Результаты обучения представлены в виде таблиц и графиков.
В статье описана технология параллельных вычислений для предложенной нейронной сети. Представлены результаты исследования влияния характеристик сети на время обучения в табличном и графическом виде. Приведены результаты вычислительных экспериментов оценки скорости вычислений на двух многоядерных процессорах.
Ключевые слова: нейронные сети, генетические алгоритмы, металлургический кокс, прогнозирование, многопоточные вычисления, многоядерные процессоры.
Введение
Строительство домов, сборка машин, выпуск различной техники и механизмов требуют огромных затрат твёрдых металлов - стали и чугуна. Металлы в природе, как правило, встречаются не в чистом, самородном состоянии, а в виде химических соединений. Чтобы добыть чистые металлы из руд их подвергают соответствующей обработке. Кокс - основное топливо при выплавке чугуна в доменных печах. Одной из главных задач коксохимической промышленности является повышение качества характеристик получаемого кокса. Показатели качества металлургического кокса напрямую зависят от характеристик шихты (обо-гащённое рудное сырье с топливом - углём), из которой он изготавливается, а также от печи, в которой запекается шихта. Шихта характеризуется восемью основными параметрами: 1) VI - объёмная доля витринита; 2) ОК - содержание фюзени-зированных компонентов; 3) Ad - зольность на сухое состояние; 4) Vdaf - выход летучих веществ на сухое беззольное состояние; 5) ПК - пори-
стость; 6) 1в - объемная доля интернита, 7) R0 -показатель отражения витринита; 8) W - влажность гигроскопическая. Кокс же имеет два показателя качества: 1) CRI (Coke Reactivity Index) -индекс реакционной способности и 2) CSR (Coke Strength after Reaction) - индекс прочности кокса после взаимодействия. Несмотря на то, что производство кокса было изобретено ещё в XVII веке, какой-то формулы или алгоритма расчёта его показателей качества на основе характеристик шихты до сих пор не существует [1].
Решение данной задачи позволяет преодолеть проблему формирования металлургической шихты из имеющихся на складах углей для получения металлургического кокса с заданными показателями качества. Между входными и выходными параметрами (характеристиками шихты и показателями качества кокса) имеется существенная статистическая взаимосвязь, однако прогноз качественных характеристик металлургического кокса на основе параметров запекаемой шихты с помощью классических методов математической ста-
тистики представляется весьма затруднительной процедурой [2].
Нейронная сеть
Искусственные нейронные сети - набор математических и алгоритмических методов для решения широкого круга задач [3 - 6]. Большинство нейронных сетей представляет собой совокупность элементов (искусственных нейронов), связанных между собой синаптическими соединениями (весами). Принцип работы нейронной сети заключается в преобразовании входных сигналов, в результате чего изменяется внутреннее состояние сети и формируются выходные значения. Существует большое количество топологий нейронных сетей [7 - 10], которые на практике используются для поддержки принятия решений в различных сферах деятельности и для решения задач классификации. В подобных задачах чаще всего применяются персептрон и сеть Ворда.
Топология Ворда
Нейронная сеть Ворда - искусственная нейронная сеть, топология которой характеризуется тем, что нейроны внутренних слоёв имеют различные передаточные функции. Таким образом, одни и те же сигналы, полученные от входного слоя, взвешиваются и обрабатываются параллельно с использованием нескольких способов, а полученный результат затем обрабатывается нейронами выходного слоя. Применение разных методов обработки для одного и того же набора данных позволяет сказать, что с помощью нейронной сети эти данные анализируются в различных аспектах. Практика показывает, что такая сеть позволяет получить очень хорошие результаты при решении задач прогнозирования и распознавания образов. Для нейронов входного слоя, как правило, устанавливается линейная функция активации.
Для обучения нейронной сети Ворда можно применять метод обратного распространения ошибки.
Модификация сети Ворда
В качестве передаточных функций предлагается использовать следующие: функцию Ферми
1, если х > а ^ 0, если х < а
купол Гаусса
(рис. 1), тождественную
У =
ги-
перболическую функции (рис. 2) (рис. 3), синусоиду.
В полученной топологии параметры передаточных функций, как правило, устанавливаются экспериментально. Для улучшения точности прогноза было решено сделать их изменяемыми в процессе обучения.
Гибридный метод обучения нейронной сети В основу обучающего алгоритма обратного распространения ошибки положен метод градиентного спуска, предполагающий изменение весовых коэффициентов нейронной сети. Какого-либо изменения параметров передаточных функций данный метод обучения не предполагает. Поэтому
для решения этой задачи в качестве алгоритма обучения был выбран стохастический метод - метод случайного изменения весов с сохранением тенденции положительных изменений.
1 с г2 9 5"*""""""
- к
а=1 7 —--- С - -1
-5
-3
■1 1
Рис. 1. Функция Ферми
У = ех С-.З - п т а=0,5\
а X 1000 П 1 _ //
У / о.=1
"а=1/ / " -Р--0.1 : 5
-0 2
Рис. 2. Гиперболическая функция
-1 1
Рис. 3. Купол Гаусса
Однако наличие большого количества связей в нейронной сети делает данный алгоритм малоэффективным на начальных этапах обучения [11 - 12]. Поэтому для улучшения качества и скорости обучения было решено применить изменённый генетический алгоритм.
Суть его заключается в следующем.
Создаётся популяция нейронных сетей, каждая из которых несколько раз обучается стохастическим методом, затем каждая особь оценивается.
Список особей ранжируется, и лучшие экземпляры нейронных сетей переходят в следующее поколение.
Этот итерационный процесс повторяется. После нескольких итераций полученная сеть доучивается классическим стохастическим методом.
Выбор топологии
После определения используемых для прогноза показателей качества металлургического кокса топологий искусственных нейронных сетей необходимо было определить оптимальное количество слоёв и нейронов в каждом слое. Малое количество слоёв и нейронов ведёт к невозможности сети обнаруживать сложные зависимости. Увеличение количества слоёв и нейронов значительно увеличивает время обучения сети. Существуют варианты интеллектуального подбора характеристик сети [13].
Для решения задачи определения характеристик сети было проведено 40 вычислительных экспериментов продолжительностью 2000 эпох обучения для каждой комбинации сети. Максимальное количество слоёв принято за 5, нейронов в слое - 10. В качестве критерия оптимальности была использована относительная ошибка прогнозирования.
Результаты вычислительных экспериментов для модифицированной топологии Ворда приведены в табл. 1 и графически представлены на рис. 4. Минимальное значение ошибки достигается в точке [6; 2].
Таблица 1. Относительная ошибка обучения для модифицированной сети Ворда
123456789 10 Количество нейронов в слое
Рис. 4. Относительная ошибка обучения для модифицированной сети Ворда
Результаты вычислительных экспериментов с использованием персептрона представлены в табл. 2 и визуализированы на рис. 5. Точки минимума [7; 1] и [4; 2].
Таблица 2. Относительная ошибка обучения для персептрона
Нейронов в слое Количество слоёв
1 2 3 4 5
1 0,160 0,150 0,139 0,149 0,147
2 0,138 0,117 0,123 0,136 0,120
3 0,114 0,1031 0,1061 0,107| 0,118
4 0,116 0,0931 0,113 0,117 0,120
5 0,098| 0,1071 0,113 0,131 0,127
6 0,097| 0,1001 0,104| 0,112 0,128
7 0,090| 0,1021 0,111 0,131 0,152
8 0,0951 0,1071 0,130 0,138 0,173
9 0,092| 0,115 0,138 0,182 0,252
10 0,092| 0,1101 0,161 0,235 0,330
1 234567^9 10
Количество неГирокок в слое
Рис. 5. Относительная ошибка обучения для персептрона
Из таблиц 1 и 2 видно, что лучшие результаты прогноза получены с помощью следующих нейронных сетей: 1) сети Ворда размером 2 слоя с 6-7 нейронами в каждом; 2) персептрона размером 1 слой с 7 нейронами; 3) персептрона размером 2 слоя с 4 нейронами в каждом.
Динамика обучаемости исследуемых топологий представлена в виде графиков (рис. 6 - 8).
Анализ графиков (рис. 4 - 8) показал, что возможностей персептрона недостаточно для решения задачи прогноза показателей качества металлургического кокса. Поэтому дальнейшие эксперименты проводились с нейронной сетью модифицированной топологии Ворда размером 2 слоя по 6 нейронов в каждом слое.
Эпоха обучения
Рис. 6. Динамика обучаемости однослойного персептрона
Нейронов в слое Количество слоёв
1 2 3 4 5
1 0,167 0,131 0,130 0,132 0,133
2 0,140 0,1081 0,122 0,119 0,125
3 0,135 0,1071 0,1101 0,115 0,121
4 0,126 0,1051 0,1021 0,1061 0,116
5 0,113 0,098| 0,1081 0,118 0,133
6 0,1101 0,094| 0,1041 0,145 0,180
7 0,1061 0,096| 0,1021 0,143 0,157
8 0,116 0,1061 0,154 0,232 0,361
9 0,111 0,1001 0,169 0,302 0,444
10 0,112 0,1051 0,181 0,364 0,527
Рис. 7. Динамика обучаемости двухслойного персептрона
Рис. 8. Динамика обучаемости двухслойной модифицированной сети Ворда
Технология параллельных вычислений
Нейронные сети являются идеальным объектом для реализации параллельных вычислений из-за обособленности каждого нейрона. Для ускорения обучения сетей в программном продукте были использованы возможности платформы .Net 4.5. Все слои обрабатываются последовательно, начиная с первого. Внутри каждого слоя нейроны обсчитываются параллельно. Вычислительный эксперимент проводился на 4-х ядерном процессоре Intel Core i7 920 с технологией Hyper-Threading.
Для анализа эффективности использования технологии параллельных вычислений при прогнозе показателей качества металлургического кокса на основе нейросетевых моделей вычислялось среднее время работы сети, включая обучение, при выполнении 2000 итерация (40 экспериментов для каждой комбинации) на модифицированной сети Ворда (табл. 3). При каждом переходе к следующему эксперименту количество параметров нейронной сети (слои и нейроны) увеличивалось в 2 раза.
Таблица 3. Среднее время работы модифицированной нейросети Ворда, сек
Эксперименты проводились с целью поиска ответов на два вопроса:
1) Каким образом изменяется время обучения сети при увеличении количества нейронов и постоянном числе слоев?
2) Какова зависимость времени обучения от числа слоёв при постоянном количестве нейронов в каждом слое?
График изменения времени обучения при увеличении числа слоёв представлен на рисунке 9. Число нейронов в каждом слое является фиксированным. Шкала времени (/) логарифмическая с основанием 2.
2D4S
" 512
=
о р—
о р-
сс
128
32
1 1 HSHDOH п
+ 2 нгйрона --4 нгнрона —О—S нгнронов —О— 16
1 2 4 8 16
Число слоев
Рис. 9. Зависимость времени работы нейросети от числа слоев при постоянном количестве нейронов в каждом слое
Изменение времени обучения при увеличении количества слоёв представлено в таблице 4. Можно видеть, что кратное увеличение числа слоёв ведёт к пропорциональному увеличению времени обучения (рис. 10).
Таблица 4. Изменение времени обучения модифицированной нейросети Ворда при увеличении числа слоёв
Нейронов в слое Увеличение слоёв с ... до ...
1-2 2-4 4-8 8-16
1 1,73 1,97 1,87 1,99
2 1,69 1,96 1,99 1,91
4 1,80 1,97 2,34 2,35
8 2,07 1,99 3,08 2,89
16 2,58 3,28 3,21 3,63
Количество нейронов Количество слоёв
1 2 4 8 16
1 4,3 7,4 14,6 27,4 54,6
2 5,4 9,0 17,7 35,2 67,2
4 7,3 13,1 25,9 60,7 142,5
8 10,7 22,2 44,2 136,2 393,5
16 19,5 50,5 165,3 530,6 1924,1
Из вышесказанного можно сделать вывод, что время обучения модифицированной нейросети Ворда увеличивается пропорционально увеличению числа слоёв сети.
График изменения времени обучения нейросе-ти при увеличении числа нейронов в слое представлен на рис. 11. Число слоёв является фиксированным. Шкала времени логарифмическая с основанием 2.
Относительное увеличение времени обучения при увеличении количества нейронов в слое представлено в табл. 5. Можно видеть, что кратное увеличение числа слоёв ведёт к пропорциональному увеличению времени обучения - рис. 12.
с 1 до 2 с 2 до 4 с 4 до 3 с 3 до 16
Увеличение числа ело ев а 1 нгйрон ■ 2 нгйрона —О—4нгйрона -3 нгйронов —□— 16 нгйронов
Рис. 10. Изменение времени обучения нейросети с модифицированной топологией Ворда при увеличении числа слоёв
2 4 3
Число нгйронов в каждом слов
Рис. 11. Зависимость времени обучения сети от
количества нейронов при постоянном числе слоев
Таблица 5. Изменение времени обучения нейросети с модифицированной топологией Ворда при увеличении числа нейронов в слое
Увеличение нейронов Количество слоёв
1 2 4 8 16
с 1 до 2 1.25 1.22 1.21 1.29 1.23
с 2 до 4 1.36 1.45 1.46 1.72 2.12
с 4 до 8 1.46 1.69 1.70 2.24 2.76
с 8 до 16 1.83 2.28 3.74 3.90 4.89
с1до2 с2до4 с 4 до 3 с В до 16 Увеличение числа нейронов в слое А 1 слой ■ 2 слоя —у—4 стоя
■ Всюёе —□—16споёе
Рис. 12. Изменение времени обучения сети с модифицированной топологией Ворда при увеличении числа нейронов
Из вышеописанного можно сделать вывод, что при увеличении числа нейронов время обучения сети увеличивается быстрее. Стоит отметить зна-
чительное увеличение времени вычисления при увеличении числа нейронов свыше количества ядер и потоков процессора. Это связано с необходимостью перераспределения задач по свободным ядрам.
В работе ранее [2] использовался процессор Intel Core i5 2410M (двуядерный, четырёхпоточ-ный), в данной работе использовался процессор Intel Core i7 920 (четырёхъядерный, восьмипоточ-ный). Прирост скорости при использовании многоядерных процессоров представлен в таблице 6. Эксперименты проводились с модифицированной искусственной нейронной сетью Ворда размером 2 слоя по 8 нейронов в каждом при вычислении 2000 итераций (40 экспериментов).
Таблица 6. Среднее время работы сети при вычислениях в последовательном и параллельном режимах
Процессор Intel Core i5 2410M Intel Core i7 920
Частота, ГГц 2,30 2,67
Количество ядер, шт. 2 4
Количество потоков, шт. 4 8
Параллельный режим работы нет да да
Время работы, с 73,5 27,2 22,2
Загруженность процессоров Intel Core i5 2410M и Intel Core i7 920 при последовательном и параллельном режимах работы нейронной сети представлены на рисунках 13 - 16 соответственно.
Рис. 13. График загрузки процессора Intel Core i5 2410M (последовательный режим)
Ц П Intel(R) Соге(ТМ) ¡5-241 ОМ CPU @ 2.30GHz
% использования более &0 секунд 100%
/
J ■
Рис. 1 4. График загрузки процессора Intel Core i5 2410M (параллельный режим)
Рис. 15. График загрузки процессора Intel Core
i7 920 (последовательный режим)
Рис. 16. График загрузки процессора Intel Core i7 920 (параллельный режим)
Использование Intel Core i5 2410M в параллельном режиме даёт прирост скорости в 2,7 раза; Intel Core i7 920 - 3,3 раза. Применение четырёхъ-ядерного вместо двуядерного процессора дал прирост скорости в 1,22 раза. Столь незначительный прирост обусловлен более раннем выпуском процессора и ввиду этого слабым математическим сопроцессором (процессор Intel Core i7 920 выпу-
щен в октябре 2008 года, Intel Core i5 2410M - в феврале 2011 года). Это же подтверждается тем, что в результате эксперимента загруженность процессора Intel Core i5 2410M составляла практически 100%, а Intel Core i7 920 не превышала 70%.
Анализ графиков загрузки и времени обучения показал, что процессорное время Intel Core i5 2410M используется более рационально: достигается полная загрузка процессора, коэффициент прироста скорости работы искусственной нейронной сети (при параллельном вычислении относительно последовательного) составляет 2,7 раза, его отношение к количеству потоков равняется 0,68 (2,7 / 4 = 0,68). При приросте скорости работы в 3,3 раза (при параллельном вычислении относительно последовательного) отношение к числу потоков составило 0,41 (3,3 / 8 = 0,41) для процессора Intel Core i7 920.
Заключение
В результате проведённого исследования была предложена модификация топологии искусственной нейронной сети Ворда, определены её характеристики и разработан гибридный метод обучения для решения задачи прогноза показателей качества металлургического кокса на основе характеристик угольной шихты. Проведён анализ влияния размерности нейронной сети на время её обучения (скорость работы) при использовании технологии параллельных вычислений на двух процессорах. В дальнейшем планируется перенос вычислений на графический процессор, это является перспективным способом значительного ускорения работы нейронных сетей [14-15].
СПИСОК ЛИТЕРАТУРЫ
1. Di'ez, M. A. Coal for metallurgical coke production: predictions of coke quality and future requirements for cokemaking / M. A. Di'ez, R. Alvarez, C. Barriocanal // International Journal of Coal Geology. - 2002. - № 50. - PP. 389-412.
2. Дороганов, В. С. Методы статистического анализа и нейросетевые технологии для прогнозирования показателей качества металлургического кокса / В. С. Дороганов, А. Г. Пимонов // Вестник Кемеровского государственного университета. - 2014. - №4 (60). - Т 3. - С. 123-129.
3. Евсюткин, Т. В. Классификация облачности по спутниковым снимкам вероятностной нейронной сетью / Т. В. Евсюткин, А. В. Тунгусов // Материалы 51-й Международной научной студенческой конференции «Студент и научно-технический прогресс». - Новосибирск: НГУ, 2013. - С. 131.
4. Корниенко, И. Л. Обучение нейросетовой информационной системы для определения состава угольного концентрата с использованием базы данных уникальных углей // Информационные системы и технологии в образовании, науке и бизнесе (ИСиТ-2014). Материалы Всероссийской молодежной научно-практической школы. - Кемерово, 2014. - С. 127-128.
5. Кулманакова, Е. В. Отслеживание движения людей в видеопотоке // Сборник трудов XVIII Международной научно-практической конференции студентов, аспирантов и молодых ученых «Современные техника и технологии». - Томск: ТПУ, 2012. - С. 335-336.
6. Погорелов, Н. Е. Интеллектуальная информационная система для анализа и прогнозирования биржевых котировок акций / Н. Е. Погорелов, К. Э. Рейзенбук, А. Г. Пимонов // Вестник Кузбасского государственного технического университета. - 2012. - № 6. - С. 118-122.
7. Jordan, M. I. Serial order: A parallel distributed processing approach. // Institute for Cognitive Science
Report 8604. - San Diego: University of California, 1986. - 40 p.
8. Elman, J. L. Finding structure in time // Cognitive Science. - 1990. - №14 - P. 179-211.
9. Buhmann, M. D. Radial basis functions: theory and implementations // Cambridge monographs on applied and computational mathematics. - Cambridge University, 2003. - 258 p.
10. Isaac, J. S. Neural Gas for Temporal Clustering / J. Sledge Isaac, James M. Keller: // 19th International Conference on pattern recognition. - Tampa, 2008. - P. 1-4
11. Дороганов, В. С. Использование элементов генетического алгоритма в обучении нейронной сети стохастическим методом // Перспективы развития информационных технологий: труды Всероссийской молодежной научно-практической конференции. - Кемерово: КузГТУ, 2014. - С. 214-215.
12. Субботт, С. О. Неггеративш, еволюцшш та мультиагентш методи синтезу нечггколопчних i нейромережних моделей / С. О. Субботш, А. О. Олшник, О. О. Олшник //: Монографiя Щд заг. ред. С. О. Субботша. - Запорiжжя: ЗНТУ, 2009. - 375 с.
13. Дягель, А. В. Эффективное распределение ресурсов нейроэволюционного алгоритма // Информационно-телекоммуникационные системы и технологии (ИТСиТ-2014): Материалы Всероссийской научно-практической конференции. - Кемерово: КузГТУ, 2014. - С. 246-245.
14. Нгуен, В. X. Нейросетевые алгоритмы для решения задач кодирования изображений с использованием технологии CUDA: автореф. дис. канд. техн. наук. - Москва: МФТИ, 2012. - 23 с.
15. Санников, М. А. Ускорение нейронных сетей с помощью CUDA на примере задачи распознавания рукописных символов // CUDA Альманах. - Santa Clara: nVIDIA Corporation, 2014. - С. 13-14.
Поступило в редакцию 13.05.2015
MODIFIED NETWORK WORD AND HYBRID TRAINING METHOD FOR THE PREDICTION OF INDICATORS OF QUALITY OF METALLURGICAL COKE
Doroganov V. S.1,
M.Sc. (Informatics), Graduate student, Senior lecturer, e-mail: DoroganovV@mail.ru
Pimonov A. G.1 2,
D.Sc (Engineering), Professor, Researcher, e-mail: pag.vtit@kuzstu.ru
:T. F. Gorbachev Kuzbass state technical university 28, street Vesennyaya, Kemerovo, 650000, Russia.
2Institute of economics and industrial engineering, Siberian branch of the Russian academy of sciences, 17avenue Lavrent'eva, Novosibirsk, 630000, Russia.
Abstract
The article presents a modification of the model of artificial neural network of Word. The essence of modification is variability parameters of the transfer functions. The transfer functions are the Fermi function, identity, hyperbolic functions, the dome of Gauss and sine wave.
Back propagation algorithm is not suitable for training, as they do not change the parameters of the transfer functions. For learning to use a hybrid method. It based on genetic algorithm and stochastic methods.
To select characteristics of neural network (the number of layers and neurons in each layer) experiment has conducted: each combination studied during 2000 iterations 40 times. The result of study presented in tabular form and graphically.
The article describes the technology of parallel computations for the neural network. We present the results of the investigation of the influence-network features on the training in tabular and graphical form. The results of experimental evaluation velocity calculations on two multi-core processors.
Keywords: neural networks, genetic algorithms, metallurgical coke, forecasting, multi-threaded computing, multicore processors.
REFERENCES
1. Di'ez, M. A. Coal for metallurgical coke production: predictions of coke quality and future requirements for cokemaking / M.A. Di'ez, R. Alvarez, C. Barriocanal // International Journal of Coal Geology. 2002. No.50. P. 389-412. (eng)
2. Doroganov, V. S. Metody statisticheskogo analiza i neyrosetevye tekhnologii dlya prognozirovaniya pokazateley kachestva metallurgicheskogo koksa [The methods of statistical analysis and neural network technology to predict indicators of quality metallurgical coke] / V. S. Doroganov, A. G. Pimonov // Vestnik Kemer-
148
B. C. ,fl,oporaHOB, A. r. HHMOHOB
ovskogo gosudarstvennogo universiteta [Bulletin of the Kemerovo State University]. 2014. No. 4 (60). Vol. 3. P. 123-129. (rus)
3. Evsyutkin, T. V. Klassifikatsiya oblachnosti po sputnikovym snimkam veroyatnostnoy neyronnoy set'yu [Classification of clouds on satellite imagery probabilistic neural network] / T. V. Evsyutkin, A.V. Tungusov // Materialy 51-y Mezhdunarodnoy nauchnoy studencheskoy konferentsii "Student i nauchno-tekhnicheskiy progress" [Proceedings of the 51st International scientific student conference "Student and technological progress"]. Novosibirsk: NSU. 2013. P. 131. (rus)
4. Kornienko, I. L. Obuchenie neyrosetovoy informatsionnoy sistemy dlya opredeleniya sostava ugol'nogo kontsentrata s ispol'zovaniem bazy dannykh unikal'nykh ugley [Education neyrosetovoy information system for determining the composition of coal concentrate, using a database of unique coal] // Informatsionnye sistemy i tekhnologii v obrazovanii, nauke i biznese (ISiT-2014). Materialy Vserossiyskoy molodezhnoy nauchno-prakticheskoy shkoly [Information systems and technologies in education, science and business (ISITO 2014). Proceedings of youth scientific and practical school]. Kemerovo. 2014. P. 127-128. (rus)
5. Kulmanakova, E. V. Otslezhivanie dvizheniya lyudey v videopotoke [Tracking the movement of people in the video stream] // Sbornik trudov XVIII Mezhdunarodnoy nauchno-prakticheskoy konferentsii studentov, aspiran-tov i molodykh uchenykh "Sovremennye tekhnika i tekhnologii" [Proceedings of the XVIII International scientific-practical conference of students, graduate students and young scientists "Modern engineering and technologies"]. Tomsk: TPU. 2012. P. 335-336. (rus)
6. Pogorelov, N. E. Intellektual'naya informatsionnaya sistema dlya analiza i prognozirovaniya birzhevykh kotirovok aktsiy [Intelligent information system for analysis and forecasting of stock exchange quotations] / N. E. Pogorelov, K. E. Reyzenbuk, A. G. Pimonov // Vestnik Kuzbasskogo gosudarstvennogo tekhnicheskogo universiteta [Bulletin of the Kuzbass State Technical University]. 2012. No. 6. P. 118-122. (rus)
7. Jordan, M. I. Serial order: A parallel distributed processing approach. // Institute for Cognitive Science Report 8604. San Diego: University of California. 1986. 40 P. (eng)
8. Elman, J. L. Finding structure in time // Cognitive Science. 1990. No. 14. P. 179-211.
9. Buhmann, M. D. Radial basis functions: theory and implementations // Cambridge monographs on applied and computational mathematics. Cambridge University. 2003. 258 P. (eng)
10. Isaac, J. S. Neural Gas for Temporal Clustering / J. Sledge Isaac, James M. Keller: // 19th International Conference on pattern recognition. Tampa. 2008. P. 1-4. (eng)
11. Doroganov, V. S. Ispol'zovanie elementov geneticheskogo algoritma v obuchenii neyronnoy seti sto-khasticheskim metodom [Using the genetic algorithm in training neural network stochastic method] // Perspek-tivy razvitiya informatsionnykh tekhnologiy: trudy Vserossiyskoy molodezhnoy nauchno-prakticheskoy konfer-entsii [Prospects for the development of information technology: the works of the All-Russian Youth Scientific and Practical Conference]. Kemerovo: KuzSTU. 2014. P. 214 -215. (rus)
12. Subbotin, S. O. Neiteratyvni, evoljucijni ta mul'tyagentni metody syntezu nechitkologichnyh i nejro-merezhnyh modelej [Neural, evolutionary and multi-agent synthesis methods and neural network models] / S. O. Subbotin, A. O. Olijnyk, O. O. Olijnyk //: Monografija Pid zag. red. S. O. Subbotina [Under the editors mon-ohrafyya S. O. Subbotina ]. Zaporizhzhja: ZNTU. 2009. P. 375. (ukr)
13. Dyagel', A.V. Effektivnoe raspredelenie resursov neyroevolyutsionnogo algoritma [Efficient allocation of resources neuro evolutionary algorithm] // Informatsionno-telekommunikatsionnye sistemy i tekhnologii (ITSiT-2014): Materialy Vserossiyskoy nauchno-prakticheskoy konferentsii [Information and telecommunication systems and technologies (ITSiT 2014): Proceedings of the All-Russian scientific-practical conference]. Kemerovo: KuzSTU. 2014. P.246-245. (rus)
14. Nguen, V. Kh. Neyrosetevye algoritmy dlya resheniya zadach kodirovaniya izobrazheniy s ispol'zo-vaniem tekhnologii CUDA [Neural network algorithms for image coding technology with CUDA]: avtoreferat dissertatsii kandidata tekhnicheskikh nauk [dissertation of the candidate of technical sciences]. Moskva: MFTI. 2012. 23 p. (rus)
15. Sannikov, M. A. Uskorenie neyronnykh setey s pomoshch'yu CUDA na primere zadachi raspoznava-niya rukopisnykh simvolov [Acceleration of neural networks using CUDA for example, the problem of recognizing handwritten characters] // CUDA Almanac. Santa Clara: nVIDIA Corporation. 2014. P. 13-14. (rus)
Received 13.05.2015
