CC BY
30Черных В.С., Жихарев А.Г., Федосеев А.Д., Мартон Н.А. Сравнение эффективности различных методов обучения нейронных сетей // Научный результат. Информационные технологии. - Т.8, №1,2023
ИСКУССТВЕННЫМ ИНТЕЛЛЕКТ И ПРИНЯТИЕ РЕШЕНИИ ARTIFICIAL INTELLIGENCE AND DECISION MAKING
УДК 004.855.5 DOI: 10.18413/2518-1092-2022-8-1-0-8
Черных В.С. Жихарев А.Г. Федосеев А.Д. Мартон Н.А.
СРАВНЕНИЕ ЭФФЕКТИВНОСТИ РАЗЛИЧНЫХ МЕТОДОВ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ
Белгородский государственный технологический университет им. В.Г. Шухова, ул. Костюкова, д. 46, Белгород, 308012, Россия
e-mail: zhikharev@bsu.edu.ru
Аннотация
В работе рассматриваются несколько подходов к обучению многослойных полносвязных нейронных сетей. В частности, авторами разработана искусственная нейронная сеть, целью которой является распознавание изображений цифр от нуля до шести. Для обучения нейронной сети сформирована обучающая выборка. Авторами проведены ряд экспериментов по реализации различных методов обучения рассматриваемой искусственной нейронной сети. Приводится описание процедуры обучения сети с использованием классического генетического алгоритма. Результаты показали, что генетический алгоритм в классической форме малоэффективен для решения поставленной задачи, так как время обучения искусственной нейронной сети существенно выше в сравнении с алгоритмом обратного распространения ошибки. Также был предложен комбинированный метод обучения, основанный на генетическом алгоритме и градиентном спуске. Результаты эксперимента показали близкие результаты по эффективности в сравнении с алгоритмом обратного распространения ошибки. Из этого следует, что генетический алгоритм применим для решения задач обучения искусственных нейронных сетей.
Ключевые слова: нейронная сеть; обучение нейронной сети; полносвязная нейронная сеть; метод; генетические алгоритмы; методы оптимизации; алгоритм обратного распространения ошибки; градиентный спуск; особь; нейрон
Для цитирования: Черных В.С., Жихарев А.Г., Федосеев А.Д., Мартон Н.А. Сравнение эффективности различных методов обучения нейронных сетей // Научный результат. Информационные технологии. - Т.8, №1, 2023. - С. 83-93. DOI: 10.18413/2518-1092-2022-81-0-8
Chernykh V.S.
Zhikharev A.G. COMPARISON OF EFFICIENCY OF DIFFERENT METHODS
Fedoseev A.D. OF TRAINING NEURAL NETWORKS
Marton N.A.
Belgorod State Technological University named after V.G. Shukhov, 46 Kostyukova st., Belgorod, 308012, Russia
e-mail: zhikharev@bsu.edu.ru
Abstract
The paper considers several approaches to training multilayer fully connected neural networks. In particular, the authors have developed an artificial neural network, the purpose of which is to recognize images of numbers from zero to six. To train the neural network, a training set was formed. The authors carried out a number of experiments on the implementation of various learning
|—[ Д УЧНЬТИ Черных B.C., Жихарев А.Г., Федосеев А.Д., Мартом Н.А. Сравнение эффективности 7"Т~ГТ Т А Т различных методов обучения нейронных сетей // Научный результат.
Г П.! J У J I Г) I /"А I Информационные технологии. - Т.8, №1,2023
g г , г » р г ,, р г j ,, , т
methods for the considered artificial neural network. The description of the network training procedure using the classical genetic algorithm is given. The results showed that the genetic algorithm in the classical form is ineffective for solving the problem, since the training time of the artificial neural network is significantly higher compared to the backpropagation algorithm. A combined learning method based on a genetic algorithm and gradient descent has also been proposed. The results of the experiment showed close results in terms of efficiency in comparison with the backpropagation algorithm. It follows from this that the genetic algorithm is applicable for solving the problems of training artificial neural networks.
Keywords: neural network; neural network training; fully connected neural network; method; genetic algorithms; optimization methods; error backpropagation algorithm; gradient descent; individual; neuron
For citation: Chernykh V.S., Zhikharev A.G., Fedoseev A.D., Marton N.A. Comparison of efficiency of different methods of training neural networks // Research result. Information technologies. - Т.8, №1, 2023. - P. 83-93. DOI: 10.18413/2518-1092-2022-8-1-0-8
ВВЕДЕНИЕ
Нейронная сеть — это метод в искусственном интеллекте, который учит компьютеры обрабатывать данные таким же способом, как и человеческий мозг. В настоящее время нейронные сети применяются во многих сферах человеческой жизни, от распознавания продуктов в супермаркете до имитации настоящего человеческого сознания. Естественно, с популяризацией нейронных сетей, появилось множество методов обучения [1-3].
Метод обратного распространения ошибки [4] является одним из основных способов обучения и содержит в своей основе алгоритм вычисления градиентного спуска. Другими словами, двигаясь вдоль градиента, происходит расчет локального максимума и минимума функции.
Идея алгоритма обратного распространения ошибки состоит в том, чтобы на основе расчетной ошибки, полученной на выходном слое нейронной сети, пересчитать значение весов вектора W последнего слоя нейронов. Затем мы переходим к предыдущему слою и так далее, от конца к началу, то есть, он состоит из обновления всех весов W слоев, от последнего до достижения входного слоя сети путем обратного распространения ошибки, полученной сетью.
Еще один распространенный подход - это обучение нейронной сети генетическим алгоритмом. По своему принципу он схож с эволюционными процессами природы, которые основываются на комбинировании (скрещивании) результатов [5].
Другими словами, происходит естественный отбор, где новое поколение является продуктом комбинации результатов с самыми лучшими свойствами. Если итог такого скрещивания не подходит по каким-то критериям, то отбор совершается вновь, пока продукт не станет совершенным.
Существуют два типа обучения искусственных нейронных сетей: с учителем и без учителя. Обучение нейронной сети можно сравнить с обучением человека. Человек может обучаться на собственном опыте или с учителем, который покажет ему верный ответ. Обучение «с учителем» применяется в тех случаях, когда мы хотим обучить сеть ограниченной выборке классов [6].
При обучении с учителем все примеры обучающей выборки содержат правильные ответы (выходы), соответствующие исходным данным (входам). В процессе обучения веса (коэффициенты) настраиваются так, чтобы сеть порождала ответы, максимально близкие к правильным [7].
НАЧАЛЬНЫЕ УСЛОВИЯ
В данной работе будут рассмотрены 3 метода обучения нейронной сети для решения задачи классификации изображений: метод обратного распространения ошибки, генетический алгоритм и их комбинация.
В качестве обучающего набора данных выступают изображения цифр от 0 до 6 размером 10х20, в двух вариациях, целые и искажённые, то есть с недостающими пикселями, примеры которых показаны на рисунке 1.
Черных В.С., Жихарев А.Г., Федосеев А.Д., Мартон Н.А. Сравнение эффективности различных методов обучения нейронных сетей // Научный результат. Информационные технологии. - Т.8, №1, 2023
00112233445566
Рис. 1. Обучающий набор цифр от 0 до 6 Fig. 1. Training set of digits from 0 to 6
Нейронная сеть в данном примере является полносвязной и состоит из 3 слоёв: входной, скрытый и выходной. Во входном слое 200 нейронов (10x20), в скрытом 100, в выходном 7 (7 цифр).
Рис. 2. Полносвязная нейронная сеть Fig. 2. Fully connected neural network
На входной слой подаётся массив из 200 цифр, состоящих только из 0 и 1(1 - чёрный, 0 -белый). Их порядок соответствует расположению черных и белых пикселей на картинке. Начальные веса связей между нейронами задаются в диапазоне от -0.5 до 0.5 в случайном порядке. Значения на нейронах выходного слоя означают процентную вероятность принадлежности поданной на вход картинки к тому или иному классу.
МЕТОДЫ ОБУЧЕНИЯ
Генетический алгоритм представляет собой технику оптимизации, которая моделирует феномен естественной эволюции. При описании генетических алгоритмов используются определения, заимствованные из генетики. Например, речь идет о популяции особей, а в качестве базовых понятий применяются ген, хромосома, генотип, фенотип, аллель.
Популяция - это конечное множество особей (в данной работе размер популяции составляет 200 особей). Особи, входящие в популяцию, в генетических алгоритмах представляются хромосомами с закодированным в них множествами параметров задачи, т.е. решений, которые иначе называются точками в пространстве поиска. Генетический алгоритм не пытается оптимизировать единственное решение. Он работает с группой решений, которые кодируются, подобно хромосомам. Отдельные гены хромосомы представляют собой уникальные переменные для изучаемой проблемы. Алгоритм работы основного (классического) генетического алгоритма представлен на рисунке ниже.
|—[ Д [p^Jp^ Черных B.C., Жихарев А.Г., Федосеев А.Д., Мартон Н.А. Сравнение эффективности
тл^ол гттт г-р дгр различных методов обучения нейронных сетей // Научный результат. Г П.! J У J I Г) I /"А I Информационные технологии. - Т.8, №1,2023
Рис. 3. Блок-схема генетического алгоритма Fig. 3. Flowchart of the Genetic Algorithm
Рассмотрим подробнее этапы генетического алгоритма. Создание начальной популяции позволяет сформировать отправную точку для работы алгоритма. Обычно это выполняется путем произвольного создания хромосом. Этап оценки дает возможность определить, как каждая хромосома (решение) справляется с данной проблемой. Алгоритм декодирует хромосому применительно к проблеме и проверяет результат решения проблемы с использованием новых параметров. Затем на основании результата рассчитывается степень приспособленности хромосомы.
На каждой итерации каждой особи даётся абстрактная оценка её приспособленности, показывающая насколько хорошо она подходит к рассматриваемой задачи. Этот метод оценивания будет использоваться в дальнейшем в остальных методах, рассматриваемых в этой работе. Для нахождения наиболее приспособленной особи, у которой верный нейрон приближен к единице, а остальные стремятся к нулю, используются следующие правила накопления очков:
1) Особи с наименьшим средним значением получают больше очков, нежели другие score += 1 - average.
2) Особи, у которых верный нейрон выше всех остальных получает дополнительные очки score += up / count.
3) Особи, у которых наибольшая большая разница между верным нейроном и максимальным неверным в пользу верного, получает дополнительные очки, в обратном случае теряет их.
4) Особи, преодолевшие границу в 50% приспособленности, получают дополнительные очки, в обратном случае теряют их score += ans - 0.5.
На этапе отбора хромосомы выбираются для дальнейшего использования в другой популяции. Отбор осуществляется на основании степени приспособленности хромосом. Метод отбора по правилу рулетки заключается в случайном выборе особи из популяции исходя из его степени приспособленности. Предположим, у нас имеется несколько особей в популяции с разной степенью адаптации. Тогда их можно условно представить на круговой диаграмме с секторами, размером
|—[ Д [p^Jp^ Черных B.C., Жихарев А.Г., Федосеев А.Д., Мартон Н.А. Сравнение эффективности
тл^ол гттт г-р дгр различных методов обучения нейронных сетей // Научный результат. Г П.! J У J I Г) I /"А I Информационные технологии. - Т.8, №1,2023
РТТСГД РГ1Г PTT^Tll
соответствующих долей. Затем, мы раскручиваем этот круг и тот сектор, на который будет указывать стрелка, будет выбран.
■А "В в В в Г вД iE
Рис. 4. Схема отбора методом рулетки Fig. 4. Roulette selection scheme
При рекомбинировании части хромосом перемещаются, может быть, даже изменяются, а получившиеся новые хромосомы возвращаются обратно в популяцию для формирования следующего поколения. Первая группа хромосом обычно называется родителями, а вторая -детьми. С одинаковой вероятностью могут применяться один или несколько генетических операторов.
Рассмотрим подробнее операции скрещивания. В самом простом варианте операция кроссинговера выполняет обмен между двумя половинками хромосом родителей для формирования хромосом потомков.
Рис. 5. Одноточечное скрещивание Fig. 5. Single point crossing
Вначале случайным образом определяется точка разреза хромосомы, а затем, соответствующие части меняются местами. Получаются две новые хромосомы для двух потомков.
На этапе мутации выбираются случайные гены (веса между нейронами) и к ним прибавляется случайное число от -0.5 до 0.5, если же число стало больше 0.5, то вычитается 1, если меньше -0.5, то прибавляется 1 (в данной работе вероятность мутации потомков составляет 15%).
Черных В.С., Жихарев А.Г., Федосеев А.Д., Мартон Н.А. Сравнение эффективности различных методов обучения нейронных сетей // Научный результат. Информационные технологии. - Т.8, №1,2023
0,3 0,1 -0,4 0,15 0,12 -0,43 -0,23 0,12 0,5 -0,34
-0,24 -0,36 +0,4
0,3 0,1 0,36 0,15 0,-24 -0,43 -0,23 -0,48 0,5 -0,34
Рис. 6. Схема оператора мутации Fig. 6. Scheme of the mutation operator
Далее рассмотрим подробнее метод обратного распространения ошибки. Обратное распространение - это самый популярный алгоритм для обучения с помощью изменения весов связей. Как ясно из названия, ошибка распространяется от выходного слоя к входному, то есть в направлении, противоположном направлению прохождения сигнала при нормальном функционировании сети. На эффективность алгоритма влияет параметр коэффициента обучения, который подбирается эмпирически (в данной работе параметр коэффициента обучения равен 0.3).
Выполнение алгоритма начинается с создания произвольно сгенерированных весов для многослойной сети. Затем процесс, описанный ниже, повторяется до тех пор, пока средняя ошибка на входе не будет признана достаточно малой:
1. Берется пример входного сигнала с соответствующим правильным значением выхода.
2. Рассчитывается прямое распространение входной сигнал через сеть.
3. Начиная с выходов, выполняется обратное движение через ячейки выходного и промежуточного слоя с расчётом значений ошибок.
4. Веса в сети корректируются относительно рассчитанных значений.
РЕЗУЛЬТАТЫ РАБОТ АЛГОРИТМОВ
Авторами была проведена попытка смешать оба вышеперечисленных метода, за основу был взят генетический алгоритм, но вместо мутации использовался метод обратного распространения ошибки, вероятность мутации потомков была увеличена до 45%, а размер популяции был уменьшен до 50 особей. Результаты обучения искусственной нейронной сети представлены ниже. Рассмотрим результаты обучения с использованием генетического алгоритма.
Генетический алгоритм
50,00 40,00 30,00 20,00 10,00 0,00
23 36,86 37,61 37,99 38,31
16,50
0 100 200 300 400 500 600 700 800 900 1000
< Степень приспособленности
Рис. 7. График изменения степени приспособленности Fig. 7. Plot of the degree of fitness
Черных В.С., Жихарев А.Г., Федосеев А.Д., Мартон Н.А. Сравнение эффективности различных методов обучения нейронных сетей // Научный результат. Информационные технологии. - Т.8, №1, 2023
Лучшая особь первого поколения из генетического алгоритма
0 1 2 3 4 5 6
0 50% 61% 21% 38% 16% 17% 67%
0(искажённая) 58% 52% 20% 44% 15% 27% 67%
1 17% 87% 52% 40% 69% 47% 26%
1(искажённая) 20% 82% 36% 29% 69% 30% 18%
2 30% 87% 69% 45% 49% 26% 84%
2(искажённая) 34% 87% 73% 49% 41% 26% 78%
3 30% 57% 52% 44% 22% 24% 68%
З(искажённая) 18% 67% 42% 40% 33% 26% 71%
4 27% 76% 59% 39% 81% 29% 40%
4(искажённая) 19% 90% 63% 28% 78% 32% 42%
5 26% 61% 42% 42% 26% 48% 42%
5(искажённая) 30% 70% 46% 56% 27% 42% 51%
6 50% 69% 48% 38% 33% 55% 64%
б(искажённая) 32% 76% 49% 54% 35% 44% 53%
Таблица 1 Table 1
Лучшая особь тысячного поколения из генетического алгоритма
Таблица 2 Table 2
The best individual of the thousand th generation from th e genetic algorithm
0 1 2 3 4 5 6
0 86% 11% 8% 6% 12% 13% 21%
0(искажённая) 87% 9% 7% 6% 11% 11% 12%
1 4% 91% 21% 14% 22% 16% 8%
1(искажённая) 5% 93% 19% 15% 23% 16% 8%
2 14% 13% 95% 10% 13% 6% 11%
2(искажённая) 9% 15% 94% 15% 14% 9% 13%
3 23% 14% 8% 86% 6% 12% 16%
З(искажённая) 17% 18% 12% 90% 6% 14% 15%
4 4% 15% 11% 9% 94% 9% 11%
4(искажённая) 10% 16% 15% 13% 93% 9% 15%
5 12% 7% 4% 14% 9% 92% 13%
5(искажённая) 13% 6% 2% 12% 9% 94% 15%
6 33% 15% 15% 11% 15% 32% 80%
б(искажённая) 18% 13% 15% 9% 20% 21% 86%
Время вычисления одного поколения составляет в среднем 5.5 секунд. Далее рассмотрим результаты обучения искусственной нейронной сети с использованием алгоритма обратного распространения ошибки.
Черных В.С., Жихарев А.Г., Федосеев А.Д., Мартон Н.А. Сравнение эффективности различных методов обучения нейронных сетей // Научный результат. Информационные технологии. - Т.8, №1,2023
60,00 40,00 20,00 0,00
Метод обратного распространения ошибки
' П" ~ 42, 2^ * "2, 6П . .2 95 . ИЗ 15 . П3 39 . 13 12 . 13 52 ■ 43,60
0 10 20 30 40 50 60 70 80 90 100
■ Степень приспособленности
Рис. 8. График изменения степени приспособленности с использованием градиентного спуска Fig. 8. Plot of the degree of fitness using gradient descent
Таблица 3
Результат работы нейронной сети в первой итерации в методе обратного распространения ошибки
Table 3
0 1 2 3 4 5 6
0 9% 14% 93% 43% 97% 26% 93%
О(искажённая) 28% 10% 81% 16% 97% 14% 80%
1 51% 18% 47% 16% 77% 8% 39%
1(искажённая) 19% 56% 19% 10% 29% 7% 21%
2 22% 81% 10% 26% 58% 3% 25%
2(искажённая) 15% 33% 31% 9% 8% 5% 12%
3 20% 5% 65% 8% 16% 27% 4%
З(искажённая) 11% 7% 19% 24% 13% 8% 6%
4 5% 11% 34% 45% 6% 1% 11%
4(искажённая) 5% 16% 18% 22% 16% 2% 8%
5 9% 2% 8% 53% 60% 6% 19%
5(искажённая) 14% 3% 5% 19% 5% 12% 8%
6 7% 2% 16% 3% 29% 45% 4%
б(искажённая) 5% 2% 10% 1% 15% 10% 14%
Таблица 4
Результат работы нейронной сети в сотой итерации в методе обратного распространения ошибки
Table 4
ilt of the work of t ie neural network in the hundredth iteration in the backpropa gation met
0 1 2 3 4 5 6
0 96% 1% 2% 2% 1% 2% 3%
О(искажённая) 96% 1% 1% 2% 1% 2% 1%
1 1% 97% 1% 2% 2% 2% 0%
1(искажённая) 1% 97% 2% 2% 2% 2% 1%
2 1% 1% 97% 1% 2% 0% 1%
2(искажённая) 1% 1% 97% 2% 1% 1% 1%
3 2% 1% 1% 96% 1% 2% 2%
З(искажённая) 2% 2% 1% 97% 2% 2% 2%
4 0% 2% 1% 1% 96% 1% 2%
4(искажённая) 1% 2% 1% 1% 97% 1% 2%
5 1% 1% 1% 1% 0% 97% 2%
Черных В.С., Жихарев А.Г., Федосеев А.Д., Мартон Н.А. Сравнение эффективности различных методов обучения нейронных сетей // Научный результат. Информационные технологии. - Т.8, №1,2023
5(искажённая) 2% 1% 1% 2% 0% 97% 2%
6 4% 0% 2% 2% 1% 1% 95%
б(искажённая) 2% 1% 1% 1% 2% 2% 97%
Время вычисления одной итерации составляет в среднем 0.15 секунды, что гораздо эффективнее при использовании классического генетического алгоритма. Далее рассмотрим результаты обучения искусственной нейронной сети смешанным методом.
Смешанный метод обучения
50,00
10,00 0,00
0 10 20 30 40 50 60 70 80 90 100 9 Степень приспособленности
Рис. 9. График изменения степени приспособленности при использовании смешанного метода
обучения
Fig. 9. Plot of changes in the degree of fitness when using a mixed learning method
Таблица 5
Лучшая особь первого поколения из смешанного метода обучения
Table 5
The best individual ^ of the first generation from blended learning method
0 1 2 3 4 5 6
0 41% 31% 9% 59% 38% 67% 39%
0(искажённая) 40% 34% 13% 42% 28% 74% 27%
1 11% 56% 63% 40% 88% 86% 23%
1(искажённая) 15% 55% 68% 41% 87% 85% 12%
2 42% 55% 28% 59% 78% 68% 51%
2(искажённая) 33% 50% 32% 64% 68% 73% 58%
3 13% 49% 45% 59% 34% 42% 34%
З(искажённая) 15% 44% 37% 53% 45% 45% 28%
4 13% 54% 13% 27% 87% 59% 37%
4(искажённая) 14% 42% 20% 27% 91% 54% 31%
5 50% 19% 42% 21% 22% 71% 52%
5(искажённая) 39% 27% 47% 19% 29% 68% 44%
6 30% 31% 10% 63% 39% 43% 66%
б(искажённая) 36% 30% 13% 60% 30% 56% 72%
Черных В.С., Жихарев А.Г., Федосеев А.Д., Мартон Н.А. Сравнение эффективности различных методов обучения нейронных сетей // Научный результат. Информационные технологии. - Т.8, №1,2023
Лучшая особь сотого поколения из смешанного метода обучения The best individual of the hundredth generation from blended learning method
Таблица 6 Table б
0 1 2 3 4 5 6
0 94% 2% 2% 2% 0% 1% 4%
0(искажённая) 94% 1% 1% 2% 0% 2% 3%
1 2% 95% 4% 2% 4% 2% 1%
1(искажённая) 2% 94% 3% 4% 4% 2% 1%
2 3% 2% 96% 2% 3% 2% 0%
2(искажённая) 2% 3% 95% 3% 2% 2% 1%
3 2% 2% 2% 94% 0% 4% 3%
З(искажённая) 1% 2% 1% 95% 1% 2% 2%
4 1% 4% 1% 1% 94% 2% 2%
4(искажённая) 1% 3% 1% 1% 96% 1% 3%
5 2% 1% 3% 2% 1% 95% 4%
5(искажённая) 1% 1% 2% 1% 1% 95% 3%
6 5% 1% 1% 4% 3% 2% 94%
б(искажённая) 3% 2% 1% 3% 2% 3% 95%
Bремя вычисления одного поколения при использовании смешанного метода обучения составляет в среднем 1 секунду.
ЗАКЛЮЧЕНИЕ
B вышеперечисленных данных мы можем заметить, что лучший результат даёт метод обратного распространения ошибки, генетический алгоритм наоборот даёт самый нестабильный результат, так как генетический алгоритм требует подстройку под каждую задачу и по своей сути основан на случайностях; смешанный метод обучения дал максимально приближенный результат к методу обратного распространения ошибки, что говорит нам о том, что если доработать генетический алгоритм, то смешанный метод может оказаться самым эффективным.
Сфера нейронных сетей имеет огромный потенциал в настоящем, и проблема повышения эффективности их работы является одной из основных. Универсального решения этой проблемы на данный не существует и под каждую задачу нужно подбирать подходящий метод обучения и организацию самой нейронной сети. Для нахождения всё лучших методов обучения нужно экспериментировать и изучать различные вариации этих методов.
Список литературы
1. Редько B.r. Эволюция, нейронные сети, интеллект: Модели и концепции эволюционной кибернетики / B.r. Редько. - М.: Ленанд, 2019. - 224 c.
2. Жихарев А.Г., Корсунов Н.И., Маматов P.A., Щербинина H.B., Пономаренко CB. О разработке адаптивной образовательной платформы с использованием технологий машинного обучения // Экономика. Информатика. 2022. Т. 49. № 4. С. 810-819.
3. Deeney I.A., Zhikharev A.G., Klyuchnikov D.A., Shurukhina T.N., Gavrilova T.A. Some aspects of AI-technologies in education // Revista San Gregorio. - 2021. - Vol. 44. - P. 186-197.
4. Хайкин С. Нейронные сети: полный курс / С. Хайкин. - М.: Диалектика, 2019. - 1104 c.
5. Bороновский Г.К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. - Харьков: Основа, 1997.
6. Каллан Р. Нейронные сети: Краткий справочник / Р. Каллан. - М.: Bильямс И.Д., 2017. - 288 c.
7. Тим Джонс Программирование искусственного интеллекта в приложениях / Пер. с англ. Осипов А.И. - М.: ДМК Пресс, 2011. - 312 с.
Черных В.С., Жихарев А.Г., Федосеев А.Д., Мартон Н.А. Сравнение эффективности различных методов обучения нейронных сетей // Научный результат. Информационные технологии. - Т.8, №1, 2023
References
1. Redko V.G. Evolution, neural networks, intelligence: Models and concepts of evolutionary cybernetics / V.G. Redko. - M.: Lenand, 2019. - 224 p.
2. Zhikharev A.G., Korsunov N.I., Mamatov R.A., Shcherbinina N.V., Ponomarenko S.V. On the development of an adaptive educational platform using machine learning technologies // Economics. Computer science. 2022. V. 49. No. 4. P. 810-819.
3. Deeney I.A., Zhikharev A.G., Klyuchnikov D.A., Shurukhina T.N., Gavrilova T.A. Some aspects of AI-technologies in education // Revista San Gregorio. - 2021. - Vol. 44. - P. 186-197.
4. Khaikin S. Neural networks: full course / S. Khaikin. - M.: Dialectics, 2019. - 1104 p.
5. Voronovsky G.K. Genetic algorithms, artificial neural networks and problems of virtual reality. -Kharkov: Osnova, 1997.
6. Callan R. Neural networks: A quick guide / R. Callan. - M.: Williams I.D., 2017. - 288 p.
7. Tim Jones Programming artificial intelligence in applications / Per. from English. Osipov A.I. - M.: DMK Press, 2011. - 312 p.
Черных Владимир Сергеевич, студент 4 курса направления «Информатика и вычислительная техника», кафедра программного обеспечения вычислительной техники и автоматизированных систем, институт энергетики, информационных технологий и управляющих систем
Жихарев Александр Геннадиевич, доктор технических наук, доцент, доцент кафедры программного обеспечения вычислительной техники и автоматизированных систем
Федосеев Артемий Дмитриевич, студент 4 курса направления «Информатика и вычислительная техника», кафедра программного обеспечения вычислительной техники и автоматизированных систем, институт энергетики, информационных технологий и управляющих систем
Мартон Никита Андреевич, студент 4 курса направления «Информатика и вычислительная техника», кафедра программного обеспечения вычислительной техники и автоматизированных систем, институт энергетики, информационных технологий и управляющих систем
Chernykh Vladimir Sergeevich, 4th year student, direction "Computer Science and Computer Engineering", Department of Software for Computer Engineering and Automated Systems, Institute of Energy, Information Technology and Control Systems Zhikharev Alexander Gennadievich, Doctor of Technical Sciences, Associate Professor, Associate Professor of the Department of Software for Computer Engineering and Automated Systems
Fedoseev Artemy Dmitrievich, 4th year student, direction "Computer Science and Computer Engineering", Department of Software for Computer Engineering and Automated Systems, Institute of Energy, Information Technology and Control Systems Marton Nikita Andreevich, 4th year student, direction "Computer Science and Computer Engineering", Department of Software for Computer Engineering and Automated Systems, Institute of Energy, Information Technology and Control Systems
