О РАЗРАБОТКЕ АДАПТИВНОЙ ОБРАЗОВАТЕЛЬНОЙ ПЛАТФОРМЫ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИЙ МАШИННОГО ОБУЧЕНИЯ

Жихарев Александр Геннадиевич; Корсунов Николай Иванович; Маматов Роман Александрович; Щербинина Наталья Владимировна; Пономаренко Сергей Владимирович

УДК: 004.021

DOI 10.52575/2687-0932-2022-49-4-810-819

О разработке адаптивной образовательной платформы с использованием технологий машинного обучения

1 Жихарев А.Г., 2 Корсунов Н.И., 2 Маматов Р.А., 2 Щербинина Н.В., 3 Пономаренко С.В.

1 Белгородский государственный технологический университет им. В.Г. Шухова,

Россия, 308012, г. Белгород, ул. Костюкова, 46

2 Белгородский государственный национальный исследовательский университет,

Россия, 308015, г. Белгород, ул. Победы, 85 3 Белгородский университет кооперации, экономики и права, 308023, Россия, г. Белгород, ул. Садовая, 116а E-mail: zhikharev@bsu.edu.ru

Аннотация. В исследовании рассматривается создание адаптивной автоматизированной платформы для обучения иностранному языку на примере Английского языка. Адаптивность системы заключается в формировании образовательного контента в разных наиболее удобных для обучающегося формах: графика, звук, текст. Для реализации механизма определения наиболее удобной формы образовательного контента используются несколько архитектур искусственных нейронных сетей, которые обучаются на подготовленных данных. Данные для обучения искусственных нейронных сетей включают в себя текст - эссе, написанный учеником, и категорию ученика, выявленную в результате прохождения специализированного тестирования. Рассматриваются четыре категории обучающихся: аудиал, визуал, кинестетик, дигитал. С использованием разработанной и обученной искусственной нейронной сети создан прототип веб-ориентированной программной платформы, которая «предлагает» обучающемуся написать небольшое эссе на иностранном языке, после чего данный текст обрабатывается рекуррентной искусственной нейронной сетью, которая относит обучающегося к одному из четырех классов. Далее, в зависимости от определенной категории обучающегося, формируется образовательный контент в удобном для него виде. В то же время тестирование обученных нейронных сетей показывает, что объем обучающей выборки недостаточный. Таким образом, в перспективе планируется сформировать более насыщенную обучающую выборку для реализации более качественного обучения искусственной нейронной сети.

Ключевые слова: искусственная нейронная сеть, машинное обучение, адаптивная образовательная платформа, образовательный контент, рекуррентная нейронная сеть, обработка текстов на естественном языке.

Благодарности: работа выполнена при финансовой поддержке Министерства науки и высшего образования России, государственное задание № 0657-2020-0009.

Для цитирования: Жихарев А.Г., Корсунов Н.И., Маматов Р.А., Щербинина Н.В., Пономаренко С.В. 2022. О разработке адаптивной образовательной платформы с использованием технологий машинного обучения. Экономика. Информатика, 49(4): 810-819. DOI 10.52575/2687-0932-2022-49-4810-819

On the Development of an Adaptive Educational Platform Using Machine Learning Technologies

1 Alexander G. Zhikharev, 2 Nikolay I. Korsunov, 2 Roman A. Mamatov,

2 Natalia V. Shcherbinina, 3 Sergey V. Ponomarenko

1 Belgorod State Technological University named after V.G. Shukhov, 46 Kostyukova St., Belgorod, 308012, Russia 2 Belgorod National Research University 85 Pobedy St, Belgorod, 308015, Russia

3 Belgorod University of Cooperation, Economics and Law

116a Sadovaja St., Belgorod, 308023, Russia E-mail: zhikharev@bsu.edu.ru

Abstract. The article discusses the creation of an adaptive automated platform for teaching a foreign language, using the example of the English language. The adaptability of the system lies in the formation of educational content in the form (graphics, sound, text) that is most convenient for the student. To implement the mechanism for determining the most convenient form of educational content, several architectures of artificial neural networks are used, which are trained on prepared data. The data for training artificial neural networks includes a text - an essay written by a student and a student category identified as a result of passing a specialized test. Four categories of students are considered: audial, visual, kinesthetic, digital. Using the developed and trained artificial neural network, a prototype of a web-based software platform was created that "offers" the student to write a short essay in a foreign language, after which this text is processed by a recurrent artificial neural network, which, in turn, refers the student to one from four classes. Further, depending on a certain category of the student, educational content is formed in a form convenient for him. At the same time, testing of trained neural networks shows that the volume of the training sample is not sufficient, so in the future it is planned to form a more saturated training sample to implement better training of the artificial neural network.

Keywords: artificial neural network, machine learning, adaptive educational platform, educational content, recurrent neural network, natural language processing.

Acknowledgements: the article was prepared with the financial support of the Ministry of Science and Higher Education of Russia, state assignment No. 0657-2020-0009.

For citation: Zhikharev A.G., Korsunov N.I., Mamatov R.A., Shcherbinina N.V., Ponomarenko S.V. 2022. On the Development of an Adaptive Educational Platform Using Machine Learning Technologies. Economics. Information technologies, 49(4): 810-919 (in Russian). DOI 10.52575/2687-0932-2022-49-4-810-819

Введение

Догадки о том, что разные люди воспринимают информацию по-разному, посещают ученые умы приблизительно с VI в. до н.э. И если в начале становление этого подхода базировалось на соотнесении человека с социумом, то приблизительно с XVIII столетия во главу угла становилась личная выгода человека и оценка всех явлений исходя из их полезности и приятия отдельным индивидом. Далее, в ХГХ-ХХ вв. происходит развитие социальной психологии, которая от априорных выводов перешла к лабораторным экспериментам, как раз в это время в приоритете стали появляться попытки исследовать разность восприятия людей. В это самое время появились тесты, предопределяющие разные типы восприятия людей, что и стало предпосылкой возникновения со-ционики [Karol, 2017].

Современные методики обучения, в том числе и дидактика иностранных языков, опираются на новейшие разработки ученых смежных отраслей наук и тем самым совершенствуются. Так, одним из важных направлений дидактических догм сегодняшнего дня является понимание существования и доминирования различного типа восприятия.

Доказано, что люди с различными типами восприятия по-разному воспринимают устный текст, его графическое переложение, работу с книгой, компьютером, устную и письменную коммуникацию. Более того, такие люди не просто с разной скоростью осваивают «подходящие/неподходящие» им по темпераменту задания, но и с разным успехом получают результат, стремятся перестроиться на собственный тип восприятия.

Если проводить психологический тест на уточнение типа восприятия, можно говорить об условной самостоятельной субъективной оценке обучающимися самих себя. Однако и этот тест актуален на первых этапах. Это психологический тест по методике «Диагностика доминирующей перцептивной модальности» С. Ефремцева. Однако это не единственный тест доступный для установления типа восприятия человека. Тем не менее такие тесты наделены особой погрешностью, что в случае с изучением иностранных языков имеет наиболее губительные результаты.

Например, «визуал» тяжело воспринимает на слух без иллюстративной графической опоры, в то время как «аудиал» по большей части способен к восприятию устной информации и соответствующей фиксации в памяти [Шейнов, 2001]. Учитывая эти особенности, педагог может выстроить индивидуальную траекторию обучения, однако в школе/вузе на выявление типа восприятия, что следует из общепринятой практики, зачастую не хватает времени. Хорошо, если бы у педагога была возможность проводить специфическое тестирование на тип восприятия обучающегося или же устанавливать это обстоятельство в течение индивидуальных занятий (нескольких занятий для педагога вполне достаточно), но ввиду «несущейся» вперед программы обучения у педагога не хватает ни сил, ни времени для уточнения соответствующих параметров.

В связи с вышеизложенным, перспективной является задача внедрения различных технологий искусственного интеллекта для организации и создания адаптивных образовательных автоматизированных систем, которые смогут подстроиться под конкретного обучающегося и сформировать удобный образовательный контент. Важнейшей задачей в ходе разработки подобной автоматизированной системы является процесс определения типа восприятия информации, от чего в дальнейшем и будет зависеть форма образовательного контента.

Модульная организация адаптивной образовательной платформы

Традиционно возможно установить четыре базовых типа восприятия [ Zhikharev, 2021]. Здесь, конечно, следует оговорить, что все они не являются абсолютом и претерпевают изменения, дополняются в процессе жизнедеятельности. Однако при всех имеющихся метаморфозах у обучающихся сохраняется врожденный тип восприятия: аудиальный/слуховой (доминирующей является слуховая система обработки информации: звуки, мелодии, их тон, громкость, тембр, чистота); визуальный/зрительный (когда доминирующим является зрительная система обработки информации: формы, расположения, цвета); кинестетический/тактильный/эмоциональный (доминирующей является чувственная информация: прикосновения, вкус, запах, ощущение текстур, температуры); дигитальная/посредством построения внутреннего диалога (связанная с логическим построением внутреннего диалога). Такое деление исходит из принципа восприятия человеком информации посредством получения сведений от окружающего мира с помощью пяти основных каналов: зрительного, слухового, тактильного, вкусового, обонятельного.

Анализируя накопленный опыт педагогов, авторами сформулирована гипотеза о том, что стиль изложения письменной речи зависит от типа восприятия [ Kuprieva, 2020]. Так, например, визуал в письменной речи пропускает предлоги и наречия, содержит простые речевые обороты. Аудиал более склонен использовать сложные и правильные грамматические обороты в письменной речи. Кинестетик изъясняется короткими, грамматически неправильными предложениями. Здесь открывается перспектива реализации

процедуры интеллектуального анализа текста с использованием аппарата искусственных нейронных сетей с целью выявления наиболее приемлемой формы образовательного контента для каждого конкретного объекта обучения. Это, в свою очередь, позволит выстроить индивидуальную образовательную траекторию, адаптированную под конкретный объект обучения. Такая траектория будет содержать образовательный контент в той форме, в которой обучающемуся наиболее удобно воспринимать новый материал. Стоит отметить, что ранее такая задача решалась, как правило, с использованием специальных тестов.

Опыт использования современных технологий автоматического анализа текстов на естественном языке показывает, что с подобными задачами наиболее эффективно справляются специальные искусственные нейронные сети, которые позволяют решать задачи классификации текстов, написанных на естественном языке [Шолле, 2018].

Рассмотрим подробнее процесс разработки искусственной нейронной сети, которая решает задачу классификации текста, написанного на естественном языке [Пойнтер, 2020]. Предполагается, что искусственная нейронная сеть сможет выявить описанные выше закономерности в написании текстов авторами, относящимися к различным видам по восприятию информации. Соответственно, такая нейронная сеть должна позволять относить текст к одному из следующих классов:

• «визуал»;

• ««кинестетик»;

• ««аудоал»;

• ««дигитал».

Рассмотрим подробнее модульную структуру адаптивной обучающей системы, использующей технологию искусственных нейронных сетей для анализа текста на естественном языке. Для проектирования модульной организации адаптивной образовательной системы использовался метод системно-объектного моделирования [Маторин, 2019; Маторин, 2018] Графоаналитическое представление такой системы показано на рис. 1. В качестве входных параметров адаптивной обучающей системы можно выделить текст, написанный на естественном языке и на основе которого и принимается решение о наиболее удобной форме образовательного контента для каждого отдельного обучающегося. Собственно, в качестве результатов работы системы выступает массив образовательного контента в требуемой форме.

Генератор образовательного контента

Категория пользователя

Образовательный контент в ■/дойной форме

Токе-

-эссе"

Модуль и н т елл е ктуал ьног анализа текста

Рис. 1. Модульная структура адаптивной образовательной системы Fig. 1. Modular structure of adaptive educational system

Как видно из рис. 1 в адаптивной образовательной системе можно выделить два логических модуля. Первый модуль реализует автоматический анализ текста-эссе обучающегося и в качестве результата относит объект обучения к одному из классов: аудиал, визуал, дигитал или кинестетик. Второй модуль в зависимости от класса, к которому принадлежит объект обучения, формирует образовательный контент в приемлемой для него форме. Рассмотрим подробнее модуль интеллектуального анализа текста [Маккини, 2020]. Его графоаналитическая схема представлена на рис. 2.

Рис. 2. Структура модуля анализа текста Fig. 2. Structure of the text analysis module

Перед обработкой текста его необходимо разбить на токены - элементарные единицы [Chen, 2015]. Для решения поставленной задачи планируется в качестве токенов использовать либо одно слово, либо несколько слов. Далее токены необходимо преобразовать в векторное представление. Такое представление необходимо, так как любая искусственная нейронная сеть работает с числовой информацией, а текст, представленный на естественном языке, представляет собой символьный набор данных [Lai, 2015]. Поэтому его необходимо преобразовать в векторное представление. Здесь существует несколько подходов, наиболее приемлемый подход с точки зрения вычислительной сложности и качества обучения нейронных сетей - плотные вектора [Manning, 1999]. Как правило, данный этап реализуется в виде дополнительного слоя искусственной нейронной сети. Таким образом, процедуру автоматической классификации текстов с использованием искусственной нейронной сети можно представить в виде трех модулей:

• модуль токенизации - разбивает исходный текст на отдельные части;

• модуль векторизации - преобразует исходные части текста в плотные вектора;

• модуль классификации - относит исходный текст к одному из классов.

Разработка и обучение искусственной нейронной сети

Рассмотрим подробнее модуль классификации текстов. Для анализа текста рассмотрим три архитектуры искусственных нейронных сетей, которые показывают наиболее адекватные результаты с точки зрения обработки текстов на естественном языке:

• сверхточные нейронные сети [Matusugu, 2003];

• LSTM — нейронная сеть с долгой краткосрочной памятью [Graves, 2009];

• рекуррентная нейронная сеть Gated Recurrent Unit [Gers, 2001].

Рассмотрим подробнее массив обучающих данных. Данный массив представляет собой подготовленный файл с расширением «csv», который содержит два столбца:

• номер класса;

• текст эссе на английском языке.

Значение поля «номер класса» содержит целое число в диапазоне от единицы до четырех, которое интерпретируется следующим образом:

1 - visual;

2 - kinestetik;

3 - audial;

4 - digital.

Далее рассмотрим программные модули адаптивной образовательной системы. Как отмечалось выше, перед обработкой текст необходимо представить в виде чисел. Для этого были использованы встроенные средства библиотеки глубокого обучения keras [Шолле, 2018].

Перед началом работы были загружены обучающие данные, для этого использовались встроенные средства языка Python [Beazley, 2009]. Далее осуществляется преобразование текста в числа, используя стандартный словарь кодировок Английских слов библиотеки keras. Преобразование с использованием словаря организуется путем простой замены соответствующего слова на его номер в соответствии с нумерацией словаря. Результат преобразования показан ниже, где для примера выведен фрагмент исходного текста эссе и его числовое представление:

«Now is the time to fly to some country abroad. Hot days, which can be varied by a trip to the sea, or to a beautiful forest. We often fly by plane to distant countries. But how safe is it for milking our mother Nature?...»

Числовое представление текста эссе:

[109, 5, 1, 121, 3, 399, 3, 75, 122, 620, 400, 621, 47, 24, 16, 622, 23, 10, 623, 3, 1, 624, 61, 3, 10, 625, 393, 31, 139, 399, 23, 192, 3, 626, 123, 26, 193, 401, 5, 12, 18, 627, 54, 628, 232,

12, 5, 629, 7, 89, 287, 5, 80, 402, 58, 10, 630, 61, 10, 161, 23, 1, 55, 6, 288, 26, 124, 31, 233, 10, 403, 7, 289, 164, 54, 84, 18, 77, 31, 139, 404, 10, 403, 2, 1, 631, 2, 90, 38, 8, 1, 290, 234, 78, 632, 25, 89, 287, 8, 1, 290, 14, 405, 68, 14, 46, 141, 11, 291, 46, 15, 633, 292, 8, 406, 8, 85, 634, 26, 235, 142, 1, 9, 167, 25, 1, 635, 5, 636, 62, 637, 31, 86, 236, 638, 3, 639, 640, 26, 13, 407, 194, 408, 5, 125, 641, 8, 53, 123, 21, 49, 7, 1, 192, 5, 10, 642, 293, 18, 409, 12, 5, 643, 28, 144, 145, 6, 2, 166, 288, 108, 11, 195, 410, 63, 46, 14, 644, 2, 168, 46, 57, 48, 232, 97, 40, 5, 411, 3, 57, 48, 294, 90, 645, 5, 646, 2, 237, 402, 58, 196, 6, 412, 6, 142, 11, 233, 413, 414, 412, 26, 53, 15, 98, 7,

13, 164, 1, 295, 238, 234, 12, 142, 26, 11, 22, 80, 22, 647, 20, 10, 400, 648, 61, 10, 649, 650, 8, 651, 12, 5, 11, 296, 3, 297, 7, 89, 287, 5, 10, 415, 55, 3, 17, 3, 239, 6, 126, 123, 21, 652, 168, 23, 192, 290, 653, 654, 10, 655, 656]

Далее необходимо преобразовать числовое представление текста в плотные вектора, это реализуется с использованием следующей команды:

x_train=pad_sequences(sequences,maxlen=max_text_len) x_train[:5]

В приведенном выше листинге в переменной «sequences» хранится числовое представление текстов, второй параметр функции «pad_sequences» хранит длину числового вектора. Функция возвращает плотное векторное представление исходного текста. Для рассматриваемого примера получим плотное векторное представление следующего вида: array([[0, 0, 0, ..., 15, 16, 619], [0, 0, 0, ..., 10, 655, 656], [0, 0, 0, ..., 3, 4, 9], [0, 0, 0, ..., 23, 450, 469], [0, 0, 0, ..., 254, 54, 64]])

Далее была разработана и протестирована сверточная искусственная нейронная сеть следующей архитектуры:

layer (type i Output Shape Faiam f

Embedding {Embedding) pone. 3000, 32) 320-300

convld (SoivlD) (Ноле, 2996, 250) 40250

global max poolingld (Global (Вше, 250) 0

Dense (Dense) (Ноле, 256) 64256

dense 1 (Dense) (Иоле, 41 1028

Total рагйГ": 425,534 Trainable рагатз: 425,534 Иon-trainable pararas: 0

0.90

oe1: o.eo

□ 75 0.70 Q65 0 60

- Дслч в врк ы* ответов на сОучагсщем майоре

^ слч в mfteraa на пр^речнон найоре

10 IS ZD

2S

Рис. 3. Архитектура сверточной нейронной сети (слева), результаты обучения (справа) Fig. 3. Convolutional neural network architecture (left), learning outcomes (right)

Далее сеть была обучена на представленном наборе данных при количестве эпох обучения равном 30. Результаты обучения сверхточной искусственной нейронной сети показаны на рисунке ниже. На тестовом наборе данных количество верных классификаций составило чуть более 90 процентов, на проверочном наборе данных - около 69 процентов. Это связано с ограниченным объемом обучающей выборки.

Далее рассмотрим тестирование искусственной нейронной сети LSTM. Для решения поставленной задачи использовалась искусственная нейронная сеть со следующей архитектурой - показано на рисунке ниже (слева), результаты обучения сети представлены справа:

Layer (type) Output Shape Paran i

embeddingji (Embedding) lstij (LSTM) dense 11 (Dense)

Total parains: Trainable params: 402,948 Hon-trainable farms: 0

Рис. 4. Архитектура нейронной сети LSTM (слева), результаты обучения (справа) Fig. 4. LSTM neural network architecture (left), learning outcomes (right)

Как видно из рисунка, рекуррентная искусственная нейронная сеть показала результат немного хуже на тестовом наборе данных (около 60 процентов верных ответов) и около семидесяти процентов на обучающем наборе данных. В целом, можно сказать, что такая архитектура сети хуже справилась с задачей классификации.

Далее рассмотрим еще один вариант рекуррентной искусственной нейронной сети GRU с архитектурой, представленной на рисунке ниже (слева), результаты обучения сети на рисунке справа:

Layer (type)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

anbeddingJLO (Meddingl

grn (GRUI

dense_13 (Dense|

Total paims: Trainable parsins: 326,312 San-tiíainable рмшы: С

Рис. 5. Архитектура нейронной сети GRU (слева), результаты обучения (справа) Fig. 5. GRU neural network architecture (left), learning outcomes (right)

Результаты тестирования сети GRU показали неплохие результаты, однако у свер-точной сети процент верных ответов все же больше. В то же время следует отметить, что при увеличении объема обучающей выборки ситуация может измениться.

Заключение

Рассмотренный выше проект адаптивной обучающей системы открывает перспективы с точки зрения реализации интеллектуальных образовательных систем, так как ранее подобные задачи решались лишь с использованием специальных тестов. Здесь же становится возможным разработать автономную интеллектуальную образовательную систему, которая сможет адаптивно формировать образовательных контент исходя из предрасполо-женностей каждого конкретного объекта обучения.

Однако результаты тестирования нейронных сетей показывают необходимость увеличения объема тестовых и обучающих данных. Это приведет к более качественной классификации текстов искусственной нейронной сетью и позволит довести уровень правильных ответов до девяноста процентов.

С использованием обученной нейронной сети был разработан прототип адаптивной образовательной платформы обучения иностранным языкам в виде веб-приложения. Для разработки прототипа программного обеспечения использовалась микросервисная архитектура [Balalaie, 2016], в частности, система управления базами данных MongoDB [Chodorow, 2013], библиотека для разработки пользовательских интерфейсов React [Чиннатамби, 2019] и другие. Основная идея разработанной платформы заключается в формировании образовательного контента для обучающегося в наиболее удобном виде для восприятия. Для этого обучающийся на начальном этапе использования платформы пишет текст-эссе на заданную тему, после чего обученная искусственная нейронная сеть определяет наиболее удобную форму представления образовательного контента для обучающегося.

С точки зрения перспектив развития разработанного программного обеспечения планируется разработка модуля, который будет определять наиболее удобный тип образовательного контента с использованием классических тестовых вопросов. Этот механизм позволит в автоматизированном режиме сформировать достаточную обучающую выборку для повышения эффективности работы искусственной нейронной сети.

Список литературы

Balalaie A.; Heydarnoori A.; Jamshidi P. 2016. Microservices Architecture Enables DevOps: Migration to

a Cloud-Native Architecture. IEEE Software, 2016, Vol. 33, no. 3: 42-52. Beazley D. M. 2009. Python Essential Reference. 4th Edition. Addison-Wesley Professional, 2009, Ill p. Chen X., Liu X., Gales M.J.F., Woodland P.C. 2015. Recurrent neural networklanguage model training with noise contrastive estimation for speechrecognition. In Acoustics, Speech and Signal Processing (ICASSP): 5411 - 5415.

Chodorow K. 2013. MongoDB: The Definitive Guide, 2nd Edition. O'Reilly, 2013, 432 p.

Gers F. A.; Schmidhuber J. 2001. LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages. IEEE Transactions on Neural Networks, 2001, Vol. 12, no. 6:1333—1340.

Graves A., Liwicki M., Fernandez S., Bertolami R., Bunke H., Schmidhuber J. 2009. A Novel Connectionist System for Improved Unconstrained Handwriting Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 5.

Karol P. 2017. Review of the Socionic Model of Information Metabolism at Individual, Interpersonal and Societal Levels. SSRN Electronic Journal, doi:10.2139/ssrn.3001323.

Kuprieva I.D., Lazareva N., Serkina O., Romashina O., Filonova Y.G. 2020. Lexical-Semantic Analysis of English Phraseological Units with Phytonym Component. Journal of Research in Applied Linguistics, 2020, 11(SpecialIssue): 425-429.

Lai S., Xu L., Liu K., Zhao J. 2015. Recurrent Convolutional Neural Networks forText Classification. AAAI: 2267 - 2273.

Manning C.D., Schutze H. 1999. Foundations of statistical natural language processing. MIT press, 1999.

Matusugu M., Katsuhiko M., Yusuke M., Yuji K. 2003. Subject independent facial expression recognition with robust face detection using a convolutional neural network. Neural Networks, 2003, Vol. 16, no. 5: 555—559.

Zhikharev A.G., Deeney I.A., Igrunova S.V., Klyuchnikov D.A., Frolova A.Y. 2021. To the development of intelligent adaptive learning systems. Journal of Physics: Conference Series 2060 (1), 012012.

Маккини У. Python и анализ данных (пер. с анг. А.А. Слинкина). М.: ДМК Пресс, 2020, 540 с.

Маторин С.И., Жихарев А.Г. 2018. Формализация системно-объектного подхода «Узел-Функция-Объект». Прикладная информатика, 2018, Т. 13, № 3 (75): 124-135.

Маторин С.И., Жихарев А.Г. 2019. Системно-объектный подход как основа общей теории систем. Научные ведомости БелГУ. Сер. Экономика. Информатика, 2019, Т. 46, № 4: 717-730.

Пойнтер Я. 2020. Программируем с PyTorch: Создание приложений глубокого обучения. СПб.: Питер, 2020, 256 с.

Чиннатамби К. 2019. Изучаем React. СПб.:Питер, 2019, 368 с.

Шейнов В. 2001. Скрытое управление человеком. М.: ООО "Издательство АСТ", Мн.: Харвест, 357 с.

Шолле Ф. 2018. Глубокое обучение на Python. СПб.: Питер, 2018, 400 с.

Шолле Ф. 2018. Глубокое обучение на R. СПб.: Питер, 2018, 400 с.

References

Balalaie A.; Heydarnoori A.; Jamshidi P. 2016. Microservices Architecture Enables DevOps: Migration to a Cloud-Native Architecture. IEEE Software, 2016, Vol. 33, no. 3: 42-52.

Beazley D. M. 2009. Python Essential Reference. 4th Edition. Addison-Wesley Professional, 2009, 717 p.

Chen X., Liu X., Gales M.J.F., Woodland P.C. 2015. Recurrent neural networklanguage model training with noise contrastive estimation for speechrecognition. In Acoustics, Speech and Signal Processing (ICASSP): 5411 - 5415.