CC BY
100
УДК 0048913 Е.В. Чумакова1, Д.Г. Корнеев2, М.С. Гаспариан2
DOI: http://dx.doi.org/10.21686/1818-4243-2022-2-4-13
1 Московский авиационный институт, Москва, Россия 2 Российский экономический университет им. Г.В. Плеханова,
Москва, Россия
Разработка метода адаптивного
V V JU
тестирования на основе неиротехнологии*
Цель исследования. Целью исследования является создание ней-росетвых моделей модулей в системе адаптивного тестирования для построения индивидуальной траектории тестирования. В исследовательской статье рассматриваются вопросы реализации системы адаптивного тестирования с точки зрения внедрения в ее состав модулей искусственных нейронных сетей, которые должны решать задачу выбора темы и сложности следующего вопроса, учитывая предыдущие ответы и сложность ранее заданных вопросов, а также связанности тем и времени ответа как фактора угадывания или поиска ответа, тем самым формируя индивидуальную траекторию тестирования. Материалы и методы. В ходе исследования проанализированы данные, влияющие на качество решения задачи, предложена общая модульная структура системы и описаны основные потоки данных, поступающие на вход искусственной нейронной сети (ИНС). Для решения задачи выбора сложности вопроса предложено использовать сеть прямого распространения, проведено сравнение различных архитектур и параметров обучения ИНС (алгоритмов обновления весов, функций потерь, количества эпох обучения, размеров пакета). В качестве альтернативы, рассмотрена возможность использования рекуррентной ИНС LSTM (Long-Short Term Memory) сети.
Все результаты были получены с помощью высокоуровневой библиотеки Keras, позволяющей осуществить быстрый старт на начальных этапах исследований и получение первых результатов. В качестве оптимизаторов сравнивались SGD, Adam, NAdam и RMSprop, реализованных в Keras для достижения более быстрой сходимости. Лучшие результаты по точности показал Adam, при этом совместно с оптимизатором использовалась функция потерь MSE (среднеквадратичная ошибка).
Традиционно обучение проводилось в течение большого числа эпох, экспериментальным путем получены графики зависимостей точности от числа эпох для разного количества нейронов в скрытом слое.
Результаты. На основании проведенного исследования можно сделать вывод о том, что полученная точность сети прямого распространения в 80—85% вполне достаточна для ее применения в системе адаптивного тестирования. Однако, предстоит ответить на вопрос о необходимости повышения эффективности уже реализованной сети, а, следовательно, провести исследования методов повышения эффективности сетей, среди которых более тонкая настройка параметров и алгоритмов обучения, а также архитектуры.
Известный и очевидный недостаток применения LSTM — их требовательность к оборудованию и ресурсам, как при обучении (процесс обучения занимает значительное время), так и при запуске, в нашем случае дополняется повышенными требованиями к обучающей выборке и ставит под сомнение целесообразность дальнейшего исследования LSTM сетей при решении данной задачи.
Заключение. Внедрение предлагаемого инструментария позволит реализовать систему адаптивного тестирования, с интеллектуальной подборкой вопросов в зависимости от демонстрируемого уровня знаний тестируемого для формирования индивидуальной траектории тестирования с целью определения достоверного уровня знаний испытуемого за оптимальное число заданных вопросов.
Ключевые слова: система адаптивного тестирования, искусственная нейронная сеть, машинное обучение.
Ekaterina V. Chumakova1, Dmitry G. Korneev2, Mikhail S. Gasparian2
1 Moscow Aviation Institute, Moscow, Russia 2 Plekhanov Russian University of Economics
Development of Adaptive Testing Method Based on Neurotechnologies
Purpose of the study. The aim of the study is to create neural network models of modules in an adaptive testing system to design an individual testing trajectory.
The research article discusses the implementation of an adaptive testing system in terms of introducing artificial neural network modules into its composition, which should solve the problem of choosing a topic and the complexity of the next question, taking into account previous answers and the complexity of previously asked questions, as well as the connectivity of topics and response time as a factor guessing or searching for an answer, thereby forming an individual testing trajectory.
Materials and methods. In the course of the study, the data that affect the quality of the solution of the problem was analyzed, the general modular structure of the system was proposed, and the main
data flows entering the input of an artificial neural network (ANN) were described. To solve the problem of choosing the complexity of a question, it is proposed to use a feed-forward network, a comparison of various ANN architectures and training parameters (weight update algorithms, loss functions, number of training epochs, packet sizes) is carried out. As an alternative, the possibility of using a recurrent ANN LSTM (Long-Short Term Memory) network is considered. All results were obtained using the high-level Keras library, which allows you to quickly start at the initial stages of research and get the first results. SGD, Adam, NAdam and RMSprop implemented in Keras were compared as optimizers to achieve faster convergence. Adam showed the best results in terms of accuracy, while the MSE loss function (mean square error) was used together with the optimizer. Traditionally, training was carried out for a large number of
* Данное исследование выполнено в рамках государственного задания в сфере научной деятельности Министерства науки и высшего образования РФ на тему «Разработка методологии и программной платформы для построения цифровых двойников, интеллектуального анализа и прогнозирования сложных экономических систем», номер проекта FSSW-2020-0008
epochs; graphs of dependences of accuracy on the number of epochs for a different number of neurons in the hidden layer were experimentally obtained.
Results. Based on the study, we can conclude that the obtained accuracy of the direct propagation network of 80-85% is quite sufficient for its use in the adaptive testing system. However, it remains to answer the question of the need to improve the efficiency of an already implemented network, and, therefore, to conduct research on methods to improve the efficiency of networks, including finer tuning of parameters and learning algorithms, as well as architecture.
A well-known and obvious drawback of using LSTMs is their ex-actingness in terms of equipment and resources, both during training
(the training process takes a significant amount of time) and during startup, in our case, it is supplemented by increased requirements for the training sample and casts doubt on the advisability of further study of LSTM networks when solving this task. Conclusion. The introduction of the proposed tools will allow implementing an adaptive testing system, with an intelligent selection of questions depending on the demonstrated level of knowledge of the test person to form an individual testing trajectory in order to determine the reliable level of knowledge of the test subject for the optimal number of questions asked.
Keywords: adaptive testing system, artificial neural network, machine learning.
Введение
Адаптивное тестирование — это технология определения уровня знаний тестируемого, при которой каждый следующий вопрос автоматически выбирается на основе ответов на предыдущие вопросы. Преимуществом такого тестирования, по мнению специалистов, является возможность более полного и точного определения уровня знаний испытуемого. Проблематика разработки адаптивных тестов является актуальной не только в рамках решения задач тестирования обучающихся, например, для разработки индивидуальных траекторий обучения, но и в других сферах, требующих проверки уровня компетенций, а также личностных интеллектуальных и психофизиологических качеств испытуемого. К адаптивным тестам проявляют все больший интерес, например HR-службы крупных компаний для найма новых специалистов и проведения тестирования сотрудников.
С развитием интеллектуальных технологий разработка новых методов и решение конкретных практических задач с применением технологий компьютерного адаптивного тестирования (Computerized adaptive testing (CAT)) вызывает все больший интерес специалистов.
В настоящее время можно выделить три основных направления исследований, по которым развиваются методы CAT:
— Теория ответов на задания (Item Response Theory (IRT). IRT — это совокупность родственных психометрических теорий, которая обеспечивает основу для оценивания испытуемых. В основе теории лежат математические модели и логистические функции, характеризующие зависимость между свойствами (характеристиками, знаниями) испытуемого и вероятностью правильного ответа на вопрос.
— Байесовская сеть убеждений (Bayesian Belief Network (BBN)). BBN - это формальный графический язык для представления и передачи сценариев принятия решений, требующих рассуждений в условиях неопределенности.
— Искусственные нейронные сети (Neural Network (NN)). ИНС — это парадигма обработки информации, основанная на механизмах аналогичных работе нейронов мозга человека. ИНС состоит из некоторого количества взаимосвязанных узлов (нейронов), обрабатывающих информацию и передающую сигналы по результатам обработки другим нейронам.
Можно отметить, что наибольшее количество современных теоретических и практических исследований в области CAT связано, прежде всего, с применением искусственных нейронных сетей (ИНС). На сегодняшний день не так активно идут исследования в области использования ИНС в системах тестирования, как например, в областях распоз-
навания образов или анализа текстов. В области тестирования знаний ИНС чаще всего предлагается использовать, как конечный модуль выставления оценки, в ряде работ встречались попытки решить задачу интеллектуального выбора вопроса в виде повешения или понижения уровня сложности следующего вопроса.
В настоящее время существуют различные фреймворки для создания ИНС, что делает применение этого механизма все более доступным. Однако, создание и обучение нейронной сети, дающей реальные преимущества по сравнению с традиционным тестированием, требует наличия серьезных теоретических знаний и проведения значительного количества экспериментов. У исследователей в настоящее время нет единого подхода к созданию нейронных сетей для CAT.
Возникают вопросы, связанные с выбором типа сети и ее архитектурой, а также количеством обучающих примеров для получения приемлемого качества выдаваемых сетью рекомендаций. В современных научных работах даются лишь общие рекомендации по указанным вопросам. Например, в работе [1] приводятся рекомендации по количеству скрытых слоев в достаточно большом интервале.
Следует также отметить недостаток комплексных работ, которые при детальном рассмотрении всего процесса создания нейросети описывают также применяемые техноло-
гии обучения сети, являющиеся важным элементом обеспечения работоспособности ИНС.
Относительно выбора типа сети также существуют различные подходы. Используются как «классические» нейронные сети прямого распространения (feedforward neural network), в которых сигнал идет последовательно от слоя к слою [2, 3], так и рекуррентные нейросети (Recurrent Neural Networks), в которых существует обратная связь между нейронами, и выходной сигнал может передаваться на вход нейронам предыдущего слоя [4]. В качестве интересных идей, опубликованных в ряде работ, следует отметить применение при создании нейросетей методов открытых систем, в частности создания ИНС по модульному принципу [4—5].
В процессе подготовки данной работы были проведены исследования применения различных типов сетей для решения задач CAT. В работе детально описаны все процессы создания сети.
Модульная структура системы адаптивного тестирования
Главной задачей системы адаптивного тестирования является определение достоверного «профиля» знаний испытуемого в определенной области. При этом под адаптивностью понимается не только интеллектуальная подборка вопросов в зависимости от демонстрируемого уровня знаний тестируемого, но также расширяемость и универсальность системы в целом [6—8]. Очевидно, что такого рода система должна строиться по модульному принципу, который в итоге придаст структуре системы большую гибкость и универсальность.
Особый интерес представляет собой интеллектуальный выбор следующего вопроса.
На практике применяются различные подходы: испытуемому задается равномерное количество вопросов по всем тематикам с разной сложностью; испытуемый получает больше вопросов по темам, при ответах на которые были допущены ошибки или же вопросы подбираются по заранее заданному четкому алгоритму [9—13], которые в данном случае сложно отнести к интеллектуальным подходам.
В статье под профилем знаний испытуемого в определенной области будем понимать уровень владения материалом по каждой из интересующих тематик. Уровень владения должен определяться в зависимости от уровня сложности заданных вопросов и правильности ответов на них. Поэтому все вопросы из банка вопросов должны иметь не только принадлежность к определенной теме, но характеризоваться некоторой сложностью.
Для получения достоверного профиля знаний в процессе тестирования определяются тема и сложность вопроса, который будет задан следующим, т.е. вопрос подбирается под конкретного испытуемого, с учетом количества заданных вопросов по темам, их связанности между собой, сложности, а также правильности полученных ранее ответов на предыдущих этапах. Именно эту задачу и должна помочь решить ИНС.
На определение группы нового вопроса влияют следующие параметры, которые потенциально являются входными данными для ИНС:
• Темы уже заданных вопросов;
• Количество заданных вопросов (по каждой из тем);
• Сложности уже заданных вопросов (по каждой из тем);
• Правильность (оценка) полученных ответов (по темам и с учетом сложности);
• Связанность тем между собой;
• Время ответа на уже заданные вопросы.
Опишем, в каком виде можно хранить в системе эти данные. Предлагается для тестируемого хранить вектор (массив — размерностью равной количеству задаваемых вопросов) структур, содержащих:
• Вопрос — тему, номер, трудность;
• Время ответа, а точнее отклонение — положительное или отрицательное от ожидаемого нормального, т.е. достаточного для прочтения и осмысленного ответа;
• Оценка — доля правильности ответа (1 — правильный, 0 — неправильный).
Связанность тем зададим матрицей М[N, N коэффициентов, изменяющихся в диапазоне от 0 до 1, где 0 — темы абсолютно не связаны, 1 — связаны максимально. Коэффициент, находящийся на пересечении /-ой строки и /'-ого столбца, показывает, на сколько связаны между собой /-ая и /'-ая темы. Матрица является симметричной, на главной диагонали которой располагаются единицы, поэтому реально значимыми входными значениями будут только (Л — N1/2.
При наличии большого числа тестовых вопросов (30—50) количество входных параметров сети мало того, что велико, оно еще и постоянно изменяется с появлением нового ответа (растет а арифметической прогрессии). Это создает значительные трудности при определении архитектуры ИНС, а также затрудняет подготовку обучающих и тестовых наборов данных и сам процесс обучения. Кроме того, число входных параметров также меняется и при изменении количества вопросов в тесте, а, следовательно, говорить о какой-либо универсальности уже не приходится.
Для решения этой проблемы будем использовать две ИНС, одна из которых определяет тему следующего во-
Рис. 1. Общая схема функционирования системы адаптивного тестирования Fig. 1. The general scheme of the functioning of the adaptive testing system
проса, а вторая — уровень его сложности. Чтобы сократить число входных параметров и сделать их постоянным, интегрируем ИНС между собой с помощью алгоритмических модулей, осуществляющих предварительную математическую подготовку входных значений. Рассмотрим общую полученную структуру системы тестирования, которая имеет гибридную архитектуру (см. рис. 1).
В случае ИНС прямого распространения учитывать все ответы на все вопросы предлагается подачей на вход сетей усредненных параметров ответов по каждой теме {X}, для чего в состав системы введен соответствующий расчетный модуль. В случае же использования рекуррентной ИНС, указанный модуль может отсутствовать, что связано со способностью самой сети учитывать предыдущие состояния. В обоих случаях число входов при большом количестве тем уменьшается незначительно, но остается постоянным на всех этапах тестирования для любого количества вопросов в тесте. Эффективность использования конкретного типа ИНС предполагается оценить в ходе дальнейших исследований.
При выборе темы в процессе построения индивидуальной траектории тестирования необходимо учитывать как ответы тестируемого, так и связанность тем, чтобы, во-первых, оценить владение материалов при переходе между темами, и, во-вторых, оптимизировать общее количество задаваемых вопросов по каждой их тем. На вход ИНС выбора темы предложено подавить вектор коэффициентов «оцененности» тем {Qi}, которые, по сути, получаются суммированием доли каждого ответа с учетом сложности и связанности тем. Математически это можно представить произведением описанной ранее матрицы связанности тем и вектора усредненной оценки ответов с учетом сложности.
После того, как тема выбрана, второй модуль ИНС на основе усреднённых данных по уже конкретной теме должен определять сложность будущего вопроса. Логика понижения или повышения сложности вопросов закладывается во время обучения, на основе обучающих наборов, предоставленных экспертами по заданным требованиям.
В результате испытуемый будет получать вопрос, вы-
бранный из банка вопросов, сложность и тема которого подобраны индивидуально в зависимости от его предыдущих ответов.
Нейросетевой модуль определения уровня сложности вопроса
На первом этапе было решено спроектировать и обучить модуль ИНС, отвечающий за выбор уровня сложности. Определение сложности вопроса, после того как определена его тема, значительно уменьшает число входных параметров, которые могут влиять на выбор вопроса. В данном случае необходимо учитывать параметры ответов тестируемого только по определённой теме. Именно поэтому модулю ИНС предшествует блок выбора показателей тестируемого по конкретной теме предмета.
В ходе исследования была проанализирована целесообразность использования различных моделей ИНС с точки зрения принадлежности данной задачи к конкретному классу задач, решаемых определенным типом ИНС. Однозначно отнести решаемую задачу к определённому классу не получается, так как, с одной
стороны, определение уровня сложности следующего вопроса является задачей классификации, т.е. определения класса трудности, в зависимости от показателей тестируемого, с другой стороны, это предсказание реального уровня знаний на основе предыдущих ответов.
Следует отметить, что не существует определенных архитектур ИНС для решения задачи классификации, однако наиболее часто применяемым типом в этом случае является многослойная сеть прямого распространения. Для задач, основанных на последовательностях, применяют специальный тип ИНС — рекуррентные сети. Заранее невозможно точно определить, какая из архитектур наилучшим образом подойдет для решения задачи. В результате было решено остановиться на более детальном исследовании двух вариантов сетей, а именно:
— сети прямого распространения, в которой все слои связаны друг с другом напрямую и последовательно — без обратных связей и линий задержки;
— рекуррентной сети с долгой краткосрочной памятью LSTM (Long-Short Term Memory), получающие информацию от предыдущих проходов, что делает их способными обучаться долгосрочным зависимостям.
Известным и очевидным недостатком последних является их требовательность к оборудованию и ресурсам, как при обучении (процесс обучения занимает значительное время), так и при запуске.
Рассмотрим далее более детально вариант использования сети прямого распространения. Чтобы учитывать все предыдущие ответы по теме, а их число может быть произвольным на некотором этапе, на вход ИНС будем подавать усредненные значения правильности ответов на вопросы и их сложности, количество уже заданных
вопросов, а также среднее время отклонения от ожидаемого времени ответа, как некоторый показатель угадывания или поиска ответов. Помимо средних показателей, которые не дают полноты информации для принятия решений в данной задаче даже человеку, на вход сети также будем подавать оценку ответа на последний заданный вопрос и его сложность.
Таким образом, входной слой содержит 6 нейронов, выходной — в зависимости от количества уровней сложности вопросов. В нашем случае было выбрано 5 нейронов, которые агрегируются в последний слой, содержащий один нейрон. Для окончательного определения архитектуры сети необходимо определиться с количеством скрытых слоев и числа нейронов в них.
Руководствуясь рекомендациями из [1] для сети с архитектурой п—т—р и объемом обучающей выборки L количество нейронов в скрытом слое должно удовлетворять следующему условию:
1об2(р) < т < (Ь — р) /
(п + р + 1) (1)
Здесь верхняя граница определяется из условия, что объем облучающей выборки превышает количество настраиваемых параметров. В то же время существуют эвристические правила в соответствии, с которыми размер тренировочной выборки должен, как минимум, на порядок превосходить количество настраиваемых параметров для получения ошибки в 10%, а также число нейронов скрытого слоя должно, как минимум, превышать в 1,5-2 раза размер входного [14].
Если при использовании персептрона с одним скрытым слоем не удается получить требуемую точность и обобщающую способность сети, то применяется нейронная сеть с более чем одним скрытым слоем. Для определения оптимальной архитектуры сети так-
же применяются генетические и эволюционные алгоритмы, которые имеют свои особенности и ограничения на практике. Поэтому на первом этапе исследуем сеть с архитектурой п — т — р, для которой т и Ь должны удовлетворять описанным ранее условиям.
Поскольку не существует точных методик оценки сложности решаемой проблемы и алгоритма обучения, которые являются определяющими факторами для выбора объема данных при машинном обучении, заранее нельзя сказать какого объема данных будет достаточно. На основе описанных рекомендаций можно примерно оценить требуемый размер генеральной совокупности исходных данных и количество нейронов в скрытом слое. Будем отталкиваться от того, что минимальное число нейронов скрытого слоя должно быть т = 9 — 12, а, следовательно, с одной стороны объем обучающей выборки Ь > 110—150, с другой стороны, Ь > = 1150 — 1500, т.е. на порядок больше количества настраиваемых параметров при заданном т. В отсутствие других ориентиров остановимся на размере обучающей выборки равной 1500 наблюдений. Согласно общепринятым соотношениям обучающая выборки должна составлять 80% от генеральной совокупности, проверочная (валидацион-ная) — 10% (150 наблюдений) и тестовая (контрольная) — 10% (150 наблюдений). Для выбранного обучающего множества целесообразно исследовать ряд архитектур для т = 9, 12, 15, 18, 21 нейронов.
При подготовке выборок учитывались такие требования, что они должны содержать достаточное количество уникальных примеров, не должны содержать дубликатов и противоречий, пропусков и аномальных значений, а также численное соотношение объектов разных классов в каждой
Рис. 2. Зависимости точности от числа эпох обучения для разного количества нейронов в скрытом слое
Fig. 2. Dependences of accuracy on the number of training epochs for a different number of neurons in the hidden layer
из выборок должно быть таким же, как в исходной генеральной совокупности [15].
В том числе на структуру данных оказывает влияние способ обучения сети. В качестве способа обучения был выбран способ «обучение с учителем», поскольку именно этот способ чаще всего применяется в задачах классификации и прогнозирования. Обучение без учителя используется при построении статистических и языковых моделей, а также, например, в задачах кластеризации и компрессии данных, что не соответствует условиям нашей задаче.
Для моделирования ИНС рассматривались две библиотеки (фреймворка) Kerns и PyTorch, обладающие разным уровнем API, способами описания и запуска обучения сети, тем не менее, давшие похожие результаты для описанной архитектуры сети и обучения на одних и тех же обучающих наборах. Все приведенные результаты были получены с помощью библиотеки Kerns, позволяющей легко создавать сети и упростить тестирование моделей обучения, что дает дополнительные удобства на начальных этапах исследований и получения первых результатов.
На качество обучения модели оказывают влияние не только ее структура и обучающее множество, но и ряд параметров обучения: алгоритм обновления весов (оптимизатор), функция потерь, количество эпох обучения и размер пакета. Ниже проведено сравнение наиболее популярных методов оптимизации SGD, Adam, NAdam и RMSprop, реализованных в Keras для достижения более быстрой сходимости, которое показало, для исследуемой задачи лучшие результаты по точности показал Adam. Для всех оптимизаторов использовалась функция потерь MSE (среднеквадратичная ошибка).
Традиционно обучение проводится в течение большого числа эпох, которое определяется обычно экспериментальным путем и является достаточным для получения минимальной ошибки и высокой точности [16—18]. Авторами статьи проводилось обучение сетей с различным числом нейронов скрытого слоя в течение 50, 100, 200, 350 и 500 эпох, в результате чего были получены зависимости точности от разного количества эпох обучения для сетей с разным числом нейронов в скрытом слое, которые ниже представлены графически (см. рис. 2).
Последний указанный параметр — размер пакета (batch_ size), т.е. число примеров из выборки, пропускаемых через сеть, после которых обновляются весовые коэффициенты. В Keras реализуется мини-пакетный градиентный спуск, а рекомендуемый размер пакета равен 32. При этом обобщающая способность может падать не только с уменьшением размера пакета, который подбирается экспериментальным путем, но и с его увеличением, что связано с собственным шумом при оценке градиента [19]. Для сети 6-12-5 было проведено несколько экспериментов с различными размерами пакета
(5, 10, 15, 20, 25, 30, 50 и 100), в результате наилучшая обобщающая способность была получена при размере пакета равном 50.
Наилучшую точность показала сеть с архитектурой 6-155, а полученные кривые обучения приведены на графике ниже (см. рис. 3).
Увеличение числа нейронов в скрытом слое, число скрытых слоев, эпох обучения, а также перемешивание данных и изменение скорости обучения, средствами Keras, не привели к повышению производительности сети и показатели точность остались в среднем на уровне 83—85%. При этом эффекта переобучения не наблюдалось. На основании проведенных экспериментов можно сделать выводы о том, что для дальнейшего повышения точности работы необходимо провести анализ генеральной совокупности примеров на предмет полноты и сложности модели.
Рассмотрим далее аналогичную по числу нейронов в слое рекуррентную сеть [20—21]. Исходя их того, что LSTM-сеть обрабатывает временную последовательность входных данных, сохраняя внутреннее состояние, полученное при обработке предыдущих элементов, для учета всех ранее
Рис. 3. Кривые обучения для сети с архитектурой 6-15-5 Fig. 3. Learning curves for a network with 6-15-5 architecture
полученных ответов не требуется вычисление усредненных значений. Число входов сети можно сократить до 4-х: номер вопроса, оценка ответа, сложность вопроса и временное отклонение от нормального. В целом, набор входных параметров LSTM-сеть не будет отличаться от рассмотренного ранее случая для сети прямого распространения.
Исключение составляет форма, в которой представлены обучающие и тестовые наборов, каждый из которых, по сути, является последовательностью ответов на вопросы. При этом, методы оптимизации, функции активации и оценки результатов обучения для LSTM-сети будут использованы те же, что и для сети прямого распространения.
В ходе ряда экспериментов были получены похожие результаты (точность модели 95% и точность на тестовой выборке 80%) и кривые обучения, одна из которых приведена ниже (см. рис. 4). Уже на 100—150 эпохах обучения наблюдается эффект переобучения, что говорит о том, что сеть запоминает все примеры, а для обучения требуется большие выборки.
Выводы и направления дальнейших исследований
Очевидно, что говорить о преимуществе одного из вида сетей (сети прямого распространения и LSTM-сети) для решения задачи определения следующего вопроса в задачах адаптивного тестирова-
ния не приходится. Оба вида сетей требуют более детальной подготовки обучающего множества. Для сетей прямого распространения это связано в первую очередь со сложностью модели, а именно, с характером входных данных сети — усреднённых значений всех предыдущих ответов. В этом случае для полноты описания модели требуется больше уникальных и не противоречивых обучающих и тестовых примеров. Форма входных данных рекуррентной сети проще, но задача определения сложности следующего ответа на основе всех предыдущих осталась, а, следовательно, обучающие данным должны представлять различные траектории тестирования на разных его этапах. К тому
model loss
014 012 010 008 006 004 002
- Vein - validation
\ ►АД
ч.
л А , /ч
20
40 «0
epo<h
Ю
100
09
2 Ов 5
V *
в 07
I ов
и
0 5
model categorical accuracy
- Win - vaitdatio п Л. t^wVT^vw
20
40 60
<poch
80
100
Рис. 4. Кривая обучения LSTM сети Рис. 4. Кривая обучения LSTM сети
же число настраиваемых параметров в разы больше, чем у сети прямого распространения, что также повышает требования к объему и качеству обучающей выборки. Предварительный анализ обучающего множества выявил наличие пробелов в определенных диапазонах данных, а также некую неравномерность представления, что при случайном перемешивании может приводить к сбоям в обучении.
Необходимым инструментом для дальнейших исследований в данной ситуации представляется создание автоматизированной системы
генерации, сбора, систематизации и предварительной обработки обучающих наборов. Это позволит легче формировать полноценные обучающие множества, и, следовательно, получать ИНС с заданной производительностью. Такая система будет особенно полезной для проектирования модуля ИНС для выбора темы, который изначально представляет собой более сложную модель.
Помимо выбора темы следующего вопроса на ИНС можно возложить решения задачи перехода к следующему этапу тестирования (выдачи нового вопроса), т.е. определения
достоверного профиля знаний с индивидуальной длинной траектории тестирования. Исследование этой возможности интересно тем, насколько в целом количество заданных вопросов будет оптимальным, не будет ли система уходить в режим бесконечного теста или же тесты станут слишком короткими.
Еще одной модификацией системы может стать внедрение в структуру системы третьего модуля ИНС, определяющего соответствие требуемым компетенциям на основании полученного профиля испытуемого.
Литература
1. Головко В.А., Краснопрошин В.В. Нейро-сетевые технологии обработки данных. Минск: БГУ, 2017. 263 с.
2. Савченко Е.Ю. Применение модифицированных алгоритмов обучения нейронных сетей в задачах адаптивного тестирования [Электрон. ресурс]. Режим доступа: /https://na-journal. ru/4-2012-tehnicheskie-nauki/159-primenenie-modificirovannyh-algoritmov-obuchenija-nejronnyh-setej-v-zadachah-adaptivnogo-testirovanija.
3. Григорьев А., Мамаев В. О применении нейронных сетей в тестировании знаний // Научное приборостроение. 2016. Т. 26. № 4. С. 77—84.
4. Syed Shomaail Mansoor Jafri. Computerized adaptive testing using neural networks Dhahran. Eastern Province, Saudi Arabia. [Электрон. ресурс]. Режим доступа: https://www.researchgate. net/publication/228720628_Computerized_ adaptive_testing_using_neural_networks, last accessed 2022/01/20.
5. Онуфриева Т.А., Сухова А.С. Применение нейронных сетей в разработке электронных обучающих ресурсов // Южно-Сибирский научный вестник. 2020. № 6(34). С. 194-197.
6. Никифоров О.Ю. Использование адаптивных систем компьютерного тестирования [Электрон. ресурс] // Гуманитарные научные исследования. 2014. № 4. Режим доступа: https:// human.snauka.ru/2014/04/6274.
7. Жадаев Д.С., Кузьменко А.А., Спасен-ников В.В. Особенности нейросетевого анализа уровня подготовки студентов в процессе адаптивного тестирования их профессиональных компетенций // Вестник Брянского государственного технического университета. 2019. Т. 75. № 2. С. 90-98.
8. Песошин В.А., Звездин В.В., Илюхин А.Н., Саубанов Руз. Р., Саубанов Русл. Р. Автоматизи-
рованная система тестирования как инструмент повышения качества оценки знаний [Электрон. ресурс] // Наука и образование. 2016. № 07. С. 137—142. Режим доступа: http://technomag.edu. ru/doc/843941.html, last accessed 2022/02/04.
9. Шамсутдинова Т.М. Формирование индивидуальной образовательной траектории в адаптивных системах управления обучением // Открытое образование. 2021. № 25(6). С. 36—44. DOI: 10.21686/1818-4243-2021-6-36-44.
10. Дагаев А.В., Костин Г.А., Петрова Е.А. Разработка автоматизированной информационной системы тестирования знаний для высшего учебного заведения как инструмент повышения образовательного процесса // Вестник образования и развития науки российской академии естественных наук. 2020. № 4. С. 80—84.
11. Комлева Н.В., Вилявин Д.А. Цифровая платформа для создания персонализированных адаптивных онлайн курсов // Открытое образование. 2020. № 24(2). С. 65-72.
12. Pominov D.A., Kuravsky L.S., Dumin P.N., Yuriev G.A. Adaptive trainer for preparing students for mathematical exams // International Journal of Advanced Research in Engineering and Technology (IJARET). 2020. Т. 11. № 11. С. 260-268.
13. Саймон Хайкин. Нейронные сети: полный курс — 2-е. М.: Вильямс, 2019. 1104 с.
14. Парасич А.В., Парасич В.А., Пара-сич И.В. Формирование обучающей выборки в задачах машинного обучения. Обзор // Информационно-управляющие системы. 2021. № 4(113). С. 61—70.
15. Ang K.M., Lim W.H., Tiang S.S., Ang C.K., Natarajan E., Ahamed Khan M.K.A. Optimal training of feedforward neural networks using teaching-learning-based optimization with modified learning phases // Lecture Notes in Electrical Engineering. 2022. Т. 770. С. 867—887.
16. Gorshkova K., Tugashova L., Zueva V., Kuznetsova M. Optimizing deep learning methods in neural network architectures // International Review of Automatic Control. 2021. T. 14. № 2. C. 93-101.
17. Zhao Y. Research on management model based on deep learning // Complexity. 2021. T. 2021. C. 9997662.
18. Nitish Shirish Keskar, Dheevatsa Mudigere, Jorge Nocedal, Mikhail Smelyanskiy, Ping Tak Peter Tang: On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima
References
1. Golovko V.A., Krasnoproshin V.V. Neyrosetevyye tekhnologii obrabotki dannykh = Neural network technologies for data processing. Minsk: BGU; 2017. 263 p.
2. Savchenko Ye.Yu. Primeneniye modifitsirovannykh algoritmov obucheniya neyronnykh setey v zadachakh adaptivnogo testirovaniya = Application of modified learning algorithms for neural networks in adaptive testing problems [Internet]. Available from: https:// na-journal.ru/4-2012-tehnicheskie-nauki/159-primenenie-modificirovannyh-algoritmov-obuchenija-nejronnyh-setej-v-zadachah-adaptivnogo-testirovanija. (In Russ.)
3. Grigor'yev A., Mamayev V. On the use of neural networks in knowledge testing. Nauchnoye priborostroyeniye = Scientific Instrumentation. 2016; 26; 4: 77-84. (In Russ.)
4. Syed Shomaail Mansoor Jafri. Computerized adaptive testing using neural networks Dhahran. Eastern Province, Saudi Arabia. [Internet]. Available from: https://www.researchgate.net/ publication/228720628_Computerized_adaptive_ testing_using_neural_networks, last accessed 2022/01/20.
5. Onufriyeva T.A., Sukhova A.S. The use of neural networks in the development of electronic learning resources. Yuzhno-Sibirskiy nauchnyy vestnik = South Siberian Scientific Bulletin. 2020; 6(34): 194-197. (In Russ.)
6. Nikiforov O.Yu. The use of adaptive computer testing systems [Internet]. Gumanitarnyye nauchnyye issledovaniya = Humanitarian scientific research. 2014: 4. Available from: https://human. snauka.ru/2014/04/6274. (In Russ.)
7. Zhadayev D.S., Kuz'menko A.A., Spasen-nikov V.V. Peculiarities of neural network analysis of the level of students' training in the process of adaptive testing of their professional competencies. Vestnik Bryanskogo gosudarstvennogo tekhnicheskogo universiteta= Bulletin of the Bryansk State Technical University. 2019; 75; 2: 90-98. (In Russ.)
8. Pesoshin V.A., Zvezdin V.V., Ilyukhin A.N., Saubanov Ruz. R., Saubanov Rusl. R. Automated testing system as a tool for improving the quality
[Электрон. ресурс]. Режим доступа: https://arxiv. org/pdf/1609.04836.pdf.
19. Казаков Ф.А., Шнайдер А.В. Использование нейронных сетей с временными рядами данных для анализа потоков данных // Современные наукоемкие технологии.2021. № 6(2). С. 260-264.
20. Зоткина А.А., Мартышкин А.И., Новоселова О.В. Методика оптимизации обучающего алгоритма нейронных сетей // XXI век: итоги прошлого и проблемы настоящего плюс. 2021. Т. 10. № 4 (56). С. 21-24.
of knowledge assessment [Internet] // Nauka i obrazovaniye = Science and education. 2016; 07: 137—142. Available from: http://technomag.edu. ru/doc/843941.html, last accessed 2022/02/04. (In Russ.)
9. Shamsutdinova T.M. Formation of an individual educational trajectory in adaptive learning management systems. Otkrytoye obrazovaniye = Open Education. 2021; 25(6): 36-44. DOI: 10.21686/1818-4243-2021-6-36-44. (In Russ.)
10. Dagayev A.V., Kostin G.A., Petrova Ye.A. Development of an automated information system for testing knowledge for a higher educational institution as a tool for improving the educational process. Vestnik obrazovaniya i razvitiya nauki rossiyskoy akademii yestestvennykh nauk= Bulletin of Education and Science Development of the Russian Academy of Natural Sciences. 2020; 4: 8084. (In Russ.)
11. Komleva N.V., Vilyavin D.A. Digital platform for creating personalized adaptive online courses. Otkrytoye obrazovaniye = Open Education. 2020; 24(2): 65-72. (In Russ.)
12. Pominov D.A., Kuravsky L.S., Dumin P.N., Yuriev G.A. Adaptive trainer for preparing students for mathematical exams. International Journal of Advanced Research in Engineering and Technology (IJARET) = International Journal of Advanced Research in Engineering and Technology (IJARET). 2020; 11; 11: 260-268. (In Russ.)
13. Saymon Khaykin. Neyronnyye seti: polnyy kurs - 2-ye = Neural networks: full course - 2nd. Moscow: Williams; 2019. 1104 p. (In Russ.)
14. Parasich A.V., Parasich V.A., Parasich I.V. Formation of a training sample in machine learning problems. Overview. Informatsionno-upravlyayushchiye sistemy = Information and control systems. 2021; 4(113): 61-70. (In Russ.)
15. Ang K.M., Lim W.H., Tiang S.S., Ang C.K., Natarajan E., Ahamed Khan M.K.A. Optimal training of feedforward neural networks using teaching-learning-based optimization with modified learning phases. Lecture Notes in Electrical Engineering. 2022; 770: 867-887.
16. Gorshkova K., Tugashova L., Zueva V., Kuznetsova M. Optimizing deep learning methods
in neural network architectures. International Review of Automatic Control. 2021; 14; 2: 93-101.
17. Zhao Y. Research on management model based on deep learning. Complexity. 2021; 2021: 9997662.
18. Nitish Shirish Keskar, Dheevatsa Mudigere, Jorge Nocedal, Mikhail Smelyanskiy, Ping Tak Peter Tang: On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima [Internet]. Available from: https://arxiv.org/pdf/1609.04836.pdf.
Сведения об авторах
Екатерина Витальевна Чумакова
К.ф.-м.н, доцент кафедры Компьютерной математики Московский авиационный институт, МАИ, Москва, Россия
Эл. почта: CatarinaCh@yandex.ru
Дмитрий Геннадьевич Корнеев
К.э.н., доцент кафедры Прикладной
информатики и информационной безопасности
Российский экономический университет
им. Г.В. Плеханова
Москва, Россия
Эл. почта: postkomeev@mail.ru
Михаил Самуилович Гаспариан
К.э.н., доцент кафедры Прикладной
информатики и информационной безопасности
Российский экономический университет
им. Г.В. Плеханова
Москва, Россия
Эл. почта: gasparian.ms@rea.ru
19. Kazakov F.A., Shnayder A.V Using neural networks with time series data to analyze data flows. Sovremennyye naukoyemkiye tekhnologii = Modern high technologies.2021; 6(2): 260-264. (In Russ.)
20. Zotkina A.A., Martyshkin A.I., Novoselova O.V. Methodology for optimizing the learning algorithm of neural networks. XXI vek: itogi proshlogo i problemy nastoyashchego plyus = XXI century: results of the past and problems of the present plus. 2021; 10; 4(56): 21-24. (In Russ.)
Information about the authors
Ekaterina V. Chumakova
Cand. Sci. (Physics and Mathematics),
Associate Professor of Applied Computer mathematics
Department
Moscow Aviation Institute, MAI, Moscow, Russia E-mail: CatarinaCh@yandex.ru
Dmitry G. Korneev
Cand. Sci. (Economics), Associate Professor of Applied Informatics and information security Department
Plekhanov Russian University of Economics,
Moscow, Russia
E-mail: Postkorneev@mail.ru
Mikhail S. Gasparian
Cand. Sci. (Economics), Associate Professor of Applied Informatics and information security Department
Plekhanov Russian University of Economics,
Moscow, Russia
E-mail: Gasparian.ms@rea.ru
