CC BY
22
НАУЧНО-ТЕХНИЧЕСКИЙ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ июль-август 2023 Том 23 № 4 http://ntv.ifmo.ru/
I/ITMO SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
July-August 2023 Vol. 23 No 4 http://ntv.ifmo.ru/en/
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
doi: 10.17586/2226-1494-2023-23-4-757-766 УДК 004.89, 004.4
Интеллектуальная система адаптивного тестирования
Лилия Фаритовна Тагирова1, Татьяна Михайловна Зубкова2®
!>2 Оренбургский государственный университет, Оренбург, 460018, Российская Федерация
1 LG-77@mail.ru, https://orcid.org/0000-0002-3388-9462
2 Ьаге87@таП.гаи, https://orcid.org/0000-0001-6831-1006
Аннотация
Введение. Современное обучение невозможно без систем автоматизированной проверки знаний. Наиболее прогрессивными в настоящее время являются адаптивные модели тестирования, в которых сложность заданий меняется в зависимости от правильности ответов испытуемого. Представлена разработка интеллектуальной системы адаптивного тестирования с использованием аппарата нечеткой математики. Метод. Разработана интеллектуальная система адаптивного тестирования, в модуле, реализующим экспертную систему, используется продукционная база правил. Входными параметрами при работе экспертной системы являются: процент верных ответов, степень правильности ответа, длительность ответа, число попыток. Выходными — изменение текущего уровня подготовки обучаемого, на основании которого подобраны тестовые вопросы соответствующей сложности. В качестве метода логического вывода применен метод Мамдани, который состоит из шести операционных действий: фаззификации — преобразование точных значений входных переменных в значения лингвистических переменных посредством функций принадлежности; проектирования нечеткой базы правил экспертной системы; агрегирования подусловий — определение истинности условий для каждого лингвистического правила системы нечеткого вывода; активации подзаключений — нахождение степени истинности каждого из подзаключений в лингвистическом правиле; аккумулировании заключений — нахождение функции принадлежности для каждой из выходных лингвистических переменных; дефаззификации — нахождение численного значения для каждой из выходных лингвистических переменных. Основные результаты. Представлена разработанная интеллектуальная система адаптивного тестирования, которая позволяет на основании анализа результатов прохождения тестов определить текущий уровень подготовки обучающегося и адаптировать материал к уровню его подготовки. Система динамически, в режиме реального времени, предоставляет вопросы соответствующей сложности. Обсуждение. При использовании рассмотренной интеллектуальной системы адаптивного тестирования обучающимся будут заданы вопросы соответствующего уровня сложности, что позволит выстроить индивидуальную траекторию обучения. Внедрение предложенной системы обеспечит реализацию персонализированного подхода к организации учебного процесса, повысит точность оценки знаний обучающихся, и, как результат, повысить качество их обучения. Ключевые слова
искусственный интеллект, экспертная система, нечеткая логика, нечеткая математика, тестирование обучаемых, адаптивное тестирование, интеллектуальная система
Ссылка для цитирования: Тагирова Л.Ф., Зубкова Т.М. Интеллектуальная система адаптивного тестирования // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23, № 4. С. 757-766. doi: 10.17586/2226-1494-2023-23-4-757-766
© Тагирова Л.Ф., Зубкова Т.М., 2023
Intelligent adaptive testing system Liliya F. Tagirova1, Tatyana M. Zubkova2®
Orenburg State University, Orenburg, 460000, Russian Federation
1 lg-77@mail.ru, https://orcid.org/0000-0002-3388-9462
2 bars87@mail.ruH, http://orcid.org 0000-0001-6831-1006
Abstract
Modern learning is impossible without automated knowledge testing systems. At present, the most progressive are adaptive testing models in which the complexity of tasks varies depending on the correctness of the patient's answers. This article describes the development of an intelligent adaptive testing system using a fuzzy mathematics device. An intelligent adaptive testing system has been developed; the module that implements the expert system uses the production base of the rules. The input parameters of testing are the percentage of correct responses, the degree of correctness of the response, the duration of the response, and the number of attempts. The output is a change in the current level of training of the student on the basis of which test questions of related complexity are selected. As a method of logical inference, the Mamdani method is used which consists of six operational actions: phazification — conversion of exact values of input variables into values of linguistic variables through belonging functions, this served as the basis for designing a fuzzy base of rules of the expert system; aggregation of sub-conditions — determination of the truth of conditions for each linguistic rule of the fuzzy inference system; activating sub-conclusions — finding the degree of truth of each of the sub-conclusions in the linguistic rule; accumulation of conclusions — finding the belonging function for each of the output linguistic variables; defazzification — finding a numerical value for each of the output linguistic variables. A developed intelligent adaptive testing system (ISAT) is presented that allows, based on the analysis of test results, to determine the current level of training of students, to adapt the material to the level of their training. This system allows you to dynamically present questions of appropriate complexity in real time. When using the developed intelligent adaptive testing system, students will be provided with questions of the appropriate level of complexity, this will allow building an individual learning trajectory. The introduction of a predefined system will ensure the implementation of a personalized approach for organizing the learning process; will increase the accuracy of assessing students' knowledge. The use of the technology of fuzzy expert systems allows for automated, intelligent control of students' knowledge. Keywords
artificial intelligence, expert system, fuzzy logic, fuzzy mathematics, trainee testing, adaptive testing, intelligent system For citation: Tagirova L.F., Zubkova T.M. Intelligent adaptive testing system. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2023, vol. 23, no. 4, pp. 757-766 (in Russian). doi: 10.17586/2226-1494-2023-23-4-757-766
Введение
Современные тенденции развития мирового электронного образовательного пространства определяют необходимость цифровой трансформации образования за счет разработки и внедрения различных электронных обучающих систем и ресурсов.
Выпущен ряд документов, регламентирующих деятельность образовательных организаций в условиях цифровой трансформации образования1'2'3'4.
1 Распоряжение Минпросвещения России от 18.05.2020 N Р-44 «Об утверждении методических рекомендаций для внедрения в основные общеобразовательные программы современных цифровых технологий» [Электронный ресурс]. Режим доступа: https://legalacts.ru/doc/rasporjazhenie-mmprosveshcheniia-rossii-ot-18052020-n-r-44-ob-utverzMemi/ (дата обращения: 01.04.2023).
2 Указ Президента Российской Федерации от 21.07.2020 № 474 «О национальных целях развития Российской Федерации на период до 2030 года» [Электронный ресурс]. Режим доступа: http://www.kremlin.ru/acts/bank/45726 (дата обращения: 01.04.2023).
3 Паспорт Федерального проекта «Цифровая образовательная среда» [Электронный ресурс]. Режим доступа: https:// minobr.gov-murman.ru/files/Nach_proekty/Tsos/fp_cifrovaya_ obrazovatelnaya_sreda_04102019.pdf (дата обращения: 01.04.2023).
4 Приказ Министерства просвещения РФ от 2 декабря 2019 г. № 649 «Об утверждении Целевой модели цифровой образовательной среды» [Электронный
Согласно2, суть цифровой трансформации образования заключается в достижении необходимых образовательных результатов посредством персонализации учебного процесса на основе использования инновационных достижений в областях аппаратного и программного обеспечения современных цифровых технологий. Процесс цифровой трансформации образования инициирует совершенствование всей системы образования, в том числе средств оценки учебных достижений и управления образовательным процессом [1].
Перспективным направлением в области персонали-зации образования выступает создание и внедрение интеллектуальных систем адаптивного тестирования [2]. Адаптивными обучающими системами являются электронные образовательные ресурсы, предоставляющие обучающемуся индивидуальную траекторию обучения за счет «подстраивания» персонального образовательного пространства под его собственные особенности [2]. Системы адаптивного тестирования применяются многими отечественными и зарубежными исследователями, предлагающими различные подходы к ее реализации.
Проведенный анализ научных работ [2-13] показал, что наибольшее количество современных теоретических и практических исследований в области разработки систем адаптивного тестирования связано с
ресурс]. Режим доступа: https://cdnstatic.rg.ru/uploads/ attachments/180/25/89/56962.pdf (дата обращения: 01.04.2023).
применением искусственных нейронных сетей (ИНС) в различных предметных областях. Например, в работе [2] предложено использование ИНС для автоматизации процесса выставления оценок при разработке трена-жерно-обучающей системы при подготовке специалистов в авиационной области В [3] применена технология ИНС при решении задачи выбора сложности вопроса адаптивной системы тестирования.
В работе [4] использован алгоритм Байеса для проектирования адаптивной модели тестирования нескольких компетенций обучающихся. В [5] с помощью алгоритма Байеса предложено адаптивно проводить персонализированную формирующую оценку учащегося, динамически выбирая элементы и тесты в соответствии с их способностями.
В [6] предложен модульный принцип построения адаптивной системы тестирования для обучения иностранному языку курсантов военных вузов. В работе [7] использована марковская математическая модель динамического адаптивного тестирования активного агента для разработки системы оценки знаний студентов.
На основе биологической теории развития человека Ж. Пиаже предложил алгоритм разработки динамических адаптивных тестов-тренажеров для диагностики процессуальных характеристик обучения учащихся временам английского языка [8]. В работе [9] использован критикующий подход к построению экспертных систем для реализации адаптивного тестирования, а в [10] представлена модель адаптивного тестирования с использованием нечеткой математики.
В работе [11] разработана гибкая онлайн-платформа для компьютеризированного адаптивного тестирования, в которой принята во внимание особенность неоднородности обучающихся. Приложение позволяет динамически подстраивать не только тестовые задания, но и пользовательский интерфейс.
В [12] учтен эффект забывания со временем обучающимися материала дисциплины. Предложено реализовать адаптивную формирующую систему оценки, основанную на компьютерном тестировании и цикле памяти обучения, чтобы обеспечить повторную оценку знаний учащихся.
В [13] разработана компьютеризированная система адаптивного тестирования для измерения уровня владения английским языком обучающихся на основе шестиэтапной процедуры.
Проблематика разработки адаптивных тестов является актуальной не только в рамках решения задач тестирования обучающихся, но и в других сферах, требующих проверки уровня компетенций, а также личностных интеллектуальных и психофизиологических качеств испытуемого. Например, в медицине: при разработке компьютеризированной адаптивной тест-системы функциональной оценки инсульта [14], психологии при оценке физических навыков мышления компьютеризированного адаптивного тестирования [15].
В настоящей работе в качестве примера представлено решение проблемы разработки системы адаптивного тестирования для обучающихся подготовки в ГГ-сфере при изучении специальной дисциплины.
Постановка задачи
Для реализации поставленной цели работы выполнено создание интеллектуальной системы адаптивного тестирования (ИСАТ), позволяющей оценивать знания обучающихся. Для этого разработана структура обучающей системы, определены информационные потоки и инструменты для адаптации ранжированного тестового материала.
Структура обучающей системы (рис. 1) состоит из шести блоков: трех базовых (классических структурных единиц): «Блок учебный», «Блок методический» и «Блок электронного журнала» и трех интеллектуальных, направленных на разностороннюю адаптацию обучающей системы к особенностям обучающихся: «Блок адаптации пользовательского интерфейса», «Блок адаптации учебного контента» и «Блок адаптированного тестирования».
Данная электронная обучающая система аналогична действиям, которые проводит преподаватель в условиях традиционной формы на занятиях. Вопросы, задаваемые системой, разбиваются на несколько уровней по мере возрастания сложности вопросов. На первом этапе всем испытуемым выдается одинаковый входной тест, цель которого - осуществление предварительной дифференциации обучающихся. По результатам дифференциации на втором этапе организуется адаптивный режим, и строятся соответствующие тесты [4].
Результаты ответов на вопросы каждого уровня обуславливают выбор следующего уровня (может повышаться, понижаться, оставаться прежним). Комплексная оценка формируется с учетом процента правильных ответов, длительности ответа, степени правильности ответа, числа попыток.
На рис. 2 представлена диаграмма потоков данных процесса автоматизации адаптивного тестирования в Case-средстве BP-WIN в нотации DFD. С системой могут взаимодействовать преподаватель (выступает в роли «Эксперт») и обучающийся (в роли «Студент»), которые входят в систему с разными правами доступа.
В качестве инструмента для адаптации ранжированного тестового материала использована экспертная система, ядром которой является нечеткая база знаний. В качестве математического метода использован алгоритм нечеткого вывода Мамдани, в котором применена минимаксная композиция нечетких множеств [16].
Таким образом, система адаптивного тестирования позволила максимально приблизить процесс электронного контроля к непосредственному контролю знаний преподавателем, при этом оценка становится более полной и достоверной, чем при использовании обычного тестирования [4].
Математическая модель экспертной системы
Для реализации интеллектуального контроля знаний использована 12-балльная шкала, преимущество которой, по сравнению с традиционной 5-балльной — более высокая различающая способность [10]. Данная шкала
Рис. 1. Структура и взаимосвязь компонентов электронной обучающей системы Fig. 1. Structure and interconnection of electronic training system components
позволила описать результат с помощью нечетких понятий «менее чем ...» и «более чем», что соответствует оценкам типа «5 с минусом», «3 с плюсом» и т. д., которые часто используются преподавателями для оценки учебных достижений обучающихся.
На рис. 3 показано соответствие 12-балльной и существующей 5-балльной шкал оценивания.
На рис. 3 видно, что в 12-балльной шкале определены возможные оценки для испытуемого на основе нечетких множеств: «нет знаний», «неудовлетворительно», «малоудовлетворительно», «почти удовлетворительно», «удовлетворительно», «более чем удовлетворительно», «почти хорошо», «хорошо», «более чем хорошо», «почти отлично», «отлично», «превосходно». Данные уровни изменяются в зависимости от успеха отвечающего. Для каждого уровня сложности «Эксперту» (преподавателю по дисциплине) необходимо разработать соответствующий набор вопросов. Тестирование
проводится по методу «вопрос — ответ». После ответа на каждое задание производится оценка правильности ответа. В качестве инструмента для определения текущего уровня знаний обучающегося использована нечеткая экспертная система, а в качестве алгоритма — алгоритм нечеткого вывода Мамдани, который состоит из шести операционных действий.
1. Фаззификация. Преобразование точных значений входных переменных в значения лингвистических переменных посредством функций принадлежности. На начальном этапе характеристики обучающихся описаны в виде входных лингвистических переменных, заданы их термы и параметры [16].
Модель нечеткого вывода содержит четыре входных переменных: процент верных ответов на тест (ОТ), длительность ответа фО), степень правильности ответа ^РО), число попыток (КР) и одну выходную переменную изменение уровня подготовки (СНР).
Рис. 2. Диаграмма потоков данных процесса адаптации тестового материала Fig. 2. Test material adaptation process data flow diagram
Рис. 3. Соответствие 5- и 12-балльных шкал оценивания Fig. 3. Compliance with 5- and 12-point rating scales
Лингвистическая переменная «Процент правильных ответов» описывает в процентах число верных ответов на тесты и содержит шесть термов: «очень низкий», «низкий», «средний», «выше среднего», «высокий», «очень высокий».
График функции принадлежности лингвистической переменной «Процент правильных ответов» представлен на рис. 4.
Для значения входной лингвистической переменной «Длительность ответа» принято единое время для ответа на все тесты — 5 мин (установлено как оптимальное время). Отрицательные значения отклонения означают, что
обучаемый затратил на ответ меньше времени, чем установлено в качестве оптимального для данного задания.
Для оценки степени правильности ответа применен способ с использованием нечеткой математики. Предложена следующая нечеткая шкала оценки: «неправильно», «неточно», «не совсем правильно», «почти правильно», «правильно».
Лингвистическая переменная «число попыток» может принимать значения «небольшое», «среднее число попыток», «большое число попыток».
Выходной лингвистической переменной является переменная «Изменение уровня подготовки», со-
I InmrAtrr 1 maDTjni.ui.Tv ATDATAD
40 60
[ средний ■ выше среднего
Рис. 4. График функции принадлежности лингвистической переменной «Процент правильных ответов» Fig. 4. Graph of the memebership function of the linguistic variable "Percentage of correct answers"
держащая пять термов: «уменьшить на два уровня», «уменьшить на один уровень», «не изменять уровень подготовки», «увеличить на один уровень», «увеличить на два уровня».
2. Проектирование нечеткой базы правил экспертной системы. Описание параметров лингвистических переменных послужило основой для проектирования нечеткой базы правил экспертной системы. Прототип базы правил представлен в таблице. Условные обозначения использованы аналогичные фаз-зификации.
3. Агрегирование подусловий. Определение истинности условий для каждого лингвистического правила системы нечеткого вывода. Так как во всех правилах использована операция «И», то агрегирование проведено по методу логической конъюнкции, которое заключается в нахождении минимального значения истинности всех его подусловий:
Ь, = шт{ц(О7), уфО), у(КР), ц(ХРО)},
где , — общее количество лингвистических правил.
4. Активация подзаключений. Нахождение степени истинности каждого из подзаключений в лингвистическом правиле. Для каждого подзаключения в соответствии с функцией принадлежности выходной лингвистической переменной у(СНР) и результатом предыдущего операционного действия получена степень истинности. Определено минимальное значение функции принадлежности подзаключений:
у'(СНР) = шт{с„ у(СНР)},
где у(СНР) — функция принадлежности выходной лингвистической переменной СНР; с{ — элемент множества С = {с,} который определен как произведение элементов множества истинности условий В = {Ь,} и значений весовых коэффициентов Е, для каждого из лингвистических правил системы нечеткого вывода.
5. Аккумулирование заключений. Нахождение функции принадлежности для каждой из выходных лингвистических переменных СНР = {СНР}, осущест-
вляемое на основе шах-объединения функций принадлежности:
у"(СНР) = шт{ц/(СНР)},
где цДСНР) — функция принадлежности, полученная в результате активации лингвистических правил.
6. Дефаззификация. Нахождение численного значения для каждой из выходных лингвистических переменных множества ST. Результатом данного операционного действия получение количественных значений выходной переменной «Изменение уровня подготовки». Дефаззификация выполнена по методу левого модального значения:
у = шт{СНРм},
где СНРМ — модальное значение нечеткого множества для выходной переменной СНР после аккумуляции.
В результате работы нечеткого логического вывода для каждого обучающегося определен текущий уровень подготовки, в соответствии с которым подобрана наиболее оптимальная редакция тестового материала, максимально адаптированная под его индивидуальные особенности [16].
Практическая реализация ИСАТ
На основании описания нечетких множеств и правил вывода реализована ИСАТ [17, 18]. В предложенном программном средстве предусмотрено два уровня доступа: «Студент» и «Эксперт». «Студент» имеет возможность: изучить предложенный теоретический материал; выполнить лабораторные и практические работы; пройти тестирование.
При первом запуске программного средства под уровнем доступа «Студент» необходимо пройти входное тестирование для определения начального уровня подготовки. Окно прохождения тестирования представлено на рис. 5, а, после тестирования будет выведен результат с указанием изменения текущего уровня подготовки обучающегося (рис. 5, Ь).
Таблица. Фрагмент базы правил Table. Rule base fragment
ЕСЛИ ОТ=очень высокий И DO=очень короткая И KP =очень малое И 8РО=правильно ТО СНР=Увеличить на два уровня
ЕСЛИ ОТ=очень высокий И DO=короткая И КР=очень малое И 8РО=правильно ТО СНР=Увеличить на два уровня
ЕСЛИ ОТ=очень высокий И DO=очень короткая И КР=очень малое И 8РО=почти правильно ТО СНР=Увеличить на два уровня
ЕСЛИ ОТ=высокий И DO=короткая И КР=очень малое И БРО=почти правильно ТО СНР=Увеличить на два уровня
ЕСЛИ ОТ=высокий И DO=короткая И КР=малое И БРО=почти правильно ТО СНР=Увеличить на один уровень
ЕСЛИ ОТ=высокий И DO=короткая И КР=среднее И 8РО=правильно ТО СНР=Увеличить на один уровень
ЕСЛИ ОТ=высокий И DO=короткая И КР=малое И 8РО=почти правильно ТО СНР=Увеличить на один уровень
ЕСЛИ ОТ=высокий И DO=очень короткая И KP =малое И БРО=почти правильно ТО СНР=Увеличить на один уровень
ЕСЛИ ОТ=выше среднего И DO=средняя И КР=среднее И БРО=почти правильно ТО СНР=Оставить прежний уровень
ЕСЛИ ОТ=выше среднего И DO=средняя И КР=малое И БРО=почти правильно ТО СНР=Оставить прежний уровень
ЕСЛИ ОТ=выше среднего И DO=короткая И КР=среднее И 8РО=почти правильно ТО СНР=Оставить прежний уровень
ЕСЛИ ОТ=низкий И DO=длинная И КР=большое И БРО=не правильно ТО СНР=Уменьшить на один уровень
ЕСЛИ ОТ=низкий И DO=очень длинная И КР=очень малое И БРО=неточно ТО СНР=Уменьшить на один уровень
ЕСЛИ ОТ=низкий И DO=длинная И КР=малое И БРО=не правильно ТО СНР=Уменьшить на один уровень
ЕСЛИ ОТ=очень низкий И DO=очень длинная И КР=большое И БРО=не правильно ТО СНР=Уменьшить на два уровня
ЕСЛИ ОТ=очень низкий И DO=очень длинная И КР=большое И БРО=неточно ТО СНР=Уменьшить на два уровня
ЕСЛИ ОТ=очень низкий И DO=длинная И КР=большое И БРО=не правильно ТО СНР=Уменьшить на два уровня
Уровень подготовки обучающегося
Студент: Сергеев ДА Группа 22ПИнж(6о)РЛиС-1
Текущий уровень подготовки: 9 - Боле«, чем хорошо (4*)
Тестирование: Робота со строками в С" Ночоло тестирование: 20.02,202314:54:27 Окончание тестирования: 20022023 15:09:13 Итоговый результат: 17/20 (85Х)
Процент верных ответов: 85Х (Высокий) Длительность ответа: -40* (Короткая) Степень правильности ответов: 4 балла (Почти правильно) Числа попыток 1 попытка (Очень малое)
Результат: Увеличить ко два уровня Новый уровень подготовки: И - Отлично (5)
Рис. 5. Вид окон прохождения тестирования (a) и результатов определения текущего уровня подготовки обучающегося (b) Fig. 5. View of the windows for passing the test (a) and the results of determining the current level of training of the trainee (b))
переменной Добовление проеило Бозо провил
База правил
Номер Условие Значен те
1 ЕСЛИ (Процент про вильных ответов = высокий И Длительность Увелич ить а два уровня
Степ'ень'п^овильно °тиТтТт^°П%ПвЫил°но')
2 ЕСЛИ (Процент про П(ЮВ|!тьнс2тиотм Длительность Увелич ить о эва уровня
3 ЕСЛИ (Процент про вильных ответов = высокий И И Число попыток = Малое И С то = Правильно) Длительность Увелич ить а два уровня
4 ЕСЛИ (Процент про ответа = Коротко» вильных ответов = высокий И И Число попыток = Очень мол ое ИСтепень1" Увелич ить о два уровня
5 ЕСЛИ (Процент про ответа = Короткая И Число попыток * Очемьмал теЙстептГЬ Увелич ить а два уровня
4 ЕСЛИ (Процент про И:Чите попыток = Малое Й С Длительность Увелич ить о два уровня
7 ЕСЛИ (Процент про ответа = Очень кор вильных ответов = высокий И откая ИЧислопопыток = Оче Длительность но) Увелич ить
Сохранить j 1 Добавить J ^ Редактировать Удалить
Рис. 6. Вид окон: работы с лингвистическими переменными (а); базы правил нечеткой экспертной системы (b); определения
уровня подготовки для роли «Эксперт» (с) и работы алгоритма Мамдани (d) Fig. 6. View of windows: working with linguistic variables (a); the rule bases of the fuzzy expert system (b); determining the level of training for the role of "Expert" (c) and the operation of the Mamdani algorithm (d)
Отметим, что обучающемуся могут быть определены темы повторного изучения для повышения уровня подготовки.
При работе с интеллектуальной системой под уровнем доступа «Эксперт» предоставлены более широкие функциональные возможности.
Преподавателю доступны следующие функции: заполнение базы данных, которая включает теоретический материал; задания для практических и лабораторных работ; тестовый материал; настройка параметров сложности каждого теста (вопросы, которые имеют больший вес, объединяются в более сложный тест (предусмотрено двенадцать уровней сложности)); правильность ответов и рекомендованное время для ответа на вопрос. Также возможно установить число попыток прохождения теста, при этом время между попытками произвольное, но должно укладываться в рамки учебного процесса. Преподаватель заполняет и настраивает базу правил — задает лингвистические переменные, на основании которых формируется база правил экспертной системы.
На рис. 6, а приведен пример работы с лингвистической переменной «Процент правильных ответов», где задаются термы, параметры и их значения. Для работы с остальными характеристики выполняются аналогичные действия.
При настройке экспертной системы значения функций принадлежности всех нечетких множеств могут быть изменены «Экспертом». Количество уровней измерения (детализация) каждого параметра также может быть изменено, это повлечет за собой изменение правил, использующих данный параметр.
После описание всех лингвистических переменных «Эксперт» имеет возможность добавления новых правил. В результате формируется база правил нечеткой экспертной системы (рис. 6, Ь).
Также «Эксперту» доступна функция просмотра текущего уровня подготовки выбранного обучающегося (рис. 6, с) и возможность выбора способа получения данного результата во вкладке «Алгоритм Мамдани» (рис. 6, С).
На рис. 6, С показана реализация этапа дефаззифи-кации, и как сработало правило. В данной реализации алгоритма использован метод дефаззификации левого модального значения.
Заключение
Разработанная интеллектуальная система адаптивного тестирования позволила на основании анализа результатов тестирования адекватно оценить уровень подготовки обучающихся. Использование технологии
нечетких экспертных систем дало возможность осуществить автоматизированный и интеллектуальный контроль знаний обучающихся.
Подтверждено, что интеллектуальна система адаптивного тестирования эффективно собирает персонализированную диагностическую информацию о каждом обучаемом, на основании которой предлагается тестовый материал соответствующей сложности.
В ходе проведенной работы: — исследованы информационные потоки, протекающие при прохождении оценки знаний обучающихся и предоставления адаптивных тестовых заданий. Определена структура и взаимосвязь компонентов интеллектуальной системы адаптивного тестирования;
— выявлены основные параметры, на основании которых реализована оценка текущего уровня подготовки обучаемого: процент верных ответов на тест, степень правильности ответа, длительность ответа, число попыток;
— разработана экспертная система, которая позволяет на основе анализа входных данных определять уровень подготовки обучающихся. В качестве алгоритма нечеткого вывода использован алгоритм Мамдани.
Применение систем адаптивного тестирования с внедрением методов искусственного интеллекта позволяет реализовать управление процессом оценки знаний и процессом обучения в целом, что соответствует современным требованиям и задачам, которые стоят перед высшей школой подготовки специалистов.
Литература
1. Семенова Н.Г., Томина И.П. Разработка и применение электронных образовательных ресурсов в условиях цифровой трансформации образования: монография. Оренбург: ОГУ, 2022. 139 с.
2. Григорьев А.П., Бурлуцкий С.Г. Нейросетевая навигационная тренажерно-обучающая система // Информационно-управляющие системы. 2017. № 3. С. 89-98. https://doi.org/10.15217/ issnl684-8853.2017.3.89
3. Чумакова Е.В., Корнеев Д.Г., Гаспариан М.С. Разработка метода адаптивного тестирования на основе нейротехнологий // Открытое образование. 2022. Т. 26. № 2. С. 4-13. https://doi. org/10.21686/1818-4243-2022-2-4-13
4. Гусятников В.Н., Соколова Т.Н., Безруков А.И., Каюкова И.В. Адаптивная модель тестирования нескольких компетенций на основе алгоритма Байеса // Современные наукоемкие технологии. 2022. № 1. С. 40-46. https://doi.org/10.17513/snt.39007
5. Choi Y., McClenen C. Development of adaptive formative assessment system using computerized adaptive testing and dynamic Bayesian networks // Applied Sciences. 2020. V. 10. N 22. P. 8196. https://doi. org/10.3390/app10228196
6. Герасимова Т.Н., Гусева Н.В. Использование профессионально адаптивного тестирования в процессе обучения иностранному языку курсантов военных вузов // Мир науки, культуры, образования. 2019. № 3(76). С. 224.
7. Перегудова И.П. Динамическое адаптивное тестирование учебной деятельности студентов при изучении времен английского языка // Международный научно-исследовательский журнал. 2020. № 10-2(100). С. 40-45. https://doi.org/10.23670/ IRJ.2020.100.10.042
8. Бровка Н.В., Дьячук П.П., Носков М.В., Перегудова И.П. Марковская математическая модель динамического адаптивного тестирования активного агента // Информатика и образование. 2018. № 10(299). С. 29-35. https://doi.org/10.32517/0234-0453-2018-33-10-29-35
9. Частикова В.А., Колесник Н.М. Система адаптивного тестирования на основе критикующего подхода к построению экспертных систем // Электронный сетевой политематический журнал «Научные труды КУБГТУ». 2018. № 3. С. 506-517.
10. Дуплик С.В. Модель адаптивного тестирования на нечеткой математике // Открытое и дистанционное образование. 2004. № 4(16). С. 78-88.
11. Oppl S., Reisinger F., Eckmaier A., Helm C. A flexible online platform for computerized adaptive testing // International Journal of Educational Technology in Higher Education. 2017. V. 14. N 1. P. 2. https://doi.org/10.1186/s41239-017-0039-0
12. Yang A.C.M., Flanagan B., Ogata H. Adaptive formative assessment system based on computerized adaptive testing and the learning memory cycle for personalized learning // Computers and Education: Artificial Intelligence. 2022. V. 3. P. 100104. https://doi.org/10.1016/j. caeai.2022.100104
13. Huang H.T.D., Hung Sh.T.A., Chao H.-Y., Chen J.-H., Lin T.-P., Shih C.-L. Developing and validating a computerized adaptive testing
References
1. Semenova N.G., Tomina I.P. Development and Application of Electronic Educational Resources in the Context of Education Digital Transformation. Orenburg, OSU, 2022, 139 p. (in Rusian)
2. Grigoryev A.P., Burlutsky S.G. A neuronet navigational training system. Information and Control Systems, 2017, no. 3, pp. 89-98. (in Russian), https://doi.org/10.15217/issnl684-8853.2017.3.89
3. Chumakova E.V., Korneev D.G., Gasparian M.S. Development of adaptive testing method based on neurotechnologies. Open Education, 2022, vol. 26, no. 2, pp. 4-13. (in Russian). https://doi. org/10.21686/1818-4243-2022-2-4-13
4. Gusyatnikov V.N., Sokolova T.N., Bezrukov A.I., Kayukova I.V. Adaptive model for testing several competencies based on the Bayes algorithm. Modern high technologies, 2022, no. 1, pp. 40-46. (in https://doi.org/10.17513/snt.39007
5. Choi Y., McClenen C. Development of adaptive formative assessment system using computerized adaptive testing and dynamic Bayesian networks. Applied Sciences, 2020, vol. 10, no. 22, pp. 8196. https:// doi.org/10.3390/app10228196
6. Gerasimova T.N., Guseva N.V. The use of professional computer-based testing systems in the process of foreign language teaching in military universities. The world of science, culture and education, 2019, no. 3(76), pp. 224. (in Russian)
7. Peregudova I.P. Dynamic adaptive testing of educational activities of students studying tenses of english language. International Research Journal, 2020, no. 10-2(100), pp. 40-45. (in Russian). https://doi. org/10.23670/IRJ.2020.100.10.042
8. Dyachuk P.P., Brovka N.V., Noskov M.V., Peregudova I.P. Markov mathematical model of dynamic adaptive testing of an active agent. Informatics and Education, 2018, no. 10(299), pp. 29-35. (in Russian). https://doi.org/10.32517/0234-0453-2018-33-10-29-35
9. Chastikova V.A., Kolesnik N.M. Adaptive testing system based on the critical approach to building expert systems. Scientific Works of the Kuban State Technological University, 2018, no. 3, pp. 506-517. (in Russian)
10. Duplik C.V. Model of adaptive testing on fuzzy mathematics. Open and Distance Education, 2004, no. 4(16), pp. 78-88. (in Russian)
11. Oppl S., Reisinger F., Eckmaier A., Helm C. A flexible online platform for computerized adaptive testing. International Journal of Educational Technology in Higher Education, 2017, vol. 14, no. 1, pp. 2. https://doi.org/10.1186/s41239-017-0039-0
12. Yang A.C.M., Flanagan B., Ogata H. Adaptive formative assessment system based on computerized adaptive testing and the learning memory cycle for personalized learning. Computers and Education: Artificial Intelligence, 2022, vol. 3, pp. 100104. https://doi. org/10.1016/j.caeai.2022.100104
13. Huang H.T.D., Hung Sh.T.A., Chao H.-Y., Chen J.-H., Lin T.-P., Shih C.-L. Developing and validating a computerized adaptive testing system for measuring the English proficiency of Taiwanese EFL university students. Language Assessment Quarterly, 2022, vol. 19, no. 2, pp. 162-188. https://doi.org/10.1080/15434303.2021. 1984490
system for measuring the English proficiency of Taiwanese EFL university students // Language Assessment Quarterly. 2022. V. 19. N 2. P. 162-188. https://doi.org/10.1080/15434303.2021.1984490
14. Lin G.-H., Huang Y.-J., Lee Sh.-Ch., Huang Sh.-L., Hsieh Ch.-L. Development of a computerized adaptive testing system of the functional assessment of stroke // Archives of Physical Medicine and Rehabilitation. 2018. V. 99. N 4. P. 676-683. https://doi.org/10.1016/j. apmr.2017.09.116
15. Istiyono E., Dwandaru W., Setiawan R., Megawati I. Developing of computerized adaptive testing to measure physics higher order thinking skills of senior high school students and its feasibility of use // European Journal of Educational Research. 2020. V. 9. N 1. P. 91101. https://doi.org/10.12973/eu-jer.9.1.91
16. Горбаченко В.И., Ахметов Б.С., Кузнецова О.Ю. Интеллектуальные системы: нечеткие системы и сети: учебное пособие для вузов / 2-е изд., испр. и доп. М.: Юрайт, 2023. 105 с.
17. Тагирова Л.Ф., Черняков А.А. Программная система адаптивного тестирования студентов дистанционного обучения. Свидетельство о государственной регистрации программы для ЭВМ RU2022681117. Бюл. 2022. № 11.
18. Тагирова Л.Ф., Бачковская Ю.С. Интеллектуальная система адаптивного тестирования. Свидетельство о государственной регистрации программы для ЭВМ RU2023662375. Бюл. 2023. № 6.
Авторы
Тагирова Лилия Фаритовна — кандидат педагогических наук, доцент, доцент, Оренбургский государственный университет, Оренбург, 460018, Российская Федерация, sc 57210446135, https://orcid.org/0000-0002-3388-9462, LG-77@mail.ru
Зубкова Татьяна Михайловна — доктор технических наук, профессор, профессор, Оренбургский государственный университет, Оренбург, 460018, Российская Федерация, sc 57202282917, https:// orcid.org/0000-0001-6831-1006, bars87@mail.ru
Статья поступила в редакцию 19.04.2023 Одобрена после рецензирования 08.06.2023 Принята к печати 26.07.2023
14. Lin G.-H., Huang Y.-J., Lee Sh.-Ch., Huang Sh.-L., Hsieh Ch.-L. Development of a computerized adaptive testing system of the functional assessment of stroke. Archives of Physical Medicine and Rehabilitation, 2018, vol. 99, no. 4, pp. 676-683. https://doi. org/10.1016/j.apmr.2017.09.116
15. Istiyono E., Dwandaru W., Setiawan R., Megawati I. Developing of computerized adaptive testing to measure physics higher order thinking skills of senior high school students and its feasibility of use. European Journal of Educational Research, 2020, vol. 9, no. 1, pp. 91-101. https://doi.org/10.12973/eu-jer.9.1.91
16. Gorbachenko V.I., Akhmetov B.S., Kuznetcova O.Iu. Intelligence Systems: Fuzzy Systems and Networks. Moscow, Jurajt Publ., 2023, 105 p. (in Rusian)
17. Tagirova L.F., Cherniakov A.A. Program system for adaptive testing of the distance learning students. Certificate of the state computer program registration RU2022681117, 2022. (in Russian)
18. Tagirova L.F., Bachkovskaia Iu.S. Intelligence system of adaptive testing. Certificate of the state computer program registration RU2023662375, 2023. (in Russian)
Authors
Liliya F. Tagirova — PhD (Education), Associate Professor, Associate Professor, Orenburg State University, Orenburg, 460018, Russian Federation, sc 57210446135, https://orcid.org/0000-0002-3388-9462, LG-77@mail.ru
Tatyana M. Zubkova — D.Sc., Full Professor, Orenburg State University, Orenburg, 460018, Russian Federation, sc 57202282917, https://orcid. org/0000-0001-6831-1006, bars87@mail.ru
Received 19.04.2023
Approved after reviewing 08.06.2023
Accepted 26.07.2023
Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»
