CC BY
44
АДАПТИВНЫЙ АЛГОРИТМ ОБУЧАЮЩЕГО ТЕСТИРОВАНИЯ В СТРУКТУРЕ ЭЛЕКТРОННОГО УЧЕБНИКА «ТЕОРЕТИЧЕСКАЯ МЕТРОЛОГИЯ»
Е.В. Солдаткина, Р.А. Пятайкина ЮУрГУ
Рассмотрены вопросы технологии адаптивного тестирования, позволяющей генерировать вопросы, адаптированные к уровню знаний конкретного обучаемого, с целью проверки знания по конкретным предметам, и помощи в преодолении пробелов в них. Данная технология рассмотрена на примере создания алгоритма адаптивного тестирования в структуре обучающей среды, позволяющего выявить глубину и полноту знаний обучаемого.
Введение. Современные компьютерные технологии сделали доступным получение образования вне стен учебных заведений. В настоящий момент разработка обучающего программного обеспечения для дистанционного образования является областью усиленного исследования и развития. Создаются как отдельно обучающие и тестирующие программы, так и адаптивные и интеллектуальные обучающие системы (АИОС). Целью различных АИОС является использование знаний о сфере и стратегиях обучения, информации об особенностях каждого студента для обеспечения качественного, быстрого и гибкого получения знаний. Для оценивания полученных знаний используется тест.
Тест (от англ. test - испытание, проверка) - стандартизированные, краткие и ограниченные во времени испытания, предназначенные для установления количественных и качественных индивидуальных различий.
Педагогический тест - это система параллельных заданий возрастающей трудности, специфической формы, определенного содержания, создаваемая с целью аргументированной оценки уровня и структуры подготовленности обучаемых.
Постановка задачи. В настоящий момент на кафедре «Информационно-измерительная техника» разрабатывается электронное учебное пособие (ЭУП) по дисциплине «Теоретическая метрология». Весь теоретический материал учебного курса разбит на кванты учебной информации (КУИ) [4]. В структуре каждого КУИ обязательно присутствует блок оценки знаний, умений и навыков обучаемых. Для автоматизации кон-
троля знаний применяется компьютерное тестирование. Качество теста напрямую зависит от используемых алгоритмов. В структуре АИОС предусматривается 2 вида теста: обучающий и экзаменационный. В составе каждого КУИ студенту предлагается обучающий тест, выполнение которого является обязательным и по его результатам принимается решение о доступе студента к разделам учебного курса и адаптации объема учебного материала к уровню знаний конкретного студента.
В настоящее время наибольшее внимание привлекают алгоритмы адаптивного тестирования, которые могут генерировать вопросы, адаптированные к уровню знаний конкретного обучаемого, с целью не только проверить знания по конкретным предметам, но и помочь преодолеть пробел в знаниях. Такие алгоритмы называют адаптивными
[1]. Адаптивный тест предполагает выбор и предъявление студенту /-го вопроса с учетом его ответов на предыдущий (г -1) вопрос.
Основной задачей исследования является создание алгоритма адаптивного тестирования в структуре обучающей среды, позволяющего выявить глубину и полноту знаний обучаемого. Предложенный алгоритм оценки ответов обучаемого на тестовые задания разной формы учитывает относительную трудность каждого вопроса и степень правильности ответов студента.
Адаптивный алгоритм обучающего теста. В основе последовательности вопросов в обучающем тесте лежит алгоритм «идеального» теста. Основу идеального теста составляет линейно-иерархический (последовательный) тест из 30 вопросов возрас-
Адаптивный алгоритм обучающего тестирования е структуре электронного...
тающего уровня сложности (рис. 1), только правильные ответы на которые позволяют студенту набрать 100 баллов. Максимально количество баллов 100 выбрано для удобства формирования оценки и соответствует 100% усвоения знаний. При выборе другого значения максимального балла для формирования оценки необходимо было бы создать шкалу перевода, что является избыточным. Тест, содержащий минимум 30 заданий, позволяет достоверно судить о знаниях учащегося [2, 3].
оо 1 уровень
^^ ^^ 2 уровень
п уровень
Рис. 1. Линейно-иерархический тест
Хотя использование заданий, соответствующих уровню подготовленности студента (зйаскрйуе-тестирование), существенно повышает заинтересованность обучаемого, точность измерений и минимизирует время индивидуального тестирования, при построении последовательности обучающего тестирования нами принята линейноиерархическая форма теста. Форма линейноиерархического теста в обучающем тестировании позволяет студенту в процессе обучения не только проявить полноту знаний, но и ознакомиться со структурой и научиться отвечать на задания различных форм и уровня сложности, с которыми ему придется столкнуться на этапе экзаменационного тестирования.
Адаптация к обучающему в данном случае базируется на следующей модели одного вопроса теста. Представленный на рис. 2 граф описывает диалог при ответе студента на любой вопрос последовательности «идеального» теста [4]. Вершинами графа являются предлагаемые студенту вопросы, а ребра отражают связь между ними при правильных (Пр), неправильных (Нп) и неточных (Нт) ответах студента.
В общем случае диалог построен на 4-х вопросах:
В;л - базовый вопрос текущего уровня сложности;
В, 2 - вопрос аналогичный вопросу В1Л;
В; з - наводящий вопрос;
Ві 4 - вопрос минимальной трудности;
Ві+і л - другой базовый вопрос из текущего/следующего уровня сложности;
К;л и К; 2 - комментарии, выдаваемые в случаях неточного или неправильного ответа на наводящий вопрос или на вопрос минимальной трудности соответственно.
Пр
Рис. 2. Последовательность подачи вопросов
Данный диалог имитирует диалог преподавателя со студентом и помогает студенту освоить теоретический материал.
Второй задачей при построении теста является формирование эффективной оценки знаний студента. Правильный ответ на вопрос оценивается пропорционально его уровню сложности.
Максимальное количество баллов, которое студент может набрать на /-м уровне сложности, вычисляется по выражению:
100 --------
-К,- =г”дГ’ 1 = О)
I*
1=1
где Я, - количество баллов; / - номер уровня сложности; N - количество уровней сложности.
При этом на каждом уровне сложности предполагается базовых вопросов текущего уровня сложности, которые формируют «идеальный» тест:
1=Щ. (2)
2;
м
Однако при реальном прохождении студентом теста учитываются не только базовые вопросы, являющиеся основой «идеального» теста, но и В, 2 - вопрос аналогичный вопросу Ви; В;.3 - наводящий вопрос;
Проблемы открытого университетского образования
В( 4 - вопрос минимальной трудности, поэтому число баллов на /-м уровне сложности обычно меньше, чем Этим достигается адаптация к уровню знаний студентов. Если студент отвечает только правильно, то он пройдет «идеальный» тест и наберет 100 баллов. «Идеальный» тест - это предельный случай прохождения теста.
Переход на следующий уровень сложности теста осуществляется обязательно, как только студент выполнит заданий для текущего уровня сложности, где включают в себя все (В; 1... В;.4) вопросы теста. Это необходимо для ознакомления студента с заданиями всех уровней сложности, которые будут представлены в экзаменационном тесте.
Вес вопроса (количество баллов, получаемое студентом при правильном ответе на любой вопрос) для /-го уровня сложности:
*,=*,—■ Р)
К
Количество баллов - г{, получаемое
студентом при прохождении /-го вопроса, определяется следующим образом:
а-д„ * = 1,3
Я,'
V
= 2, если Ъ!т > 1
,(4)
/
О, / = 2, если ІУГ = О
где / - тип вопроса (1 - одиночный выбор, 2 - множественный выбор, 3 - ввод с клавиатуры); а - коэффициент, который равен 1, если студент ответил правильно, 0 - если неправильно (для вопросов одиночного выбора или ввода с клавиатуры); - число ответов, выбранных неправильно (для вопросов множественного выбора); ЛУ - число ответов, выбранных правильно (для вопросов множественного выбора); - число не-выбранных правильных ответов (для вопросов множественного выбора).
Для вопроса множественного выбора вводится понятие неточного ответа, когда студент выбирает не все правильные ответы, поэтому балл, получаемый студентом, равен некоторой доли полного веса вопроса:
Г, Яр + И»} г=9 1--------. (5)
Каждый уровень сложности предполагает выдачу студенту такого количества вопросов, которое рассчитывается по формуле
(2). При этом студент теряет баллы в случаях неправильного или неточного ответа, и отсюда итоговый балл по тесту может отличаться от 100.
Рассмотрим возможные пути прохождения теста.
При правильном ответе на базовый вопрос текущего уровня сложности студенту предлагается вопрос из текущего/следующего уровня сложности. В результате он набирает максимальный балл равный весу вопроса, рассчитанный по формуле (3). Если студент ответил неточно (в случае вопроса с множественным выбором), то ему предлагается вопрос аналогичный предыдущему. В данном случае он получает балл, рассчитанный по формуле (5). При правильном ответе на аналогичный вопрос студенту предлагается базовый вопрос текущего/следующего уровня сложности, и он набирает балл, равный
гі ~ Чві.х Чв,.
/л
1-
(6)
где ^ - вес вопроса Віл.
При неправильном ответе на текущий или аналогичный вопрос студенту предлагается наводящий вопрос, однако он не получает балл. При неточном или неправильном ответе на наводящий вопрос студенту выдается комментарий, разъясняющий поставленный вопрос. В случае правильного ответа студенту предлагается вопрос минимальной трудности, и он получает балл, равный
Чв.
ї.і
(7)
I
В случае неточного ответа на вопрос, аналогичный базовому вопросу, студенту также предлагается вопрос минимальной трудности, при этом он набирает балл, равный
гі=ЧвІЛ-ЧвіЛ
\
V
Ыт
Чі
/
= г-г,
(8)
При неточном или неправильном ответе на вопрос минимальной трудности студенту выдается другой комментарий, касающийся темы данного вопроса. При правильном ответе на вопрос минимальной трудности студенту предлагается базовый вопрос текущего/следующего уровня сложности, он набирает балл, рассчитанный по формуле (7).
Выводы. В отличие от стандартных требований к тестам, данный алгоритм не предполагает ограничение выполнения заданий во времени, так как ориентирован на обучение. Однако предполагается обязательная фиксация в программе времени ответа студента на каждый вопрос данного уровня сложности. Эта информация является уникальной для каждого студента. В процессе работы студента с ЭУП она будет накапливаться и обрабатываться и послужит априорной информацией для организации адаптивного экзаменационного тестирования.
Более того, программа формирует подробный отчет о прохождении студентом теста. Отчет содержит номер вопроса, правильный ответ и ответ студента. Эта информация используется в методике оценки характеристики теста, а именно: его надежности и валидности. Если данные характеристики не
Адаптивный алгоритм обучающего тестирования в структуре электронного...
удовлетворяют требованиям, то тестовые задания подлежат изменению.
Суммарная оценка, набранная студентом в процессе прохождения теста (< 100 %), используется в АИОС как составная часть адаптации представления теоретического материала.
Предметом дальнейшего исследования в данном направлении будет реализация алгоритма оценки знаний на основе нечеткой логики и анализ возможности применения нейросетевых технологий для этой цели.
Литература
1. Грушецкий С.В. Адаптивное тестирование в автоматизированных системах контроля знаний // Информационные технологии. - 2003. -№ 9.- С. 46-51.
2. Аванесов B.C. Научные проблемы тестового контроля знаний. - М: Иссл. центр, 1994.
3. Аванесов B.C. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов педвузов. - 2-е изд., испр. и доп. - М.: Адепт, 1998.
4. Зайцева JI.B. Методы и модели адаптации к учащимся в системах компьютерного обучения // Educational Technology & Society. - 2003. -№ 6. - С. 204-211.
