Анализ особенностей адаптивного тестирования Текст научной статьи по специальности «Компьютерные и информационные науки»

Секция «Информатика

и вычислительная техника»

Анализ

особенностей

адаптивного

тестирования

К.И. Якубовский,

аспирант кафедры информатики и вычислительной техники

Адаптивное тестирование широко применяется для оценки уровня учебных достижений. В процессе такого тестирования респонденту предлагаются вопросы в зависимости от различных параметров: текущего балла и результата ответа на предыдущее задание [4], интегральной оценки [2], рейтинга [1], сложности ТЗ и других. В основу большинства адаптивных систем тестирования положен принцип «черного ящика» с обратной связью, которая влияет на входные сигналы исходя из сигнала на выходе. Реализация же «черного ящика» может быть различна в зависимости от того, в каком контексте рассматриваются процессы обучения и тестирования. При рассмотрении задачи обучения, как задачи управления, адаптация может заключаться либо в изменении параметров управляющего устройства (параметрическая адаптация), либо в изменении структуры объекта управления (эволюционная адаптация) для достижения максимальной сходимости модели [5]. Если рассматривать адаптивное тестирование с точки зрения нечетких множеств и логики, то в зависимости от используемых типов нечетких моделей и математического аппарата реализация принципа «черного ящика» может быть различной. В монографии [4] предлагается модель адаптивного тестирования на основе лингвистических переменных и нечетких множеств. Указанная модель основывается на задании экспертами функций принадлежности нечетких переменных, описывающих результат тестирования. Адаптация в этой модели и выбор тестовых заданий осуществляются по уровневому принципу, то есть в зависимости от результата ответа на текущее задание испытуемому предлагаются задания бо-

130

лее высокого или низкого уровней сложности. При этом сложность ТЗ и, соответственно, количество уровней сложности также задается экспертным путем. К недостаткам принципа выбора тестовых заданий в указанной модели являются:

- недостаточная точность определения сложности тестовых

заданий;

- нарушение принципа разбиения единицы, вследствие использования гауссовых функций принадлежности с бесконечным носителем;

- отсутствие обоснования выбора метода центра площади для дефаззификации - процесса интерпретации результата тестирования, который проводится на основании лингвистических переменных, их функций принадлежности, которые также задаются экспертами.

В работе [2] представляется нечеткая модель выбора тестовых заданий на основании рейтинга, который включает в себя всю успеваемость обучаемого. Примененная параметрическая и структурная адаптация (при расчете рейтинга слушателя) позволяет с большей точностью интерпретировать результативность обучения, а ранжирование студентов по категориям позволяет заранее (примерно) определить необходимую сложность тестовых заданий. Недостатками данной модели являются:

- использование экспертных оценок для определения функций принадлежности лингвистических переменных;

- использование лингвистических переменных вместо нечетких чисел, использование которых упростило бы процесс моделирования;

- отсутствие зависимости сложности тестовых заданий от рейтинга, которые имеют различные размерности.

Таким образом, можно сделать вывод о том, что основными параметрами, влияющими на выбор тестовых заданий при адаптивном тестировании, являются:

1. Сложность ТЗ.

2. Результат ответа на предыдущее ТЗ.

3. Оценка результативности обучения студента в целом.

Основной интерес представляет первый параметр, так как от

способа его определения и интеллектуализации его уточнения во многом зависит точность модели. Как правило, сложность ТЗ задает автор БТЗ, и при этом, с одной стороны, ему легче определить сложность каждого тестового задания по номинальной шкале, задающей значения лингвистической переменной «трудность ТЗ». Например: «очень сложное», «сложное», «не очень трудное», «легкое», «очень легкое». С другой стороны, для точности определения параметров и простоты работы с ними предпочтительней выбирать числовые номинальные шкалы, например, от 0 до 100. С точки зрения структуры нечеткой модели метод фаззифи-

131

кации (тип функций принадлежности входных параметров) влияет на интерпретацию входных значений системы тестирования.

В данной работе представлена простейшая нечеткая модель Мамдани вида SISO (от англ. Single Input - Single Output - один вход -один выход). Независимо от типа (Мамдани, Сугено, Ягера и др.) структура нечеткой модели состоит из трех основных блоков: фаззификация, вывод и дефаззификация [3]. На этапе фаззификации происходит интерпретация значения входного параметра с использованием функций принадлежности, результатом которой является степень принадлежности. Данное значение передается в блок вывода, в котором содержатся: база правил, механизмы вывода и функции принадлежности выходного параметра. В модели Мамдани вывод основывается на нечетких импликациях.

Рассмотренная нечеткая модель определяет зависимость сложности тестовых заданий от интегральной оценки успеваемости обучаемого - рейтинга слушателя [1] - и его текущего рейтинга [4], при том, что входные и выходные параметры имеют различные размерности и номинальные шкалы оценки. Кроме этого, стоит отметить, что значения на входе и выходе модели являются четкими числами, что позволяет использовать представленную модель выбора тестовых заданий в существующих автоматизированных компьютерных системах тестирования, в том числе, для их адаптации. Представленная нечеткая модель лишена недостатка, связанного с уровнями адаптации, так как поверхность модели не имеет ярко выраженных локальных максимумов. При дальнейшем расширении и обучении предложенной нечеткой модели выбора тестовых заданий возможно повышение ее точности и устойчивости, а при введении в нее механизмов самоорганизации и самонастройки - получение самообучающейся интеллектуальной системы тестирования.

Библиографический список

1. ДемидовД.Г. Адаптивный метод комплексной оценки знаний при аттестации персонала предприятий / Д.Г. Демидов // Известия высших учебных заведений. Проблемы полиграфии и издательского дела. - № 3. - М., 2010. - С. 68-77.

2. Демидов Д.Г. Разработка моделей и алгоритмов автоматизации процессов адаптивного обучения специалистов для предприятий : диссертация / Д.Г. Демидов. - МГУП. - М., 2011.

3. Пегат А. Нечеткое моделирование и управление / А. Пе-гат: пер. с англ. - М. : БИНОМ. Лаборатория знаний, 2012. - 798 с.

4. ПоповД.И. Автоматизация управления процессов аттестации персонала предприятий промышленности : монография / Д.И. Попов; Моск. Гос. Ун-т печати. - М. : МГУП, 2007. - 178 с.

5. РастригинЛ.А. Адаптация сложных систем / Л.А. Растри-гин. - Рига : Зинатне, 1981. - 375 с.

132