Метод адаптивного тестового контроля знаний на основе поиска по деформируемому симплексу Текст научной статьи по специальности «Компьютерные и информационные науки»

МЕТОД АДАПТИВНОГО ТЕСТОВОГО КОНТРОЛЯ ЗНАНИИ НА ОСНОВЕ ПОИСКА ПО ДЕФОРМИРУЕМОМУ СИМПЛЕКСУ

А.А. Рыбанов, к.т.н., зав. каф. Информатики и технологии программирования Тел.: (8443) 412262; E-mail: vit@volpi.ru Волжский политехнический институт (филиал) Волгоградский государственный технический университет (г. Волжский)

http://www.volpi. ru

Axioms of process of the automated control of knowledge are considered. The method of the adaptive test control over search on a deformable simplex is offered.

Методы классической теории планирования эксперимента [1] могут быть успешно

использованы при автоматизированном контроле знаний.

Целью планирования процесса автоматизированного тестирования является нахождение такого минимального множества тестовых заданий и методов/алгоритмов проведения тестирования, при которых удается получить надежную и достоверную информацию о знаниях учащегося, а также представить эту информацию в компактной и удобной форме с количественной оценкой точности.

План тестирования - совокупность данных, определяющих число, характеристики и порядок тестовых заданий.

Сформулируем ряд аксиом процесса автоматизированного контроля знаний.

Аксиома 1. Оценка ^ учащегося по k -му тестовому заданию зависит от сложности дk тестового задания и степени соответствия Yk конечного ответа на тестовое задание эталонному ответу: ^ = У/(5k ,Yk ).

Аксиома 2. При интервалах варьирования для £ е [0,1], 5 е [0,1], у е [0,1] и условиях:

1. £ = у/(5, у) = 0 при 5 = 0 для V/,

2. £ = у/(д, у) = 0 при у = 0 для V5,

3. £ = у/(д, у) = 1 при 5 = 1, у = 1

- функция оценки имеет вид у/(д, у) = 5Р ■ уг, где р, г > 0 - весовые коэффициенты.

Аксиома 3. С увеличением сложности

5

У тестовых заданий по у -й теме степень соответствия у у конечного ответа учащегося эталонному ответу на тестовое задание либо уменьшается, либо у у = 1 V 5 е [0,1].

Аксиома 4. Для каждого i -го учащегося существует зависимость между степенью соответствия у конечного ответа на тестовое задание (по у -й теме) эталонному ответу и сложностью 5 тестового задания:

/ = /у(5), /у(5)< 0.

Для каждого учащегося /у (5) является

эмпирической характеристикой и может быть получена только экспериментальным путем - тестированием i -го учащегося по у -й теме, в процессе которого по результатам п тестовых заданий формируются два вектора значений, содержащих у^ и 5^

соответственно, где k = 1, п . Результаты тестирования обучаемого по у -й теме можно представить как поверхность оценок у) на все тестовые задания по этой теме.

С учетом аксиом, оценку конечного ответа i -го учащегося на тестовые задания сложности 5 по у -й теме можно определить как:

£ = ^(5,у)=5р ■уг =5р ■((5))).

В качестве адаптивного подхода для определения уровня знаний студента можно использовать симплексный метод планирования, который позволяет за минимальное количество вопросов определить уровень знаний студента и, что особенно важно, в отличие от существующих методов адаптивного тестирования, проводить тестирование по гибкой системе оценок и по любому количеству тем одновременно. Рассмотрим

особенности применения метода симплексного планирования как адаптивного метода тестирования.

Симплекс - это простейший выпуклый многогранник, образованный к +1 вершинами (опытами) в к -мерном пространстве, которые соединены между собой прямыми линиями, где к - количество тем учебного курса, по которым ведется тестирование. При этом координаты симплекса являются

значениями сложности тестовых заданий 8„

и

по отдельным разделам учебного курса.

Координата для т -го опыта определяете наб°р°м (¿1тЛтж >3кт X где ] - тема тестового задания. Каждый т -й опыт симплекса заключается в автоматизированном контроле уровня знаний учащегося посредством теста Хт = (г.т ] = 1, к), состоя-

щего из множества к тестовых заданий, где каждое тестовое задание относится к

j -й теме и каждому тестовому заданию соответствует 8т уровень сложности. Выбор начального положения симплекса определим как 88о = 0.5, j = 1, к, что соответствует среднему уровню знаний. Для построения начального симплекса (рис. 1) значения

в каждом опыте исходного симплекса определяют по формуле

8т = 8)0 + с}т^8} , где 8^ о - координаты центра начального симплекса; A8j - интервал варьирования сложности тестового задания по j -й теме; Cjm - кодированное значение сложности тестового задания по j -й теме для т -го опыта, выбираемые из числовой матрицы с для симплексного планирования.

Рис. 1. Геометрическая интерпретация построения начального симплекса при к = 2

Матрица коэффициентов с 1т для выбора координат симплекса определяется как:

с =

к к2 кз

кк

где kj =.

2j(j +1)

^т

- Я к2 кз

кк

А =

о

- А

кз

кк-1 кк-1 кк-1

кк

2( +1)

о

- А

к

к-1 кк

к

к-1 кк

о о о

- Я

к-1

кк

о о о

- А

После построения исходного симплекса и проведения тестирования по множеству

тестовых заданий Хт = = 1, к) Ут

при значениях (1т>^2т>-•->3^), соответствующих координатам его вершин, появляется своеобразная последовательность текущих значений уровня подготовленности обучаемого, применительно к которым подбирается трудность тестовых заданий адаптивных тестов.

Расстояние между максимально возможной оценкой <^тах и текущей оценкой

обучаемого в т -м опыте симплекса представим в виде взвешенного Евклидова расстояния:

^т Р] (1 -8% 8 )) ' )2

= № в (-8т -Г'т. )2

т = 1, к +1.

j=l

о

о

1

где

- вес 1 -й темы; / (8]т )

функция, представляющая собой тестирование по j -й теме посредством тестового задания со сложностью 8]т, которая возвращает степень соответствия Yjm конечного

ответа тестируемого эталонному ответу.

Чем больше значение 3т, тем меньше

оценка результатов тестирования в т -м опыте. Анализируя результаты тестирования в координатах симплекса, выбирают вершину симплекса, в которой получено наихудшее значение функции отклика - минимальная оценка за выполнение тестовых заданий 7

т

Тогда наихудшей вершиной в симплексе будет вершина, соответствующая т -му опыту, оценка учащегося за который находится на максимальном расстоянии от <^тах:

клик.

Следовательно, 3з <3з < 3тах. В зависимости от значения функции в точке нормального отражения при а = 1 возможны следующие варианты:

Рис. 2. Геометрическая интерпретация процесса адаптивного тестирования

3 = тах {3т } = тах

I в ( ( ■(Г, (8]т ))

Отражение. Если 33 <3н < 3т

т. е.

1=1

Для движения к оптимуму необходимо поставить опыт в новой точке, являющейся зеркальным отражением точки с наихудшим результатом относительно противоположной грани симплекса. Для определения условий проведения опыта в отраженной точке (координат новой вершины симплекса) используется формула

81н = 81 + а(81 -81з), где 81н - координата новой точки (новой вершины симплекса) для р -й темы; 8рз - координата заменяемой точки для р -й темы (координата вершины симплекса с наихудшим откликом перед ее отбрасыванием);

3 рн будет нехудшей и нелучшей точкой в новом наборе точек, то 8рз следует заменить на 3рн с а = 1. В этом случае осуществляется нормальное отражение.

Растяжение. Если 3н > 3тах,

то 8

1н

1

к+1

8р = ~18рт , т Ф тз - центр тяжести ос-к

т=1

тальных (за исключением наихудшей) вершин симплекса.

На рис. 2 представлена геометрическая интерпретация процесса адаптивного тестирования для двумерного случая. Введем обозначения:

3з - наихудший (минимальный) отклик в симплексе;

3'з - отклик, следующий за наихудшим откликом;

3тах - наилучший (максимальный) от-

оказывается новой лучшей точкой в новом наборе точек. В этом случае направление растяжения признается весьма удачным и симплекс растягивается в нормальном направлении. Для этого случая 1 < а < 2 (рекомендуемое значение а= 2 ).

Сжатие. Если 3з <3н <3'з, то направление отражения признается правильным, но симплекс слишком велик, и его следует сжать выбором коэффициента сжатия. Для этого случая 0 < а < 1 (рекомендуемое значение а = 0.5).

Отрицательное сжатие. Если 3н <3з,

то даже направление отражения выбрано неверно и следует осуществить отрицательное сжатие выбором отрицательного значения коэффициента а. Для этого случая -1 < а < 0 (рекомендуемое значение а = -0.5).

На рис. 3 показаны точка 4 очередного опыта при нормальном отражении (а = 1) наихудшей вершины 1, точки 5', 5", 5т последующих опытов для случаев соответственно растяжения (а = 2), сжатия (а = 0.5) и отрицательного сжатия

(а = -0.5) симплекса.

Рис. 3. Геометрическая интерпретация деформированного симплекса

Критерий окончания процесса адаптивного тестирования методом поиска по деформируемому симплексу определим как

k + 1 m=l

<е.

где S - произвольное малое число, от которого зависят точность и время адаптивного тестового контроля знаний.

Программная реализация имитационной модели метода адаптивного тестового контроля знаний на основе поиска по деформируемому симплексу представлена на рис. 4 (см. цв. вставку).

Для оценки эффективности адаптивной модели на основе поиска по деформируемому симлексу был проведен вычислительный эксперимент, целью которого являлось сравнение предлагаемой модели с моделями адаптивного тестирования stratified adaptive и flexilevel. Для формирования ответов на

тестовые задания использовалась имитационная модель ответов студента.

В результате проведения вычислительного эксперимента (рис.5) установлено, что количество тестовых заданий, предъявляемых в процессе адаптивного тестирования на основе модели поиска по деформируемому симплексу, меньше, чем при адаптивном тестировании на моделях stratified adaptive и flexilevel. В то же время точность оценки уровня знаний обучаемого выше на модели поиска по деформируемому симплексу. Можно в целом проследить тенденцию увеличения количества тестовых заданий, предъявляемых тестируемому на различных моделях адаптивного контроля знаний, от точности вычисления уровня знаний.

В опытах № 1-4 точность вычисления уровня знаний принималась 0.1, количество тестовых заданий для рассматриваемых адаптивных моделей незначительно отличается между собой. В опытах № 5-8 видно, что при точности 0.01 значительно возрастает разница между количеством предъявляемых тестовых заданий для модели адаптивного тестирования по деформируемому симплексу и моделями stratified adaptive и flexilevel. При точности 0.001 для моделей stratified adaptive и flexilevel количество тестовых заданий значительно превышает количество предъявляемых тестовых заданий для модели поиска по деформируемому симплексу. Проведенные эксперименты показали, что адаптивная модель на основе поиска по деформируемому симплексу дает более точную и объективную оценку тестируемому, чем существующие методы адаптивного тестирования.

140 120 100 ■

40

20 -

i *

: <;>

г i

Т i

в Л ; : L._________■________ i 1

А Ж 1 Z т L j j

1 i

012345678

N° опы т

♦ модель поиска по деформируемому сипликсу □ модель stratified adaptive д модель flexilevel

Рис. 5. Результаты вычислительного эксперимента

Заключение

Метод адаптивного тестирования по деформируемому симплексу, представленный в работе, обладает повышенной гибкостью, позволяющей учитывать особенности уровня знаний тестируемого. Метод адаптивного

тестирования по модифицированному симплексу достаточно эффективен и ускоряет процесс тестирования за счет использования на данном шаге информации, накопленной на предыдущих шагах.

Литература

1. Спирин Н.А., Лавров В.В. Методы планирования и обработки результатов инженерного эксперимента / Под общ. ред. Н.А.Спирина. - Екатеринбург: ГОУ ВПО УГТУ-УПИ, 2004. - 257 с.

АВТОМАТИЗИРОВАННАЯ ТЕХНОЛОГИЯ ПОСТРОЕНИЯ ЭКСПЕРТНЫХ СИСТЕМ С ИНТЕЛЛЕКТУАЛЬНЫМ ЯДРОМ НА ОСНОВЕ ИНС-МОДЕЛЕЙ*

А.А. Арзамасцев, д.т.н., проф., зав. каф. Тел.: 8(4752) 53-72-39; E-mail: arz_sci@mail.ru

Н.А. Зенкова, к. псих. н., доц.каф. Тел.: 8(4752) 53-72-39; E-mail: natiilinamail.ru А. В. Неудахин, асп. каф. Тел.: 4(4752) 48-00-95; E-mail: sherhan 2006 85@mail.ru Кафедра компьютерного и математического моделирования Тамбовский государственный университет им. Г.Р. Державина

http://tsu.tmb.ru

The article is about automatical technology of expert systems building, use of ANNmodels as intellectual core. This technology will can realized as development of integrity interactive system.

Key words: expert systems, device of artificial neurons network, ANN-models. * ИНС-модели - модели, разработанные с использованием аппарата искусственных нейронных сетей

Введение

В различных сферах человеческой деятельности существуют объекты, управление

которыми связано с анализом многофакторных зависимостей, с трудом поддающихся формализации ввиду недостаточности информации и ее значительной зашумленности. В некоторых случаях специалист в данной предметной области (эксперт) может решать такие задачи, пользуясь значительным опытом, интуицией, прогностической способностью в данной сфере. Однако такие

решения являются в значительной степени субъективными. Например, при смене эксперта реализуются уже другие управленческие решения, которые, однако, могут быть не хуже предыдущих.

Таким образом, эксперт заключает в себе некоторую «модель» данной предметной области, реальная формализация которой часто бывает невозможна или сильно затруднена. Отчасти данная проблема, связанная с накоплением знаний об объекте, их обобщением и интерпретацией, может быть решена на основе разработки компьютерных экспертных систем (ЭС). Экспертные системы - специальные программы для ЭВМ, которые основаны на алгоритмах искусственного интеллекта и предполагают использование соответствующей информации, полученной ранее от экспертов в заданной пред-