Применение марковской модели для оценки уровня знаний при адаптивном тестировании Текст научной статьи по специальности «Математика»

Виблиографический список

1. Баляева С А, Углова А,Н, Проектирование модели обучения на основе системно-деятельного подхода, Труды VII международной научно-практической конференции «Системный анализ в проектировании и управлении», - СПб; Изд-во СПбГПУ, 2003. - С, 614-615,

2. Котов В.Е. Сети Петри. - М,: Наука, 1984, - 160 с,

3. Курмышев Н.В., Постельник Д.Я, Проект сетевого учебно-методического комплекса, Сборник трудов участников XII Международной конференции «Информационные технологии в образовании», - М.: Просвещение, 2003, - Ч. V. - С. 89-92.

4. Наровлянский А,В,, Рекуц В,С, Программное обеспечение конструирования и использования дистанционных учебно-исследовательских курсов: архитектура системы и структура хранения данных. Сборник трудов участников XII Международной конференции «Информационные технологии в образовании». - М.г Просвещение, 2003. - Ч. V, - С, 20-21,

5. Сосинская С.С, Проектирование объектов визуализации для обучения и решения задач, Тезисы доклада. Интеграция фундаментальной науки и высшей школы в устойчивом-развитии Сибири, - Иркутск, 2001, - С, 56-57.

В.Г.Кирий, Д.Д.Ульянов

Применение марковской модели для оценки уровня знаний при адаптивном тестировании

В настоящее время широко известна классическая и современная теория тестирования [1,2]. В [1] подробно рассмотрены различия в подходах этих теорий к описанию тестирования и указываются их недостатки и преимущества.

На наш взгляд все известные методы описания страдают одним общим недостатком: совершенно не учитывается существенная особенность процесса тестирования, проявляющаяся в том, что ответы тестируемого могут быть связаны между собой. Для учета связи ответов тестируемого авторы предлагают применить марковскую модель оценки уровня знаний обучаемого[3]. Такая модель является обобщенной моделью, из которой может быть получена модель как современной, так и классической теории тестирования. В наиболее простом варианте предлагается использовать однородную простейшую марковскую цепь для описания последовательности правильных и неправильных ответов тестируемого.

Обозначим через х1 = а состояние, когда тестируемый отвечает правильно, а через х1 = Ъ состояние, когда

он отвечает неправильно, Считая, что при ответах имеет место элемент случайности, переход системы из одного состояния в другое опишем простейшей цепью Маркова, задаваемой с помощью матрицы переходных вероятностей:

V,. Л

р,л 0 =

Рьь

РаЬ

Р ha

Pao

где р^ - р(х1 ~ ] | = /) - условная вероятность того, что на шаге / тестируемый ответит у при условии,

что на шаге / — 1 он ответил I; х1 - ответ студента на шаге I; /, / = {а, Ь} - значение истинности или ложности ответа тестируемого.

Кроме матрицы переходных вероятностей необходимо задавать и начальное распределение вероятности в момент времени ! = 0 р(х0) ,

С учетом высказанного предположения трехпараметрическая модель Бирнбаума [4] в современной теории может быть видоизменена, и вероятность правильного ответа будет иметь вид условной, а не безусловной вероятности:

(1-е)

p(xt = а | = Ь)-с +

1 + е

-\.laah{e-bah)

р(х( = а | = а) - с +

(1-е)

1 + е

-1 Jauu {6-baa)

где с, аи, Ьи - параметры вопросов.

С учетом марковской зависимости вычисляется и функция информации:

1,(01 *,_■=« = если был получен неправильный ответ, и

Р, (<9, х, = а | = ¿)(1 - Pi (0, xt=a | хм - Ь))

(1)

| х<ч = а),----*<■*>*>=а -_ (2)

Р1 (0, х, = л | = я)(1 - Р, (9, х1 = а | хм = а))

если ответ был правильным.

При применении марковской модели функция информации для незаданных вопросов вычисляется по той формуле, которая учитывает результат ответа тестируемого на предыдущем шаге: если он ответил правильно - по формуле (1), если неправильно - по формуле (2).

С учетом марковской зависимости изменяется и процедура вычисления функции максимального правдоподобия для оценки текущего уровня знаний при адаптивном тестировании. Так, если при тестировании получен вектор ответов А — {х0,х] ,х2 ,...,хп}, то в случае современной теории тестирования функция максимального правдоподобия вычисляется как произведение безусловных вероятностей, а в нашем случае она будет иметь вид

Р(Х0 , , Х2 Хп ) = Р{Х0 ) * Р{Х\ К)' I ) ' I х2 ) ' ' ПХп | хп-} ) • Отсюда видно, что предложенный подход для оценки уровня знаний является более универсальным, чем современная теория тестирования.

более сложный вариант применения марковской модели заключается в описании поведения тестируемого по его бальным оценкам. Известно, что в настоящее время применяется интервальный метод оценки знаний, когда выделяется класс неуспевающих, средних, хороших и отличных студентов. В этом случае поведение студента при тестировании может быть интерпретировано как переход из одного состояния в другое.

Для математического описания предлагается использовать цепь Маркова, имеющую число состояний более двух и задаваемую матрицей одношаговых вероятностей

ГР\ 1 Р\2 - /О

Р =

Р 21 Р 22 Р2п

\^Рп] Рп2 Рпп)

и вектором начальных вероятностей р], р2рп, который из-за того, что в начале тестирования нам ничего о студенте неизвестно, можно полагать равновероятным. Применяя уравнения Маркова, можно находить безусловные вероятности р / (п) того, что студент через п шагов (вопросов) окажется в одном из выделенных состояний:

Л'

где р; - начальное распределение, ри(п) - у -ый столбец матрицы Р(п).

Р{п) - матрица переходов студента через п шагов, вычисляется по известной формуле Колмогорова-Чепмена:

Р(п) = Р",

где Р - матрица одношаговых вероятностей перехода,

Предлагаемая марковская модель позволяет вводить новые дополнительные характеристики процесса адаптивного тестирования по сравнению с современной теорией. Например, можно рассчитать вероятность //) (п) первого возвращения студента в заданное состояние у (начальное состояние) через п шагов:

/и (И) = Р(£п+, = ] & * ) & * * 1 I £ = Л

Для этого достаточно вычислить рекуррентное соотношение:

/и(]) = Р.п /и(2) = ри(2)-/и(\).ри.

Итого /„ (п) = р„ {п) - (1) • ри(и -1) - /,-, (2).• р„ {п - 2) -... - 01 -1) • ри ■

На основании вероятности первого возврата /.. (п) может быть рассчитано среднее время первого возвращения в заданное состояние у (среднее количество шагов):

п=1

где N - общее количество заданных вопросов.

Эта характеристика позволяет оценить валидность теста (степень пригодности теста). Если среднее время первого

возврата мало (например, равно 1), то вопросы теста очень сложные либо очень слабые, когда «уу = Ы. В первом случае тестируемый постоянно находится в начальном состоянии, во втором -сразу уходит в другое состояние.

Этой же практической цели может служить другая характеристика марковской цепи: вероятность //у («) первого достижения состояния ] при условии выхода из состояния I ровно через п шагов:

/и (и) = = ] & * ) & £,-1 * * 11 6 = 0 ■ Для этого выпишем рекуррентное соотношение:

ЛД 1) = Лу /;; (2) = Р, /(2) - (1) • Ри

Итого ¡ч (п) = Ри (,п) - /(у (1) • Ри (п -1) - (2) • (и - 2) -... - /„ (и -1) • .

Зная вероятность первого достижения («), можно рассчитать среднее время (среднее количество вопросов)

первого достижения заданного состояния у при выходе из начального состояния /:

_ Л'

Я=1

Это также характеризует качество теста. Действительно, если среднее время попадания из начального неуспевающего состояния в хорошее состояние мало, то это значит, что тест слабый и непригоден для тестирования сильных студентов. Если среднее время велико - значит тест очень сложный.

В качестве примера в таблице приведены результаты двух тестируемых по 9-бальной шкале оценивания: неудовлетворительное с интервалом 1-3, удовлетворительное с интервалом 4-6 и хорошее с интервалом 7-9 [2].

Пример результатов тестирования

Кол-во вопросов 1 2 3 4 5 6 7 8 9 10

Тестируемый 1 6 2 1 9 4 4 5 4 9 6

Тестируемый 2 5 4 2 7 6 3 7 6 7 8

Для первого тестируемого

пи =1, пи = — (4 + 1 + 1 + 1 + 2) = 2.25 , тг =5

3, «13 =2, т\ >10, пъ2 =1.

П2\ =1 , П2Ъ - 2 , п\2 Для второго тестируемого

«п = 3, П22 =2.33, пъъ =2,

1 , «23 =1

п 21

«12

, «13 - 1 , «31 > Ю , «32 = 1 .

Полученные результаты говорят о том, что адаптивный тест неплохой.

Применение конечной цепи Маркова в общем виде можно свести к изучению двух специальных типов цепей: эрго-дической и поглощающей[5]. В последнем случае предполагается, что имеется множество состояний, попав в которые система не выходит из них. При изучении поглощающих цепей полезно привести матрицу переходных вероятностей к каноническому виду:

поглощение непоглощение

р= поглощение непоглощение

Здесь I - единичная матрица для подмножества поглощающих состояний и О - нулевая матрица. Эти матрицы говорят о том, что попав в поглощающее состояние, цепь в нем и останется, и из поглощающих состояний невозможен переход в непоглощающие; Q и Л - неотрицательные матрицы, представляющие вероятности переходов из непо-глощающих состояний.

(I

и в)

Применим модель поглощающей цепи Маркова для описания процесса адаптивного тестирования вышеприведенного примера с четырьмя состояниями, два из которых являются поглощающими, а именно, состояние 1 - неудовлетворительное и 4 - отличное. Состояние 2 показывает, что уровень тестируемого «удовлетворительный», а состояние 3, что уровень «хороший».

Матрица переходных вероятностей выглядит следующим образом:

1 2 3 4

1 ( 1 0 0 0 ^

Р = 2 Рг\ Р22 Р2Ъ 0

3 0 РЪ2 Ръъ Ръ 4

4 V 0 0 0 1 J

Особенность этой матрицы в том, что «троечник» не может попасть в «отличники», а «хорошист» - в «двоечники». Каноническая матрица имеет вид

1

2

(1

и в)

Р =

Фундаментальная матрица выглядит следующим образом:

1 Г 1 0 0 0

4 0 1 0 0

2 Р 21 Р 23 Р22 Р23

3 И />34 ^3 2 Ръъ

Следовательно,

2

0-1=2 '\-Pl2

3 К~Р32

2 3

П-Рзз Ргъ

А А

/?32 1 Р21

V А а )

3

\-1

-Р 23

1-Рзз

А

РУ.

Р 23

Ъ-Ргг

где Д = (1 - /?22 )(1 - /733) ~ Р2з ' Ръ2'

Матрица вероятностей поглощения есть В = N • Я , отсюда

В

1

Р2\ '(1-Рзз) А

Р32 ' Р21

4

Р23 'Р34

А

РъА ' 0 ~ Р22 ) А

Рг\ -О-Рзз)

Р32 ' Р2\

Р23 ' Р34 ^34 ' 0 - Р22>

\

Если считать, что тестируемый в начале тестирования находится в состоянии «удовлетворительно», то вероятность того, что испытуемый в конечном счете будет все время отвечать правильно, равна

, Р23 ' РЪА О 2 4 =----.

А

а вероятность того, что он будет отвечать все время неправильно

Ь2] =1 -Ь2А.

Предложенная математическая модель позволяет оценить качество теста не только по отношению к одному тестируемому, но и по отношению к нескольким тестируемым. В [5] показано, что для такой модели могут быть вычислены математическое ожидание числа правильных ответов па для к тестируемых:

М[па\к] =

Р2з -О-Лэ)

А • (1 —■ Р22)

математическое ожидание числа неправильных ответов пь для к тестируемых:

, ,г , , Р23 ' Рз2 ^К = —-г-Г >

математическое ожидание числа тестируемых ка из общего числа к, попадаемых в поглощающее состояние 4 из начального состояния 2:

Р23 ' Рз4 М[ка\к] = Ъ24 = У2\,

л

математическое ожидание числа тестируемых кь из общего числа к, попадаемых в поглощающее состояние 1 из начального состояния 2:

а ✓г 7 17 1 и Р21 ' 0 ~ Рзз)

= =-т------•

А

Если несколько изменить марковскую цепь, предположив что цепь наблюдается только тогда, когда происходит изменение состояния, тогда матрица переходных вероятностей имеет вид

12 3 4 О

(

1

Р' = 2

3

4

1

Р21

Х~Рг 2 О

О

Р32

О

Р23

V

О

1 ~ Рзз О

1~Ргг О О

О

о

Рз,

л

1-Рзз 1

и фундаментальная матрица этого процесса будет

(1-Р22)'(1-Рзз)

Р23 ■ 0 - Рзз) Л (1 - Р22) • 0 - Рзз)

Р32'(1-Р22)

Отсюда выводятся значения математического ожидания числа переходов МаЬ от правильных ответов к неправильным:

Р2з 'О "Рзз)

МаЬ=М[паЬ\к}^

А

математическое ожидание числа переходов от правильного ответа к правильному:

ду дуг |М Р22 -Р2з -(1-Рзз)

маа = М[паа I к] =-—---,

А • (1 -р22)

математическое ожидание числа переходов от неправильного ответа к правильному:

Р23 ' Р32

МЬа=М[пЬа\к] зла переходов от I Мьь =М[пьь\к]

и, наконец, математическое ожидание числа переходов от неправильного ответа к неправильному:

Р23 ' Р32 ' Р33

а-а-Рзз)

Приведенные четыре характеристики процесса тестирования позволяют решить обратную задачу вычисления переходных вероятностей для марковской модели:

МаЬ-(1-МаЬ+МЬа)

Р21

(маа+маЬ)-(\+мЬа)

M

Pu =

Маа +маЬ

р = м* Угъ

(м^+м^-а+м^

ï

Ръ 2 =

ML

Mab ' Who + МЫ>)

Mbb

Ръъ ----

Mba +Mhb Mb-W^-Mba)

M ab •( Mba+MbbУ

Практическое значение выведенных соотношений заключается в том, что позволяет по экспериментальным данным оценить статистические оценки переходных вероятностей.

Использование предложенной марковской модели возможно только при известных матрицах переходных вероятностей, значения которых могут быть либо априори заданными, либо оцениваться статистически по экспериментальным данным. Для простейших цепей Маркова оценка ptJ по относительной частоте условных событий = /1 = j

не представляет каких-либо трудностей [6]. В общем случае такая статистическая оценка оказывается более сложной, так как требует агрегирования данных.

Виблиографический список

1. Евсеев В.В., Алехина С,В., Евсеева И,В, Выбор релевантного алгоритма оценивания знаний обучаемых в системе дистанционного обучения II Сб, научных трудов конференции ВИРТ-2003, 2Q03. - С,311-315,

2. Панченко A.A. Методические указания для преподавателей ДВГУПС по конструированию и статистической обработке тестов. 2000. http://www.dvgups,ru/MetDoc/testAest2.htm Дата извлечения: 15.12.2003,

3. Романовский В.И. Дискретные цепи Маркова, - М,: Гостехиздат, 1949.

4. Lawrence M. Rudner. Computer Adaptive Testing Tutorial, http://ericae.net/scripts/cat/catdemo,htm, Дата извлечения: 01,07.2003,

5. Кемени Дж., Снелл Дж. Кибернетическое моделирование. Некоторые приложения, Нью-Йорк, 1963-1970. Пер. с англ. - М,: Изд-во «Советское Радио», 1972. - 192 с.

6. Кирий В,Г., Ульянов Д,А. Корреляционный анализ ответов на вопросы при адаптивном тестировании II Вестник ИрГТУ. - 2003, -№3-4(15-16), - С, 125-128.

А.В.Кузьменко

Методика автоматизированного проектирования информационно-аналитических систем в геологии нефти и газа

Введение

Стабильное функционирование природно-ресурсного комплекса страны во многом определяется эффективностью межведомственного взаимодействия всех уровней государственной системы управления. Возникающие противоречия требуют скоординированных оперативных межведомственных и межрегиональных решений, что в быстро меняющихся социально-экономических условиях затруднительно.

Для информационного обеспечения задачи управления в геологии нефти и газа необходима разработка целого ряда информационно-аналитических систем (ИАС) различного назначения и ранга. В данной статье рассматривается функция управления на примере мониторинга сырьевой углеводородной базы. Предлагается описание подхода, облегчающего и ускоряющего разработку ИАС в геологии нефти и газа с помощью автоматизации и визуализации ряда этапов жизненного цикла системы.