CC BY
45
МОДЕЛЮВАННЯ І УПРАВЛІННЯ ВЕЛИКИМИ СИСТЕМАМИ
УДК 378.14:[51:004]
І.В. АЛЄКСЄЄВА, В.О. ГАЙДЕЙ, О.О. ДИХОВИЧНИЙ, Н.Р. КОНОВАЛОВА,
Л.Б. ФЕДОРОВА
ЗАСТОСУВАННЯ МАТЕМАТИЧНИХ МОДЕЛЕЙ ТЕСТІВ У КОМПЛЕКТІ ДИСТАНЦІЙНОЇ ОСВІТИ «ВИЩА МАТЕМАТИКА»
Анотація. У статті проінформовано про застосування дихотомічної і політомічної IRT-моделей в аналізі тестів комплекту електронних курсів з вищої математики, створених у Національному технічному університеті України «Київський політехнічний інститут».
Ключові слова: IRT, математичні методи параметризації тестових завдань, дихотомічна і полі-томічна моделі Раша.
Аннотация. Статья информирует о применении дихотомической и политомической IRT-моделей в анализе тестов комплекта электронных курсов по высшей математике, разработанных в Национальном техническом университете Украины «Киевский политехнический институт».
Ключевые слова: IRT, математические методы параметризации тестовых заданий, дихотомическая и политомическая модели Раша.
Abstract. The report informs on the application dichotomous and polytomous IRT-models for the Item Analysis of the set of e-courses on higher mathematics designed by National Technical University of Ukraine “Kyiv Polytechnic Institute ”.
Key words: IRT, dichotomous and polytomous Rasch models.
1. Вступ
Сучасний період розвитку освіти характеризується всебічним поширенням застосування тестового підходу до перевірки знань, значна увага якому приділяється у більшості розвинених країн, серед яких належне місце намагається посісти й Україна. З іншого боку, спостерігається інтенсивний розвиток різноманітних форм дистанційної освіти. Провідне місце в засобах дистанційної освіти посідає система електронного тестування. Це, перш за все, зумовлено високою ефективністю та об’єктивністю форм контролю, розвиненням електронних курсів, удосконаленням технічного забезпечення вишів. Водночас відносна простота організації відповідних контрольних заходів та висока швидкість оброблення їхніх результатів, висока інформативність цих результатів, можливість визначення рейтингу студентів саме за допомогою електронного тестування поєднуються із зацікавленістю самих студентів у проведенні такого контролю і позитивним сприйняттям його як студентами, так і викладачами.
Кафедрою математичного аналізу та теорії ймовірностей НТУУ «Київський політехнічний інститут» був створений комплект дистанційних курсів «Вища математика». Центральною компонентою комплекту є система електронних текстів, розроблена з використанням платформи MOODLE, і яка містить більше 1000 тестів. Продуктивне використання тестової системи ставить проблему аналізу її якості та ефективності, який можна проводити у двох напрямках: спроможності всієї системи в цілому до адекватного оцінювання знань студентів, тобто її змістовній валідності, та в «калібруванні» окремих тестових завдань.
© Алєксєєва І.В., Гайдей В.О., Диховичний О.О., Коновалова Н.Р., Федорова Л.Б., 2010 ISSN 1028-9763. Математичні машини і системи, 2010, № 4
У першому напрямку дослідження проводились методами класичного статистичного аналізу, які довели статистично значущий збіг результатів традиційних та електронних засобів контролю [1].
Аналіз тестових завдань було здійснено із застосуванням сучасних математичних методів параметризації тестових завдань, які мають назву Item Response Theory (IRT).
Item Response Theory останнім часом привертає найбільшу увагу фахівців у галузі педагогічних і психологічних вимірювань. Одна з можливих причин популярності цієї теорії - це її застосування в широко відомих тестових службах. Серед них: Національна Рада розвитку освіти (National Assessment of Educational Progress, NAEP), Служба з розроблення тестів для оцінки здатності до оволодіння освітніми програмами різного рівня складності (Scholastic Aptitude Tests, SAT), а також Американська атестаційна служба the Graduate Record Examination (GRE).
Крім цих служб, IRT використовується в таких масштабних міжнародних порівняльно-оціночних дослідженнях, як Третє міжнародне дослідження рівня підготовленості з математики і природничих наук (Third International Math and Science Survey, TIMSS), а також у Міжнародній програмі оцінки якості підготовленості студентів (the Programme of International Student Assessment, PISA).
Інші можливі причини підвищеної уваги до IRT - це безліч нових статистичних розробок даної теорії, що спираються на можливості їх активного застосування в обчислювальних і освітніх технологіях.
У Росії математичні моделі IRT використовуються для аналізу результатів «ЕТО», в Україні такі дослідження майже відсутні.
У роботі [2] повідомлялось про такий аналіз для комплекту «Вища математика» з використанням моделей Раша і Бірнбаума для дихотомічних таблиць відповідей. Тобто, коли правильну відповідь позначають одиницею, а неправильну - нулем.
У даній роботі мова йтиме про політомічну модель Раша, в якій відповідь на тестове питання має декілька градацій у певній шкалі.
2. Основи IRT
Базова ідея IRT, автором якої є датський математик Г. Раш [3], полягає у впровадженні так званих латентних параметрів:
• підготовленість іспитника ві, і=1, N, де N - кількість іспитників;
• складність завдання тесту ßj,j = 1,K, де K - кількість завдань у тесті.
Зв’язок між цими параметрами встановлює ймовірність правильної відповіді i -го іс-питника на j -те завдання тесту:
Залежність імовірності правильної відповіді на і -те завдання від підготовленості іспитника задається функцією
Відповідний графік називається характеристичною кривою і -го завдання тесту (рис. 1).
Залежність імовірності правильної відповіді і -го іспитника від складності завдання задається функцією
1
(1)
1
Рі (в) =------------------, і = 1, N.
1 + exp(-(q -ß))
Відповідний графік називається характеристичною кривою і -го іспитника (рис. 2).
аі _
Рис. 1. Характеристична крива Рис 2 Характеристична крива
і -го завдання г-го іспитника
Модель Раша була узагальнена А. Бірнбаумом шляхом впровадження додаткового параметра - диференціювальної спроможності завдань:
ГЪгі( і ) . _ 1К
І 2 , і _ 1К ’
V1 - ГЬгі (І)
де гЪг1 (і) - коефіцієнт кореляції між балами, отриманими за кожне тестове завдання і балами за тест в цілому.
Тоді відповідна ймовірність правильної відповіді має вигляд:
Р, (в) _---------1----------, І _ 1К,
і 1 + ехр(-а, (в-р,))
а характеристичні криві для різних рівнів складності (а3 <а2 <а1) наведено на рис. 3.
{* }_•
3. Дихотомічна модель Раша
Емпіричне оцінювання латентних параметрів проводять на підставі спеціальних статистичних процедур аналізу дихотомічної таблиці відповідей X, кожен елемент якої
[ 1, якщо відповідь і - го студента на і - те завдання правильна;
[0, якщо відповідь і - го студента на і - те завдання неправильна.
Елементи цієї матриці можна вважати спостереженнями за незалежними випадковими величинами Х,, які набувають значення 1 з імовірністю Р, і значення 0 з
імовірністю Qіі _ 1 - Р,, де Р, задається формулою (1).
к ___
Тоді первинний бал і -го іспитника Ъ г _ ІХі, г _1N є випадковою величиною з ма-
і_1
тематичним сподіванням:
к ___
М {Ъ}_ І Ру, і_ 1, N,
і _1
N ___
а первинний бал і -го завдання сі _ , і' _1 к — з математичним сподіванням:
і _1
N ____
М V,}_ І рі • і _1-к.
і_1
Емпіричні перші моменти випадкових величин Ьі та с;- обчислюються за матрицею спостережень так:
~ к ___
Ьг = X ХУ ’і =1М’
j=1
N
:У ХУ- , j = 1 K •
i=1
Прирівнюючи за методом моментів перші теоретичні та емпіричні моменти з урахуванням вигляду Р., дістаємо систему нелінійних рівнянь:
b = У р, •
i=1
~ K
c = У P..,
j=1
(2)
1
Pj 1 + exp(-(q. -j))
, i = 1, N, j = 1, K •
Розв’язуючи цю систему, одержуємо оцінки параметрів:
q, i = 1N, j,, j = \K,
які є спроможними, асимптотично-незсуненими, ефективними та асимптотично-нормальними [4]. Для розв’язання цієї системи можна використовувати наближені чисельні методи, наприклад, метод дотичних. Ту ж саму систему можна отримати, використавши метод найбільшої вірогідності. Для розвязання був застосований спрощений алгоритм [5].
За допомогою процедур, реалізованих у пакеті Excel для дихотомічної таблиці відповідей, сформованої автоматично системою MOODLE, на підставі моделей Раша і Бірнбаума аналізувались результати електронних контрольних робіт і іспитів 2008-2009 рр. Так, аналізуючи ансамбль характеристичних кривих іспиту 2008 р. (рис. 4) за моделлю Раша, було відмічено певну нерівномірність та наявність завдань з надто низькою складністю, наприклад, завдання 13.
оГ
1
ш
у
щ.
'Я
&
6
■|
О.
а
-■-KfeUI -тт-i
// iff/ ffff
чи/ f iJfjf t—llll — 10 —u
ffff ffff —»-І.»
fj] ft f 4-U —■—1*
ЧІГ / //// —Ш— зі
/ І/ІІ 1« и
Рівень підготовленості, д Рис. 4. Характеристичні криві завдань тесту 2008-2009 рр. Модель Раша Також на підставі моделі Бірнбаума помічено, що завдання з номерами 3, 5, (рис. 5) мають однакову складність: р. =-1,45, але при цьому а3 = 0,025, а5 =
8, 27 : 0,18,
c
а8 = 0,24, а27 = 0,44 . Отже, завдання 3 і 5 вилучено, а завдання 8 і 27 залишено. Для деяких завдань значення а} взагалі виявились від’ємними. Такі завдання було доречно вилучити. Наприклад, а16 =-0,06715.
Рівень підготовленості, С]
Рис. 5. Характеристичні криві завдань тесту 2008-2009 рр. Модель Бірнбаума
Після послідовного вилучення певних завдань та включення нових було сформовано нові контрольні роботи та іспит, які були запропоновані студентам протягом 2009-2010 рр. навчального року для уточнення відповідних параметрів.
Результати відповідної корекції тестів видно на рис. 6, 7. Як бачимо, відбулось покращання рівномірності ансамблю характеристичних кривих і відсутні завдання з від’ємною диференціювальною спроможністю.
-і
-5.Й
Рис. 6. Характеристичні криві завдань тесту 2009-2010 рр. Модель Раша
Рис. 7. Характеристичні криві завдань тесту 2009-2010 р. Модель Бірнбаума Також про покращання якості тесту свідчить порівняння інформаційних функцій.
4. Політомічна модель Раша
Розглянемо політомічну модель Раша [6]. Нехай за виконання . -го, І = 1, К завдання тесту учень може одержати від 0 до т. балів. Щоб дістати найви-
Рис. 8. Порівняння інформаційних функцій тестів щу категорію т., учень
2008-2009 та 2009-2010 рр. повинен послідовно подо-
лати т. кроків: на першому кроці спочатку треба досягти першого рівня в один бал, потім на другому кроці досягнути другої категорії в два бали и т.д. Рівень складності виконання g -го кроку . -го завдання ми будемо позначати через р^ = 1, т.).
Зрозуміло, що складність виконання кожного кроку, в загальному випадку, різна. Умовна ймовірність РЦ^ вірного виконання і -им учнем в . -му завданні кроку g за умови, що крок g -1 виконаний правильно, описується основною логістичною функцією успіху Раша:
1
Р
1 + ехр(-(3 -р ))
, І = 1,К, і = 1,Ы, gє 1,т,.
Знайдемо формулу для знаходження безумовної ймовірності Рііг того, що при виконанні ] -го завдання і -ий учень виконає рівно g кроків і отримає, таким чином, рівно g балів. За припущенням політомічної моделі Раша,
р ум =
iJg
Р
IJg
рт-1 + рй
Звідки
р ум
. . Р = еві-рig. Р ум iJg-1 Уё'
1 - р
Чё
Із отриманого рекурентного співвідношення маємо:
ю - ...'^-Pi1 ' Р 0 = ехрГ
р = ев‘~р*
ЕЗ-Р
V к=\
у
Імовірність р/0 знаходимо з умови
і =0
в яку, для зручності, покладаємо ев‘ р0 = 1. Одержуємо
( і
( і
Е еХР Е ві - РJh ■ РЇ0 = РЇ0 ■ Е еХР Е ві - РJh
і=0 Vй=1 у і=0 Vь=1
= 1,
звідки
ехр
р = —
Vg т
( g
Е«,-р
V И=\
у
7 ( і ^
Е ехр Еві-рін
і=0 V*=1
І = 1, К, і = 1, N, g є 1, т/.
(3)
Формула (3) визначає політомічну модель Раша. На рис. 9 наведено типові графіки функцій Р = РІ0,
р = Р., Р = Р
J■2 для двокрокового i -го завдання з
В політомічному випадку система (2) практично не зміниться і матиме вигляд:
Рис. 9. Характеристичні криві двокрокового завдання
т ї „ т
Ь, - ЕЕ к ■ рк = 0 де Ь = i, і = 0,..., М = Е mJ ,
J =1 к=1 J =1
М mi
-Еп Е рк =0,де i = 1,..., т; g = 1,..., mJ,
і=0 k=g
(4)
К
де М = Е mi - максимально ймовірний первинний бал за весь тест;
J=1
пі - кількість студентів, первинний бал яких дорівнює і ;
с^ - кількість студентів, які набрали за І -те завдання не менше g балів.
Систему (4) можна наближено обчислити, наприклад, методом дотичних [7]. Відповідні ітерації мають вигляд:
е(у+1)=е(у) + .
К mi
Ь - ЕЕк ■ Р
/=1 к=1
(п)
ук
К
Е
/=1
mi (mi
Е к2 ■ р(;)- е к р1
к=1
к=1
(5)
т
т
т
2
\
fpm"1-fbm|+-
M mj . ,
— — (m)
jg ' * ijk i-0 k=g
+—ni — p
M Wj ( Wj ^ 2
—n, • —pm - —j
- о g N k 1 Vk-g j
(6)
де pijk знаходять за формулою (3). Початкові наближення вибирають з умов:
q(0) , i
вГ = ln
м - i ’ bg
(0)- ln
jg
де С} - кількість учнів, які набрали за ] - те завдання рівно g балів. Ітераційний процес буде завершено при виконанні умови:
I
І Т+Ц Ьґ-Ь )2 <*■
і=0 }=1 к=1
Точність одержуваних при цьому оцінок характеризується середніми квадратични-
ми похибками:
(в )-
( ( K ' — j -і
V V (
о
—k2 • Pjk - — k • P
k-і
ijk
k-1
\2\ \
/ J
s. (Pg)-
M
— n
i-0
^ / \2
Wj ( mj \
Tj - Tj
k-g Vk-g j
V jj
-1/2
-1/2
Одержані оцінки параметрів для нормально розподілених первинних балів є асимптотично-нормальними, асимптотично-незсуненими, асимптотично-ефективними.
m
5. Висновки
• Застосування дихотомічних моделей Раша і Бірнбаума для дослідження тестової системи комплекту «Вища математика» виявилось цілком обґрунтованим та доречним і дозволило суттєво підвищити ефективність формування та аналізу тестів.
• З урахуванням позитивного досвіду використання дихотомічної моделі, сформовано системи нелінійних рівнянь для визначення латентних параметрів моделі Раша у політомічному випадку. Наведено алгоритми обчислення оцінок латентних параметрів як розв’язків відповідних систем.
Наведені алгоритми обчислення латентних параметрів найближчим часом будуть застосовані до аналізу тестових завдань комплекту «Вища математика».
СПИСОК ЛІТЕРАТУРИ
1. Тестова система для комплекту дистанційних курсів «Вища математика» / І.В. Алєксєєва, В.О. Гайдей, О.О. Диховичний [та ін.] // IX международная научная конференция имени Т.А. Таран «Интеллектуальный анализ информации ИАИ-2009»: сб. трудов. - К.: Просвіта, 2009. - С. 4 - 10.
2. Застосування сучасних математичних моделей педагогічного тестування у формуванні та аналізі тестових завдань комплекту «Вища математика» / І.В. Алєксєєва, В.О. Гайдей, О.О. Диховичний [та ін.] // Дидактика математики: проблеми і дослідження: міжнародний збірник наукових робіт. -Донецьк: Вид-во ДонНТУ, 2010. - Вип. 33. - С. 50 - 56.
3. Rasch G. Probabilistic models for some intelligence and attainment tests / Rasch G. // Copenhagen: Danish Institute for Educational Research, 1960. - 126 p.
4. Нейман Ю.М. Введение в теорию моделирования параметризации педагогических тестов / Ю.М. Нейман, В.А. Хлебников. - М.: Прометей, 2000. - 168 с.
5. Челышкова М.Б. Теория и практика конструирования педагогических тестов / Челышкова М.Б. -М.: Логос, 2002. - 432 с.
6. Linden W. Handbook of Modem Item Response Theory / W. Linden, R. Hambleton R. - NY.: Springer-Verlag, 1997. - 510 p.
7. Цыганов Ш.И. Математические методы педагогических измерений / Ш.И. Цыганов // Вестник Башкирского университета. - 2009. - Т. 14, № 3. - С. 1 - 8.
Стаття надійшла до редакції 22.10.2010
