Сплайн-моделі профілів складності питань та знань респондентів в тестовому контролі знань Текст научной статьи по специальности «Экономика и бизнес»

УДК 681.3

Р.М. ДУБАН, 1.В.ШЕЛЕВИЦЬКИЙ

СПЛАЙН-МОДЕЛ1 ПРОФ1Л1В СКЛАДНОСТ1 ПИТАНЬ ТА ЗНАНЬ РЕСПОНДЕНТ1В В ТЕСТОВОМУ КОНТРОЛ1 ЗНАНЬ

Пропонуеться як функцiя профiлiв питань i учасник1в тестування застосовувати сплай-ни з фiксованими краями. Описуються вирази та особливостi роботи з такими моделями. Завдяки новiй моделi автоматизуеться процес розрахунку профiлiв моделей IRT за даними тестування. Показуються результати оцiнювання IRT-профiлiв.

1. Вступ

Застосування шформацшних комп'ютерних технологш у навчальному процес - одна з найбшьш важливих i стшких тенденцш розвитку свггово! освгга. У впчизнянш освт питания поширення застосування шформацшних технологш входить до прюритетних напрям1в соц-1ально-економ1чного та культурного розвитку держави. Зокрема створення умов для здо-буття громадянами яюсно! освгш входить до прюритетного напрямку "Нова якють жит-тя"[1]. Розпочато реал1зац1ю нацюнального проекту «Вщкритий свт>, до задач якого входить стандартизащя та ушфшацш методик навчання, а також створення централ1зовано1 системи навчання i оцшки знань учшв.

Важливим елементом освгтшх шформацшних комп'ютерних технологш е системи тестового контролю. Повноцшна система комп'ютерного тестування повинна мютити модуль обробки даних, що базуеться на тш чи шшш теоретичнш модел1 тестування. Система також мае виршувати задач1 визначення р1вня складносп тестових завдань, що в свою чергу дозволить бшьш об'ективно визначити р1вень знань ос1б, яю проходять тестування. На сьогодш в1дом1 та використовуються для визначення характеристик тестових завдань дв1 основш теорп: класична теор1я теспв (Classical Theory of mental tests) та сучасна теор1я теспв IRT (Item Response Theory) [2].

Класична теор1я теспв розвивалась та вдосконалювала свш математичний апарат ¡з середини минулого стор1ччя i дозволяе отримати статистичне обгрунтування якост тесту. Але, незважаючи на добре розроблений математичний апарат, прозорють та яснють вис-новюв, яю можна отримати, мае принципов1 недолши. Зокрема, тестов1 бали учшв, що проходили тестування, залежать вщ складносп завдань в тесп, а складнють завдань залежить вщ виб1рки учшв. Таким чином, великий недолш класично! теорп пов'язаний з наявнютю нелшшно! залежносп м1ж р1внем складносп тестових завдань та балами учшв, що пройшли тестування [3].

Натомють, останшм часом у впчизнянш освт набула популярносп сучасна теор1я тестування, що розвиваеться за кордоном протягом вже декшькох десятир1ч - Item Response Theory[4]. В пор1внянн1 з класичною теор1ею, IRT мае таю переваги: оцшка складносп тестових завдань мало залежить вщ виб1рки респондента, на яких вона була отримана; оцшка р1вня пщготовленосп учшв не залежить вщ набору тестових завдань, що використовуються; неповнота даних (пропуск деяких комбшацш р1вня знань учня - р1вня складносп завдання) не е критичним [2].

Суть IRT полягае в тому, що тестов1 питання та респонденти характеризуються деякою функцюнальною залежшстю вщ складносп питання та р1вня знань респондента. Ц складов1 е латентними, прихованими, а теор1я встановлюе зв'язок м1ж множинами цих характеристик. Теор1я базуеться на математичних моделях, що дозволяють будувати профш склад-ност теспв та р1вн1в знань респондента. Кшьюсть математичних моделей постшно збшьшуеться. Бшьш вщомими е лопстичш модел1 Г. Раша та А. Б1рнбаума. Основою для багатьох моделей IRT, в тому числ1 i моделей Б1рнбаума, е однопараметрична модель Раша - Rasch measurement [5]. В нш використовуеться термiн ймовiрностi Pij правильного виконання i-м учасником тестування j-го тестового завдання, що залежить вщ !х пара-метрiв. Ця залежнють називаеться функцiею успiху. Ймовiрнiсть визначаеться за рiзницею рiвнiв знань учасника тестування 9i та рiвня складносп завдання Р j:

р

1+е(е,-Рр •

(1)

Модель Раша базуеться на найбiльш важливому параметрi (9;- Р ]) - рiзницi знань респондента та складносп завдання. Оскiльки ще в класичнш теорп тестiв було з'ясовано, що завдання мають рiзну диференцiйною здатнють, в двопараметричну модель Бiрнбаума додатково увшшла диференцiйну здатнiсть завдання, i функцiя успiху прийняла вигляд

де ^ - диференцiйна здатнiсть завдання, що характеризуе нахил (крутизну) його профшю. Для бшьшо! вiдповiдностi емтричним даним А. Бiрнбаум розробив трипараметричну модель, де третiй параметр вщповщае ймовiрностi вгадування [6].

О^м вказаних двох основних моделей в 1ЯТ використовуються ще й iншi моделi i !х кшьюсть збiльшуеться [7]. Причиною цього е насамперед значний штерес до цих питань в освт i бажання отримати бiльш точну, надшну та просту у використаннi модель. Рiзнi автори в 1ЯТ пропонують новi параметри та !х комбшацп, обгрунтовуючи необхiднiсть !х врахування i застосування. Питання вибору оптимально! моделi залишаеться актуальним i сьогоднi.

Значного поширення i застосування серед моделей 1ЯТ набула саме однопараметрична модель Г.Раша, хоча i И застосування е досить складним процесом [8]. Нелшшна за-лежнiсть моделi вщ параметрiв значно ускладнюе оцiнювання функцш за емпiричними даними. Так, якщо модель не може адекватно описати емшричш данi, то вони вибракову-ються i не використовуються. Такий шдхщ е малопродуктивним й фактично реалiзуе принцип "якщо данi не вщповщають теорп, то тим прше для даних".

1снують математичнi функцп з лiнiйною залежнiстю вiд параметрiв, якi дозволяють описувати функцiональнi залежносп достатньо складно! форми - це сплайни. В робот пропонуеться як моделi профiлiв тестiв та респондента використовувати сплайн-функцi!, що дозволяють бшьш точно описати емпiричнi данi складно! залежносп. Розглядаеться ермiтiв кубiчний сплайн з фшсованими краями. Метою е створення шформацшно! технологi! автоматичного ощнювання профiлiв тестового контролю. Для досягнення мети необхщно адап-тувати сплайн-модель до апрюрних умов профшв тестового контролю, оцiнити параметри моделi за емпiричними даними результатiв випробовування тесту та реалiзувати алгоритми автоматичного ощнювання з ошташзащею розмiщення вузлiв сплайна. Отриманi результати перевiряються на реальних даних випробовування тесту.

2. Виклад основного матерiалу

В практищ обробки даних найбiльш часто застосовують кубiчнi сплайни з двома непе-рервними похiдними[9]. Для !х розрахунку необхщно виршить систему iнтерполяцiйних рiвнянь. Зручнiше користуватись кубiчними ермiтовими сплайнами, що мають неперервшсть лише першо! похщно! i локальнi розв'язки штерполящйних рiвнянь.

В загальному виглядi сплайни розраховуються за формулою:

1=0

де Н;(х) - базисна функцiя сплайна; а; - числовi коефiцiенти; Я - кшьюсть вузлiв сплайна.

В ермггового сплайна базиснi функцi! побудоваш так, що числовi коефiцiенти е значення-ми сплайна та його похщними у вузлах:

(2)

Я-1

(3)

Я-1

Я-1

Б(х)=2 адн^х^ ? '(и^х),

(4)

1=0

тут и - вузли сплайна.

Для точки Хк, що належить фрагменту, 1 вираз (4) можна записати так:

$(хк )=А(и;) (хк )+Г(им)1 Ь;+1 (хк )+Г '(и^И^Ж К^Ь^), (5)

де Ь - складовi базисних сплайнiв Н1(х), Н1+1(х), Н1(х), Н1+1(х) (рис. 1).

1|,(х) 100

100

Рис. 1. Складов! ермггових базисних сплайн!в на !нтервал! Аби не мати справу iз похiдними та двома видами базисних функцш Н^х) та Н1(х),

похiднi замшюють центральними роздiленими рiзницями у вузлах сплайна:

Пи)

и1+1- и1 ^(и1)-^(и1-1) + и1-1- и1 Д^К^

и1+1- и1-1

и, - и,

и1-1- и1+1

и1+1- и1

Загальнi вирази (7.1)-(7.4) для таких сплайшв отримано в [10]:

)= 2х3 -3х2(и1 +и1+1 )+6и1и1+1х-и;+1 (3и1 -и1+1)

Л(х)=

1Ь1+1(х)

(и2 -2и1и1+1 +иГ+1 )(и1+1 -и1) = (х-и1)2(2х+и1-3и1+1)

(и1 -и1+1)(и2 -2и1и1+1 +и2+1)

=(х-и 1)(х 2 -2и 1+1х+и 2+1)

1Ь1+1(х)

(и1-и1+1)2 = (х-и1)2(х-и1+1)

(6)

(7.1)

(7.2)

(7.3)

(7.4)

(и1-и1+1)2

Важливим аспектом моделi е компактне представлення профшв тестових питань та учасникiв тестування. Вся шформащя про модель мютиться в значеннях вузлових точок сплайна або пов'язаних з ними параметрах. Однак модель-профшь мае важливi особли-востi, якi явно повинна врахувати сплайн-модель. Для профшв питань сплайн-модель мае бути "зафшсованою" на краях зпдно з умовами: А(0) = 0; А(1)=1. Для профiлiв респондентiв властивi зворотнi умови: А(0) = 1; А(1)=0. Крайовi умови для профiлiв питань та учасникiв тестування схематично зображеш на рис. 2. Якщо не враховувати цi особливосп, то сплайн модель може суттево порушувати цi умови й буде неадекватною процесу. Будемо називати далi таю ермiтовi кубiчнi сплайни фшсованими Б+(х) для першого випадку i Б-(х) - для другого випадку.

Ршень знань 6 1

Рис.2. Ф!ксован! на краях значення проф!л!в

Oтpимaeмo poзpaxyнкoвi виpaзи для F+(x) на пpoмiжкy xg [u0, uR-1). У ць0му випaдкy з виpaзy (S) oтpимaeмo для пepшoгo фpaгмeнтa, дс x g [u0, u1), в^аз:

F+ (x)=f(u1)1h1(x)+f '(u^h^x). _ (S)

Для п06уд0ви cплaйнa кiлькicть вyзлiв R мae 6ути нс мсншс тpьox• Якщ0 вyзлiв cплaйнa лишс тpи, т0бт0 пpoмiжoк лишс два, т0 дpyгий пpoмiжoк e 0станшм, а вуз0л u1 збiгaeтьcя з вузл0м ur-2. Пicля пiдcтaнoвки значснь кpaйнix вyзлiв y (S) функщя для ocтaнньoгo фpaгмeн-та ^иймс вигляд (9), дс x g [ur-2, uR-1):

F+-1 (x)=f(uR-2 )0 hR-2 (x)+1 hR-1 (x)+f '(Ur-2 )0 !ír_2 (x).

(9)

Гpaфiчнo в зaгaльнoмy виглядi фyнкцiï пepшoгo (S) та 0станнь0г0 (9) фpaгмeнтiв cплaйнa зoбpaжeнo на p^. 3.

Pиc•3• Пepший F+1(x) та ocтaинiй F+R-1(x) фpaгмeиги фiкcoвaнoгo cплaйнa F+(x) У випaдкy R=4 cepeднiй фpaгмeнт фiкcoвaнoгo cплaйнa матимс вигляд:

F+ (x)=f(U1)0h1(x)+f(U2)1h2(x),

дс xg [U1, ur-2).

Якщ0 вyзлiв cплaйнa бiльшe тpьox, т0 дpyгий фpaгмeнт пpиймe вигляд

F2+ (x)=f(u 1 )0 h1 (x)+f(u 2 ) 1h 2 (x)+f '(u 2 )1 hh 2 (x), тут x g [u1, u2), a пepeдocтaннiй -

F]+_2 (x)=f(UR_3) 0hR_3 (x)+f(UR_2)1hR_2 (x)+f '(UR_3)0hR_3(x), дс xg [ur_3, ur-2).

Якщ0 ж вyзлiв бiльшe чoтиpьox, т0 yci фpaгмeнти з дpyгoгo д0 пepeдocтaнньoгo poзpaxo-вyютьcя за загальн0ю фopмyлoю epмiтoвoгo кyбiчнoгo cплaйнa (S).

В загальн0му виглядi cплaйн-мoдeль F+(x) пpoфiлiв тecтoвиx завдань на пpoмiжкy x g [u0, uR-1) для R=3 матимс вигляд

(10)

(11)

(12)

F+(x)J F+(x)' якщ0 x g [u0' u1);

lFR_1(x), якщ0 x g [u1,uR_1)

для R=4:

F+(x)

для R> S:

F1+ (x), якщ0 x g [U0, U1); F2+ (x), якщ0 x g [u13 u2 );

FR_1(x),якщ0 x g[u2,uR_1) ;

(13)

(14)

F+(x)

F+(x), якщ0 x g [U0, U1); F2+ (x), якщ0 x g [u13 u2); Fi+1 (x)5 ЯкЩ0 x G [Ui, Ui+1 ), i G [2, R-3),R>S;

FR_2(xX ЯкЩ0 x G [UR_3 ' UR_2]; FR_1(x), якщ0 x G [UR_2,UR_1).

(1S)

Це граф¡чно зображено на рис. 4.

Рис.4. Сплайн-модель профшв тестових завдань Для побудови профшю рiвня знань особи, що проходить тестування, використовуеться сплайн-функщя Б-(х), отримана з виведено! функцi! Б+(х):

Б- (х)=Б+ (1-х). (16)

Отримана сплайн-модель враховуе специфшу профшв, лшшно залежить вщ параметрiв, що е значеннями сплайна у точках стикування - вузлах. Конкретш значення визначаемо за даними тестового контролю в контрольних групах, де отримуемо емшричш ощнки профiлiв у точках. Ощнки параметрiв сплайна шукаемо за методом найменших квадратiв на фшсо-ванiй сiтцi вузлiв, так що для профшв питань досягаеться:

N

(ё1-Б+(е,и))2 ^ т1п.

1=1

Зменшення похибки наближення досягаеться також за рахунок оптимiзацi! числа та схеми розмщення вузлiв сплайна. Завдяки хорошим наближуючим властивостям сплайна та лшшнш залежносп вiд параметрiв вiдпадае необхiднiсть участi оператора-експерта в побудовi кожного профiлю.

Розроблена модель входить в модуль розрахунку профшв складносп тестових завдань та рiвня знань учшв, що проходять тестування, в авторськш iнформацiйнiй системi "Logit". Приклад профiлiв питань, що надае система, зображено для питань на рис. 5, для респондента - на рис. 6.

Проф1ль питания #48 Проф1ль питания #116

-0.2 0 0 0 1 0.2 0.1 0.4 0.5 О Ь 0.7 0.0 0.9 10 1.2 -0.2 0.0 0 1 0.2 0.1 0.4 0.5 0.6 0.7 0 0 0 9 1.0 1.2

Рис.5. Профш питань, побудоваш в систем! "Лопт"

Рис .6. Профш респондента, побудованi в системi "Лопт"

На рис. 5 зображеш довiльнi питання з тесту, за яким проводилось тестування на контрольнш груш. Вибiрковi профiлi респондента зображенi на рис. 6. Рiвень складностi питань та рiвень знань учасниюв тестування визначаеться за IRT на рiвнi P = 0,5.

3. Висновки

Незначним ускладненням моделi зменшуеться кiлькiсть вхiдних параметрiв та вирь шуеться проблема фшсаци крайшх точок, але швидкiсть розрахункiв комп'ютером тдви-щуеться. У порiвняннi з моделями IRT отримана модель е загалом бшьш надшною, унiверсальною та простою, не потребуе учасп експерта у побудовi профiлiв.

Модель, що побудована з використанням складено! сплайн-функцп з фiксованими краями, мае таю переваги:

- враховуе апрюрт посилки,

- мае лшшну залежнють вiд параметрiв,

- оцiнку за МНК,

- дае можливють оптимiзувати профiль.

Але, як i вс моделi, що входять до IRT, сплайн-модель мае сво! недолiки. Одним ¡з найбiльших недолiкiв е те, що функщя не враховуе неспадаючий характер при побудовi профiлiв питань. Цю проблему можна виршити, пщбравши ще бiльш вдалий базис сплайна. Перед тим, як рекомендувати використовувати модель як вимiрювальну систему в тестовому контролi знань, необхщне проведення 11 апробацп на велиюй кiлькостi емпiричних даних. Для спрощення процесу апробацп модель iнтегровано у web-систему "Logit"(http:// kdpu.edu.ua/logit/), а процес створення профшв автоматизовано.

Наукова новизна полягае в тому, що вперше запропоновано як профшь у тестовому контролi використовувати ермiтовi кубiчнi сплайни з фшсованими краями.

Практичне значення роботи в тому, що з допомогою ново! моделi вдалося реалiзувати автоматичне оцшювання профiлiв питань та респондента тесту. Завдяки цьому суттево скорочуеться час на оцшювання яюсних характеристик тесту, немае необхщносп у залу-ченнi до процесу оцшювання фахiвця-статистика, зростае точнiсть та достовiрнiсть оцiню-вання.

Предметом подальших дослгджень е вдосконалення сплайн-моделi для бiльш точного врахування особливосп профiлiв (а саме !х неспадаючий характер) та завершення роботи над iнформацiйною системою, що втшюе продемонстрованi результати.

Список лггератури: 1. Указ Президента Укра!ни ввд 08.09.2010 року N° 895 "Про заходи щодо визначення i реал1зацп проект1в 1з пр1оритетних напрям1в сощально-економ1чного та культурного розвитку". 2. Ким В. С. Тестирование учебных достижений. Монография. Уссурийск. УГПИ, 2007. 214 с. 3. Аванесов В.С. Основы научной организации педагогического контроля в высшей школе. М., 1989. 167 с. 4. C. DeMars. Item Response Theory. Oxford University Press: 2010. 144 p. 5. Rasch G. Probabilistic Model for Some Intelligence and Attainment Tests. Chicago: Univ. of Chicago Press, 1981. 199 p. 6. Birnbaum A. Some Latent Trait Models and Their Use in Inferring and Examinee's Ability. In Lord F.M., Novick M. Statistical Theories of Mental Test Scores. Addison-Wesley Publ. Co. Reading, Mass, 1968. P.397-479. 7. Baker F.B. The Basics of Item Response Theory. ERIC, 2001. 172p. 8. Wilson M. Constructing Measures: An Item

Response Modeling Approach. Mahwah, New Jersey: Lawrence Erlbaum associates, 2005. 228 p. 9. Шеле-вицький 1. В. Методи та засоби сплайн-технологи обробки сигналiв складно! форми /М.О.Шутко. Кривий Pir: £вропейський ушверситет, 2002. 304 с. 10. Шелевицький 1.В. Сплайни в цифровш обробщ даних i сигналiв /1.В. Шелевицький, М.О.Шутко, В.М.Шутко, О.О. Колганова. Кривий Pir, 2008. 232 с.

Надшшла до редколегИ 25.08.2011 Дубан Роман Миколайович, астрант Нацюнального авiацiйного ушверситету. Науковi нтереси: web-технологii. Адреса: Укра!на, 50093, Кривий Pir, вул. Гутовського 27-1, тел. (067)9018237.

Шелевицький 1гор Володимирович, д-р техн. наук, доцент, заступник директора з науково! роботи Криворiзького педагопчного iнституту ДВНЗ "Криворiзький нацiональний ушверситет". Науковi штереси: сплайни i ix застосування. Адреса: Укра!на, 50086, Кривий Pir, пр. Гагарша 54, тел. (096)5320143.