CC BY
15
ЯК1СТЬ, НАДШШСТЬ I СЕРТИФ1КАЦ1Я ОБЧИСЛЮВАЛЬНО! ТЕХН1КИ I ПРОГРАМНОГО ЗАБЕЗПЕЧЕННЯ
https://orcid.org/0000-0002-9143-9398 https://orcid.org/0000-0001-8505-2878 https://orcid.org/0000-0002-2878-6514
УДК 37.091.26:004.9
н.в. круглова*, о.о. диховичний*, 1.в. АлексеевА*
ОСОБЛИВОСТ1 ЗАСТОСУВАННЯ МАТЕМАТИЧНИХ МОДЕЛЕЙ ТЕСТ1В В УМОВАХ ДИСТАНЦ1ЙНОГО КОНТРОЛЮ
Нацiональний техшчний унiверситет Украши «Кшвський полiтехнiчний шститут iменi 1горя Сшэрського», м. Ки1в, Украша
Анотаця. У статтг дослгджено одне з актуальних питань дистанцШного навчання - питання якост1 комп 'ютерних тест1в 7з точки зору забезпечення об 'ективного контролю знань. Це питання набувае особливог значущост1 в сучасних умовах пандемИ 7 тимчасового карантину. Головну увагу придыено статистичному анал1зу якост1 тест1в на тдстав1 результат1в тестування з за-стосуванням метод1в КТТ та ШТ. За допомогою сучасних статистичних метод1в авторами про-анал1зовано результати тестування, тдготовленого й проведеного в пер1од карантинних заход1в. Як об 'ект досл1дження вибрано тест за темою «1нтегрування функщй одмег зм1нног», яку студе-нти повмстю опановували дистанщйно. Тести було створено на баз1 платформи МООБЬЕ в На-щональному техмчному утверситет1 Украгни «Кигвський полШехтчний Шститут 1мен1 1горя Сторського» викладачами кафедри математичного анал1зу й теорИ ймов1рностей. Обробку даних здтснено за допомогою системи для анал1зу тест1в, створеног авторами в середовищ1 програму-вання Я. Система дозволяе обробляти тести в р1зних сферах: педагогщ, психологИ, сощологИ тощо, р1зт за своею структурою; використовувати одночасно апарат КТТ 7 ШТ; працювати з масивами даних великого об'ему; проводити анал1з не тыьки тестових питань, але й респонден-т1в; быьш точно гх диференщювати. На тдстав1 досл1дження тдтверджено можлив1сть прове-дення електронного тестування дистанцтно. Технолог1я, використана в досл1дженм, може бути застосована для створення й анал1зу завдань ЗНО, проведення сестного контролю тд час карантину. Використання метод1в, досл1джених у робот1 для анал1зу тестових завдань, дозволить тд-вищити компетенттсть викладачгв вищог школи щодо проведення електронного дистанцШного тестування.
Ключовi слова: ШТ, модель Раша, полтом1чна модель, множинний виб1р, середовище програму-вання Я, пакет тШ 7 пакет 1т.
Аннотация. В статье исследован один из актуальных вопросов дистанционного обучения - вопрос качества компьютерных тестов с точки зрения обеспечения объективного контроля знаний. Этот вопрос приобретает особую значимость в современных условиях пандемии и временного карантина. Главное внимание уделено статистическому анализу качества тестов на основании результатов тестирования с применением методов КТТ и ШТ. С помощью современных статистических методов авторами проанализированы результаты тестирования, подготовленного и проведенного в период карантинных мероприятий. В качестве объекта исследования выбрано тест по теме «Интегрирование функций одной переменной», которой студенты полностью овладевали дистанционно. Тесты были созданы на базе платформы MOODLE в Национальном техническом университете Украины «Киевский политехнический институт имени Игоря Сикорско-го» преподавателями кафедры математического анализа и теории вероятностей. Обработку данных осуществлено с помощью системы для анализа тестов, созданной авторами в среде программирования R. Система позволяет обрабатывать тесты в различных сферах: педагогике, психологии, социологии и т.д., разные по своей структуре; использовать одновременно аппарат КТТ и ШТ; работать с массивами данных большого объема; проводить анализ не только тестовых вопросов, но и респондентов, более точно их дифференцировать. На основании исследования
© Круглова Н.В., Диховичний О.О., Алексеева 1.В., 2020 105
ТББМ 1028-9763. Математичш машини i системи, 2020, № 2
подтверждена возможность проведения электронного тестирования дистанционно. Технология, использованная в исследовании, может быть применена для создания и анализа заданий ЗНО, проведения сессионного контроля во время карантина. Использование методов, исследованных в работе для анализа тестовых заданий, позволит повысить компетентность преподавателей высшей школы относительно проведения электронного дистанционного тестирования. Ключевые слова: IRT, модель Раша, политомическая модель, множественный выбор, среда программирования R, пакет mirt и пакет ltm.
Abstract. The paper explores one of the current issues of distance education - the quality of computer tests in terms of ensuring objective control of knowledge. This issue is especially important in today's pandemic and temporary quarantine. The main attention is paid to a statistical analysis of test quality based on test results using CTT and IRT methods. Using modern statistical methods, the authors analyzed the results of testing prepared and conducted during the quarantine period. As an object of study, a test on "Integration offunctions of one variable " was chosen, which students completely mastered remotely. The tests were created on the basis of the MOODLE platform at Igor Sikorsky Kyiv Polytechnic Institute, by proffessors of the Department of Mathematical Analysis and Probability Theory. Data processing is carried out using a system for test analysis, created by the authors in the programming environment R. The system allows you to process tests in different areas: pedagogy, psychology, sociology, etc., different in structure; use both CTT and IRT apparatus; work with large data sets; to analyze not only test questions, but also respondents; more accurately differentiate respondents. Based on the study, the possibility of conducting electronic testing remotely was confirmed. The technology used in the study can be used to create and analyze the tasks of external evaluation, conducting session control during quarantine. The use of the methods studied in the work for the analysis of test tasks will increase the competence of high school teachers to conduct electronic remote testing.
Keywords: IRT, Rasch model, polytomic model; multiple choice, R programming environment; mirt package and ltm package.
DOI: 10.34121/1028-9763-2020-2-105-116
1. Вступ
У перюд тимчасового загального переходу вищо! школи на дистанцшне навчання е над-звичайно актуальним питання щодо оргашзаци дистанцшного навчання i, як його складо-во'1, проведения дистанцшного контролю знань студенев.
Головна проблема - це оргашзащя в умовах дистанцшного навчання процесу контролю знань. Забезпечення контролю потребуе створення тако'1 бази тестових завдань, яка б дозволяла проводити сам процес тестування та забезпечувала об'ектившсть, надшшсть i валщшсть контролю.
Саме тому виникла необхщшсть створювати i модершзувати тести, яю можливо проводити дистанцшно при мшмальному контролi з боку викладача, i так, щоб ix результата вщповщали реальним знанням i навичкам студенпв.
Адже проблема адекватного дистанцшного тестування виникла не тшьки у вищш штш, але й при проведенш ЗНО. I, якщо буде побудовано ефективну методику створення й аналiзу тестування, це дасть можливють перейти на дистанцшш методи оцшювання знань.
2. Постановка проблеми i аналп актуальних публжацш
В «КП1 iменi 1горя Сшорського» неодноразово проводилось комп'ютерне тестування сту-денпв iз рiзних роздшв вищоi математики. Але рашше таке тестування проводилось тд наглядом викладачiв.
Очевидно, що за умов вщсутносп контролю з боку викладача виникають таю новi фактори впливу на об'ектившсть контролю знань:
1. 1дентифшащя юпитника.
2. Використання онлайн-ресурав для розв'язання задач iз математики.
3. Допомога «консультанпв».
Адже icHye безлiч онлайн-pecypciB для розв'язання задач i3 математики. Як вiдомо, бiльшicть таких ресурав використовуеться студентами саме для розв'язування задач за темою «1нтеграли».
Отже, перед викладачем постае проблема створення такого тесту, який би забезпе-
чував:
1. Змютовну валщшсть.
2. Надшшсть.
3. Вщсутшсть розв'язюв тестових завдань в штернеть
4. Жорстю обмеження в чаci.
5. Високу розрiзняльнy cпроможнicть в умовах обмежень у чаа.
6. Рiвномiрнy cкладнicть питань.
7. Неможливicть угадування вщповщь
Звичайно, все це потребуе ретельного аналiзy резyльтатiв тестування, що неможли-во без вiдповiдного шструментарш, для чого було обрано статистичний апарат КТТ (кла-сично'1 теорп теcтiв) та IRT (Item Response Theory) i вщповщну програмну реалiзацiю в cередовищi програмування R.
Дослщження якоcтi теcтiв просуваеться у двох основних напрямах: аналiз результа-тсв тестування методами КТТ ([1, 2] та ш.) i застосування методiв сучасно'' теори теcтiв IRT ([2, 3-9] та ш). Питання сумюного застосування методiв класично'' й сучасно'1 теорiй теcтiв для аналiзy результат тестування з вищо'1 математики розглянуто в робот [10].
Питання якосп теcтiв виникае не тiльки в педагопш, але й у психологи, сощологл. Наприклад, для аналiзy якосп пcихологiчних опитyвальникiв у роботах [11-13] було вико-ристано не тшьки КТТ, але i IRT, що дозволило виявити недолiки при проведенш тесту-вання.
У [10, 14, 15] зроблено аналiз якосп теспв iз вищо'1 математики, якi проводились для студенпв технiчних факyльтетiв «КП1 iм. I. Сiкорcького». У [16] докладно описано конструювання теcтiв iз фiзики з використанням моделей IRT.
Вплив рiзних видiв тестових завдань на статистичш характеристики тесту досль джували в [17]. У [18] Карданова Е.Ю. довела можливють використовувати полiтомiчнy модель Раша в задачах на вщповщшсть, використавши методи IRT для опрацювання ре-зyльтатiв СДТ
Метою cmammi е демонстрашя ефективноcтi статистичних методiв КТТ та IRT, програмно реалiзованих засобами R, для аналiзy якоcтi тестових завдань iз вищо'1 математики в умовах дистанцшного навчання.
3. Теоретичш основи
В основу аналiзy якоcтi теcтiв було покладено методи КТТ та IRT. Серед показниюв КТТ було ввдбрано:
1. Надiйнicть.
2. Змicтовна валщшсть.
3. Аналiз розподiлy вибiрки первинних балiв.
Центральне мicце придiлено застосуванню методiв IRT, а саме, моделям, в основу яких покладено ймовiрнicний зв'язок мiж латентними параметрами юпитниюв i тестових завдань. Незважаючи на рiзноманiття моделей IRT, було ввдбрано оcновнi базовi i такi, яю е найбiльш перевiреними. Особливу увагу придшено моделi Мyракi для полiтомiчних за-вдань.
Будемо використовувати в уах моделях такi позначення:
• n - кiлькicть icпитникiв;
• m - кiлькicть завдань у тесп.
Модель Раша [3]. Застосовуеться для завдань дихотом1чного типу (завдань, в яких тшьки два вар1анти вщповвд: правильний або неправильний). В [19] вщм1чено, що цю модель можна використовувати в питаннях вщкритого типу.
Модель описуеться такими параметрами:
• складшстю питання тесту — а], ! = 1, т;
• пщготовлешстю юпитника — , 1 = 1, п.
1мов1ршсть правильно! вщповвд 1 -го юпитника на ! -те питання тесту визначаеться за формулою
Р =-1-, 1 = 1, п, ! = 1, т.
1 1 + еа -г' , , , 1 ,
Модель Раша виправлена [2], [8]. В Росп й Укра!ш бшьше використовують саме цю модель, називаючи !! моделлю Раша. В1др1зняеться вщ попередньо! модел1 тшьки множни-ком показника степеня модель
1мов1ршсть правильно! вщповвд 1 -го юпитника на , -те питання тесту визначаеться за формулою
Р =-г^-г, 1 = 1, п, ! = 1, т.
у 2 + е1102(а1 -ч)' ' ' '
Модель Бгрнбаума [6]. Узагальненням модел1 Раша можна вважати модель Б1рнбау-ма, в якш додатково вводиться параметр розр1зняльно! спроможносп. Параметрами модел1 будуть:
• ^, ! = 1, т - розр1зняльна спроможшсть завдання;
• , 1 = 1, п - тдготовлешсть 1 -го юпитника;
• а., 1 = 1, т - складшсть питання тесту.
1мов1ршсть правильно! вщповвд 1 -го юпитника на ! -те питання тесту визначаеться
так:
Р, =-1-г, 1 = 1, п, 1 = 1, т.
! 1 + е^ а), , , 1 ,
3-РЬ модель [6]. Ця модель теж використовуеться для завдань дихотом1чного типу. Але в нш вводиться додатковий параметр - 1мов1ршсть угадування правильно! вщповвд.
Модель характеризуеться такими латентними параметрами:
• ^,! = 1, т - розр1зняльна спроможшсть завдання;
• , 1 = 1, п - тдготовлешсть 1 -го юпитника;
• а.,! = 1, т - складшсть питання тесту;
• у.,! = 1, т - 1мов1ршсть угадування правильно! вщповвд ! -го питання.
Р, =У, + (1 -у,)
1
1 + е'°! (1-а!)
, 1 = 1, п,! = 1, т.
Модель Муракг [4]. Особливу увагу придшено модел1 для пол1том1чних завдань. У цш модел1 вдалось врахувати можливють задавати вщ'емш штрафш бали за неправильш вщповвд. I! визначають такими параметрами:
• Б - константа, р1вна 1,7;
• а! - розр1зняльна здатшсть питання тесту;
• aJk, j = 1, m, к = 0, m . - параметри складностi к -го рiвня j -го завдання;
• z, i = 1, n - тдготовлешсть i -го юпитника;
• mj - кшьюсть piBHiB завдання.
У полiтомiчнiй моделi ймовipнiсть досягнення i -м юпитником к -го piвня j -ого питания визначасться за формулою
к
XDaj ( Zi ~ajs )
es=0 _ _ _
р}к = т , i = 1, n, j = 1, m, к = 1, m .
m X Daj (Zi ~ajs ) j
X es=0 к=0
4. Результата дослщження
З метою MpeBiprn pезультатiв тестування було проведено тест iз вищо'1 математики за темою «1нтегрування функцш одше'1" змшно'1'». Тест було проведено в кшщ березня 2020 року для 253 студенпв технiчних спещальностей КП1 iм. 1горя Сiкоpського. Важливою особли-вiстю е те, що вивчення тако'1' теми студентами припало на перюд карантину, а, отже, й вивчення вщбувалося засобами дистанцшного навчання. Студенти одержали електpоннi матеpiали, доступ до дистанцiйних куpсiв за вщповщною темою, а лекцiйнi i пpактичнi заняття проводились в ZOOM, з консультащями в TELEGRAM , VIBER, YUOTUBE.
Тестова контрольна робота складалася з 10 тестових питань piзних титв: множин-ного вибору з одшею правильною вiдповiддю; множинного вибору з декшькома правиль-ними вщповщями, завдань вiдкpитого типу. Тестування було проведено для вах студенев одночасно; коридор доступу до тесту - 2 год; час виконання завдань - 1,5 год; максимальна оцiнка - 10 балiв.
Для аналiзу pезультатiв тестування було використано систему для аналiзу тестових завдань на базi пакетiв mirt, ltm мови програмування R [20].
1. Було сформовано EXCEL-таблицю у вигляд^ зручному для опрацювання засоба-
ми R.
2. Розподш частот балiв наведено у табл. 1. Пстограма розподшу частот за балами зображена на рис. 1.
Таблиця 1 - Розподш частот балiв тестування
бал [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10]
частота 0 3 5 14 20 31 45 51 53 31
3. Мода частот розподшу первин-них балiв дорiвнюe 8, середня дорiвнюe 7,03. Розподiл е ушмодальним, i значен-ня моди близьке до середнього. Ппотезу про нормальнють розподiлу балiв було пiдтверджено критерiем Колмогорова-Смирнова (p-value=0,087>0,05). Отже, тест не потребуе корекцп.
4. Коефщент надiйностi Кронбаха а = 0,7103 > 0,7. Таке значення коефще-нта свiдчить про достатньо високу на-
пето грама 6ал1в
2 А 6 8 10
Бали
Рисунок 1 - Пстограма частот
дшшсть тесту [17].
5. Питання змютовно! валщносп тесту вирiшувалось використанням теспв зi створено! ранiше бази тестових завдань, розроблених експертами, i змiст яких повнiстю вщпо-вщав учбовим програмам.
Наведемо результати аналiзу тесту за допомогою моделей ГОГ.
Слiд зазначити, що питання iз множинним вибором iз декiлькома правильними вщ-повiдями виключали можливiсть використання моделi Су-Болта [8] для теспв множинного вибору, оскiльки варiанти вщповщей перемiшувалися i вводилася система штрафних балiв за неправильний варiант вщповвд. Але введення шкали градацп для балiв, одержаних для таких титв завдань, дозволило використати для цих питань полiтомiчну модель Муракi.
Отже, в нашому тестi для двох питань було застосовано полiтомiчну модель Мураю i для 8-ми завдань застосовувались дихотомiчнi моделi (модель Раша, виправлена модель Раша, модель Бiрнбаума, 3-PL модель).
Було проведено таю процедури аналiзу результатiв тесту:
1. Для перевiрки адекватностi розглянутих моделей застосовано критерш %% [11]. Вш пiдтвердив адекватнiсть моделi Муракi для полiтомiчних завдань. Дихотомiчнi завдан-ня дослщжуваного тесту адекватно описували модель Раша i виправлена модель Раша (з
• 2
коефщентом 1,702). Але критерш % дозволив вiдхилити ппотезу про адекватнiсть моделей Бiрнбаума i 3-PL для даного тесту.
аблиця 2 - Параметр угадування для дихотомiчних завдань
К У2 Уз У4 Уз Уб У7 У8
2,7 -10~8 0,15 2,1 -106 0,004 0,0001 0,0001 0,00006 0,4
У табл. 2 наведено параметр, який вщповщае за ймовiрнiсть угадування у 3-PL мо-делi. Як видно з табл. 2, для вах дихотомiчних завдань, крiм останнього, ймовiрнiсть угадування доволi низька. Це i пояснюе, чому недоцiльно для такого тесту використовувати 3-PL модель.
2. Були побудоваш графiки шформацшних функцiй для полiтомiчних (рис. 2a) i ди-хотомiчних (рис. 2б) тестових завдань. 1з графiка шформацшно! функцп (рис. 2a) можна зробити висновок, що завдання полiтомiчного типу е найбiльш iнформативними для юпит-никiв вiд -2 до 1,5 лопта. Форма шформацшно! криво! доводить, що полiтомiчнi завдання тесту були складеш коректно. З форми шформацшно! криво! тесту, яка мае дзвоноподiбну форму (рис. 2б), видно, що дихотомiчна частина тесту також була складена коректно.
Test Information
2.5 -2.0 "
в 16 ~ 1.0 -
О.Е "
0.0 -
-5 4 -2 0 2 4 В
9
. 'исунок 2я - Тнформацшна крива пол1том1чно! частини тесту
Рисунок 2б - 1нформацшна крива дихотом1чио! частини тесту
3. Було побудовано ансамблi характеристичних кривих. З форм характеристичних кривих (рис. 3) першого полiтомiчного завдання видно, що 2-й, 6-й, 8-й рiвнi не спрацьо-вують. Перше питання було завданням множинного вибору iз трьома правильними i двома неправильними вiдповiдями зi штрафними балами. Неспрацьовування саме цих рiвнiв мо-жна пояснити тим, що один варiант вiдповiдi знали вс (а це було завдання на знання таб-личних iнтегралiв), а один дистрактор був дуже схожий на правильну вщповщь, його виб-рала бiльшiсть, за що й понизила сво1 бали. Отже, потрiбно переформулювати два варiанти вщповвд у першому питаннi. У другому питанш тiльки один варiант вщповвд був надто легким. Його також потрiбно переформулювати так, щоб вш був менше схожий на таблич-ний iнтеграл.
Рисунок 3 - Характеристичш крив1 р1вшв
4. Проаналiзуемо дихотомiчну частину тесту. З рис. 4 видно, що характеристичш кривi вах завдань рiвномiрно покривають область вщ -4 до 4 логтв. Отже, завдання скла-денi вдало. Чим вище рiвень знань юпитника, тим вище ймовiрнiсть вiдповiсти на питання тесту. Найпроспшим е 6-е i 7-е питання, а найтяжчим - 4-е завдання. 1спитники з рiвнем пiдготовленостi вище 2 логтв iз ймовiрнiстю, близькою до 1-1, зможуть вiдповiсти на всi дихотомiчнi завдання тесту.
Рисунок 4 - Характеристичш Kp™i завдань (модель Раша)
З вигляду шформацшних кривих для моделi Раша (рис. 5), видно, що найлегшими виявились 6-е i 7-е завдання.
Рисунок 5 - 1нформацшш кpивi завдань (модель Раша)
На рис. 6 i 7 вщображеш характеристичш та шформацшш завдань для випра-влено'1 моделi Раша. Вони вщображають результати, аналогiчнi до звичайно'1 моделi Раша.
Рисунок 6 - Характеристичш крив завдань (виправлена модель Раша)
Рисунок 7 - 1нформацшш крив1 (виправлена модель Раша)
За кpитеpiем %2 ми вiдкинули можливiсть використання саме для цього тесту мо-делi Бipнбаума, але буде цiкавим пpоаналiзувати хаpактеpистичнi кpивi завдань.
З рис. 8 видно, що завдання 6 i 7 мають найпршу pозpiзняльну здатнiсть. Цi завдан-ня виявились найлегшими для студентiв.
Рисунок 8 - Характеристичш крив1 завдань (модель Б1рнбаума)
У завданнях 6 i 7 потpiбно було обчислити визначеш iнтегpали i, дiйсно, саме для цього роздшу можна використати Wolfram Alpha або його онлайн-версп. На рис. 9, 10 наведено приклади цих завдань. Отже, завдання 6 i 7 потpiбно змшити так, щоб студенти не могли користуватися програмним забезпеченням, а могли покладатися лише на сво'1' знан-ня.
Рисунок 9 - Завдання 6
Рисунок 10 - Завдання 7
Для аналiзу результапв тестування використовувались функци пакепв mirt, ltm мови програмування R [20]. Наведемо частину коду програми. x<-b1[,1] table(x)
hist(x,breaks = 10, prob=T, col= "blue", xlab-'Бали", ylab="Вiдноснa часто-тa",main="Гiстогрaмa бaлiв") b2<-b1[,c(1,3)] b3<-b1[,c(2,4:10)]
f1 <- rasch(b3, constraint = cbind(ncol(b3) + 1, 1)) f2 <- rasch(b3, constraint = cbind(ncol(b3) + 1, 1.702)) gpcm13<- mirt(b2,1,"gpcm") coef(gpcm13) GoF.rasch(f1,B=199) coef(f1)
plot(f2,type = "IIC",labels=c(2,4:10)) coef(f2)
GoF.rasch(f2,B=199) f3<-ltm(b2~z1)
plot(f3,type = "IIC",labels=c(2,4:10))
coef(f3)
f4<-tpm(b3)
plot(f4,type = "IIC",labels=c(2,4:10)) coef(f4)
5. Висновки
1. У дослiдженнi було використано методи КТТ та IRT. Програмна реaлiзaцiя зроблена в середовищi програмування R.
2. Стaтистичнi характеристики, визначеш за методами КТТ, вщповщають правильно скла-деним тестам.
3. Анaлiз за методами IRT також показав непогаш характеристики тесту у цiлому та окре-мих тестових завдань. Але й виявив певш недолiки. А саме:
а) модель 3-PL виявилась неадекватною за критерieм % ;
б) у тш же моделi виявились низькими параметри ймовiрностi угадування;
в) ряд тестових питань виявився занадто легким або продемонстрував низьку розрь зняльну спроможшсть;
г) деяю дистрактори у полiтомiчних завданнях неправильно сформульоваш.
Основний висновок, який можна зробити на пiдставi цих зауважень, полягае у тому, що питання повинш бути складеш так, щоб ix початкове формулювання не дозволяло ви-користання онлайн-сеpвiсiв; потpiбно встановлювати жорстке обмеження часу для змен-шення онлайн-спшкування iспитникiв; ряд завдань просто потребують переформулюван-ня.
Отже, методи КТТ та IRT е надiйним, ефективним апаратом конструювання та ана-лiзу тестiв навiть в умовах дистанцшного навчання i мають непогану перспективу при створенш тестових завдань i обpобцi pезультатiв ЗНО, а також дистанцшного контролю знань студенпв i учнiв.
СПИСОК ДЖЕРЕЛ
1. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. Belmont, CA: Wadsworth, 2006. 527 p.
2. Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002. 432 с.
3. Rasch G. Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute for Educational Research. 1960.
4. Muraki E., Carlson E.B. Full-information factor analysis for polytomous item responses. Applied Psychological Measurement. 1995. Vol. 19, N 1. P. 73-90.
5. Suh Y., Bolt D. Nested logit models for multiple-choice item response data. Psychometrika. 2010. Vol. 75. P. 454-473.
6. Linden W., Hambleton R. Handbook of modern item response theory. New York: Springer, 2018. 512 p.
7. Baker F. The Basics of Item Response Theory. College Park, MD: ERIC Clearinghouse on Assessment and Evaluation, 2001. URL: http://echo.edres.org:8080/irt/baker/ (Last accessed: 24.04.2020).
8. Люова Т.В. Модел1 та методи сучасноi теорп теспв. №жин: Видавець IIII Лисенко М.М., 2012. 112 с.
9. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования параметризации педагогических тестов. М.: Прометей, 2000. 168 с.
10. Диховичний О.О., Дудко А.Ф. Комплексна методика анал1зу якост тест1в з вищоi математики», Науковий часопис НПУ iMeHi М.П. Драгоманова. Сер1я 2: Комп'ютерно-ор1ентоваш системи навчання. 2015. № 15. С. 139-144.
11. Dykovychnyi O., Zlyvkov V., Kruglova N., Lukomska S., Kotukh O. Using the multidimensional models to the teacher authenticity scale adaptation. Actual Problems of Psychology. 2018. Vol. 14, N 1. P.137-146.
12. Dykhovychnyi O.O., Kruglova N.V., Moskalov I.O. Using of mathematical models for analyzing of the results in psychological Guilford test. Mathematics in Modern Technical University. 2018. Vol. 1. P. 75-89.
13. Dykovychnyi O., Zlyvkov V., Kruglova N., Lukomska S., Kotukh O. Authenticity of the english language teacher's: the validation of authenticity questionnaire using item response theory. Science progress in European countries: new concepts and modern solutions. 2019. P. 335-347.
14. Алексеева 1.В., Гайдей В.О., Диховичний О.О., Коновалова Н.Р., Федорова Л.Б. Застосування сучасних математичних моделей педагопчного тестування у формуванш та анатз1 тестових завдань комплекту «Вища математика». Дидактика математики: проблеми i до^дження: мiжна-родний 36ipHrn наукових робт. Донецьк: Вид-во ДонНТУ, 2010. Вип. 33. С. 50-56.
15. Алексеева 1.В., Гайдей. В.О., Диховичний О.О, Коновалова Н.Р., Федорова Л.Б.Застосування математичних моделей теспв у комплект дистанцшно1' освгги «Вища математика». Математичт машини i системи. 2010. № 4. С. 89-98.
16. Ким В.С. Разработка тестов по физике: учеб. пособ. Владивосток: Дальневосточный федеральный университет, 2015. 228 с.
17. Дятлова К.Д., Михалева Т.Г. Исследование влияния разнообразия форм тестовых заданий на статистические характеристики теста. Вопросы тестирования в образовании. 2006. № 4. С. 65-75.
18. Карданова Е.Ю. О применимости полигамической модели Г. Раша к тестовым заданиям разли-
чных форм, оцениваемым политомически. Вопросы тестирования в образовании. 2006. № 4. С. 4456.
19. Карпова И.П. Сравнение открытых и выборочных тестов. Открытое образование. 2010. № 3. С.32-38.
20. URL: http://cran.us.r-project.org.
Стаття над1йшла до редакцп 12.05.2020
