CC BY
111
УДК 378.14:004.738.5
П.І. ФЕДОРУК, С.М. МАСЛОВСЬКИЙ
МОДЕЛЬ АДАПТИВНОГО ТЕСТУВАННЯ З НЕЧІТКОЮ ЛОГІКОЮ
Abstract: There is considered the model of adaptive of testing that is using device of fuzzy logic. There is offered description of the fuzzy characteristics of test tasks and functions of definition of a support level on 12-ball scale. The algorithm of testing with an opportunity of flexible adjustment by the teacher-expert is constructed on the basis of the given description.
Key words: system of distance learning, adaptive process.
Анотація: Розглядається адаптивна модель тестування, що використовує апарат нечіткої логіки. Пропонується опис нечітких характеристик тестових завдань і функцій визначення рівня підготовки за 12-бальною шкалою. На основі даного опису будується алгоритм тестування з можливістю гнучкого настроювання викладачем-експертом.
Ключові слова: система дистанційного навчання, адаптивний процес.
Аннотация: Рассматривается адаптивная модель тестирования, использующая аппарат нечеткой логики. Предлагается описание нечетких характеристик тестовых заданий и функций определения уровня подготовки по 12-балльной шкале. На основании данного описания строится алгоритм тестирования с возможностью гибкой настройки преподавателем-экспертом.
Ключевые слова: система дистанционного образования, адаптивный процесс.
1. Вступ
Перехід людства до інформаційного суспільства, до суспільства знань вимагає змін у всіх формах людської життєдіяльності, і особливо це стосується сфери освіти. Необхідна зміна методів і форм проведення освітньої діяльності, зміна педагогічної парадигми, застосування сучасних інформаційно-комунікативних технологій. Особливе значення в цих умовах починають відігравати системи дистанційного навчання та контролю знань. Важливим аспектом функціонування таких систем є оцінювання рівня знань тих, хто навчається. Найбільш прогресивною на даний момент вважається адаптивна модель тестування, у якій складність завдань змінюється в залежності від правильності попередніх відповідей. Зараз у світі відомими є три варіанти адаптивного тестування [1]. Перший називається пірамідальним тестуванням. При відсутності попередніх оцінок всім дається завдання середньої складності і вже потім, у залежності від відповіді, кожному дається завдання легше чи важче; на кожному кроці корисно використовувати правило розподілу шкали складності навпіл. Другий варіант - flexilevel-контроль починається з рівня складності, який обирає саме той, хто проходить тестування, з поступовим наближенням до реального рівня знань. Третій варіант - stradaptive (від англ. stratified adaptive), коли тестування проводиться за допомогою банку завдань, розділених за рівнями складності. При правильній відповіді наступне завдання береться з верхнього рівня, при неправильному - з нижнього.
Таким чином, адаптивний тест являє собою варіант автоматизованої системи тестування з заздалегідь відомими параметрами складності і здатністю кожного завдання, що диференціює знання. Ця система створена у вигляді комп'ютерного банку завдань, упорядкованих відповідно до певних характеристик завдань.
У даній статті наведена адаптивна модель тестування, що використовує апарат нечіткої логіки. Використання нечіткої логіки в тестовому контролі знань може допомогти як викладачам, що розробляють тести, так і людям, що проходять тестовий контроль.
© Федорук П.І., Масловський С.М., 2009
ISSN 1028-9763. Математичні машини і системи, 2009, № 1
Для викладачів введення нечітких характеристик може допомогти в розробці завдання і створенні з них готових тестів. Наприклад, викладач може достатньо швидко визначити, є завдання складним чи ні. Але сказати точно, наскільки воно є складним за 100-бальною шкалою або оцінити різницю складності двох завдань, буде достатньо складним завданням. До того ж викладач навряд чи зможе оцінити два завдання, приблизно однакових за складністю, скажімо, в 60 і 62 бали, скоріш за все він дасть цим завданням однакову складність в 60 балів. Теж саме можна сказати і про час, що відводиться на проходження тестового контролю.
З точки зору людини, що навчається, нечітка оцінка його знань у вигляді «відмінно», «дуже добре», «добре», «задовільно» і «незадовільно» є більш зрозумілою йому, ніж чітка кількість балів, яку він набрав в результаті тестування. При роботі з студентами вузу, де модулі проводились у вигляді тестування, після отримання протоколу проходження тестування з результатами першим питанням було, наскільки добре він пройшов тестування. Із цього можна зробити висновок, що чітка оцінка його знань є менш задовільною, ніж нечітка, що підготовлена співробітником центру дистанційного навчання та контролю знань. Таким чином, використання методів нечіткої логіки дозволяє більш якісно описувати характеристики як окремих тестових завдань, так і тестів в цілому, а також більш якісно інтерпретувати результати тестування.
2. Процедура тестування Шкала результатів
Для шкали оцінювання пропонується 12-бальна шкала, оскільки вона в достатній мірі дозволяє описати нечітке оцінювання. Пропонується відповідність процента правильних відповідей і оцінки за 12- та 5-бальною шкалами (табл. 1).
Таблиця 1. Оцінки за 12- та 5-бальною шкалами
Процент правильних Оцінка за Оцінка за Оцінка
відповідей 12-бальною шкалою 5-бальною шкалою
0-10 1 2 Знання відсутні
10-20 2 2 Незадовільно
20-30 3 2 Майже незадовільно
30-40 4 3- Майже задовільно
40-50 5 3 Задовільно
50-60 6 3+ Більш, ніж задовільно
60-70 7 4- Майже добре
70-80 8 4 Добре
80-85 9 4+ Більш, ніж добре
85-90 10 5- Майже відмінно
90-95 11 5 Відмінно
95-100 12 5+ Більш, ніж відмінно
Характеристики тестових завдань і результатів тестування
Будемо використовувати такі характеристики тестових завдань:
• форма завдань;
• варіанти відповідей;
• ступінь правильності кожного варіанта відповіді;
• складність завдання;
• затрачений час.
Форма завдання
Існують сім типів тестових завдань:
1) питання в закритій формі;
2) множинний вибір;
3) альтернативний;
4) коротка відповідь;
5) числовий;
6) калькуляція;
7) відповідність.
Варіанти відповідей
Вказуються для завдань з вибіркою, завдань на встановлення відповідностей і завдань на встановлення правильної послідовності.
Ступінь правильності кожного варіанта відповіді Може бути встановленим одним із трьох способів.
1) правильно або неправильно (1 або 0);
2) кількість балів, що отримується за вибором даного варіанта. Може приймати значення як цілого, так і дробового числа;
3) з використанням нечіткої логіки.
Складність завдання
Дану характеристику можна задавати двома способами:
1) визначена кількісна оцінка у вигляді деякої кількості балів або відсотків;
2) з використанням нечіткої логіки.
Тестування проводиться за методом «питання-відповідь», коли людині, що тестується, послідовно пропонуються тестові завдання, а він, у свою чергу, повинен відповісти на них. Після відповіді на кожне завдання відбувається оцінка правильності відповіді. Після проходження тестування виставляється оцінка знань за 12-бальною шкалою, яку також можна розглядати як нечітку.
3. Алгоритм адаптивного тестування
Розглянемо алгоритм тестування.
Тестування починається з пропозиції вибору варіанта тестування:
1) студент за власним бажанням обирає стартовий рівень складності завдань;
2) система автоматично встановлює початковий рівень знань за виконання кількох завдань (від 5 до 10), які не впливають на загальну оцінку;
3) тестування розпочинається з середнього рівня складності завдань.
При правильній відповіді збільшується кількість правильних відповідей. Після чого обраховується процент правильних відповідей і змінюється складність тестових завдань. Наступним кроком обраховується новий рівень підготовки (8І) як функція від поточного рівня підготовки ($), проценту
правильних відповідей, рівня складності та часу, затраченого на відповідь на питання.
Обраховується Оі = 0(£і).
Таким чином, отримуємо процедуру адаптивного тестування (так як складність завдань змінюється в залежності від правильності відповідей), котра використовує апарат нечіткої математики (тому, що поняття рівня підготовки, правильності відповіді на питання, складність завдання та інш. є нечіткими).
Потрібно зауважити, що складність завдання і рівень підготовки є незалежними і змінюються незалежно один від одного.
4. Процедура зміни складності завдання
Складність завдань зменшується, якщо:
1) складність вища за «дуже легко» (тобто її можна зменшити);
2) відповідь на питання є невірною;
3) кількість правильних відповідей однієї вагової категорії складності менша 33% і пройдено більше третини питань від критичної кількості;
4) добуток усередненого проміжку часу, використаного для відповідей на питання певної вагової категорії, на кількість питань, що залишились на проходження тесту, є більшим двох третин проміжку часу, що залишився на проходження тесту.
Складність питань збільшується, якщо:
1) складність нижча «дуже складно» (тобто її можна збільшити);
2) відповідь на питання є вірною;
3) кількість правильних відповідей однієї вагової категорії складності більша 66% від критичної кількості;
4) добуток усередненого проміжку часу, використаного для відповідей на питання певної вагової категорії, на кількість питань, що залишились на проходження тесту, є меншим третини проміжку часу, що залишився на проходження тесту.
5. Процедура обрахування нового рівня підготовки £
Рівень підготовки залежить від таких параметрів:
1) поточний рівень підготовки - £ ;
2) відсоток правильних відповідей - р ;
3) складність завдання - Т;
4) час відповіді на завдання - і.
Всі вищезазначені параметри є нечіткими.
Таким чином, £ = /(£, р, Т, і), що впливають таким чином:
1) чим вищий процент правильних відповідей, тим вищий рівень підготовки;
2) чим вища складність завдань, тим вищий рівень підготовки;
3) чим більший час відповіді на запитання, тим нижчий рівень підготовки.
Контроль часу відповіді на запитання введений для усунення можливостей несамостійної відповіді на питання: пошук правильної відповіді в підручнику - оцінка все одно буде низькою, навіть при правильних відповідях. З іншого боку, якщо людина не користувалась підказками, а просто довго розмірковувала, це засвідчує недостатній рівень підготовки з його боку - оцінка буде знижена. Однак для проходження тестового контролю потрібно вибрати оптимальний час тестування, щоб людина мала час прочитати питання та варіанти відповідей, обдумати та вибрати правильну відповідь ітах .
Врахування часу відповіді може відбуватись таким чином.
Результат відповіді на і -те завдання:
Я
1 -І
відп Ітах у
100 , якщо відповідь правильна,
, якщо відповідь неправильна.
0
Якщо Я > 1, то Я = 1.
Якщо Я < 0, то Яі = 0,
де івгдп - час відповіді на завдання;
ітах - час, протягом якого зменшення оцінки не відбувається.
Параметр ітах може бути заданий як константа для всіх завдань тесту або обраховуватись в залежності від складності завдань, тобто Ґтлх = /(Ті) тому, що логічним буде на важке завдання
виділити більше часу, ніж на завдання меншої складності. Інша можлива залежність параметра ітах
- від індивідуальних можливостей.
Розглянемо вплив кожного параметра на значення функції.
Табл. 2-4 описують нечіткі правила виводу, на основі яких будується означення нового рівня підготовки.
Нечіткі множини, що описують наведені вище нечіткі характеристики, можна задати таким чином. Для зручності представлення будемо зображувати дані у вигляді таблиць.
Таблиця 2. Вплив відсотків правильних відповідей р
Відсоток правильних відповідей Вплив на функцію
Дуже маленький Сильно зменшити
Маленький Зменшити
Середній Не змінювати
Вище середнього Збільшити
Великий Збільшити
Дуже великий Сильно збільшити
Таблиця 3. Вплив складності завдання Т
Складність Вплив на функцію
Дуже легке Не змінювати 8І
Легке Не змінювати 8І
Середнє Збільшити 8І
Вище середнього Збільшити 8І
Складне Сильно збільшити 8І
Дуже складне Сильно збільшити 8І
Таблиця 4. Вплив часу відповіді на завдання і
Час відповіді Вплив на функцію
Дуже маленький Збільшити 8І
Маленький Збільшити 8І
Середній Не змінювати 8І
Вище середнього Зменшити 8І
Великий Зменшити 8І
Дуже великий Сильно зменшити 8І
На основі даного опису нечітких множин і правил виводу можна побудувати діючу систему тестування. Значення функцій усіх нечітких множин можуть бути змінені експертом так, як він вважає за потрібне, що потягне за собою зміну правил, які використовують даний параметр. Це дозволяє гнучко налаштовувати систему тестування.
6. Висновок
Тестування - швидкий і ефективний спосіб контролю й оцінювання знань. Однак в останній час збільшення зацікавленості щодо тестування призвело до появи неякісних тестів, які можуть неправильно і необ'єктивно оцінювати рівень знань людей, що навчаються. Окрім правильної розробки тестових завдань, важлива й методика пред'явлення їх або модель педагогічного тестування. На сьогоднішній час все рідше використовуються старі класичні моделі, які не дають змоги достатньо швидко й ефективно оцінювати рівень знань. У зв'язку з цим розробляються і впроваджуються нові адаптивні моделі, в тому числі з використанням нечіткої логіки. Як показує практика, за такими моделями майбутнє і саме на них потрібно орієнтуватися при розробці тестових програм.
СПИСОК ЛІТЕРАТУРИ
1. Федорук П.І. Адаптивні тести: загальні положення // Математичні машини і системи. - 2008. - № 1. - С. 115 -127.
2. Аванесов В.С. Теория и методика педагогических измерений (материалы публикаций). - М.: Подготовлено ЦТ и МКО УГТУ-УПИ, 2005. - 98 с.
3. Васильев В.И. и др. Триадная сущность шкалы оценивания / В.И. Васильев, Т.Н. Тягунова, В.А. Хлебников // Дистанционное образование. - 2000. - № 6. - С. 19 - 25.
4. Глова В.И., Дуплик С.В. Модель педагогического тестирования обучаемых // Вестник Казан. гос. техн. ун-та им. А.Н. Туполева. - 2003. - № 2. - С. 74 - 79.
5. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризация педагогических тестов.
- М., 2000. - С. 134 - 152.
6. Попов Д.И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений // Дистанционное образование. - 2000. - № 6. - С. 26 - 28.
7. Тарасов В.А. Проектирование компьютерных тестов с открытыми ответами // Информатика и образование. -2003. - №1. - С. 72 - 76.
Стаття надійшла до редакції 23.06.2008
