CC BY
56
УДК 378.147
МОДУЛЬНО-РЕЙТИНГОВА СИСТЕМА ОЦІНКИ ЗНАНЬ СТУДЕНТІВ: ПРОБЛЕМИ ТЕСТУВАННЯ
Л.Л. Костіна, доцент, к.т.н., В.І. Нікітін, доцент, к.т.н.,
Ж.В. Саппа, ст. викл., В.О. Нестеренко, ст. викл., ХНАДУ
Анотація. Розглянуто питання складання та практичного використання тестів, розраховано вірогідності випадкового отримання правильних відповідей. Показано, що ймовірність випадкового вибору правильної відповіді низька тільки для складних завдань.
Ключові слова: тестування, ймовірність, математичне очікування, середнє квадратичне відхилення.
МОДУЛЬНО-РЕЙТИНГОВАЯ СИСТЕМА ОЦЕНКИ ЗНАНИЙ СТУДЕНТОВ: ПРОБЛЕМЫ ТЕСТИРОВАНИЯ
Л.Л. Костина, доцент, к.т.н., В.И. Никитин, доцент, к.т.н.,
Ж.В. Саппа, ст. преп., В.А. Нестеренко, ст. преп., ХНАДУ
Аннотация. Рассмотрены вопросы составления и практического применения тестов, рассчитаны вероятности случайного получения правильных ответов. Показано, что вероятность случайного выбора правильного ответа невысока только для сложных заданий.
Ключевые слова: тестирование, вероятность, математическое ожидание, среднее квадратичное отклонение.
MODULE-RATING SYSTEM OF STUDENTS KNOWLEGE EVALUATION: PROBLEMS OF TESTING
L. Kostina, Associate Professor, Candidate of Technical Science,
V. Nikitin, Associate Professor, Candidate of Technical Science,
Zh. Sappa, senior lecturer, V. Nesterenko, senior lecturer, KhNAHU
Abstract. The issues concerning tests compiling and their practical application are considered and the probabilities of occasional correct answers obtaining are calculated. It is shown that the probability of occasional correct answer choice is low only for complicated tasks.
Key words: testing, probability, mathematic expectation, average quadric deviation.
Вступ
Відомо, що поточний 2010 рік є роком повного втілення принципів Болонської декларації у систему освіти України [1]. Прийнята в нас модульно-рейтингова система оцінки знань студентів передбачає тестування, яке й досі викликає нарікання викладачів. Для подальшої роботи потрібно знайти вірний підхід до тестування.
Аналіз публікацій
Для досконалого оцінювання повноти і правильності знань студентів розроблено багато типів тестових завдань [1]: звичайні, з протиставленням, за типом відновлення складових відповіді та ін. Та оцінка залежить від умов опитування, кількості тестів і цінності відповіді, яку кожен викладач встановлює на свій розсуд. Інтуїтивно усвідомлюючи ці властивості тестів як варіантів інформаційного поля
із випадковим вибором його елементів, деякі викладачі намагаються ускладнити студенту правильний вибір, змінюючи кількість тестів та кількість варіантів відповідей на кожний з них, кількість вірних відповідей серед запропонованих і таке інше [2]. Та як свідчить досвід розробки та використання тестових завдань, це не дає очікуваних результатів, бо сама система тестування дозволяє отримати достатньо високий бал при довільно вибраних відповідях. Довести це положення можна за допомогою теорії вірогідності [3]. Тому процеси навчання із застосуванням модульно-рейтингового контролю (тестування) вимагають уточнення і доопрацювання.
Мета і постановка задачі
Метою даної роботи було розглянути деякі практичні питання здійснення тестування і запропонувати можливі способи його удосконалення.
Проблеми тестування та можливі шляхи їх вирішення
Деякі студенти при тестуванні вибирають будь-яку відповідь, навіть не намагаючись щось згадати. При цьому і для закритих тестів альтернативного вибору, з варіантами відповідей, і для відкритих тестів, із пропущеним смисловим елементом, який треба вибрати із запропонованих, і для інших сумарний бал за результатами тестування досить просто вираховується завдяки теорії вірогідностей.
Припустімо, для відповідей запропоновано 50 питань. З них:
а) 20 питань оцінюють по 1 балу; для 10 з них запропоновано 1 вірну відповідь з 4 можливих, а для 10 - 1 вірну з 3 можливих;
б) 25 питань оцінюють по 2 бали; для 10 з них запропоновано 1 вірну відповідь з 4 можливих, для 15 - 1 вірну відповідь з 3 можливих;
в) ще 5 питань оцінюють по 6 балів, для всіх запропоновано 1 вірну відповідь з 3 можливих.
Очікувану вірогідність випадкового вибору правильної відповіді розраховуємо згідно [3, 4]. Вважаємо, що математичне очікування вірогідності вибору правильної відповіді за групами тесту, що розподілені за біноміальним законом, складає:
M (X) = ^,
а середнє квадратичне відхилення
а(К) = т{^.
Тоді за пунктом а) для 10 тестових завдань, за наявності однієї вірної відповіді з 4 можливих
М(Хі) = 10 ■ 0,25 = 2,5; о(Х1) = 1,37.
Сумарна кількість одержаних балів у цьому випадку складає
п„і = 2,5 ± 1,37.
За наявності однієї вірної відповіді з 3 (для 10 тестових завдань)
М(Х2) = 10 ■ 0,33 = 3,3; о(Хг) = 1,49.
Сумарна кількість балів складе
^2 = 3,3 ± 1,49.
Таким чином, слідуючи законам теорії вірогідності, не знайомлячись детально з курсом, студент може одержати від 2,94 до 8,66 балів за даною групою тестових завдань.
За пунктом б) для випадку 10 тестових завдань за наявності однієї вірної відповіді з 4 одержуємо
М(Х3) = 10 ■ 0,25 = 2,5; о(Х,) = 1,37.
Сумарна кількість одержаних балів складає
П61 = 2 ■ (2,5 ± 1,37) = 5,0 ± 2,74.
За наявності однієї вірної відповіді з 3 оцінки складають відповідно
М(Х4) = 15 ■ 0,33 = 5,0; о(Х4) = 1,83
і
п62 = 2 ■ (5,0 ± 1,83) = 10,0 ± 3,66.
За пунктом в) для 5 питань з одною вірною відповіддю із 3 можливих
М(Х5) = 5 ■ 0,33 = 1,65; о(Х6) = 1,05.
Кількість балів
Пв = 6 ■ (1,65 ± 1,05) = 10,0 ± 6,3.
Загальне середнє квадратичне відхилення за сукупністю тестових завдань, з урахуванням ваги правильної відповіді, дорівнює
) =д/ 1-о2(X1) +1-ст2(X2) + 4•а2( X,) +
-ь] 4-а2(X4) + 36а2(X5) = 8,04.
Тоді число балів за тестом буде дорівнювати
п = 5,8 + 15,0 + 10,0 ± 8,04 = 30,8 ± 8,04,
або найменше 22,76; найбільше 38,84.
До суттєвого збільшення числа балів приводить зменшення кількості варіантів відповідей або збільшення кількості правильних відповідей серед запропонованих. Так, за зменшення кількості запропонованих варіантів відповідей з 3 та 4 до 2 та 3 відповідно кількість «випадково» набраних балів складе
п = 44,9 ± 8,59,
тобто від 36,1 до 53,49.
За наявності 2 вірних відповідей з 4-х та 3-х відповідно маємо
п = 61,8 ± 8,22,
або найменше 53,58; найбільше 70,02, а за наявності 2-х правильних відповідей з 3-х можливих і 3-х - із 4-х можливих, відповідно
п = 69,3 ± 7,76,
або від 61,54 до 77,06 балів сумарної оцінки.
Тобто збільшення кількості можливих відповідей, особливо збільшення кількості вірних відповідей в різних формуліровках, не допомагає перевіряти наявність знань і розуміння, а тільки збільшує ймовірність випадкового отримання достатньо високих балів.
Для засвоєння визначень процесів і явищ на кафедрі ТМ та М в тести включають питання високої складності, де потрібно розставити правильно слова із запропонованого набору для утворення визначення якогось поняття. При цьому серед запропонованих слів немає зайвих; виключено можливість відсутності потрібного слова. Тобто з 9-22 слів потрібно скласти визначення предмету або явища. На наш погляд, це таки заставляє студента зами-
слитись. Припустімо, що кількість слів 14, з них 2 - назва потрібного явища. Вірогідність вибору вірної відповіді знаходимо як добуток вірогідності послідовного вибору спочатку одного слова тих 12, що залишилися, потім - 1 з 11, і далі, тобто
P = — = 2,088-10-9.
12!
Якщо визначення складається з 3 словосполучень, які без втрати змісту визначення можна міняти місцями, і розмір кожного - 3, 4 і 5 слів, то ймовірність правильної відповіді визначається як ймовірність правильної розстановки цих груп та правильної розстановки слів у кожній групі, тобто
P = — • — • — = 5,79-10-5.
3! 4! 5!
В цьому випадку оцінка, отримана в результаті тестування, визначається розумінням студента. Та такі питання вимагають набагато більше часу.
Таким чином, результати тестування залежать від типу, складності тесту та вірогідності вгадування вірної відповіді, яка для більшості тестових завдань занадто висока. Збільшення складності тестів не є оптимальним заходом. На наш погляд, треба ще й дещо змінити підхід до тестування. Тести не повинні оцінювати знання чи розуміння студента, бо і знання, і розуміння змінюються навіть протягом семестру. Тести повинні стати ще однією сходинкою на шляху вчорашнього учня, сьогоднішнього студента і завтрашнього спеціаліста для переходу до самостійного навчання. Вони повинні показувати, чого студент не знає, і бути поштовхом для подальшого навчання. Тому їх потрібно декілька на курс (залежно від розміру курсу), і результат їх треба сприймати не як «знає на 62 бали», а як «знає» чи «треба ще працювати».
Висновки
Для простих тестів є дуже великою ймовірність випадкового отримання правильної відповіді. Намагання ускладнити їх збільшенням кількості запропонованих, особливо кількості правильних, відповідей, або збільшенням кількості питань тільки збільшують ймовірність випадкового отримання високих балів. Практично виключена можливість ви-
падкового отримання правильних відповідей в тестах, що містять творчі завдання (за типом розстановки слів у визначенні процесу або явища), та такі тести вимагають занадто багато часу.
Тому для удосконалення тестового контролю можна включати певну невелику кількість таких завдань відповідно до відведеного часу, а в основному треба змінювати ставлення до тестів. Тестування повинно показувати, чого саме студент не знає, і бути поштовхом для самостійного навчання.
Література
1. Кулешова М.Ф. Технологія формування стандартизованих тестових завдань : методичні рекомендації / М.Ф. Кулешова, С.І. Шерстобитов, В.І. Никітін. - Харків : ХНАДУ, 2005. - 51 с.
2. Костина Л.Л. Особенности контроля зна-
ний в условиях кредитно-модульной технологии обучения / Л.Л. Костина // Вестник ХНАДУ : сб. науч. тр. - Харьков : ХНАДУ. - 2009. - Вып. 46. - С. 58-60.
3. Карасев А.И. Теория вероятностей и мате-
матическая статистика / А.И. Карасев. -М. : Статистика, 1970. - 344 с.
4. Гмурман В.Е. Руководство к решению за-
дач по теории вероятностей и математической статистике / В. Е. Гмурман. - М. : Высшая школа, 1975. - 333 с.
Рецензент: Е.Б. Хоботова, професор, д.х.н., ХНАДУ.
Стаття надійшла до редакції 30 листопада 2010 р.
