CC BY
159
УДК 681.3:378.146
Н.О. РИЗУН, канд. техн. наук, доц. ДУЭП (г. Днепропетровск),
Ю.К. ТАРАНЕНКО, д-р техн. наук, с.н.с. ДУЭП (г. Днепропетровск)
МЕТОДИКА РАЗРАБОТКИ АВТОМАТИЗИРОВАННОЙ
СИСТЕМЫ УПРАВЛЕНИЯ КАЧЕСТВОМ ТЕСТОВОГО
КОНТРОЛЯ ЗНАНИЙ
Предложена методика разработки автоматизированной системы управления качеством тестового контроля знаний. Разработаны алгоритмы расширенного анализа качества тестового материала и идентификации результатов тестирования с учетом показателей фактического и нормативного времени выполнения тестовых заданий различной сложности. Ил.:1. Библиогр.: 13 назв.
Ключевые слова: качество тестового контроля, автоматизированная система, качество тестового материала, время выполнения тестового задания.
Постановка проблемы. На современном этапе компьютерный контроль знаний студентов является основой для получения объективной оценки уровня их учебных достижений (знаний, интеллектуальных умений, практических навыков), а также выработки прогностических рекомендаций по совершенствованию преподавания учебных дисциплин и организации учебного процесса в целом. С другой стороны, адекватность интерпретации уровня усвоения учебно-программного материала и эффективность принятых управленческих решений по улучшению существующей системы подготовки специалистов во многом зависит от качества используемой методики тестирования. Таким образом, совершенствование методики компьютерного тестового контроля, направленное на повышение уровня объективности средств измерения и процедуры проведения тестового сеанса, а также качества и научной обоснованности используемых тестовых материалов и технологий, является приоритетным направлением управления качеством образовательного процесса в ВУЗе. Особенности данной задачи: большая размерность и высокая сложность системы управления качеством тестового контроля, обусловливающая эффективность использования для ее исследования и автоматизации теории системного анализа [1]; сложность математической формализации методики синтеза частных критериев задачи, предопределяющая целесообразность выбора в качестве методики ее решения эвристического принципа покомпонентного спуска [2].
Анализ литературы. В настоящее время ведутся исследования в области разработки методик автоматизации систем компьютерного тестирования. Большинство работ направлены на повышение эффективности технической и программной организации тестового сеанса [3, 4]; ряд из них посвящен прямой автоматизации или совершенствованию классической системы оценки качества тестового материала [5, 6]; множество научных школ занимаются
разработкой методик повышения объективности идентификации результатов тестирования знаний студентов как путем использования классических методов снижения влияния эффекта "угадывания" [7, 8], так и, в частности, путем учета при формировании результатов тестирования фактического времени выполнения тестового задания [9].
Целью статьи является обоснование методики разработки автоматизированной системы управления качеством тестового контроля знаний, обеспечивающей за счет реализации системного подхода комплексное решение следующих подзадач: совершенствования технологии оценки
качества тестового материала за счет ввода в рассмотрение фактора времени выполнения тестовых заданий; реализации принципов статистической равномерности результатов тестирования и демократичности организации тестового сеанса; повышения объективности оценки знаний студентов путем использования при идентификации результатов тестирования динамического коэффициента с учетом уровня сложности вопросов.
Результаты исследований. В соответствии с теорией системного анализа, авторами статьи формализована математическая модель системы управления качеством тестового контроля знаний, система ее входов и выходов, а также цель функционирования
/ (Хр, ¥р, Ху ир) —вхГг, (1)
где Хр - вектор входной информации; 7р - вектор выходной информации; Хр -критерий оптимальности задачи; ир - правила, инструкции, алгоритмы решения задачи.
С целью разрешения проблемы большой сложности данной задачи была выполнена ее декомпозиция по функциональному признаку на подзадачи, поэтапное решение которых методом эвристического покомпонентного спуска и последующая программная реализация с учетом частных локальных критериев позволяет на этапе синтеза получить субоптимальное значение показателя качества системы оценивания знаний:
у _ у1уровень ^ у 2уровень ^ уЗуровень — ех№ (2)
Р Р Р Р ' У }
Схема информационного взаимодействия и координации процесса решения выделенных подзадач К (/ _ 1, 3) представлена на рис. 1.
Математическая формализация подзадачи К1 - оценки и повышения качества тестового материала - может быть представлена в следующем виде:
/ (Хь 71, 1Х, Щ—вхК (3)
где X _ { X1, X 2, Хп, У к, У?2 } - множество элементов вектора входной
информации подзадачи К;; 71 = {71Ь 712, 713, 714, 715} - множество элементов вектора выходной информация подзадачи К1; Х1 = {Х11, Х12} - множество
элементов вектора критериев оптимальности подзадачи К\, и1 - алгоритм решения подзадачи К!.
Рис. 1. Декомпозиция задачи управления качеством тестового контроля знаний по функциональному признаку
Параметры системы управления подзадачей К1. Входная информация (Х1): Х11 - вопросы тестового материала; Х12 - варианты ответов на вопросы тестового материала; Х13 - правильные ответы на вопросы тестового материала; У2/с1 - информация о правильных (неправильных) ответах при контрольном тестировании; У2к2 - информация о времени, потраченном на правильный ответ при контрольном тестировании. Выходная информация (7]): У11 - относительный уровень (ранг) сложности вопросов Гу-; 712 -
переработанные вопросы тестовых заданий; 713 - переработанные варианты ответов на вопросы тестовых заданий (ТЗ); 714 - переработанные правильные ответы на вопросы ТЗ; 715 - эталонное время выполнения ТЗ различной сложности. Критерий оптимизации (21): 211 - надежность теста; 212 -валидность теста.
Управление процессом решения данной подзадачи осуществляется с помощью алгоритма и1 расширенного анализа качества тестового материала, основанного на показателе фактической скорости выполнения тестовых заданий различной сложности и обеспечивающего совершенствование технологии оценки качества тестового материала. Автоматизация данного алгоритма предполагает разработку и программную реализацию следующих шести этапов:
Этап 1. Разработка и реализация алгоритма идентификации уровня сложности тестовых заданий с использованием методики многокритериального анализа вариантов на основе нечеткой логики и экспертных оценок [10]. Входная информация: ё - относительная степень сложности темы (/ = 1, п, где п - количество тем в тестовом материале); а- -
относительная степень сложности вопросов (j = 1, m, где m - количество
уровней сложности); Sj = dxaj- относительная степень сложности отдельных вопросов темы. Выходная информация: Yn.
Этап 2. Организация и проведение экспертизы по установлению значения среднего нормативного времени на выполнение ТЗ экспертным путем. Входная информация: Y11; TFr - среднее фактическое время на выполнение экспертом ТЗ. Выходная информация: Y14 - эталонное время выполнения тестового задания в зависимости от уровня сложности TNr= TEr х Apr, где Apr - погрешность, корректирующая среднее фактическое время TNr на выполнение экспертом ТЗ на вопросы r-го уровня сложности с поправкой на тестирующихся студентов.
Этап 3. Проведение процедуры анализа качества исходного тестового материала в соответствии с классической теорией тестирования (КТТ). Входная информация: X11 - вопросы тестового материала; X12 - варианты ответов на вопросы тестового материала; X13 - правильные ответы на вопросы тестового материала. Выходная информация: у** - переработанные в
соответствии с КТТ вопросы набора ТЗ; у * - переработанные в соответствии с КТТ варианты ответов на вопросы ТЗ; у * - переработанные в соответствии с КТТ правильные ответы на вопросы тестовых заданий; у^2 - информация о времени, потраченном на правильный ответ при контрольном тестировании TFfy.; у^ - информация о правильных (неправильных) ответах студента при контрольном тестировании.
Этап 4. Разработка и реализация алгоритма расширенного анализа качества тестового материала на основании показателя фактической скорости
выполнения ТЗ различной сложности. Входная информация: У11; У15; У22; У1; У 2; У з. Выходная информация: SPEED_Tv = TFtv/TNr - матрица относительной скорости выполнения тестовых заданий; KNv - количество (процент) тестируемых, скорость выполнения которыми t-го ТЗ ниже нормативной; KVv - количество (процент) тестируемых, скорость выполнения которыми t-го ТЗ превышает нормативную.
Этап 5. Формализация процедуры переработки тестового материала по результатам расширенного анализа качества тестового материала. Входная информация: KNv; KVv; N_V и N_N - соответственно верхняя и нижняя нормы значений KVv и KNv; Basa_S - эвристическая база знаний, содержащая правила устранения "проблемности" вопросов с точки зрения времени выполнения задания: если KVv < N_N и KNv > V_N, то "повышенная сложность вопроса"; если KNv < N_N и KVv > V_N, то "заниженная сложность вопроса", при N_V = 90%, N_N = 10%. Выходная информация: Y12 - переработанные вопросы ТЗ; Y13 - переработанные варианты ответов на вопросы ТЗ; Y14 -переработанные правильные ответы на вопросы ТЗ.
Этап 6. Проведение контрольного тестирования на откорректированном тестовом материале. Входная информация: У12, У13, У14, У2*1. Выходная
информация: - надежность теста; - валидность теста.
Таким образом, предлагаемый алгоритм совершенствования технологии оценки качества тестовых заданий и1 [11], основанный на использовании критерия фактической скорости выполнения тестовых заданий различной сложности, позволяет проводить расширенный качественный анализ тестового материала (этап 4). В результате формализации процедуры переработки тестового материала (этап 5) значения показателей надёжности и валидности тестового материала увеличиваются на 15 - 20% по отношению к результатам, полученным в результате реализации принципов классической теории (этап 3).
Результатом решения подзадачи К1 является преобразование первичного тестового материала в качественный тест, использование которого гарантирует первый уровень оптимизации показателя качества системы
оценивания знаний студентов 2^ уровень.
Математическая формализация подзадачи К2 - организации сеанса тестового контроля знаний - может быть представлена в следующем виде:
/2 Х 72, 22, и2) * ехГ, (4)
где Х2 = {Х21, Х22, Х23, 712, 713, 714} - множество элементов вектора входной информации подзадачи К2; 72 = {721, 722} - множество элементов вектора выходной информация подзадачи К2; 22 = {221, 222, 223} - множество элементов вектора критериев оптимальности подзадачи К2; и2 - принципы организации тестового сеанса. Параметрами системы управления подзадачей организации сеанса тестового контроля знаний являются:
Входная информация (Х2): 712; 713; 714; Х21 - общее время тестового сеанса; Х22 - общее количество вопросов в тестовом сеансе; Х23 - количество вопросов каждой темы, случайным образом выбираемое в тестовый сеанс. Выходная информация (72): 721 - информация о правильных (неправильных) ответах студента; 722 - информация о фактическом времени, потраченном на правильные ответы. Критерий оптимизации (22): 221 - статистическая равномерность результатов тестирования; 222 - степень демократичности процедуры тестирования; 223 - качество пользовательского интерфейса.
На этапе разработки и последующей автоматизации методики организации тестового сеанса и2 авторами обоснована целесообразность реализации следующих принципов: использование равного количества
дистракторов во всех вопросах теста; одновременный вывод на экран всего списка вопросов тестового сеанса; ограничение только общего времени прохождения теста; формирование текста подсказки; наличие дополнительной информации о неправильных ответах студента. Результатом решения подзадачи К2 является качественная организация тестового сеанса, проведение которого гарантирует оптимизацию второго уровня -
статистическую равномерность результатов тестирования (221), высокий уровень демократичности тестового сеанса (222) и качества интерфейса пользователя (223). Мультипликативная свертка критериев оптимизации первого и второго уровня позволяет повысить адекватность и объективность, а значит, и качество процедуры контроля уровня знаний студентов:
2 2 Уровень= 21уровень 22 * ех&. (5)
Математическая формализация подзадачи К3 - идентификации
результатов тестирования уровня знаний студентов - может быть записана в следующем виде:
/3 (Хз, 7з, 2з, из) *ехГг , (6)
где Х3 = {721, 722, 711, 7^} - множество элементов вектора входной информации подзадачи К3; 73 - выходная информация подзадачи К3; 23 -критерий оптимальности подзадачи К3; и3 - алгоритм решения подзадачи К3. Параметрами системы управления подзадачей идентификации результатов тестирования уровня знаний студентов являются: Входная информация (Х3): 721; 722; 711; 715. Выходная информация 73 - оценка тестируемого по результатам тестового сеанса. Критерий оптимизации 23 - уровень
объективности оценки знаний тестируемых.
Управление процессом решения данной подзадачи осуществляется с помощью разработанного алгоритма и3 идентификации результатов тестирования с учетом динамического коэффициента и нормативного
количества баллов за ответы на ТЗ различной степени сложности,
обеспечивающего повышение уровня объективности оценки знаний студентов 23. Автоматизация данного алгоритма предполагает разработку и программную реализацию следующих трех этапов:
Этап 1. Разработка алгоритма идентификации нормативного количества баллов за правильный ответ на ТЗ различной сложности с использованием методики многокритериального анализа вариантов на основе нечеткой логики и экспертных оценок [10]. Входная информация: 721; 711; Basa_В - нечеткая база знаний, предназначенная для принятия решения по идентификации нормативного количества баллов за одно ТЗ в зависимости от сложности темы. Выходная информация: КГ - нормативное количество баллов за одно ТЗ г-й сложности; Кф=ЕКГ - суммарное количество баллов тестируемого с учетом сложности заданий.
Этап 2. Разработка алгоритма расширенного анализа результатов тестирования на основании коэффициента корреляции Кког между фактическим и нормативным временем на правильный ответ. Входная информация: 715; 722. Выходная информация: Кког; вектор пороговых значений коэффициент корреляции РКког = {РКког1 = 0,29; РКког2 = 0,30; РКког^3 = 0,49}.
Этап 3. Формализация процедуры снижения влияния фактора "угадывания" на формирование результатов тестирования за счет
использования динамического коэффициента. Входная информация: Kkor; PKkor; Кф; BasaP - эвристическая база знаний, содержащая правила корректировки суммарной оценки по результатам тестирования, полученной путем формального накопления баллов за правильные ответы, с учетом динамического коэффициента [12, 13]. Выходная информация: К - общее количество баллов по результатам тестового сеанса.
Результатом решения подзадачи К3 является повышение уровня объективности оценок Z3, выставленных по результатам тестирования, гарантирующего оптимизацию третьего уровня путем учета при идентификации количества баллов за правильный ответ степени сложности каждого ТЗ и корректировки результатов тестирования согласно эвристической базе правил Basa P: если K.kor < PKkori, то К = E(Kr ^(TFv/TNr)); если PKkor2< Kkor < PKkor3, то К = EKr*E (TFtv/TNr), иначе K= EKr. Предлагаемая формальная процедура корректировки результатов тестирования позволяет "штрафовать": слишком быстрые ответы, свидетельствующие о вероятной попытке угадать ответ без предварительного обдумывания; слишком длительные ответы, которые можно интерпретировать и как свидетельство неустойчивости и неуверенности оцениваемых знаний, и как факт принятия студентом решения ответить "наугад".
Мультипликативная свертка критериев второго и третьего уровня гарантирует достижение экстремума главного критерия поставленной задачи -обеспечения субоптимального значения показателя качества системы оценивания знаний студентов: ZpУровень = zpУровень * z3 ^ extr.
Выводы. Авторами статьи предложена методика разработки автоматизированной системы управления качеством тестового контроля знаний путем комплексного поэтапного решения подзадач, выделенных в результате декомпозиции по функциональному признаку, позволяет повысить значения показателей: надёжности и валидности тестового материала, качества организации тестового сеанса, адекватности процесса идентификации результатов тестирования и объективности оценки знаний студентов.
Список литературы: 1. Анфилатов B.C. Системный анализ в управлении / B.C. Анфилатов, АА.Емельянов, А.А. Кукушкин / Учебное пособие. - М.: Финансы и статистика. - 2003. 2. Методы решения задач оптимизации в АСУ [Электронный ресурс] / Режим доступа: \www/ URL: http://www.studatf.com/33-200905.html. 3. Мелехин В.Б. Автоматизированная система контроля знаний студентов в вузе / В.Б. Мелехин, Е. И. Павлюченко // Транспортное дело России. - 2009. -№ 1. - С. 23-25. 4. Автоматизована система тестування, навчання та моніторингу. Пат. 43616 Україна: МПК G09B 7/00 / В.Д. Ціделко, НА. Яремчук, В.В. Шведова. Замовник та
патентовласник: Національний технічний університет України "Київський політехнічний
інститут". - № 200902620, заявл. 23.03.2009, опубл. 25.08.2009, Бюл №16, 2009. 5. Белоус Н. Методика определения качества тестовых заданий, оцениваемых по непрерывной шкале / Н. Белоус, И. Куцевич, И. Белоус // International Book Series "Information Science and Computing". The paper is selected from XVth International Conference “Knowledge-Dialogue-Solution”. - Kyiv, 2009. - С. 127-133. 6. Максимова О.А. Технология комплексной экспертизы качества тестовых материалов для контроля учебных достижений обучающихся / ОА. Максимова // Журнал научных публикаций аспирантов и докторантов. - 2008. - № 10. - С. 140-146. 7. Павлова И.Н. О проблеме
угадывания правильного ответа в тесте [Электронный ресурс] / И.Н. Павлова, А.В. Одинокое // Международный конгресс конференций "Информационные технологии в образовании" (ИТО-2003) / Режим доступа: /www/ URL: http://www.ict.edu.ru/vconf. 8. Ким В.С. Коррекция тестовых баллов на угадывание / В.С. Ким // Педагогические измерения, 2006. - № 4. - С .47-55. 9. Спосіб виміру рівня знань учнів при комп'ютерному тестуванні. Пат. 61415 Україна: МПК 7G06F7/00 / А.В. Велігура, Л.Р. Лехціер, В.П. Ткаченко. Замовник та патентовласник: Східноукраїнський національний університет імені Володимира Даля. - № 003010849, заявл. 31.01.2003, опубл. 17. 11. 2003. Бюл № 11, 2003. 10. Ризун Н.О. Использование теории нечетких множеств для идентификации степени сложности темы в системах компьютерного тестирования знаний / Н.О. Ризун // Східно-Європейський журнал передових технологій. - 2009. - № 6/2 (42) - С. 3237. 11. Ризун Н.О. Эвристический алгоритм совершенствования технологии оценки качества тестовых заданий / Н.О. Ризун // Східно-Європейський журнал передових технологій. - 2010. -№ 3 - С. 40-49. 12. Тараненко Ю.К. Учет фактора времени при оценке знаний студентов путем компьютерного тестирования систем [Электронный ресурс] / Ю.К. Тараненко, Н.О. Ризун // Тезисы II Международной научно-практической конференции "Ключевые аспекты научной деятельности - 2010". Современные информационные технологии. Сроки проведения: 17.01 -25.01.2010. Место издания: Бял ГРАД-БГ (г. София, Болгария). - Режим доступа:
http://www.rusnauka.com/Page_ru.htm. 13. Тараненко Ю.К. Опыт совершенствования методики компьютерного тестирования знаний студентов / Ю.К. Тараненко, Н.О. Ризун // Научнопрактическая конференция "Современные направления теоретических и прикладных исследований „2010". - Одесса: Черноморье. - 2010. - Т.3. - С. 29-34.
УДК 681.3:378.146
Методика розробки автоматизованої системи управління якістю тестового контролю знань / Різун Н.О., Тараненко Ю.К. // Вісник НТУ "ХПІ". Тематичний випуск: Інформатика і моделювання. - Харків: НТУ "ХПІ". - 2010. - № 31. - С. 145 - 152.
Запропоновано методику розробки автоматизованої системи управління якістю тестового контролю знань. Розроблено алгоритми розгорнутого аналізу якості тестового матеріалу та ідентифікації результатів тестування з урахуванням показників фактичного та нормативного часу виконання тестових завдань різної складності. Ил.:1. Біблиогр.: 13 назв.
Ключові слова: якість тестового контролю, автоматизована система, якість тестового матеріалу, час виконання тестового завдання.
UDC 681.3:378.146
The methodology of development of automatized system of test knowledge control management / Rizun N.O., Taranenko Y.K. // Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling. - Kharkov: NTU "KhPI". - 2010. - №. 31. - P. 145 -152.
The methodology of development of automatized system of test knowledge control management is proposed. The algorithms of detailed analysis of test material quality and identification of test results with a glance on indices of real and normative time of the test job processing are developed. Figs.:1. Refs.: 13 titles.
Key words: test knowledge control, automatized system, test material quality, time of the test job processing.
Поступила е редколлегию 07.05.2010
