CC BY
74
ИЗВЕСТИЯ
ПЕНЗЕНСКОГО ГОСУДАРСТВЕННОГО ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА имени В. Г. БЕЛИНСКОГО ОБЩЕСТВЕННЫЕ НАУКИ № 12 (16) 2009
IZVESTIA
PENZENSKOGO GOSUDARSTVENNOGO PEDAGOGICHESKOGO UNIVERSITETA imeni V. G. BELINSKOGO PUBLIC SCIENCES № 12 (16) 2009
удк 378
ОПТИМИЗАЦИЯ ПРОЦЕССА ТЕСТИРОВАНИЯ В СИСТЕМЕ АВТОМАТИЗИРОВАННОГО КОНТРОЛЯ ЗНАНИЙ
© в. в. дрождин, о. в. пухарева
Пензенский государственный педагогический университет имени В. г. Белинского, кафедра прикладной математики и информатики e-mail: olpuh@mail.ru
Дрождин В. В., Пухарева О. В. - Оптимизация процесса тестирования в системе автоматизированного контроля знаний // Известия ПГПУ им. В. Г. Белинского. 2009. № 12 (16). С. 178-180. - Рассматривается процесс оценки знаний обучаемых, реализуемый системой автоматизированного контроля знаний (САКЗ). Предлагаются некоторые пути оптимизации процесса тестирования, повышающие эффективность САКЗ и качество оценки знаний. ключевые слова: автоматизированный контроль знаний, тестирование, адаптивное тестирование, эффективность тестирования, тестовое задание, сложность теста, обратная связь, балльно-рейтинговая система контроля знаний.
Drozhdin V. V., Puhareva O. V. - Optimization of testing process in automated control system // Izv. Penz. gos. pedagog. univ. im.i V. G. Belinskogo. 2009. № 12 (16). P. 178-180. -The process of the performance score realized by the automated control system is considered. Some ways of optimization of testing process are offered, which increase the automated control system efficiency and the quality of the performance score.
Keywords: the automated control system, testing process, test task, test complexity, feedback, score-rating control system.
Под оптимальным тестом будем понимать тест, который способен точно оценить уровень знаний обучаемых, за минимальное время с использованием минимального количества тестовых заданий. При этом наиболее сложным в процессе тестирования является определение степени достоверности усвоения обучаемым необходимых знаний и исключение факторов случайности получения ошибочного вывода об усвоении учебного материала.
для обеспечения нормального процесса тестирования системы автоматизированного контроля знаний (САкЗ) включают подсистему авторизации доступа к системе, набор тестов для проведения контроля знаний, подсистему тестирования и подсистему статистического анализа результатов тестирования. Процесс тестирования в существующих САкЗ сводится к формированию случайным образом тестовых заданий, на которые должен ответить обучаемый и по результатам ответов формируется оценка. При этом достоверность полученной оценки не проверяется.
Вопрос о повышении эффективности процесса тестирования рассматривается в работах Рудинс-кого и.д. [3], Тягуновой Т.н. [4] и др. В работе [4] отмечается, что действительное (точное) значение степени обученности обучаемого остается неизвестным вследствие отсутствия «идеальных» методов и средств оценки. Проводя тестирование, мы получаем
результат, который с заданной степенью верности отражает действительное значение степени обученнос-ти обучаемого, поскольку из-за наличия неопределенностей при повторной проверке через некоторое время в тех же условиях мы получаем несколько иной (но близкий к первому) результат.
Основной задачей предлагаемого исследования является разработка метода оценки знаний, обеспечивающего высокое качество оценок и высокую эффективность процесса тестирования на основе согласованности процесса тестирования с процессом обучения и способностями каждого обучаемого. для получения оценок целесообразно использовать САкЗ обладающую достаточной универсальностью и пригодной для осуществления контроля знаний по широкому набору дисциплин. Перечислим ряд требований, которым должна удовлетворять сакз:
1. Стимулирование приобретения знаний и умений. Панкратова л.П. в [2], отмечает, что правильно организованная система контроля позволяет пробудить у обучаемого чувство ответственности за результаты обучения (получение более высокой оценки) способствует стремлению к целенаправленной деятельности по исправлению ошибок.
2. Поощрение труда и стремления к обучению. Если обучаемый ответил неправильно на ТЗ, у него существует возможность, с помощью системы откры-
ПЕДАГОГИЧЕСКИЕ НАУКИ ►►►►►
того доступа получить правильный ответ на данное ТЗ. Далее в процессе тестирования аналогичное ТЗ. В случае правильного ответа восстанавливается часть потерянных баллов стоимости вопроса. Таким образом, слабым обучаемым предоставляется возможность получить знания в процессе тестирования и повысить свой результат.
3. Оценивание знаний, умений и навыков. САКЗ должна с высокой точностью определять уровень подготовленности обучаемого.
4. Ориентация на контроль знаний и обучение. Большая часть контролирующих мероприятий носит обучающий и развивающий характер, т.к. обучаемому обычно объясняется в чем заключаются его ошибки, что нужно сделать для понимания учебного материала, т.е. предоставляется помощь чтобы обучаемый в дальнейшем мог сформулировать правильный ответ. Кроме того, происходит развитие личностных качеств: воли, стремления к успеху и др. [2].
5. Разрабатывать рекомендации по коррекции знаний и умений. САкЗ должна контролировать (измерять) не только уровень знаний и умений обучаемых, но и выявлять причины обнаруженных пробелов, чтобы впоследствии их устранить.
Для обеспечения высокой эффективности процесса тестирования и требуемого качества оценки знаний предлагается использовать следующие принципы:
1. Достаточное разнообразие типов ТЗ.
В широко используемых САКЗ реализованы следующие типы тестовых заданий (ТЗ) [1, 5]: закрытое задание, задание на подстановку, открытое задание, задание на упорядочение, задание на соответствие.
При использовании этих типов тестовых заданий в основном осуществляется контроль базовых знаний. Однако стратегия современного обучения направлена не только на усвоение определенных знаний, но и на формирование умений, приобретение навыков решения типовых задач и развитие мышления. Для оценки умений и развития мышления у обучаемых необходимо использовать более сложные типы тестовых заданий, например:
1) Задание на конструирование - заключается в выборе необходимых элементов из репозитория и формирования из них ответа, удовлетворяющего заданному критерию.
2) Задание на реконструирование - заключается в преобразовании задания в требуемую форму, в соответствии с заданным критерием, с использованием элементов из репозитория или путем ввода недостающих элементов с клавиатуры.
3) Комплексное задание - предполагает одновременно контроль знаний и умений по разным темам и требует сочетания разного типа действий в рамках одного тестового задания.
2. Организация в САКЗ обратной связи на основе подсистемы открытого доступа к информации.
Целью организации подсистемы открытого доступа к информации в процессе решения задач является предоставление обучаемому интеллектуальной помощи на каждом шаге решения задачи - от предостав-
ления разъяснения к тестового задания до примеров и объяснения метода решения задачи.
3. Осуществлять первоначальное тестирование с помощью педагогических тестов среднего уровня сложности.
Тесты можно классифицировать по уровням сложности:
- простой - такой тест, в котором используются тривиальные тестовые задания, направленные на проверку усвоения минимального (базового) уровня знаний. Ответами на вопросы такого типа являются заученные определения, термины и характеристики объектов;
- средний - он заключается в умении применять базовые знания, осуществлять логические операции, проводить аналогии. ТЗ такого типа требуют размышлений;
- сложный - задания, позволяющие выявить умение применять знания в нестандартных ситуациях.
В случае предоставления всем обучаемым тестов одинаковой сложности может возникать ситуация, когда сильный обучаемый получит легкий тест и не реализует свои способности или прямо противоположная ситуация. Таким образом, сложность тестовых заданий должна варьироваться в зависимости от уровня подготовленности обучаемых и для оптимизации процесса тестирования целесообразно использовать тесты средней сложности, так как они являются оптимальными и наиболее информативными.
4. Реализовать адаптивное тестирование в процессе оценки знаний.
Эффективность САКЗ возрастает, если в ней реализован принцип адаптивного тестирования, т.е. отбор и предъявление тестовых заданий строится в зависимости от предыдущего ответа на тестовое задание. При правильном ответе обучаемого очередное задание выбирается более трудным, а неверный ответ влечет за собой предъявление более легкого задания. Кроме этого, необходимо предоставлять возможность задания дополнительных вопросов по темам, которые имеют высокую погрешность оценки.
5. Осуществлять оценку знаний на основе структурированного семантического пространства.
Рудинский И.Д. в [3] описывает данный подход как разбиение множества тестовых заданий на тематические подмножества, элементы которых семантически коррелируют друг с другом, с обязательным ранжированием как тестовых заданий внутри каждого подмножества, так выделенных подмножеств между собой. При этом он отмечает, что реализация этого принципа создаст объективную основу для формализации ряда применяемых в настоящее время "ручных" методик контроля знаний — таких как оценивание широты или глубины знаний, тесты повышенной или пониженной сложности и т.п.
Для определения уровня знаний обучаемого система из определенного раздела формирует тестовое задание (состоящее из трех тестовых вопросов). При данном подходе существует возможность использования стратегии сверху - вниз (от более общего понятия -
ИЗВЕСТИЯ ПГПУ им. В. Г. Белинского • Общественные науки • № 12 (16) 2009 г.
к частным) или снизу - вверх (от более частных понятий - к общему). Если ответ обучаемого правильный, то система для подтверждения знания материала обучаемым задает дополнительный вопрос по сложности более низкого уровня (в случае стратегии сверху -вниз), чем предыдущий. Соответственно, при получении правильного ответа, вероятность знания данного раздела увеличивается. Далее может быть задан еще один дополнительный вопрос. Таким образом, выявляется достоверная оценка знаний и умений обучаемого.
6. Формировать комплексную оценку знаний обучаемых на основе балльно-рейтинговой системы.
Балльно-рейтинговая технология оценки знаний основана на накоплении баллов, получаемых за усвоение разных разделов (тем) дисциплины. Результаты по балльно-рейтинговой шкале могут быть пересчитаны и приведены к традиционной пятибалльной системе оценок.
Оценка знаний и умений обучаемых в САКЗ, использующей балльно-рейтинговую систему контроля знаний будет хранить не только результаты тестирования знаний обучаемых (количество баллов за каждое тестирование), но и информацию о количестве обращений каждого обучаемого к подсистеме открытого доступа к информации. Преподаватель, осуществляющий анализ знаний, будет иметь возможность получить более полное, объемное представление о знаниях обучаемого. Предоставляя интенсивную обратную связь, средства интеллектуального контроля позволяют проанализировать допущенные ошибки и пробелы в знаниях обучаемого. С помощью балльно-рейтинговой системы можно более точно скорректировать учебную деятельность обучаемого, а также сценарий обучения.
7. Удовлетворение тестов требованиям лингвистики.
ТЗ должны быть сформулированы четко, кратко и недвусмысленно с использованием понятий изучаемых в процессе обучения. При разработке ТЗ следует избегать обозначений и сокращений, которые не использовались в процессе изложения учебного материала.
8. Минимальный объем теста для оценки знаний.
САкЗ должна предусматривать уменьшение количества ТЗ в процессе тестирования обучаемого, как в соответствии с его уровнем знаний, умений и навыков, так и в случае когда обучаемый в процессе тестирования дает устойчиво правильные (неправильные) ответы на ТЗ.
9. Полнота оценки системы знаний, умений и навыков обучаемого.
Контроль знаний и умений обучаемых должен быть обязательным по всем разделам и темам изучаемого материала.
10. Систематичность оценки знаний.
Систематичность достигается за счет многократного, регулярного контроля знаний и умений обучаемых. Чем регулярнее контроль, тем точнее оценка, тем скорее обучаемый овладевает соответствующими умениями и навыками. При этом у обучаемых воспитывается и укрепляется чувство ответственности за свой учебный труд и формируется дисциплинированность в этом труде.
Таким образом, предложенные принципы оптимизации процесса тестирования направлены на имитацию преподавателя-экзаменатора - если обучаемый отвечает на задаваемые вопросы уверенно и правильно, то система достаточно быстро ставит ему положительную оценку. Если обучаемый начинает «плавать», то задает ему дополнительные или наводящие вопросы по той же теме, выясняя при этом, чем вызвано затруднение: незнанием материала или неумением его использования при решении практических задач. С другой стороны, при наличии в САКЗ рейтинговой системы и обратной связи появляется возможность проанализировать уровень усвоения учебного материала на каждом этапе его изучения: выявление возможных затруднений, пробелов, знания правил и умения их применения.
список ЛИТЕРАТУРЫ
1. Аванесов, В. С. Композиция тестовых заданий. / В.С. Аванесов - М.: Ассоциация инженеров-педагогов, 1996. - 191 с.
2. Панкратова Л.П., Челак Е.Н. Контроль знаний по информатике: тесты, контрольные задания, экзаменационные вопросы, компьютерные проекты. - СПб.: БХВ - Петербург, 2004. - 448 с.
3. Рудинский И. Д. Принципы интеллектуального автоматизированного тестирования знаний / И. Д. Рудинский // Материалы конференции "ИТО 2001" -http://www.ito.su/2001/ito/vi/vi-0-16.html
4. Тягунова Т.Н. Философия и концепция компьютерного тестирования: Моск. гос. ун-т печати. - М.: МГУП, 2003. - 246 с.
5. Сайт ФЭПО - http://www.fepo.ru/
