CC BY
133
ВЕСТНИК ТГГПУ. 2010. №4(22)
УДК 371.263
СОСТОЯНИЕ И ПУТИ РАЗВИТИЯ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ В ПРОФЕССИОНАЛЬНОМ ОБРАЗОВАНИИ
© Р.Х.Сафаров
В наших вузах стали регулярно проводить тематическое тестирование знаний студентов по модулям изучаемой дисциплины. Несмотря на определенные трудности, с которыми сталкивается внедрение компьютерного тестирования в практику, данная технология с использованием современных программных систем уже становится стержневой компонентой нашего образования, обеспечивающей современное качество образования и его интеграцию в мировую образовательную систему.
Ключевые слова: технология компьютерного тестирования, классическая теория тестов, современная теория тестов, педагогическая характеристика теста, адаптивный контроль знаний.
С расширением парка персональных компьютеров в наших вузах и школах начали применяться компьютеры при проведении тестирования знаний учащихся. В педагогических инновациях появилось новое направление - компьютерное тестирование, при котором с помощью компьютера осуществляется предъявление учащимся тестовых заданий и оценивание результатов тестирования. Успешное развитие этого направления обусловлено в первую очередь созданием новых программных продуктов конструирования тестов, которые обеспечивают высокое качество педагогических измерений [1]. Благодаря этому данное направление оказалось наиболее "продвинутым" в национальной программе информатизации образования.
Если раньше эти исследования были направлены в основном на итоговый контроль, то теперь все большее внимание уделяется рубежному контролю, который осуществляется с помощью тематических тестов по прохождению определенного раздела изучаемой дисциплины для оперативного выявления пробелов в процессе обучения и закрепления знания выполнением ряда заданий. В отличие от итоговых контролей тематические тесты имеют повышенный обучающий потенциал, который в конечном счете проявляется в итоговом тестировании. Поэтому в практике многих вузов тематические тесты широко используются с целью повышения результативности обучения. Плановое проведение компьютерного тестирования по каждому модулю учебной дисциплины в дополнение к традиционным видам контроля знания делает контроль знаний студентов постоянным и непрерывным процессом в учебной работе, заставляет студента регулярно и систематически заниматься.
Возможность использования тематических тестов для самоконтроля знаний и в качестве
тренажера активизирует самостоятельную работу студента, которая приобретает новую форму и становится контролируемой. Необходимо отметить, что компьютерное тестирование не заменяет собой традиционные методы обучения и контроля знаний, а выступает как их существенное дополнение.
За рубежом компьютерное тестирование имеет многолетний опыт использования и зарекомендовало свою эффективность в контроле знаний и повышении уровня обучения. Вместе с тем научно обоснованные международные педагогические тесты не поддаются однозначной адаптации к отечественной системе образования в силу их специфики [2].
Внедрение компьютерного тестирования в практику нашей системы образования наталкивается на определенный психологический барьер. Все еще чувствуется некоторая осторожность к использованию тестов у части преподавателей. Как неоднократно уже отмечалось, в этом сказывается прошлое отношение к тестам, когда тесты в нашей стране были запрещены, как "буржуазные и вредные", но истинная причина тогда была в расстановке сил в политической борьбе. На фоне этого конструктивная критика тестов за рубежом привела к совершенствованию первоначальной классической теории тестов, ее превращению в современную теорию адаптивного тестирования, в которой на основе латентноструктурного анализа определяются такие скрытые параметры, как уровень подготовки испытуемых и трудность тестового задания. Эффективность адаптивных тестов достигается требованием соответствия трудности задания уровню подготовки тестируемого.
К сожалению, хорошо работающая за рубежом технология не применима к нашей действительности без соответствующих модификаций.
Главное преимущество тестов состоит в объективности результатов контроля знаний тестируемых. При этом наше национальное чувство товарищеской "взаимовыручки и взаимопомощи" с подсказками и шпаргалками сводит на нет это преимущество, а с совершенствованием электронно-коммуникационной техники удивляет своей фантазией уровень шпаргализации.
Проведение компьютерного тестирования в повседневной практике наталкивается и на ряд технологических трудностей. В нашей системе образования далеко не всегда выдерживаются запланированные сроки проведения тестирования по отдельным модулям учебных дисциплин. Иногда оказывается, что в компьютерном классе недостаточное количество работающих компьютеров для проведения фронтального контроля знаний. Приходится проводить тестирование группы посменно, ставя в очередь студентов, что приводит к "утечке" информации и снижает достоверность результатов тестирования. Одним из возможных путей решения данной проблемы может стать "размножение" тестового программного продукта через локальную сеть компьютерного зала.
Особую проблему составляет приобретение лицензионного программного продукта конструирования эффективных тестов. Такие программные средства обычно создают профессиональные разработчики для внутреннего пользования, и они в силу своей сложности и дорого-стоимости не часто появляются на рынке. На западе рынок программных продуктов сложился давно. В Интернете размещены каталоги крупнейших разработчиков программного обеспечения для конструирования тестов, которые включают описания технологий, перечень возможностей программ, демонстрационные версии и т.д. Мировым лидером в компьютерном тестировании является корпорация А88е88шеи1 Systems Corporation. Наиболее продвинутой системой компьютерного тестирования в мире считается пакет программ FastTEST ProfessionaFEW, который позволяет осуществить процессы генерации адаптивных тестов, анализ педагогических качеств заданий по современным теориям тестов, провести автоматизированную оценку результатов выполнения заданий и получить шкалированные баллы учащихся и т. д.
В последние десятилетия в нашей стране также начал складываться рынок программных средств. В портале Федерального центра информационно-образовательного центра Министерства образования и науки РФ помещены электронные образовательные ресурсы для отечественной системы образования, которые включают систе-
мы дистанционного обучения, электронные курсы, инструменты разработки электронных курсов и тестов. Там представлено большое количество тестовых программ для гуманитарной, медицинской, инженерно-технических отраслей и т. д. В Интернете можно найти неплохие тестовые программы, которые распространяются свободно, т.е. бесплатно. Поэтому сейчас в пользовании находится много тестовых программ разного качества. В связи с этим возникает необходимость систематического анализа эксплуатируемых тестовых продуктов с целью их унификации, т.е. необходимо выбрать единую, хотя бы в рамках одного подразделения, тестовую программу.
Один из подобных продуктов - ТеstМакег -используется на кафедре теоретической физики ТГГПУ. Он прост в использовании, имеет удобный интерфейс и позволяет создавать тестовые задания разнообразной формы, содержание которых может включать изображения, графики, математические формулы, тексты и т.п. Эта тестовая программа разработана в отделе информатизации и технических средств обучения Казанского государственного технологического университета под руководством И.Х.Галеева [3; 4]. На основе этой программы составлены тематические тесты по нескольким дисциплинам теоретической физики, которые используются в промежуточном контроле знаний студентов. Кроме того, студенты старших курсов слушают лекции по современным теориям тестов, на практических занятиях в компьютерном зале изучают работу тестовой оболочки ТеstМакег, составляют тематические тесты по школьной физике и используют их на педагогической практике в школе.
По определению научно разработанный тест
- это инструмент, состоящий из статистически выверенной системы заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенных для измерения качеств и свойств личности, изменение которых возможно в результате систематического обучения [5]. Составление качественного теста является сложной и трудоемкой работой, которую выполняет специалист-предметник. Он должен знать возможности тестовых заданий, владеть умением трансформировать содержание учебной дисциплины в форму тестовых заданий и применять математико-статистические методы для обработки и интерпретации результатов тестирования в рамках современных теорий тестов.
На начальном этапе создания компьютерного теста определяются цели и методика проведения тестирования, устанавливаются границы предметной области, которую разбивают на разделы
и на подразделы, выделяются наиболее важные понятия в подразделах, знание которых обеспечивает усвоение предмета в целом.
Следующим этапом является составление плана теста, т.е. определение необходимого числа заданий различных типов по сложности и установление времени выполнения тестов учащимися. Из опыта проведения тестирования установлен оптимальный вариант тематического теста, который состоит из «30 тестовых заданий и для выполнения которого отводится время от 30 и до 40 минут.
Самый ответственный этап - составление тестовых заданий и подбор для них соответствующей формы. Еще со времен так называемого программированного обучения известны тестовые задания закрытой и открытой формы. В первом случае учащийся должен выбрать правильный ответ из ряда предложенных ответов, во втором - дополнить текст задания недостающим словом или словами. Поскольку выборочный тип ответа легче реализовать при компьютерном контроле знаний, именно его на сегодняшний день наиболее часто используют, создавая ложное представление о том, что компьютерный тест состоит только из вопросов закрытой формы [6].
Вопрос о возможностях и недостатках этих форм заданий обсуждается давно. Было отмечено, что повсеместное использование выборочного типа ответов привело к резкому падению качества контроля знаний: вместо контроля приемов мыслительной деятельности контролировалась механическая память; вместо контроля метода решения задачи проверялся результат случайного угадывания [7]. Традиционная форма задания закрытой формы недостаточна для выявления умений и творческих способностей учащихся, для этого необходимо широкое использование заданий открытой формы в различных модификациях. Поэтому разработчики автоматизированной системы контроля знаний стараются расширить многообразие типов тестовых заданий своих программных продуктов.
Тестовая программа ТеstМакег обладает такой возможностью создавать тестовые задания разного типа. Она позволяет конструировать тестовые задания традиционных закрытой и открытой формы многих типов, включая и некоторые элементы теории искусственного интеллекта [8]. Применяя большое многообразие форм и типов заданий, она старается имитировать естественный опрос и беседу преподавателя с учащимся. Выявлено, что применение разных форм вопроса способствует повышению мотивации учащихся при выполнении теста, разнообразные формы вопроса делают выполнение теста менее утоми-
тельным и монотонным, способствуют тем самым повышению интереса к работе над тестом.
После создания тематического теста с целью доведения его до требуемого уровня необходимо провести тестирование в небольшом коллективе испытуемых, достаточном для выборочной статистики (не менее 30 учащихся), и собрать результаты тестирования для математико-статистической обработки в рамках существующих теорий тестов. В начале результаты тестирования обрабатываются с помощью более простого аппарата классической теории и вычисляются характеристики, определяющие педагогические качества теста. Одной из важных характеристик теста является надежность результатов тестирования, которая определяет точность тестовых результатов и их устойчивость к действию случайных факторов. Принято, что тест минимального (3-го) класса должен иметь надежность не менее
0,8. Тесты же второго, первого и высшего классов имеют нижний уровень надежности, соответственно 0,9, 0,95 и 0,97.
Другая, не менее важная характеристика теста - это валидность, т.е. степень, в которой тест действительно измеряет то, что должен измерять. Чаще на практике рассматривают такие составляющие валидности, как валидность по содержанию и валидность по различающей способности. Содержательная валидность заданий проверяет соответствие данного задания содержанию проверяемой дисциплины и определяется вычислением коэффициента корреляции результата ответа на определенное задание с суммарным баллом испытуемого.
Следующий по важности тип валидности -это валидность, выявляющая различающую способность заданий, которая определяется сравнением количества лучших и худших учеников, одинаково правильно ответивших на задание. Классическая теория тестов позволяет вычислить эти характеристики теста на основе эмпирических результатов тестирования. Тестовое задание, для которого значение характеристик не удовлетворяет требуемому уровню, в последующем должно исключаться из списка заданий и заменяться новым, более эффективным заданием. В результате этого улучшаются составляющие валидности тестовых заданий и повышаются надежность и эффективность теста [9].
Установлено, что контроль знаний достигает максимальной результативности, когда трудность заданий соответствует уровню подготовки экзаменуемого. Не имеет смысла задавать слабо подготовленному учащемуся трудные вопросы и, наоборот, хорошо подготовленному легкие вопросы. Вследствие этого возникает необходи-
мость определения таких скрытых параметров, как уровень подготовки испытуемых и трудность тестовых заданий. Для выявления этих скрытых (латентных) параметров привлекается сложный аппарат современной теории тестов, развитой на основе латентно-структурного анализа, примененного к модели Г.Раша [10]. Следует признать, что модель Г.Раша является лучшей моделью измерения латентных параметров на интервальной шкале. Она дает возможность получить логарифмические оценки этих параметров, которые обладают свойством инвариантности, позволяя провести сравнение результатов испытуемых, выполнивших различные по трудности задания теста и даже разные тесты.
В рамках современной теории тестов определяются вначале предварительные значения латентных параметров на базе результатов тестирования. Затем параметры, определяющие уровень подготовки испытуемых и трудность тестовых заданий, приводятся к единой шкале измерения, и на последнем этапе уточняются их конечные значения, применяя метод наибольшего правдоподобия из статистического анализа. Математический аппарат теории тестов обеспечивает объективные оценки уровня подготовки каждого испытуемого, не зависящие от трудности заданий теста.
Современное адаптивное тестирование начинается с установления уровня подготовки испытуемого с помощью нескольких предварительных заданий, а затем предлагаются для опроса задания с трудностью, соответствующие уровню подготовки. При равенстве значения уровня подготовки значению трудности задания достигается максимальная результативность контроля знаний.
Для проведения адаптивного тестирования требуется сложный программный продукт, в автоматическом режиме которого определяется уровень подготовки испытуемого, выбирается из банка задания соответствующей трудности, производится математико-статистическая обработка результатов тестирования и соответствующая интерпретация этих данных. К сожалению, многие еще не обладают таким программным продуктом, но уже готовятся к адаптивному тестированию. В настоящее время происходит процесс накопления банка тестовых заданий различной трудности для последующего их использования в адаптивном тестировании. Такой банк калиброванных заданий создается благодаря длительному многолетнему проведению тематических тестов и последующей математико-статистической обработке результатов тестирования.
Итак, компьютерное тестирование является одним из самых перспективных методов контроля и повышения знаний. Это быстро развивающееся направление на стыке педагогики, теории измерений, математического моделирования, математической статистики и автоматизации. Высокий уровень развития информационных технологий, активно используемый в образовании, позволяет организовать эффективный рубежный контроль знаний обучающихся, используя тестовые задания многообразной формы, которые обеспечивают тематическим тестам помимо традиционной функции контроля знаний, также и повышенную образовательную функцию, способствующую резкому повышению уровня обучения.
Однако на пути компьютерного тестирования в нашем образовании встречаются досадные трудности. Только после создания требуемых условий систематическое тематическое тестирование станет нормой в студенческой жизни наряду с зачетами и экзаменами. Общеизвестно, что компьютерные тесты могут быть востребованы только при современной организации учебного процесса. В настоящее время особо актуальным становится вопрос применения компьютерных тестовых технологий в рамках образовательного процесса по Федеральным государственным образовательным стандартам. Актуальность этого вопроса заключается в том, что остается малоизученной проблема возможности применения тестовых технологий для установления уровня сформированности компетенций обучающихся.
1. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учеб. пособ. - М.: Логос, 2002. - 432 с.
2. Аванесов В. С. Применение тестовых форм в Rasch Measurement // Педагогические измерения. - 2005.
- №4. - С.3-20.
3. Галеев И.Х., Иванов В.Г., Храмов Д.Л, Колосов О.В. Компьютерный контроль знаний (локально и дистанционно): учеб. пособ. - Казань: Казан, гос. технол. ун-т, 2005. - 125 с.
4. Галеев И.Х., Иванов В.Г., Аристова Н.В., Урядов В.Г. Сравнительный анализ программных комплексов ТеstMaker и ACT^st // Образовательные технологии и общество. - 2007. -№10(3). - С.336-360.
5. Красильникова В.А. Подготовка заданий для компьютерного тестирования: Методические рекомендации. - Оренбург: ИПК ОГУ, 2004. - 31 с.
6. Воробейчикова О.В. Структурированные тесты как средство контроля знаний // Информатика и образование. - 2001. - №7. - С.14-17.
7. Талызина Н.Ф. Теоретические основы контроля в учебном процессе. - М: Знание, 1983. - 96 с.
8. Сафаров Р.Х., Хрусталев А.В. Типы вопросов тематических тестов по классической механике на основе программного продукта ТеstМакег // Образовательные технологии и общество. - 2010. -№13(1). - С.281-292.
9. Матушанский Г.У. Проектирование педагогических тестов для контроля знаний // Информатика и образование. - 2000. - №6. - С.7-10.
10. Rash G. Probalistic Model for Some Intelligence and Attainment Tests. - Chicago: Univ. of Chicago Press, 1980.
CONDITION AND WAYS OF DEVELOPMENT OF COMPUTER TESTING IN PROFESSIONAL EDUCATION
R.H.Safarov
Testing students’ knowledge according to the modules of the disciplines studied has become a regular procedure in our universities. Despite some difficulties that appear in the process of introduction of computer testing into the every-day practice, this technology with the use of modern software system is becoming one of the most important component of the educational process. It is able to contribute to the quality of education and its integration into the global educational system.
Key words: technology of computer testing, classical test theory, modern test theory, pedagogical characteristics of test, adaptive control of knowledge.
Сафаров Рафкат Хабибуллаевич - доктор физико-математических наук, профессор кафедры теоретической физики Татарского государственного гуманитарно-педагогического университета.
E-mail: [email protected]
Поступила в редакцию 21.10.2010
