CC BY
17ЦЕЛИ, ЗАДАЧИ И СМЫСЛ ИКТ-тестирования учителей
Екатерина Викторовна Якушина,
ведущий научный сотрудник лаборатории медиаобразования Института содержания и методов обучения РАО, кандидат педагогических наук
Леонид Иосифович Ястребов,
директор Департамента образовательных проектов и информационных технологий Фонда содействия информатизации образования, кандидат физико-математических наук
Тестирование сегодня проходят не только школьники и студенты, учащиеся различных курсов: существуют программы для тестирования учителей, в частности, по информационным технологиям. Задача руководителя школы — наметить цели тестирования, подобрать такую тестирующую программу (тест), которая позволит достичь эти цели, сделать выводы и наметить программу действий. Это один из важнейших вопросов, которые обсуждались в последние годы и, конечно, будут обсуждаться на предстоящем августовском педсовете.
• тестирующие программы • ИКТ-компетентность • тест самооценки
• входное тестирование • выходное тестирование • закрытые и открытые задания • фасетный принцип
Цель тестирования определяется с точки зрения того, можно ли сделать выводы, интересующие руководителя, и достаточно ли надёжны эти выводы, чтобы на их основании определять программу действий.
Цели и задачи тестирования
Часто при тестировании ставится задача проверить испытуемого на знание программы. Но при этом те, кто организует подобное тестирование, не могут ответить на вопрос, каким именно знанием должен обладать учитель в области информационно-коммуникационных технологий (ИКТ-компетентным).
Требуемое знание напрямую зависит от потребностей учителя. На опыте преподавания в Федерации интернет-образования мы выделяли три уровня требуемого знания, и после достижения каждого уровня считали учителя ИКТ-компетент-ным. (В таблице, приведённой в Приложении1, указаны уровни ИКТ-компетен-тности учителей.) Соответственно должно быть три уровня тестов — в том числе в зависимости от того, предполагается ли умение учителя работать в ИКТ-коллек-тиве (например, презентации по сети с коллегами и пр.). Хотим ли мы исследовать знание основных функций
1 Полный текст статьи читайте в электронной версии этого номера журнала.
программы или хотим имитировать умение добиваться нужной цели любым из возможных путей — это самый важный вопрос при организации тестирования учителей в области информационных технологий.
Для учителей роль и место тестовых заданий по информационным технологиям, используемым в учебном процессе, определяются структурой процесса усвоения знаний в процессе обучения. Деятельность по усвоению содержания учебного материала можно условно разделить на стадии: понимание; запоминание и воспроизведение; применение знаний по известным правилам; применение знаний в новых условиях.
Вначале педагоги знакомятся с новым материалом, усваивают связь нового с уже известным. Затем они усваивают материал настолько, что способны воспроизвести полученную информацию. На третьей стадии могут применить приобретённые знания для решения задач, возникающих в процессе обучения школьников. На четвёртой стадии усвоения учебного материала педагог применяет приобретённые знания для решения творческих, учебных задач.
Исходя из этого, главной целью тестирования должна стать именно проверка: может ли учитель после обучения успешно вести учебный процесс, а не просто проверять, как это часто делается в центрах тестирования, знание приёмов работы на компьютере.
Натаскивание на тесты
Нередко встречаются переведённые на русский язык тесты, совершенно не адаптированные к нашим условиям, тем более к специфике образовательной деятельности. По результатам таких тестов выдают сертификаты международного образца, которые, бесспорно, необходимы для дальнейшего продвижения по службе и трудоустройства. Но показывает ли обладание подобным сертификатом реальное умение учителя решать свои задачи в учебном процессе?
В этих текстах также часто встречаются специализированные вопросы, ответы на которые обычному пользователю не особенно нужны. К таким тестам ведётся спецподготовка: в центрах сертифицирования часто не учат работать с той или иной программой, решать те или иные задачи, а учат просто сдать тест, т.е. заранее дают ответы на вопросы. Поэтому очень важна самооценка учителей: они должны понимать, что они умеют и чему им нужно научиться в области информационных технологий.
Тест как самооценка учителя
Всегда эффективно доверие к учителю, когда руководитель тестирует педагогов для того, чтобы наметить пути дальнейшего совершенствования их ИКТ-компетентности, а не с целью «наказать рублём».
Читатель скажет — доверие, самооценка, это всё хорошо. Доверие мы обеспечим.
А вот нельзя же просто спрашивать учителей — чего им ещё не хватает в их ИКТ-компетентности? Они же сами могут не знать. Значит, всё равно нужно тестирование!
Авторы статьи во время работы в Московском учебном центре Федерации интернет-образования (повышение квалификации учителей в сфере информационных технологий) разработали и успешно использовали анкету самотестирования. Впоследствии эта анкета распространилась по 40 региональным центрам Федерации и по 22 регионам проекта ИСО (Информатизация системы образования). Анкета предназначалась для входного тестирования слушателей в начале обучения.
Входное тестирование как пример теста самооценки
Цель входного тестирования — обеспечить наиболее точное распределение как
по учебным группам, так и по установлению траекторий обучения в соответствии с намеченными тремя вариантами учебных программ. Требования к анкете:
• анкетирование должно обеспечивать равномерный охват учебных тем с отражением вопросов, возникающих в курсе обучения;
• анкеты представляют в электронной форме с возможностью электронного подсчёта результатов анкетирования;
• контроль за правильностью заполнения ячеек анкеты;
• возможность получить единую числовую характеристику для оценки ИКТ-компетентности потенциального слушателя;
• возможность использовать анкету как контроль «на входе» для тестирования накопленного ИКТ-багажа.
Преимущество этой схемы тестирования в том, что она ориентирована на компетентностный подход, при котором не существенно, каким из возможных способов тестируемый слушатель решает поставленную задачу.
Недостаток схемы в том, что она опирается на самооценку, а это, в известной мере, субъективный фактор. Однако этот недостаток в основном проявляется при входном тестировании, когда поток слушателей уже набран и стоит задача разбить их по группам в соответствии с их предварительными знаниями.
В этом случае сказывается естественное желание человека выглядеть как можно лучше, и самооценки несколько завышены.
Вопросы построены по деятельностному принципу: «умеет ли слушатель сделать такое-то действие, выполнить конкретный приём». Вопросы отбирались на основании экспертных оценок сравнительной важности соответствующих умений и в ряде случаев отбор значительно перекрывал уровень знаний, минимально необходимых педагогическому работнику. «Перекрывание» сделано специально: это позволяет оценить степень истинности/ложности ответов, но, к сожалению, не автоматически.
Особенность тестирования в том, что анкетируемый сразу видит, правильно ли он заполнил анкету; при этом он может в любой момент исправить свои результаты. Такой под-
ход позволяет слушателю проконтролировать свои действия.
И ещё одна важная особенность: если по окончании обучения провести анкетирование по той же анкете, сравнение численных значений уровней компетентностей позволит количественно оценить результаты обучения. Конечно, надо понимать, что относительные приращения ИКТ-компетентности будут меньше для продвинутых слушателей. Однако это — контроль «на выходе», который показывает, сколько слушателей было выпущено с данным уровнем компетентности. Таким образом, предлагаемый вариант был своего рода альтернативным тестированием, на уровне самооценки учителем своих знаний — для определения путей дальнейшего повышения квалификации.
Выходное тестирование: цели, задачи, основные требования
Выходное тестирование (тестирование по окончании обучения работать с той или иной программой) также должно иметь чётко определённые цели и задачи, напрямую связанные с самооценкой и самосознанием педагогов. В описанном выше варианте мы предлагали проводить выходное тестирование по тем же вопросам, что и при входном тестировании. Но вопросы могут быть и другими; самое главное, чтобы они соответствовали содержанию полученных учителями знаний и исходили из непосредственных задач педагогов.
При выборе формы тестирования администратор школы должен проверить, соответствуют ли тесты, предлагаемые учителям, установленным требованиям: адекватности (валидности), определённости (общепринятости, общепонятости), простоты, однозначности и надёжности.
Указанный тест в его электронном виде вы можете скачать с сайта http://yastrebov.li
Требования к тестам
Тест-самооценка по разным причинам может не удовлетворять руководителя школы, поэтому рассмотрим тесты в их более привычном значении, когда сторонний контроль проверяет знания «испытуемого».
Действенный, валидный и эффективно работающий тест — это завершённый продукт с определёнными свойствами и характеристиками, соответствующий современным методическим требованиям. Тест обладает составом, целостностью и структурой, состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста проявляется во взаимосвязи включённых в него заданий. Ни одно из заданий не может быть изъято из теста без ущерба для него. Структура теста проявляется в способе связи заданий между собой.
Под адекватностью или валидностью теста понимают точное соответствие содержания задаваемой тестом пробы смыслу и содержанию выявляемого признака. Оценить валидность теста можно при теоретическом анализе и экспериментально. При теоретическом анализе проводится экспертная оценка структуры и содержания каждого действия, исследуется возможный путь её осуществления. Желательно теоретический анализ дополнить экспериментальным, при котором экспериментатор наблюдает и фиксирует характер выполнения каждой операции теста.
Качественно подготовленный тест предполагает тщательный анализ содержания учебной дисциплины, классификацию учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц с последующим представлением этих единиц через элементы композиции задания. Тестируемые должны понимать, какую деятельность они выполняют при тестировании, какие знания необходимо продемонстрировать и в каком объёме.
Требование простоты теста может быть расшифровано как необходимость иметь в тесте более чёткую и прямолинейную формулировку задания на деятельность: для этого каждое задание теста должно быть ограничено одной задачей определённого уровня. При тестировании должен быть хорошо продуман уровень его трудности в целом и отдельных тестовых заданий: тесты должны быть ориентированы на общий уровень подготовленности тестируемых.
Основные принципы, которые должны быть отражены в качественном тестировании:
• тест должен соответствовать целям тестирования;
• определено значение проверяемых знаний в общей системе проверяемых знаний;
• обеспечена взаимосвязь содержания и формы теста;
• тестовые задания правильные с точки зрения содержания;
• соблюдается репрезентативность содержания учебной дисциплины в содержании теста;
• тест соответствует уровню современного состояния программного обеспечения и педагогической науки;
• содержание теста комплексное и сбалансированное;
• содержание теста системное, но, вместе с тем, вариативное;
• оценка тестов однозначная.
Требование однозначности теста означает, что качество его выполнения должно одинаково оцениваться различными преподавателями. Поэтому разработка теста не заканчивается формулировкой задания на деятельность, а обязательно предполагает создание эталона, определяющего систему измерения и оценки качества деятельности, выполненной испытуемыми по тесту.
Также следует обращать внимание на форму теста: она напрямую зависит от цели и задач, содержания, технических условий и уровня подготовки тестируемых.
По форме тестовые задания могут быть «закрытыми» и «открытыми».
«Закрытые» задания содержат набор готовых ответов, причём один ответ правильный, а остальные — неточные и неполные. Испытуемый должен указать правильный ответ — тот, для получения которого используется вся информация в задании. Наиболее простая форма «закрытого» теста требует от испытуемого выявления одного из двух альтернативных решений: «да — нет» или «верно — неверно».
Разновидность «закрытых» заданий — задания с выбором нескольких правильных ответов. Среди этих заданий выделяются разновидности:
• выбор нескольких правильных ответов;
• выбор одного, наиболее правильного ответа;
• выбор неправильного ответа («укажите неправильный ответ»).
У авторов статьи при создании теста по программе Microsoft Word была идея: дать возможность указать хотя бы один правильный путь. Это работает в том случае, если нас действительно интересует вопрос: «Надо ли доучивать учителей?» Такой приём даёт возможность использовать тест для любых самоучек и выпускников любых курсов.
«Обилие» правильных ответов, с одной стороны, увеличивает вероятность угадывать хотя бы один правильный ответ. С другой стороны, это позволяет компоновать из одного тестового задания несколько заданий (фасетный принцип2), позволяет проверить знание, а не только применение. Если тестируемый владеет программой, он знает, что нужный результат достигается несколькими путями. Таким образом, этот подход позволяет не только проверить, может ли тестируемый, скажем, отредак-
2 «Фасетные» задания — задания, имеющие варианты: с помощью этих заданий тестируемые получают вопросы в случайном порядке, что практически исключает их повторение и возможность списывания. Для отвлечения внимания тестируемых используются ответы-дистракторы (от англ. to distract — отвлекать). Подбор дистракторов влияет на качество теста.
тировать ошибку в слове, но и выяснить, сколькими способами он может это сделать. Иными словами, этот подход, оценивающий гибкость умений тестируемого, тем самым проверяет и его знания и понимание.
Другое дело, если программа-оболочка не позволяет следить за тем, какие правильные и неправильные ответы даёт испытуемый. Но, увы, с такой программой нельзя проводить адекватную апробацию и проверку сложности теста.
Если выясняется, что на какой-то вопрос дали правильный ответ, скажем,
8% от числа всех тестируемых, то можно считать, что это вопрос высокого уровня сложности.
Открытые задания
В «открытых» заданиях тестируемому необходимо самостоятельно дать правильный ответ. Такие задания могут иметь форму вопросов, требовать исключить лишнее, дописать недостающее, систематизировать и так далее. Кроме того, к таким тестам предъявляются следующие требования: каждый тест должен характеризоваться определённым уровнем трудности, надёжностью (относительная неизменность теста и того, что им определяется) и валидностью (степень соответствия теста его назначению). Эти характеристики теста определяются экспериментально. Задания теста формулируются кратко, чётко и недвусмысленно. Задания, рассчитанные на проверку знаний, не должны быть составлены так, чтобы на них можно было правильно ответить на основе интуиции.
В начале любого теста обязательно должна быть дана краткая, но чёткая инструкция по выполнению задания, например: «Выберите правильный ответ...», «Выберите наиболее правильный ответ...», «Впечатайте в свободном поле ответ...» и т.п. Если задания представлены в одинаковой форме, инструкция
Задания с выбором нескольких правильных ответов
пишется один раз для всего теста. Если тест включает различные задания, то перед каждым новым заданием пишется новая инструкция. Текст задания, как правило, должен зрительно отделить само задание от вариантов ответа. Текст ответов также должен быть кратким и лаконичным: краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания. Полностью должны исключаться повторы слов, малопонятные, редко употребляемые слова, а также неизвестные тестируемым символы, иностранные слова, затрудняющие восприятие смысла.
Правила оценивания
Одно из важных требований при тестировании — наличие заранее разработанных правил выставления баллов. Обычно за правильный ответ в каждом задании даётся один балл, за неправильный — ноль. Сумма всех баллов, полученных тестируемым, даёт число правильных ответов. Это число ассоциируется с уровнем его знаний и с понятием «тестовый балл испытуемого». Но существуют и другие, более сложные схемы оценивания, например, рейтинговые.
Общие требования, предъявляемые к заданиям в тестовой форме (по В.С. Аванесову):
• логическая форма высказывания;
• правильность формы;
• краткость;
• наличие определённого места для ответов;
• правильность расположения элементов задания;
• одинаковость правил оценки ответов;
• одинаковость инструкции для всех испытуемых;
• адекватность инструкции форме и содержанию задания.
Мы специально подробно остановились на требованиях к тестированию не только для того, чтобы помочь людям, выбирающим тестирование, отличить квалифицированное,
профессионально подготовленное тестирование от простых опросников, но и ещё раз напомнить эти требования: ведь сегодня учителя не только сами проходят тестирование, но и самостоятельно создают тесты для своих учеников — они также должны, прежде всего, определить цели и задачи тестирования и привести его в строгое соответствие с указанными выше требованиями.
Обзор сайтов, предлагающих тестирование в области ИТ
http://test.specialist.ru
Онлайн-тестирование и сертификация по информационным технологиям (Центр компьютерного обучения «Специалист»)
Основная задача сервера — профессиональная оценка знаний в области информационных технологий. Пройдя оп-Н^ тестирование, можно получить Сертификат Центра компьютерного обучения «Специалист» при МГТУ им. Н.Э. Баумана.
На сайте также размещены пробные тесты и предложения по дистанционному обучению.
http://tests.acade my.ru
Онлайн-тестирование по информационным технологиям (проект учебного центра «Сетевая академия»)
Сервер бесплатного оп-Нго тестирования. Профессионально составленные тесты по IT-технологиям для всех (от пользователей до профессионалов), награды, призы, персональные советы по обучению и сертификации.
http://www.microsoft.com/rus/education/defa
ult.aspx
Microsoft Office Specialist (Сертификат специалиста по работе с приложениями Microsoft Office)
Это единственная одобренная корпорацией Microsoft программа сертификации, которая разработана для проверки и качественной оценки знаний пользователями настольных приложений пакета Microsoft Office.
Пройдя сертификацию Microsoft Office Specialist, любой слушатель получит ощутимое преимущество перед другими соискателями при приёме на работу.
В России эта программа (Microsoft IT Academy) начала действовать в 2004 году. Программа разработана специально для учебных заведений, чтобы помочь им стать лидерами в преподавании современных компьютерных технологий Microsoft, а учащимся — при обрести профессиональные знания и навыки. Программа международная, в ней приняли участие около 150 учебных заведений России.
Программа Академии предусматривает два уровня участия:
1. Microsoft Office Specialist — изучение рабо ты с компонентами пакета пользовательских приложений Microsoft Office. Полученные знания позволят сдать тесты и получить сертификат Microsoft Office Specialist (MOS).
2. IT Pro — начальная подготовка специалистов в области информационных технологий (техническая поддержка ПК, администрирование компьютерных сетей и систем, разработка сложных приложений и баз данных для раз-
личных сред). Полученные знания позволят сдать тесты и получить сертификат Microsoft Certified Professional (MCP).
http://www.acade my.it.ru/ru/pspo/
Обучение свободному программному обеспечению.
Вся информация по обучению специалистов сферы образования внедрению и использованию свободного программного обеспечения в учебном процессе публикуется на специализированном учебном портале http://pspo.it.ru.
Институт «АйТи» проводит обучение учителей-предметников, учителей информатики, административно-педагогических кадров образовательных учреждений администрированию пакета свободного программного обеспечения и использованию свободного программного обеспечения в учебном процессе.
По окончании обучения предусмотрено очное итоговое тестирование с выдачей свидетельства о прохождении обучения и результатах очного итогового тестирования. НО
