CC BY
99
УДК 378.02:372.8
Н. В. Медведенко
РАЗРАБОТКА И РЕАЛИЗАЦИЯ КОМПЛЕКСА ТЕСТОВ И ТЕСТОВЫХ ЗАДАНИЙ В ВУЗЕ
В настоящее время имеются различные варианты измерения и оценки обучения студентов, однако в основе большинства из них лежат формальные критерии, что не позволяет в достаточной мере полагаться на их объективность и всесторонность, что приводит к субъективизму в оценке эффективности образовательного процесса в вузе. Кроме того, число критериев, по которым оцениваются учебные достижения студентов в разных подходах и методиках существенно отличаются друг от друга, так как, как правило, их диапазон колеблется от 0 до 30 (О. А. Куревина, Л. Г. Петерсон). В связи с этим, преподавателю сложно сопоставить успешность обучения студентов даже на одном потоке в вузе.
Отсутствие адаптироватшых к различным условиям, оперативных в использовании и объективных методов оценки достижений студентов, а также настоятельная потребность в проведении независимой и объективной оценке этих достижений, привело к необходимости введения в модульно-рейтинговую технологию комплекса тестов и тестовых заданий.
Комплекс тестов и тестовых заданий является логически подвижной структурой и состоит из взаимосвязанных модулей: входного конгроля, ряда промежуточных зачетов по окончании изучения определенного раздела (коллоквиумов), двух семестровых экзаменов но частям курса, и одного итогового, по всему курсу (рис. 1).
Каждый модуль комплекса включает в себя тесты и тестовые задания, строго систематизированные в группы, во-первых, по основным темам, илиразделам курса, и, во-вторых, по различным уровням сложности.
Рис. 1. Блок-схема построения комплекса тестов и тестовых заданий
Выявление начального уровня учебных достижений может осуществляться в баллах для студентов, поступивших в вуз, и определяться с помощью входного контроля. В предлагаемой блок-схеме это модуль 1. Тестовые задания, входящие в этот модуль, должны быть такими же как и на вступительных экзаменах. Итоговый (выходной) уровень учебных достижений студента может быть оценен в баллах. Итоговый контроль должен включать как уровень теоретической подготовки, так и уровень практической подготовки по определенной дисциплине.
Выходной контроль состоит из систематически распределенных в группы тестов и тестовых заданий всех текущих зачетов (семестровых аттестаций). Каждый модуль комплекса предполагает до 10 вариантов тестовых заданий. В свою очередь, каждый вариант содержит до 10 тестовых заданий трех уровней сложности.
В тестах и тестовых заданиях, как правило, имеется 4 ответа по выбору студента, один из которых правильный. В комплексе используются только тесты закрытого типа. Важным аспектом заданий с готовыми ответами является возможность формирования их по принципу, который можно назвать удвоенной альтернативой. Задания, сформулированные по этому принципу, отличаются от других обязательным присутствием в каждом ответе двух элементов (понятий), последовательно противопоставляемых один другому. Наличие в них противопоставлений предъявляет довольно жесткие требования к прочности и к структуре знаний. Практика показывает, что задания с готовыми ответами лучше всего применять при контроле [4].
За критерий сложности тестовых заданий целесообразно принимать количество логических шагов, необходимых для выполнения задания. Иногда, рассматривается конструирование дидактических тестов на четырех уровнях, в соответствии с четырьмя уровнями обученности [2].
На уровне знакомства (первый уровень сложности) целесообразно использовать тесты на узнавание, т. е. отождествление объекта и его обозначение. В данном случае, это тесты на опознание, различие или классификацию объектов, явлений, понятий. Тесты на опознание ориентированы на поиск альтернативных ответов; да - нет; относится - не относится; согласен - не согласен. Тесты на различие содержат выбор правильного решения из предлагаемых вариантов.
Второй уровень (репродуктивный) предполагает тесты - подстановки, в которых намеренно пропускается часть информации; конструктивные тесты, в которых не содержится никакой помощи и типовые задания (чаще всего грамматические). Это такие задачи, условия которых позволяют «с места» применять известную разрешающую их процедуру (правило грамматики) и получить правильный ответ. Необходимость поисковой деятельности исключается. Студенты демонстрируют лишь знание способов деятельности применительно к разработанным в процессе обуче-
ния ситуациям. Тесты второго уровня сложности позволяют получить тестируемому 1 балл. Всего таких заданий в каждом варианте может быть четыре.
Третьему уровню сложности соответствуют задания, содержащие продуктивную деятельность, в процессе которой необходимо использовать знания и умения. Тестами являются нестандартные (нетиповые) задания. Тесты третьего уровня сложности оцениваются в 1,5 балла. Таких заданий в каждом варианте может быть три.
Тесты четвертого уровня (но В* П. Беспалько) - это проблемы, решение которых предполагает творческую деятельность, сопровождающуюся получением объективно новой информации. По мнению В. П. Беспалько, оценка тестового задания производится по формуле: К = —, где а - число тестовых заданий, выполненных верно; р - общее число
Р~ гп
задании в тесте [1].
Поскольку тесты оцениваются в баллах, можно перевести их в традиционную, четырехбальную систему. При 0,9 < К < 1(9-10 баллов) студент получает оценку «отлично». При 0,8<К<0,85 (8-8,5 баллов) студент получает оценку «хорошо». При 0,7 < К < 0,75 (7-7,5 баллов), работа студента оценивается на «удовлетворительно». Если работа выполнена студентом менее чем на 7 баллов (т. е. менее 70 %), то рекомендуется оценивать ее «неудовлетворительно», т. к. доказано, что этот уровень усвоения материала (К= 0,7) является минимальным для обеспечения возможности дальнейшего обучения студента. Ниже уровня 0,7 знания студента считаются неудовлетворительными, это сигнал того, что ему необходимо заново разобраться в учебном материале - самостоятельно или с помощью преподавателя.
Основные требования, предъявляемые к тестам, на которые необходимо опираться в ходе конструирования комплекса тестов и тестовых заданий.
Валидность - комплексная характеристика теста, включающая сведения в области исследуемых явлений и репрезентативности используемой по отношению к ней диагностической процедуры. Тест можно считать валидным, если он позволяет оценить именно то, для определения чего предназначен (в нашем случае - степень усвоения учебного материала). Главная составляющая валидности для педагогических тестов -содержательная, которая характеризует степень репрезентативности содержания по отношению к измеряемому показателю.
В теории и практике тестирования в понятие надежности вкладывают два значения. Тест считается надежным, если он дает одни и те лее показатели для каждого испытуемого при повторном выполнении им данного теста (естественно при условии, что он не знает или не помнит, правильно или не правильно выполнил каждое из предложенных заданий в первый раз). Такая надежность называется ретестовой.
Тест называется также надежным, если он является внутренне согласо-
ванным, т. е. результаты выполнения отдельных заданий положительно коррелируют друг с другом и общим показателем теста.
Дискриминативность теста характеризуется способностью отдельных его заданий и теста в целом дифференцировать тестируемых относительно максимального и минимального результатов теста. Например, задания, на которые правильно отвечают все студенты, не имеют никакой практичес- -кой ценности.
Шкалирование результатов тестирования - это способ их оценивания и упорядочивания в определенную числовую систему. Шкалирование результатов и группировка их по интервалам необходимы для проведения ряда статистических процедур, которые должны способствовать валидиза-ции теста. Применительно к педагогическим тестам речь идет о шкале достижений, в соответствии с которой за правильное решение тестового задания студенту начисляются баллы (в общем случае - в зависимости от сложности задания), которые затем суммируются. При этом вся шкала обоснованным образом разбивается на интервалы. В идеале желательно, чтобы в каждый интервал попадало одинаковое количество суммарных результатов, и в любом случае требуется, чтобы ни в один интервал не попадала большая часть результатов. Частным случаем может являться деление шкалы достижений на интервалы одинаковой ширины.
Основные положения, взятые за основу в ходе создания комплекса: отбор предметного содержания тестовых заданий; правильность конструирования тестовых заданий; правильность составления тестов из тестовых заданий; оценка валидности, надежности и дискримииативности.
К предъявляемым требованиям к содержанию тестов и тестовых заданий следует отнести: содержание тестов и тестовых заданий для контроля усвоения знаний по конкретной дисциплине должно в первую очередь определяться учебной программой в соответствии с государственным образовательным стандартом высшего профессионального образования. Преподаватель определяет наиболее существенные, важные, характерные понятия и определения курса для проверки понимания которых и будут далее сформулированы тестовые задания.
Что касается конструирования тестов и тестовых заданий, то, после того как содержание будущего теста определено, необходимо облечь его в конкретную форму, т. е. сконструировать тестовое задание. Это сложный и неформальный этап подготовки тестовой базы, требующий от автора творческого подхода, знания основ теории тестирования и педагогического опыта.
В тестах достижений выделяются такие формы тестовых заданий как: закрытая (в том числе задания с несколькими вариантами выбора и альтернативные задания); открытая; на установление соответствия; на установление правильной последовательности.
Закрытые задания, наиболее часто встречающиеся на практике, состоят
из двух частей: основной части, содержащей утверждение или вопрос; вариантов выбора, или некоторого количества возможных ответов, из которых тестируемый должен выбрать правильный ответ.
При формировании заданий с несколькими вариантами ответов исходим из того, что: задание должно быть записано настолько просто, насколько это возможно для его точного понимания; все неверные варианты ответа, называемые «дистракторы» должны быть такими, чтобы привлечь внимание отвечающего, чем больше будет неэффективных дистракторов (а тем более заведомо неприемлемых), тем проще становится задание; ответ на один вопрос не должен давать ключа к остальным (т. е. рекомендуется использовать одни и те же варианты ответов в различных заданиях, если они могут навести отвечающего на правильный ответ); следует избегать тестирования тривиального ввиду простоты его обнаружения; следует учитывать компьютерную специфику заданий, выбирая понятные для тестируемого и удобные для разработчика способы их реализации.
Оптимальное количество вариантов ответов в закрытых заданиях - 4-6. Допускается и иное количество вариантов. Однако надо иметь в виду, что систематическое использование большого количества вариантов утомляет тестируемого и к тому же усложняет задачу разработчика тестов и тестовых заданий. Меньшее число вариантов упрощает задачу отвечающего, повышая вероятность угадывания верного ответа. Именно поэтому, альтернативные задания хотя и достаточно широко применяются в тестировании, но по эффективности уступают заданиям с несколькими вариантами ответов, хотя сконструировать их гораздо проще.
По классической теории тестирования, в закрытом задании должен быть только один правильный вариант ответа. При компьютерном тестировании, однако, допускается и такая формулировка задания, когда для его правильного решения необходимо отметить несколько вариантов ответа (это естественно, не относится к альтернативным вопросам). Такое построение также уменьшает вероятность угадывания правильного решения. Необходимо только, чтобы правильным решением считалась именно конкретная комбинация вариантов ответов, например, несколько пунктов некоторого списка перечисления; все остальные комбинации будут квалифицированы как неверные. А вот ситуация, когда в списке ответов имеются два (или более) варианта, каждый из которых может быть признан исчерпывающе правильным, нежелательна.
Недопустима и такая формулировка закрытого задания, когда для правильного его решения необходимо отметить все варианты ответов. Точно также неприемлемо, если среди перечисленных вариантов ответов нет ни одного правильного.
По мере накопления статистических данных составы «легкого» и «трудного» блоков заданий могут уточняться. Например, задание из «легкого» блока, стати-
стика результата выполнения которого окажется неудовлетворительной, должно быть переведено в «трудный» блок. Процедура подобного статистического анализа и гибкое изменение состава блоков теста также эффективно может быть реализована на компьютере и фактически является составной частью индивидуально ориентированного алгоритма тестирования.
Дискриминативностью называют способность задания дифференциро- , вать студентов на сильных и слабых. Высокая дискриминативность, важная характеристика удачного тестового задания [3].
Надежностью называется характеристика теста, отражающая точность тестовых измерений, а также устойчивость тестовых результатов к действию случайных факторов. Следовательно, термин надежность имеет два значения. Первое, тест считается надежным, если он обеспечивает высокую точность измерений, второе, если он при повторном выполнении дает близкие результаты при условии, что подготовка студента не изменилась за время до повторного выполнения теста. В требовании проверки теста на надежность реализуется важная идея методологического характера, связанная с необходимостью обоснования качества тестовых измерений. Существует также возможность использовать для проверки рассматриваемой формы надежности, параллельные варианты теста с эквивалентными по сложности заданиями. При определении ретестовой надежности используется повторное тестирование, соблюдая при этом необходимые условия: повторное тестирование нельзя проводить через слишком малый промежуток времени после первого (оптимальный вариант-три недели); студенты не должны повышать свои знания за время между первым и повторным тестированием; студентам не должны сообщаться результаты первого тестирования.
Для проверки надежности необходимо использовать эквивалентные по сложности тесты и тестовые задания из компьютерных обучающих и контролирующих программ.
Валидность трактуется как характеристика качества теста, ориентированная на оценку адекватности теста поставленной цели его задания. Как правило, постановка целей создания теста носит комплексный характер, поэтому обычно проверяют валидность с разных позиций сообразно различным направлениям использования теста.
Для оценки валидности теста обычно используют коррекцию между показателями теста и некоторыми внешними критериями. Но обычно в этом случае проверяется не практический, а методологический характер валидности, так как необходимо выбрать некоторые значимые внешние критерии. Для педагогических тестов в качестве критерия берутся оценки экспертов, выставленные ими при традиционной проверке достижений обучающихся без использования тестов. Процесс валидизации осложняется необходимостью установления меры согласованности оценок экспертов, кото-
рых обычно должно быть не менее трех человек. Таким образом, содержательная валидность теста может быть подтверждена на основании экспертных оценок [1].
Для повышения валидности теста необходимы: подбор оптимальной трудности заданий для обеспечения нормального закона распределения баллов по тесту; экспертиза качества содержания теста; расчет оптимального времени выполнения теста; подбор валидных заданий с высокой дискримина-тивностью.
Помимо предъявленных к педагогическим тестам требований дискримина-тивности, надежности и валидности необходимо, чтобы тест был стандартизирован, т. е. его показатели имели бы стандартное распределение. Это позволит привести результаты тестирования различных групп студентов «к общему знаменателю». Показатели теста приводятся, как правило, к нормальному распределению, что дает возможность осуществлять полноценный и точный их статистический анализ, так как для нормального распределения существует богатый набор инструментов статистического исследования.
Для более успешной оценки достижений студентов лучше всего чередовать машинный и безмашинный контроль. Достоинствами компьютерной формы тестирования являются: объективность тестирования - ЭВМ «беспристрастна» при предъявлении тестов и тестовых заданий и подсчете результатов их выполнения; удобство фиксации, хранения и предъявления результатов тестирования, а также возможность их автоматизированной обработки, включая базу данных и статистический анализ; удобство реализации процедур индивидуально-ориентированного тестирования; возможность создания таких тестовых заданий, которые не могут быть представлены без компьютера. При этом можно использовать графические, динамические, интерактивные и другие специфические возможности представления тестовых заданий на компьютере, однако чрезмерно увлекаться ими тоже не следует. Излишества, отвлекающие внимание студента, наносят ущерб качеству теста. Нежелательно создавать те или иные тесты только потому, что компьютер способен их реализовать.
Недостаток компьютерного тестирования заключается в том, что от испытуемого требуются хотя бы минимальные навыки работы с ЭВМ. Поэтому надо составлять тесты таким образом, чтобы испытуемый не тратил больших усилий и внимания на восприятие вопроса и выбор ответа, чтобы это не влияло на показанный результат.
В отличие от традиционных средств контроля тесты проходят процесс научного обоснования качества, предполагающий оценку соответствия характеристик тестов важнейшим критериям: надежности, валидности и дискриминативности. Научный подход к созданию тестов существенно повышает точность измерений, а, следовательно, оценка достижений студентов становится более объективной.
Библиографический список
1. Беспалько, В. П. Слагаемые педагогических технологий /В. П. Беспалько -М.: Педагогика, 1989. - 192 с.
2. Витулак, Г. Основы психодиагностики/Г. Витулак/Пер. с нем. -М.: Прогресс, 1986.-123 с.
3. Попков, В. А. Опыт рейгинговой оценки знаний студентов / В. А. Попков // Педагогика. - 1998. - № 8. - С. 13-17.
4. Саранов, А. М. Инновационный поиск в современной развивающейся школе / А. М. Саранов. - Волгоград: Перемена, 1999. - 227 с.
УДК 372.016:811
Л.П. Гадзаова
ПРИНЦИПЫ ОПТИМИЗАЦИИ ОРГАНИЗАЦИОННОДЕЯТЕЛЬНОСТНЫХ ПОДХОДОВ В ОБУЧЕНИИ ИНОСТРАННЫМ ЯЗЫКАМ
Современный образованный человек - это не столько человек много знающий, сколько подготовленный к реальной жизни, ориентирующийся в сложных проблемах современной материальной и духовной культуры, способный осмыслить и определить своё место в мире, оперирующий сложным изменившемся механизмом получения, усвоения и закрепления многократно увеличившегося объема информации. Знания и практическая деятельность, использующая эти знания - всё, что создано человеком в процессе выхода из границ, определенных для него природой - это то, что мы называем культурой [Э.С. Кульпин, 1999]. Образованный человек создает материальные и духовные ценности, преобразует окружающий мир, строит города, творит науку, литературу и искусство, одним словом, все, что есть в обществе [По ГобозовуД993].
Анализ различных нсихолого-педагогических источников позволяет определить следующие условия формирования ценностных ориентаций у студентов в процессе обучения переводу в условиях реальной образовательной среды:
а) к сопоставительному анализу переводческого материала следует привлекать возможно больше вариантов перевода;
б) наличие необходимых словарей по жанру текстов;
в) анализ достаточно обширной выборки текстов имеет преимущество получить гораздо более полный перечень обучаюгцих наглядных ценностных ситуаций;
