CC BY
201
В.А. Толстик, А.В. Никитин
Толстик Владимир Алексеевич — доктор юридических наук, профессор, начальник кафедры государственно-правовых дисциплин Нижегородской академии МВД России
Никитин Александр Всеволодович — кандидат юридических наук, доцент кафедры государственно-правовых дисциплин Нижегородской правовой академии
Методика тестирования остаточных знаний по учебному курсу «Юридическая техника»
Одним из приоритетных направлений совершенствования методики контроля качества усвоенных знаний, в настоящее время, является использование тестового контроля.
Тестирование может применяться для осуществления таких видов контроля успеваемости обучаемых как: текущий, рубежный, итоговый семестровый, остаточных знаний, итоговый государственный.
Текущий контроль проводится с целью определения уровня освоения обучаемыми учебного материала по конкретной теме учебного курса. Он может осуществляться как в ходе учебных занятий (семинарских, практических и т. п.), так и в часы самоподготовки в процессе отработок полученных на занятиях неудовлетворительных оценок. Понятно, что в данном случае тестирование используется в качестве предварительного контроля степени готовности обучаемых к основной форме аттестации (экзамен, зачет).
Рубежный контроль проводится для предварительного определения уровня освоения обучаемыми пройденного учебного материала (по одной или нескольким темам). Хронологически он осуществляется, как правило, в середине семестра после прохождения половины учебного курса. Для этого в расписании учебных занятий предусматривается определенное время.
Итоговый семестровый контроль проводится для определения степени достижения поставленной цели обучения по учебной дисциплине в целом в форме зачета или экзамена1.
Контроль остаточных знаний проводится с целью определения уровня учебных знаний, которые остались в памяти обучаемых по истечении определенного времени (не менее шести месяцев) после сдачи зачета или экзамена. Такой контроль проводится как по собственной инициативе образовательного учреждения в целях самообследования, так и по инициативе Рособрнадзора аттестационной комиссией в период аттестации либо в промежутках между аттестациями образовательного учреждения.
Итоговый государственный контроль проводится с целью установления уровня подготовки выпускника высшего учебного заведения к выполнению профессиональных задач и соответствия его подготовки требованиям Государственного образовательного стандарта высшего профессионального образования (включая федеральный, национально-региональный и компонент образовательного учреждения)2.
Предметом настоящей статьи является рассмотрение методики тестирования остаточных знаний применительно к курсу «Юридическая техника».
Однако прежде чем перейти к анализу собственно методики тестирования, обратим внимание на то, что само по себе тестирование остаточных знаний, проводимое по инициативе Рособрнадзора, подвергается достаточно серьезной критике. Так, Общество защиты прав потребителей образовательных услуг подало в суд на Рособрнадзор. По мнению правозащитников, нынешняя система проверки остаточных знаний не приносит образованию ничего, кроме вреда. Президент Обще-
1 См.: Жевлакович С.С. Методические рекомендации по разработке и применению в учебном процессе тестовых заданий по учебным дисциплинам и по использованию автоматизированной системы контрольных тестов / С.С. Жевлакович, В.Г. Колюхов, А.Л. Соколов. - М., 2001. - С. 4-5.
2 Приказ Минобразования РФ от 25 марта 2003 года № 1155 «Об утверждении Положения об итоговой государственной аттестации выпускников высших учебных заведений Российской Федерации» // Бюллетень нормативных актов федеральных органов исполнительной власти. - 2003. - № 33.
ства Анатолий Сидоренко заявил, что практика проверки качества образования путем тестирования остаточных знаний является порочной по ряду причин.
Во-первых, нет четкого определения, что такое «остаточные знания»: по содержанию, по сроку окончания вуза, а поэтому здесь много произвола.
Во-вторых, несовершенна методика определения остаточных знаний: ни студент, ни вуз не знают заранее, какой уровень (процент) правильных ответов на вопросы засчитают приемлемым. Решение принимают не до, а после того, как протестирована целая группа вузов, причем научного обоснования для выбора уровня правильных ответов нет. Студентам, сдающим тест, также неизвестно, правильно ли они отвечали, и какие ошибки допустили. Оспорить выставленные оценки нельзя.
В-третьих, много нареканий вызывает качество используемых тестов. В общей сложности их очень много - тысячи. Поэтому, чтобы найти материал для всех, составители дробят вопросы до невозможности, фактически подменяя проверку знаний «ловлей блох». Кроме того, тесты в принципе проверяют только фактологические знания и формируют «кроссвордный» тип мышления. Игнорируется главная задача - формирование профессионального мышления.
В-четвертых, поскольку речь идет об оценке вузов, чтобы не «ударить в грязь лицом», они нашли выход из положения. Перед каждым тестовым контролем остаточных знаний вузы вынуждены «натаскивать» студентов по предметам, изученным в предыдущем семестре или учебном году. Понятно, что это происходит за счет изучения текущего материала.
В-пятых, порочен весь подход в целом. Получается, что если студент не справился с заданием, то виноват «плохой» вуз. Но ведь в образовательном процессе участвует не одна, а две стороны - учитель и ученик. А тут ученическую двойку почему-то выставляют учителю, независимо от того, какие усилия он прилагал, чтобы научить своему предмету. Технология такова: когда становится ясно, сколько именно студентов нужно для проверки, отбирают группу самых подготовленных и они сдают тест несколько раз - по разным зачеткам. При этом в подавляющем большинстве случаев студенты решают тест вместе с преподавателем1.
Опираясь на приведенные изъяны и проистекающие из них негативные следствия, защитники прав потребительских образовательных услуг пришли к выводу, что существующую систему оценки качества образовательного процесса в вузе посредством оценки остаточных знаний надо срочно менять.
Взамен предлагается система, где главными элементами оценки должны стать: уровень компетенции, знаний и опыта преподавателя; организация учебно-методической работы в вузе; рейтинг вуза с учетом мнения всех субъектов оценки (потребителя образовательных услуг, его семьи, работодателя, общества и государства); соответствие требованиям образовательных стандартов с учетом комплекса профессиональных компетенций и требований, в том числе перспективных; оценка качества образования в соответствии с долгосрочными экономическими прогнозами; измерение знаний и компетенций по ясным и открытым правилам2.
Справедливости ради, следует отметить, что ни Министерство образования и науки, ни Ро-собрнадзор никогда не рассматривали тестирование остаточных знаний в качестве определяющего и тем, более, единственного показателя качества образования в вузе. Это один из существенных показателей, который лишь в системе с другими показателями позволяет дать объективную оценку качества образования в каждом конкретном учебном заведении. При этом вполне очевидно, что любой показатель имеет те или иные изъяны, которые могут порождать различного рода негативные следствия. Однако это не должно являться основанием для объявления его порочным и полностью непригодным. Это была бы неконструктивная логика. И если ей следовать, то можно все, что угодно, довести до полного абсурда.
В истории нашего государства известно немало примеров, когда шельмованию подвергались как прогрессивные науки, так и отдельные методы. Так, в 1936 году вышло постановление ВКП(б) «О педологических извращениях в системе Наркомпросов», в котором тесты были объявлены вредным методом. Многие годы, вплоть до начала 90-х годах XX века, отношение к тестам было негативным. Педагоги-практики вернулись к тестам в период прекращения массовых политических репрессий. Уже к началу 60-х годах XX века многие учителя, заботящиеся не о формальных показателях, а о реальном качестве учебного процесса, стали использовать при контроле наборы заданий в тестовой форме, которые чаще всего назывались по-разному, но только не словом «тест»3.
1 См.: Остаточные знания Рособрнадзор // http://www.gazeta.ru/education/2007/05/17_a_1700660.shtml
2 См.: там же.
3 См.: Метод тестирования в системе педагогических измерений // http://revolution.allbest.ru/pedagogics/0000039310. Мтк
318 -----------------------------------------------------------------------------------------------------------------------
Юридическая техника. 2009. № 3.
Можно без преувеличения утверждать, что на сегодняшний день появилось понимание того, что теория педагогических измерений - наука, обладающая своей методологией, методами и аппаратом, необходимым для разработки качественных педагогических тестов. Сегодня большими тиражами издаются инновационные работы по педагогическим тестам отечественных ученых и зарубежных авторов, а также сборники материалов КИМ ЕГЭ, специальные журналы по тестовой проблематике1.
Вне всякого сомнения, тестирование вообще и тестирование остаточных знаний в частности нуждаются в совершенствовании как с точки зрения формы и содержания, так и порядка проведения. При этом, надо иметь в виду, что тестирование остаточных знаний может и должно проводиться не только и не столько для проверяющего (Рособрнадзора), сколько самими вузами в целях самоконтроля качества образования.
Говоря о тестировании остаточных знаний по учебному курсу «Юридическая техника», следует заметить, что на сегодняшний день данный курс не предусмотрен Государственным образовательным стандартом высшего профессионального образования по специальности «Юриспруденция» и, следовательно, тестирование остаточных знаний по нему Рособрнадзором проводиться не может. Он может проводиться самим вузом исключительно в целях самообследования.
Тестирование как современная и перспективная форма контроля знаний обучаемых нашла широкое распространение и в Нижегородской академии МВД России. На кафедре государственноправовых дисциплин уже несколько лет проводится широкомасштабное тестирование курсантов (студентов) по всем преподаваемым дисциплинам2. В этой области накоплен значительный опыт.
Разработка педагогического теста - это многоплановый процесс, основанный на достижениях современной тестологической теории и технологии3.
Тест (проба, испытание) - это стандартизированное задание, по результатам которого судят о знаниях, умениях и навыках испытуемого.
Тест по конкретной учебной дисциплине представляет собой сформированный в определенной последовательности перечень тестовых заданий, количество и состав которых зависит от целей тестирования.
Создание тестов на высоком методологическом уровне требует от преподавателя знания основ методики тестирования.
Современная методика тестирования по каждой учебной дисциплине, в том числе по юридической технике, может быть разделена на ряд последовательных и взаимосвязанных этапов4.
Этап 1. Анализ содержания учебной дисциплины и отбор материалов для теста
Несмотря на достаточно высокий научный интерес к проблемам юридический техники, можно не без сожаления констатировать отсутствие на сегодняшний день сколько-нибудь четкого и единообразного подхода к пониманию предмета и содержания соответствующей учебной дисциплины. Для того,
1 См.: там же.
2 См., например, Толстик В.А. Теория права и государства. Обучающие тесты: Учебно-методическое пособие / В.А. Толстик, А.В. Никитин. - М., 2001; Толстик В.А. 500 обучающих тестов по теории права и государства / В.А. Толстик, А.В. Никитин, Е.А. Цишковский. - Н. Новгород, 2002; Евдокимов С.В. Конституционное право Российской Федерации: Сборник тестов / В авторской редакции. - Н. Новгород, 2007;
3 См.: Анастази А. Психологическое тестирование. - М., 1982; Родионов Б.У. Стандарты и тесты в образовании / Б.У. Родионов, А.О. Татур. - М., 1995; Балыхина Т.М. Словарь терминов и понятий тестологии. - М., 2000; Андреев А.Б. Компьютерное тестирование: системный подход к оценке качества знаний студентов. - М., 2001; Челышко-ва М.Б. Теория и практика конструирования педагогических тестов. - М., 2001; Гутгарц Р.Д. Особенности дистанционного тестирования в Интернете. - Иркутск, 2001; Шмелев Г.А. Адаптивное тестирование знаний в системе «Телетестинг» / Г.А. Шмелев, А.И. Бельцер. - М., 2001;. Жевлакович С.С. Методические рекомендации по разработке и применению в учебном процессе тестовых заданий по учебным дисциплинам и по использованию автоматизированной системы контрольных тестов / С.С. Жевлакович, В.Г. Колюхов, А.Л. Соколов. - М., 2001; Аванесов В.С. Композиция тестовых заданий. - М., Центр тестирования, 2002; Зимняя И.А. Педагогическая психология. - М., 2005; Самыл-кина Н.Н. Современные средства оценивания результатов обучения. - М., 2007; Звонников В.И. Современные средства оценивания результатов обучения / В.И. Звонников, М.Б. Челышкова. - М., 2007; Колисниченко Н.В. Тестовый педагогический контроль знаний. Методические рекомендации по составлению дисциплинарных, комплексных и итогового тестов. - М., 2008.
4 См.: Карпенко О.М. Технология тестового контроля упеваемости студентов // Труды СГУ. Специальный выпуск 19. Воспитание. Образование. Карьера. - М., 2000. - С. 70-76; Самылкина Н.Н. Современные средства оценивания результатов обучения. - М., 2007; Звонников В.И. Современные средства оценивания результатов обучения / В.И. Звонников, М.Б. Челышкова. - М., 2007; Колисниченко Н.В. Тестовый педагогический контроль знаний. Методические рекомендации по составлению дисциплинарных, комплексных и итогового тестов. - М., 2008.
чтобы в этом убедиться, достаточно провести сравнительный анализ появившихся в последнее время комплексных учебных изданий по рассматриваемой проблематике1. Сам по себе факт появления подобной литературы можно только приветствовать. Однако весомые различия в подходах приводят к тому, что в процессе преподавания соответствующей учебной дисциплины преподаватели каждого конкретного вуза вынуждены создавать свои синтезированные курсы, которые имеют весьма существенные различия, как по структуре, так и по содержанию. Это обстоятельство позволяет сделать вывод о невозможности создать на сегодняшний день универсальные тесты по юридической технике. В каждом учебном заведении они отличаются существенным своеобразием. При этом следует иметь в виду, что в процессе отбора учебного материала для тестирования необходимо обеспечить реализацию такого требования, предъявляемого к тестам, как строгое соответствие источникам информации, которыми пользуются обучаемые. В противном случае тестирование будет не корректным.
Этап 2. Создание плана теста и спецификаций тестовых заданий
На данном этапе определяются: общая цель контроля, характеристика испытуемых, планируемые условия тестирования, состав теста, типы тестов, объекты тестирования, общая характеристика заданий, количество тестовых заданий, их вес, формат тестовых заданий («множественный выбор», «перекрестный выбор», восстановление пропущенного и т. п.), инструкции выполнения, критерии/схемы оценки2.
Этап 3. Составление тестовых заданий.
В процессе, подготовки тестовых заданий необходимо руководствоваться рядом требований.
Прежде всего должны быть обеспечены содержательная и критериальная валидность.
Содержательная валидность означает, что тест адекватно отражает все основные элементы содержания дисциплины.
Критериальная валидность - это степень соответствия между результатами тестирования и внешним, не относящимся к тесту критерием. На практике часто критериальную валидность определяют как корреляцию между результатами тестирования и внешней переменной критерия3.
К числу иных значимых критериев, предъявляемых к тестовым заданиям можно отнести следующие:
- задания должны формулироваться, как правило, в утвердительной форме, чтобы не создавать тестируемым дополнительных затруднений в их восприятии;
- максимальное число предложенных ответов должно исходить из содержания вопроса и здравого смысла. Многие считают недостатком тестовой формы контроля возможность угадывания правильного ответа. Действительно, угадывание может иметь место, однако, чем больше предлагаемых ответов, тем меньше вероятность угадывания. Так, если предлагается два варианта ответа, угадывание составляет примерно 50%, три - 33%, четыре - 25%, пять - 20%4. В связи с этим не рекомендуется составлять задания с менее чем тремя вариантами ответов. В то же время чрезмерно большое количество вариантов ответов влечет неоправданную перегрузку тестируемых и требует значительного времени для выполнения тестового задания. Поэтому не рекомендуется составлять задания с более чем пятью вариантами ответов;
- из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;
- правильному ответу на задание не должно способствовать выполнение других тестовых заданий;
- при подборе неправильных ответов (дистракторов) необходимо руководствоваться следующими принципами: равная привлекательность, правдоподобность и рядоположенность (примерно равный объем текста в вариантах ответов);
- положение правильного ответа в разных вопросах необходимо менять;
- формулировки вопросов заданий и вариантов ответов должны быть предельно краткими и ясными, не допускать двойственности их толкования;
- не допускается включение в задания вопросов, имеющих дискуссионный характер и неоднозначные подходы к их решению;
1 Кашанина Т.В. Юридическая техника. - М., 2007; Давыдова М.Л. Юридическая техника (общая часть): Учебное пособие. - Волгоград, 2009; Лызлов Д.Н. Юридическая техника: Учебное пособие / Д.Н. Лызлов, В.Ю. Картухин. - М., 2009.
2 См.: Мартынова Л.И. О тестах и тестировании: Методическое пособие по видам тестирования и форматам тестовых заданий. - Н. Новгород, 2002. - С. 11.
3 См.: Карпенко О.М. Технология текстового контроля успеваемости студентов // Труды СГУ. Специальный выпуск 19. Воспитание. Образование. Карьера. - М.,2000. - С. 75.
4 Мальцев А.В. Педагогическое тестирование. Методическая разработка. - Екатеринбург, 1988.
Юридическая техника. 2009. № 3.
- по каждой теме необходимо сочетать вопросы различных уровней сложности, поскольку это существенно расширяет методические возможности тестового контроля;
- используемая терминология не должна выходить за рамки основной учебной литературы1.
Этап 4. Экспертный анализ тестовых заданий.
Несмотря на усилия составителей, тестовые задания могут иметь ряд явных или скрытых недостатков. Для их устранения необходимо проводить экспертный анализ тестовых заданий, который позволяет уточнить соответствие формы и содержания. От этого этапа напрямую зависит одна из важнейших характеристик теста - содержательная валидность. Однако экспертный анализ не может быть единственным средством, выявляющим недостатки в заданиях. Целесообразно также проводить эмпирические исследования на основе пробного тестирования. Эффективные, хорошо составленные тестовые задания окончательно включаются в базовый банк.
Этап 5. Выбор стандартов оценивания (критериального балла)
Для критериально-ориентированного теста выбор стандарта оценивания и соответствующего ему критериального балла2 (например: «зачет» - «незачет» или стандартов оценивания и соответствующих им критериальных баллов для традиционной шкалы «неудовлетворительно - удовлетворительно - хорошо - отлично») является важным этапом разработки тecтa. В конечном итоге правильно выбранный стандарт оценивания и соответствующий ему критериальный балл определяют критериальную валидность теста, т. е. характеристику качества теста, отражающую обоснованность, значимость его результатов по сравнению с некоторой внешней переменной3.
Этап 6. Проведение тестовых испытаний и оценка их результатов
В XXI веке проводить бумажное тестирование просто архаично. Для проведения компьютерного тестирования используются различные программные продукты. Например, система «МастерТест». Данная программа работает с восемью типами заданий: одиночный выбор, множественный выбор, установление порядка следования, установление соответствия, указание истинности или ложности утверждений, ручной ввод числа, ручной ввод текста, выбор места на изображении. Каждый тест имеет оптимальное время тестирования, уменьшение или превышение которого снижает качественные показатели теста. Программа поддерживает несколько режимов: обучающий, штрафной и свободный. В обучающем режиме тестируемому выводятся сообщения об его ошибках, может быть показано объяснение к заданию. В штрафном режиме за неверные ответы у тестируемого отнимаются баллы и можно пропустить задания (баллы не прибавляются и не отнимаются). В свободном режиме тестируемый может отвечать на вопросы в любой последовательности, переходить (возвращаться) к любому вопросу самостоятельно. Использование тестовых заданий в автоматизированных контрольнообучающих программах позволяет испытуемому самостоятельно обнаруживать пробелы в структуре своих знаний и принимать меры для их ликвидации. В таких случаях можно говорить о значительном обучающем потенциале тестовых заданий, использование которого станет одним из эффективных направлений практической реализации принципа единства и взаимосвязи обучения и контроля4.
В последнее время в высших учебных заведениях МВД России тестирование остаточных знаний осуществляется с помощью компьютерного программного обеспечения СТЕЛЛУС, поставленного в рамках Программы создания единой телекоммуникационной сети органов внутренних дел, и имеющего схожие с описанными выше возможности.
В заключение следует отметить, что тестирование остаточных знаний по учебному курсу «Юридическая техника», осуществляемое на высоком методическом уровне, позволит вузам проводить объективные замеры степени освоения знаний, умений и навыков, столь необходимых для практической деятельности каждого юриста, и в необходимых случаях вносить коррективы в образовательный процесс.
1 Жевлакович С.С. Методические рекомендации по разработке и применению в учебном процессе тестовых заданий по учебным дисциплинам и по использованию автоматизированной системы контрольных тестов / С.С. Жевлакович, В.Г. Колюхов, А.Л. Соколов. - М., 2001; Карпенко О.М. Технология тестового контроля успеваемости студентов // Труды СГУ. Специальный выпуск 19. Воспитание. Образование. Карьера. - М., 2000. - С. 70-76; Мартынова Л.И. О тестах и тестировании / Методическое пособие по видам тестирования и форматам тестовых заданий. - Н. Новгород, 2002; Шалашова М.М. Современные средства оценивания результатов обучения: Учебно-методическое пособие для студентов педагогических специальностей. - Арзамас, 2005.
2 Критериальный балл - это тестовый балл, который разделяет выборку испытуемых на аттестованных и неаттестованных.
3 См.: Карпенко О.М. Технология тестового контроля успеваемости студентов // Труды СГУ. Специальный выпуск 19. Воспитание. Образование. Карьера. - М., 2000. - С. 74.
4 См.: Компьютерное педагогическое тестирование и тесты // http://mytest.klyaksa.net/.
