CC BY
224
Е. Л. Антифеева, Д. Г. Петрова
ПРОМЕЖУТОЧНЫЙ КОНТРОЛЬ ЗНАНИЙ СТУДЕНТОВ ПО КУРСУ «ПРИКЛАДНАЯ МЕХАНИКА»
Статья посвящена возможности использования тестового контроля знаний в курсе «Прикладная механика». Аргументирована целесообразность использования традиционного теста в данном курсе. Формирование содержания теста определялось с опорой на ряд педагогических принципов и требований, предъявляемых к заданиям в тестовой форме. Приведены факторы, свидетельствующие о надежности теста. В разработан-
131
ном тесте студентам предлагалось выполнить несколько различных форм заданий. С целью избежания субъективных факторов в процессе проведения тестирования, а также при обработке и интерпретации результатов теста при его проведении были пройдены основные этапы стандартизации теста. При разработке содержания заданий был выбран оптимальный вариант распределения тестовых заданий по уровню трудности и учтена дифференцирующая способность заданий. Разработанный и апробированный тест имеет широкий круг применения.
E. Antifeeva, D. Petrova "APPLIED MECHANICS" COURSE TESTING
The issues of testing students' knowledge of the "Applied Mechanics" course are regarded. The test content has been determined on the basis of a range of pedagogical principles and requirements. The factors testifying the test reliability have been provided. The designed test has several different forms of tasks. In order to avoid subjective factors in the process of testing and also during processing and interpretation of the test results, the main stages of the test standardization have been performed. The test tasks are distributed according to the levels of difficulty, and the differentiating capability of the tasks has been considered. The test has a broad range of application.
До недавнего времени в отечественной педагогике тестирование считалось вредным, так как на его основе, по мнению многих ученых, происходит селекция учащихся и ограничение возможностей их развития. Такое отношение к тестовому контролю сильно тормозило его развитие в нашей стране. На данный момент, когда контроль знаний с помощью тестов получил должное признание, отечественные преподаватели оказались практически без специалистов, обладающих всеми необходимыми знаниями, а главное, временем для разработки тестов. В то время как в англоязычных странах преподаватели высших учебных заведений используют готовые тесты, в России лишь некоторые педагоги имеют достаточный багаж опыта и знаний в области тестологии, позволяющий создавать тесты для своих конкретных целей, — так называемые неформальные тесты. Поэтому в современных условиях каждому педагогу желательно владеть достаточным багажом теоретических знаний для того, чтобы осуществлять на практике один из сравнительно новых и эффективных методов проверки результатов обучения.
На технологических факультетах педагогических вузов одной из ключевых дисциплин, формирующих инженерное мышление, является теория механизмов и машин (ТММ) и его продолжение — курс деталей машин, по которому в конце учебного года проводится экзамен. В связи с этим строгого контроля полного усвоения учебного материала по всей дисциплине не требуется, и проверка знаний по ТММ возможна при помощи тестового контроля.
В рамках данной дисциплины целесообразно применять традиционный тест, используемый большинством преподавателей и являющийся единством, как минимум, трех систем:
— содержательной системы знаний, описываемой языком проверяемой учебной дисциплины;
— формальной системы заданий возрастающей трудности;
— статистических характеристик заданий и результатов испытуемых.
В связи с тем, что тест как метод не мыслится без результатов, подтверждающих качество его самого и качество оценок измерения испытуемых различного уровня подготовленности, традиционный педагогический тест надо понимать одновременно и как метод, и как результат педагогического измерения. Причем одно дополняет другое.
Содержание теста формировалось таким образом, чтобы оно оптимально отображало содержание учебного материала. Такое отображение открывает возможность нетрадиционного построения учебного процесса, в котором тестовые материалы используются не только для контроля, но и для обучения. Например, применение заданий в компьютерных контрольно-обучающих программах позволяет студентам самостоятельно обнаруживать пробелы в знаниях и принимать меры для их ликвидации. В таких случаях можно говорить об обучающем потенциале тестовых заданий.
При разработке теста необходимо подобрать конкретную систему заданий, отражающую содержание конкретной дисциплины, в противном случае, по одной и той же учебной дисциплине может оказаться несколько различных тестов с различным охватом учебных тем, несовпадающим
и и и т-\ и
числом заданий и разной системой оценки. Возникает естественный вопрос: какой из тестов объективнее измеряет интересующие знания? Ответ на этот вопрос могут дать только эксперты. Лучшим часто считается тест, у которого содержание шире и который охватывает более глубокие уровни знаний. Такое содержание всегда должно определяться с опорой на ряд педагогических принципов.
1. Соответствие содержания теста целям тестирования.
2. Определение значимости проверяемых знаний в общей системе знаний по данному курсу. Принцип значимости указывает на необходимость включения в тест только тех элементов учебной программы, которые можно отнести к наиболее важным, без которых знания становятся несущественными, фрагментарными, состоящими из второстепенных элементов.
3. Взаимосвязь содержания и формы. Главное средство предупреждения несоответствия формы задания его содержанию — овладение классификацией видов знаний. Не всякое содержание поддается выражению в форме тестового задания. Доказательства, обширные вычисления, многословные описания не поддаются представлению в тестовой форме.
Следовательно, тестовую форму нельзя рассматривать как универсальную, пригодную для всех случаев проверки знаний. Вместе с тем, тестирование является одной из наиболее объективных и технологичных форм проведения массового контроля знаний.
4. Содержательная правильность тестовых заданий. В тест включается только то содержание учебной дисциплины, которое является объективно истинным и поддается аргументации. Каждое задание теста опирается, как правило, на факт, правило, теорему, норму, закон или апробированный в практике метод. Спорные точки зрения, вполне приемлемые в науке, не рекомендуется включать в содержание тестовых заданий. Тестовые задания обычно требуют определенных ответов, признаваемых в качестве точных и бесспорных.
5. Репрезентативность содержания учебной дисциплины в содержании теста. При разработке теста внимание должно быть обращено на полноту и достаточность числа заданий для аргументированного вывода о знаниях. Репрезентативность связана с числом заданий. В общем случае, чем больше заданий, тем репрезентативнее могут оказаться результаты. Число заданий традиционного теста обычно бывает не меньше тридцати. Во-первых, оно зависит от содержания проверяемого материала: чем больше объем проверяемых знаний, тем больше заданий обычно требуется. Во-вторых, число заданий связано с точностью педагогических измерений: в традиционном тесте точность измерения растет по мере увеличения числа заданий.
6. Соответствие содержания теста уровню современного состояния науки. Любой учебный предмет представляет собой своеобразную проекцию научного знания в плоскость усвоения.
7. Комплексность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы, даже если эта тема является ключевой в учебной дисциплине. Необходимо искать задания, комплексно отображающие если не все, то, по крайней мере, основные темы учебного курса.
8. Системность содержания. Содержание тестовых заданий должно отвечать требованиям системности при проверке знаний.
9. Вариативность содержания. После первого применения теста его содержание становится известным для испытуемых и последующее использование теста не будет объективным. Испытанным способом защиты тестовых результатов от возможных искажений такого рода является создание множества вариантов заданий одного и того же теста. Кроме того, содержание теста не может оставаться неизменным, независимым от нового содержания учебной дисциплины и от новых учебников.
Тестовые задания отличаются от «нетестовых» не только по содержанию, но и по стилю построения предложения. Из тестового задания полностью устраняется двусмысленность. Хотя в обоих случаях ставится
задача найти правильный ответ, отмеченного сходства недостаточно для отождествления загадки и тестового задания. Есть признаки, которые явно отделяют их. Тестовое задание всегда автологично: в нем слова используются только в их прямом, непосредственном значении. Тестовое задание формулируется из точных терминов и никогда, в отличие от загадки, не содержит метафоры.
В логике известны такие законы правильного мышления, как законы тождества, непротиворечия, исключенного третьего и достаточного основания. Это позволяет выделить такие основные свойства правильного мышления, как определенность, непротиворечивость, обоснованность. Применительно к тестовой теории и практике эти общие свойства правильного мышления приобретают функции специфических регулятивов тестовой деятельности, вследствие чего приобретают значение следующих принципов.
Определенность содержания теста. Данный принцип отвечает за образование предмета педагогического измерения. В случае гомогенного теста (системы заданий возрастающей трудности, специфической формы и определенного содержания — системы, создаваемой с целью объективного, качественного и эффективного метода оценки структуры и измерения уровня подготовленности учащихся по одной учебной дисциплине) возникает вопрос относительно уверенности в том, что все задания теста проверяют знания именно по определенной учебной дисциплине, а не по какой-то другой.
Например, в физических расчетах используется немало математических знаний, и потому в систему физического знания обычно включается та математика, которая используется при решении физических задач. Неудача в математических расчетах порождает неудачу при ответах на задания физического теста. Отрицательный балл ставится соответственно за незнание физики, хотя испытуемый допустил ошибки математического толка. Соответственно чем меньше пересечение знаний одной учебной дисциплины со знаниями другой, тем определеннее выражается в тесте содержание учебной дисциплины.
В гетерогенном тесте (в системе заданий возрастающей трудности, специфической формы и определенного содержания — в системе, создаваемой с целью объективного, качественного, и эффективного метода оценки структуры и измерения уровня подготовленности учащихся по нескольким учебным дисциплинам) соблюдение принципа достигается посредством явного выделения заданий одной учебной дисциплины в отдельную шкалу. При этом нередко встречаются задания, хорошо работающие не только на одну, но и на две, три и даже большее число шкал.
Во всяком тестовом задании заранее определяется, что однозначно считается ответом на задание, с какой степенью полноты должен быть выбран правильный ответ.
Немалую роль в формировании теста как системы играет требование логической правильности заданий, включенных в тест. Как отмечается в литературе, логическая правильность в формулировании тестовых заданий достигается при соблюдении следующих условий:
— соразмерность объема определяющего понятия объему определяемого;
— отсутствие тавтологии;
— утвердительная форма тестового задания.
Непротиворечивость содержания заданий. Необходимо, чтобы относительно одной и той же мысли не возникали суждения, одновременно утверждающие и отрицающие ее. Приведем пример непоследовательности мышления разработчика теста. Дается инструкция: «Обведите кружком номер правильного ответа», а затем в одном из ответов утверждается, что правильного ответа нет.
Для повышения эффективности тест предварительно проходит апробацию на типичной выборке испытуемых. И если обнаружатся ответы к заданиям, которые испытуемые вообще не выбирают, то такие ответы из теста удаляются, поскольку они не выполняют функцию так называемых дистракторов, призванных отвлечь внимание от правильного ответа. Кроме того, такие дистракторы вредны для теста, так как снижают точность измерений.
Обоснованность содержания тестовых заданий. Данный принцип означает возможность обоснования истинности. Обоснованность связана с аргументами, которые могут быть приведены в пользу той или другой формулировки заданий теста. При отсутствии доказательных аргументов в пользу правильности сформулированного задания такое задание в тест не включается ни под каким предлогом.
Неистинность содержания тестовых заданий отличается от некорректности их формулировки. Неистинность определяется соответствующим ответом, в то время как некорректно сформулированное задание может продуцировать ответы как правильные, так и неправильные, а то и вызывать недоумение. Сюда также можно отнести неточно или двусмысленно сформулированные задания, порождающие несколько правильных или условно правильных ответов. Возникает необходимость — вводить дополнительные условия истинности, что удлиняет само задание и усложняет его семантику. Некорректность формулировки обычно выясняется в процессе обсуждения содержания заданий с опытными экспертами. Только совместное и доброжелательное обсуждение материалов разработчиками и экспертами способно породить атмосферу поиска наилучших вариантов содержания теста. Этот поиск практически бесконечен, и здесь нет истины в последней инстанции [1].
При составлении тестовых заданий необходимо обратить особое внимание на соответствие формы и содержания. Композиция заданий должна образовывать такое структурное соединение элементов, которое
позволяет выражать содержание и форму каждого задания в гармоничной целостности. Именно форма и содержание являются главными компонен-
и т-ч и _
тами процесса создания тестовых заданий. В западной литературе этот процесс нередко называют «конструированием». В данном случае, при учете технической сферы употребления данного слова, будет более корректным придерживаться использования понятия «композиция заданий в тестовой форме», вкладывая в него идею лучшего на текущий момент соединения содержания заданий с наиболее подходящей формой. Это и есть самый существенный признак профессионально созданных заданий. Целью композиции должно служить создание таких заданий, которые можно было бы включить в тест и использовать в традиционно организованном учебном процессе, а также использовать в автоматизированных системах контроля знаний.
В процессе композиции к заданиям в тестовой форме предъявляются следующие требования:
1. Логическая форма высказывания, которая является универсальной формой четкого выражения мысли человеком, способным проявить знания по изучаемой учебной дисциплине. Эта форма во многих случаях заменяет вопросы. Учебные вопросы многословны и порождают ответы, полные и неполные, правильные и неправильные, разные по форме, по содержанию и по структуре, вследствие чего оценка таких ответов требует обязательного участия преподавателя и сопровождается некоторой долей субъективизма. В этом смысле традиционные вопросы и ответы не технологичны; их не рекомендуется включать в тест.
Логическое преимущество задания в тестовой форме заключается в возможности его естественного превращения после ответа студента в форму истинного или ложного высказывания.
2. Правильная форма заданий — это средство упорядочения и эффективной организации содержания теста. Организация предполагает анализ содержания учебной дисциплины, классификацию учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц, представление этих единиц через элементы композиции заданий. Форма заданий должна позволять точно выражать содержание, быть понятной для всех испытуемых, исключать возможность появления ошибочных ответов по формальным признакам.
Технологическое преимущество заданий тестовой формы проявляется в их соответствии требованиям автоматизации рутинных компонентов обучения и контроля знаний. Если в каждом задании автоматически ставить, в зависимости от ответа, самый простой вариант оценки — 1 или 0, — то очевидны преимущества, вытекающие из применения такой оценки, основанной на двоичной логике. Это позволяет быстро регистрировать ответы и объективно их оценивать по заранее разработанным правилам, применяемым одинаково ко всем, без исключений. Задания в тесто-
вой форме легко вводятся в компьютер, компактно проецируются на экран монитора, хорошо различаются по форме и смыслу.
Выбор форм зависит от цели тестирования и содержания теста, от технических возможностей и уровня подготовленности преподавателей в области теории и методики тестового контроля знаний.
3. Краткость заданий в тестовой форме вытекает из преимуществ логической формы высказывания, поэтому задания всегда короче задач и вопросов. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимальными средствами добиваться ясности смысла содержания задания.
Всякий тест должен сопровождаться инструкцией по выполнению тестовых заданий (что и как должны делать тестируемые).
Адекватность инструкции форме и содержанию задания означает взаимное соответствие перечисленных компонентов, необходимое для выполнения задания. Условие адекватности позволяет довести до сознания испытуемых все требования, заложенные в содержании задания.
Кроме педагогических и логических принципов существует также ряд основных требований, которых следует придерживаться при составлении любого теста. К этим требованиям относятся объективность, действенность и надежность теста.
Объективность теста означает, что первичные показатели, полученные после обработки результатов выполнения респондентом тестовых заданий, их оценка и интерпретация не зависят от поведения и от субъективных суждений экспериментатора. Поэтому разработка заданий, процедура проведения, обработка результатов теста должна осуществляться согласно определенным стандартным правилам, которые представляют собой этапы стандартизации теста.
Первый этап — это создание единообразной процедуры тестирования, в которую входят: условия и время тестирования, инструкции и использование стандартного материала для тестирования, учет личностных особенностей и внешних факторов.
Второй этап — это создание единообразной оценки выполнения теста: стандартной интерпретации полученных результатов и предварительной стандартной обработки.
Третий этап — это определение норм выполнения теста [2]. Нормы необходимы при интерпретации тестовых результатов (первичных показателей) в качестве эталона, с которым сравниваются результаты тестирования.
Действенность теста по своему содержанию близка к требованию полноты, всесторонности проверки, пропорционального представления всех элементов изучаемых знаний, умений. Термин «действенность» включает в себя валидность, показательность и представительность, трактуемые так же, как репрезентативность.
Четкая и ясная постановка вопроса в пределах освоенных знаний — неотъемлемое условие действенности теста. Если тест выходит за пределы освоенного содержания или не достигает этих пределов, превышает запроектированный уровень обучения, то он не будет действенным для тех обучаемых, которым он адресован. Усвоение математики, скажем, на гуманитарных факультетах, нельзя диагностировать с помощью тех же тестов, которые предназначены для математического факультета [1].
В понятие валидности входят сведения о степени, в которой тест действительно измеряет то, для чего он предназначен, то есть соответствие тестового задания или теста в целом целям и задачам тестирования.
Надежный тест — это тест, который внутренне согласован и дает одни и те же результаты для каждого испытуемого при повторном тестировании. Надежность по внутренней согласованности — это характеристика теста, указывающая на степень однородности состава заданий с точки зрения измеряемого качества. Надежность теста характеризует его устойчивость к действию помех. Количественно этот показатель характеризуется вероятностью получения объективных результатов. Надежность теста повышается при увеличении количества тестовых заданий.
Установлено также, что чем выше тематическое, содержательное разнообразие тестовых заданий, тем ниже надежность теста.
Надежность теста зависит и от трудности его выполнения. Включение в состав тестов таких заданий, на которые все обучаемые отвечают правильно или, наоборот, — неправильно, резко снижает надежность теста в целом. Наибольшую практическую ценность имеют задания, на которые правильно отвечают 45-80% обучаемых [2].
О высокой надежности метода говорят в том случае, когда метод точно измеряет то свойство, для измерения которого он предназначен.
Интересно и показательно повторное тестирование выборки испытуемых одним и тем же тестом через определенный интервал времени при одних и тех же условиях (ретестовый метод), а также повторное тестирование выборки испытуемых параллельной формой теста через минимальный интервал времени при одних и тех же условиях.
За индекс надежности ретестового метода принимается коэффициент корреляции между результатами двух тестирований. Полученная высокая корреляция может быть результатом тренированности испытуемых на заданиях подобного типа; низкая корреляция может быть результатом происшедших изменений с испытуемыми, она также может свидетельствовать о ненадежности теста. Во втором случае в качестве индекса надежности принимается коэффициент корреляции между результатами тестирования двумя параллельными формами теста. Высокий коэффициент корреляции и большой интервал между двумя испытаниями свидетельствуют о высокой надежности теста.
Возможно разделение теста на две сопоставимые части (метод расщепления). В этом случае респондент выполняет задания этих двух частей в течение одного сеанса с получением двух результатов.
За индекс надежности принимается коэффициент корреляции между результатами тестирования двумя этими частями. Он называется коэффициентом внутренней согласованности теста.
Говоря о единстве и сходстве валидности и надежности, надо отметить, что тест может быть надежен, но не валиден. Это означает, что он измеряет какое-то свойство очень точно, но какое именно — остается под вопросом. В связи с этим при разработке тестов надо уделять особое внимание сочетанию надежности и валидности.
Тест по курсу ТММ для подготовки бакалавров по направлению «Технологическое образование» разрабатывался с учетом всех общих и конкретных требований и критериев.
При составлении теста было решено ограничиться основными понятиями, на которых базируется ТММ, а также остальные дисциплины, являющиеся ее продолжением или дополнением. В итоге целью разработанного теста является проверка усвоения студентами основных (базовых) понятий, содержавшихся в учебном материале по ТММ.
В разработанном тесте студентам предлагается выполнить несколько форм заданий.
Среди них:
— задания с выбором одного правильного ответа (восемь заданий);
— задания с выбором нескольких правильных ответов (семь заданий);
— задания открытой формы, то есть предложения с пропусками, которые следует заполнить самим (четыре задания);
— задание на установление соответствия: к каждому рисунку необходимо подобрать наиболее полный ответ из предложенных вариантов (одно задание).
С помощью учебной программы были выявлены понятия и определения, которыми должны владеть студенты по окончании изучения курса ТММ [3, 4]. Поскольку данный курс охватывает изучение достаточно большого числа вопросов по ТММ, а следовательно, понятий, определений, терминов и т.д., то из всей совокупности были выделены те из них, которые, на наш взгляд, составляют основу понятийной базы студентов для дальнейшего изучения дисциплины, являющейся логическим продолжением ТММ, — «Детали машин».
При разработке структуры и состава теста был учтен ряд требований к заданиям в тестовой форме, предложенных В. С. Аванесовым. Это получило свое выражение в том, что:
1) предложенные в тесте задания и варианты ответов четкие, однозначные, которые после выбора ответа студентом естественно превращаются в истинное или ложное высказывание;
2) была проанализирована учебная программа по курсу ТММ, установлены межпредметные связи (теории механизмов и машин и деталей машин). В тесте не использовались варианты ответов: «правильного ответа нет» или «все ответы правильные»;
3) разработанные задания теста отличаются краткостью, но в то же время не искажают смысл самого задания;
4) определено место для ответов.
Студентам предлагалось фиксировать свои ответы в специально отведенном месте бланка ответов. Это таблица, состоящая из трех граф: «номер задания», «ответ» и «исправления». В заданиях с выбором ответа выбиралась буква (код ответа) из числа прилагаемых к каждому заданию. Если несколько вариантов ответа верные, то ответ следовало записать так: a, Ь, c, d; если же только в совокупности варианты ответа дают наиболее правильный ответ, то таким образом: a + Ь + c + d. В задании на установление соответствия ответ проставляется в бланке ответов: соответствующая строка разбита согласно количеству рисунков, следовательно, буквенный ответ фиксируется в строке напротив каждого рисунка. И, наконец, в заданиях открытой формы студенты заполняют пропуски, обозначенные многоточием, нужными словами, записываемыми через разделительный знак в бланке ответов;
5) в бланке ответа каждому заданию теста соответствовало свое поле ответов. А это, в свою очередь, способствовало сокращению времени на поиски места для фиксации ответа на задание;
6) в процессе разработки теста была определена система оценивания результатов выполнения тестовых заданий;
7) разработанный тест сопровождался заранее разработанной инструкцией, примененной нами во время тестирования;
8) разработанная инструкция содержит все требования для выполнения тестовых заданий: указаны формы используемых тестовых заданий, особенности записи ответа (случай, когда несколько вариантов ответов — верные или дополняют друг друга).
С целью избежать субъективных факторов в процессе тестирования, а также при обработке и интерпретации результатов теста при его проведении было осуществлено несколько этапов стандартизации теста:
— создание единообразной процедуры тестирования;
— создание единообразной оценки выполнения теста;
— определение норм выполнения теста.
С целью апробации разработанного теста по ТММ был проведен эксперимент, в ходе которого контролировался уровень овладения студентами факультета технологии и предпринимательства (ФТиП) основными понятиями курса ТММ, а также проверялась эффективность теста.
Эффективность теста — очень емкое понятие, которое предполагает соблюдение следующих пунктов:
1) содержание разработанного теста должно соответствовать педагогическим и логическим принципам;
2) выбор формы тестовых заданий должно быть обусловлено определенными требованиями;
3) разработанный тест должен соответствовать основным требованиям, предъявляемым к тестам.
В соответствии с характером затронутой в работе проблемы полная проверка разработанного теста потребовала бы достаточно длительного периода времени, поскольку тест целесообразно апробировать на большом числе выборок. Однако основные закономерности и тенденции при соответствующей подготовке эксперимента можно выявить и на ограниченном числе тестируемых. Поэтому был сделан срез результатов исходного теста по курсу ТММ, предложенному для выполнения студентам III курса ФТиП в 2005 году, и срез результатов теста, разработанного позднее, который был предложен студентам III курса ФТиП в декабре 2006 года. В итоге были выявлены тенденции, позволяющие оценить эффективность предложенного теста.
На первом этапе следовало решить несколько задач, одной из кото -рых было установление отсутствия различий по успеваемости между исследуемыми группами студентов третьего курса (набора 2003 и 2004 годов) по общетехническим дисциплинам. Согласно учебному плану до третьего курса на факультете технологии и предпринимательства изучаются две общетехнические дисциплины (теоретическая механика и гидравлика, теплотехника), отчетная форма контроля которых — экзамен.
При подсчете средних баллов было выяснено, что они несущественно отличаются друг от друга, поэтому с достаточно большой долей вероятности можно утверждать о примерно одинаковом уровне успеваемости по общетехническим дисциплинам студентов третьего курса ФТиП набора 2003 и 2004 годов.
Был проведен анализ результатов первоначального варианта теста. Основная цель этого теста состояла в проверке усвоения студентами третьего курса базовых теоретических сведений, содержащихся в курсе ТММ.
Тринадцать студентов из 48 (а это очень много) не смогли преодолеть нижний порог успешного выполнения теста. Лишь восемь студентов показали результаты, заметно превосходящие этот порог, из них двое набрали максимально возможное количество баллов. По нашим подсчетам, 30 баллов предполагают 80% правильных ответов, следовательно, данный тест выявлял студентов с уровнем знаний только на «отлично». Эта высокая планка оценки ответов была установлена, исходя из цели тестирования: проверить усвоение основополагающих знаний по курсу.
Таким образом, анализ результатов исходного варианта теста показывает целесообразность разработки нового, откорректированного теста
по курсу «Теория механизмов и машин» для студентов III курса факультета технологии и предпринимательства.
В доработанном тесте предлагается более мягкая система оценивания результатов тестирования, согласно которой более 70% правильных ответов считаются успешным выполнением теста.
Работая над новым тестом, мы опирались на теоретические основы тестирования, на результаты анализа исходного теста, на те изменения, которые произошли в учебной программе по курсу ТММ. Все это вошло в основу теста.
Работе над составлением теста предшествовало подробное изучение учебной программы курса «Теория механизмов и машин» для ФТиП и ее анализ. Результатом анализа явился список понятий, которые должны быть проверены с помощью разработанного теста.
Понятия, формируемые курсом ТММ, почти в полном составе вошли в список понятий, проверяемых с помощью предложенного теста. Поэтому можно говорить о практически полном представлении в разработанном тесте элементов изучаемых знаний, т. е. понятий курса. Таким образом, предложенный тест действительно измеряет то, на что был изначально нацелен, и прошел этап содержательной валидизации.
С другой стороны, неправильная работа дистрактора (неверный ответ в тестовом задании) свидетельствует о том, что тестовое задание может быть невалидным. Это значит, что «хороший» неверный ответ должен выбираться большим числом слабых учеников.
В разработанном тесте представлено 15 заданий с выбором правиль-ного(ых) ответа(ов). Результаты анализа ответов на задания теста слабой группой тестируемых продемонстрированы на рис. 1.
Номера тестовых заданий
Рис. 1
Рисунок показывает, что в 10 из 15 заданий студенты слабой группы в большинстве своем ориентировались на выбор конкретного неправильного ответа. Таким образом, примерно 71% заданий теста с выбором пра-вильного(ых) ответа(ов) содержат среди ответов правильно работающие
дистракторы. Это еще раз подтверждает, что разработанный тест по курсу ТММ для ФТиП обладает достаточно высокой валидностью, а следовательно, тест действенен.
Еще одним немаловажным требованием к составлению тестов является надежность. Это требование проверить достаточно сложно, поскольку надежность теста во многом зависит от тех результатов, которые получены при повторном тестировании. Так как мы не проводили повторного тестирования, судить о надежности предложенного теста будем по трудности его выполнения. Трудность определяется соотношением правильных и неправильных ответов на тестовые вопросы. Включение в состав тестов таких заданий, на которые все обучаемые отвечают правильно, или же, наоборот, — неправильно, резко снижает надежность теста в целом. Наибольшую практическую ценность имеют задания, на которые правильно отвечают 45-80% обучаемых.
Имеется оптимальный вариант распределения тестовых заданий по уровню трудности. Согласно ему в тест предлагается включать 20% тестовых заданий малой трудности (более 70% правильных ответов), 70% средней трудности (25-69% правильных ответов) и 10% тестовых заданий повышенной трудности (менее 25% правильных ответов). Оптимальное распределение заданий в нашем тесте получилось следующим: три задания — малой трудности, десять заданий — средней трудности и два задания — повышенной трудности. Но результаты тестирования показали, что соотношение тестовых заданий по степени трудности получилось несколько иным: только восемь заданий оказались среднего уровня сложности и четыре задания попали в разряд заданий повышенной сложности. Таким образом, два задания теста, относящихся, на наш взгляд, к среднему уровню трудности, вызвали у студентов, принявших участие в тестировании, сильные затруднения. Остальные задания теста соответствовали спрогнозированному уровню трудности (рис. 2).
Распределение заданий в тесте согласно результатам тестирования
Оптимальное распределение заданий в тесте различного уровня трудности
Уровень трудности задания 1- малая трудность, 2- средняя трудность, 3- повышенная трудность
Рис. 2
Надежность теста подтверждает и такой показатель, как дифференцирующая способность задания (или дискриминативность), которая характеризует способность задания разделять принимающих участие в тестировании по уровню подготовки. Этот показатель рассчитывается как разность двух значений: трудности заданий для сильной группы тестируемых, составляющих 27% от их общего числа, и трудности задания для слабой группы тестируемых (также 27%).
Желательно, чтобы дифференцирующая способность тестовых заданий была выше 30%. Лишь для легких заданий допускается, чтобы дискриминативность была выше 20% [2].
Дифференцирующая способность заданий предложенного студентам теста представлена на рис. 3.
60% 50% 40% 30% 20% 10% 0%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Нумерация заданий в тесте
I Нижняя граница желательной дифферецирующей способности тестовых заданий
Дифференцирующая способность заданий в предложенном тесте
Рис. 3
Рисунок показывает, что все тестовые задания имеют высокий показатель дискриминативности: выше 20% — для легких заданий и выше 30% — для остальных заданий теста. Таким образом, можно с достаточной степенью уверенности утверждать, что задания теста характеризуются способностью разделять тестируемых соответственно их уровню подготовки. Все вышесказанное говорит о довольно высокой надежности разработанного теста.
Разработанный и апробированный тест имеет широкий круг применения. Его могут использовать преподаватели ФТиП и подобных факультетов для тестового контроля уровня овладения студентами основными понятиями курса ТММ; он может выступать и итоговой формой отчета по дан-
МЕТОДИКА ПРЕПОДАВАНИЯ ЕСТЕСТВЕННЫХ И ТОЧНЫХ НАУК
ному курсу. Тестом также могут воспользоваться студенты для проверки своих знаний по ТММ и для подготовки к зачету по этой дисциплине.
БИБЛИОГРАФИЧЕСКИЕ ССЫЛКИ
1. Челышкова М. Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М., 2001.
2. Михайлычев Е. А. Дидактическая тестология. М., 2001.
3. Примерные программы дисциплин подготовки бакалавра технологического образования (Федеральный компонент) / Под общ. ред. В. А. Козырева. СПб., 2002.
4. Теория механизмов и механика машин: Учебник для вузов / К. В. Фролов, С. А. Попов, А. К. Мусатов и др.; Под ред. К.В. Фролова. М., 2004.
