Дифференцирующая способность тестовых материалов для оценки качества обучения Текст научной статьи по специальности «Науки об образовании»

Педагогические науки

УДК 37.011, 519.23

ДИФФЕРЕНЦИРУЮЩАЯ СПОСОБНОСТЬ ТЕСТОВЫХ МАТЕРИАЛОВ ДЛЯ ОЦЕНКИ КАЧЕСТВА ОБУЧЕНИЯ

Елена Владимировна Алпацкая, кандидат педагогических наук, доцент, Николай Викторович Бубнов, старший преподаватель, Александр Васильевич Минченков, соискатель, Смоленская государственная академия физической культуры, спорта и туризма

(СГАФКСТ)

Аннотация

Статья посвящена проблеме подготовки тестовых материалов для оценки качества обучения. Любой контролирующий материал должен обладать рядом свойств (информативность, надежность, дифференцирующая способность). С этой целью преподаватель обязан подойти к подготовке своих тестовых материалов с научной точки зрения, используя методы математической статистики. В данной работе авторы на конкретных примерах рассматривают способы определения дифференцирующей способности теста, останавливаясь на различных типах вопросов. Представленные материалы призваны помочь преподавателям в оценке качества обучения студентов преподаваемым дисциплинам.

Ключевые слова: качество обучения, тесты, дифференцирующая способность.

DOI: 10.5930/issn.1994-4683.2015.11.129.p9-14

DIFFERENTIATING ABILITY OF THE TEST MATERIALS FOR ASSESSING THE

EDUCATION QUALITY

Elena Vladimirovna Alpatskaya, the candidate of pedagogic sciences, senior lecturer, Nikolay Viktorovich Bubnov, the senior teacher, Alexander Vasilyevich Minchenkov, the competitor, Smolensk State Academy of Physical Education, Sports and Tourism

Annotation

The problem of the tests preparing to assess the students' knowledge is considered in the article. The test material must be informative, reliable, showing the differentiating ability. The differentiating ability of the tests makes it possible to differentiate a strong test from a weak one. The authors consider in this study the examples for the methods of determining the differentiating ability of the test, concentrating on the different types of questions. The article should help a teacher to assess the quality of students' education in the studied subjects.

Keywords: quality of education, test, differentiating ability.

Стремительный рост развития дистанционного образования в России заставляет очередной раз обратиться к вопросу тестирования знаний студентов. Но осуществляя обучение дистанционно, студент должен приобрести не только знания, но и умения и навыки, а преподаватель, в свою очередь обязан оценить и определить уровень их освоенности. Оперативный контроль с помощью тестирующих программ получил в последнее время все более широкое распространение. К этому способу контроля в преподавательской среде существует двоякое отношение, но его приходится принимать как объективную реальность [2]. По роду своей профессиональной деятельности нам пришлось принимать участие в тестировании студентов по различным учебным дисциплинам, в том числе и профессионального цикла по направлению подготовки «Физическая культура». На основании этого был сделан вывод, что далеко не всегда программируемый контроль знаний дает преподавателю объективную информацию для управления познавательной деятельностью студентов и ее корректирования. Это можно объяснить неквалифицированным подходом к составлению и проверке качества контролирующего про-

граммируемого материала. Преподавателям, прежде чем внедрять тестирующие программы в учебный процесс необходимо провести проверку на трудность (дифференцирующую способность), надежность и информативность. И только после апробации и эмпирической проверки тестирующие программы могут эффективно выполнять различные дидактические функции: обучающую, контролирующую, управляющую, активизирующую и интенсифицирующую деятельность студентов. Проведенный анализ литературных источников позволил сделать вывод, что без корректного применения математико-статистического анализа, разработанные тестирующие программы, не могут иметь практической ценности для учебного процесса, тем более в условиях дистанционного обучения. Некоторые из таких методов проверки и оценки качества тестирующих программ, одним из первоочередных которых является выявление диагностической ценности (трудности или легкости) вопросов будут представлены ниже [4].

Диагностическая ценность определяется по процентному отношению правильных ответов к общему числу возможных. Вопрос считается достаточно трудным в том случае, когда на него отвечают не более 75% студентов. Чем ближе трудность вопроса к 100% или к 0, тем менее дифференцированную информацию можно получить с его помощью. Как показал анализ контрольных тестов, используемых в академии преподавателями по различным дисциплинам, тестирующие программы содержат вопросы, на которые отвечают не более 80-85% и не менее 10-15% студентов.

Корректность вопросов определяется их дифференцирующей способностью, которая выражается индексом дифференциации «И» [1,3]. Он позволяет получить максимум информации о самом вопросе и системе вопросов с целью их дальнейшего качественного улучшения. Студентов учебной группы следует разделить на две подгруппы: сильную и слабую. Индекс дифференциации определяется по формуле: И = (О1-О2)^, где О: - количество правильных ответов в сильной подгруппе; О2 - количество ответов в слабой подгруппе; N - число тестируемых студентов.

Индекс дифференциации может изменяться от -1 до +1. В разработанной тестирующей программе для каждого вопроса считается допустимым значение Ы=+0,4. Меньшее значение говорит о том, что формулировка и качество данного вопроса не позволяет различать студентов по уровню их теоретической подготовки. Если индекс дифференциации отрицателен, то тогда вопрос следует переработать или заменить его другим. После анализа и устранения, неудовлетворительных с точки зрения трудности вопросов, можно получить тестирующие программы, содержащие примерно равно трудные вопросы [1].

Для максимальной дифференциации общее количество вопросов должно быть на уровне трудности 0,50. Дифференцирующая сила вопросов показывает степень, с которой то или иное задания позволяет различать положительные достижения студентов в условии проверяемого учебного материала.

В ходе экспериментальной проверки, анализ вопросов и расчета индекса дифференциации рекомендуется проводить, используя специальные таблицы. Такая виртуальная таблица приведена в таблице 1.

Таблица 1

Анализ вопросов входящих в тестирующую программу_

№ вопросов Сильная группа Г1 Слабая группа Г2 П1 Пг Индекс дифференциации И

Кол-во правильных ответов, п1 Кол-во правильных ответов, п2

1 15 8 7 0,46

2 15 10 5 0,33

3 11 11 0 0

4 13 4 9 0,60

Из таблицы следует, какие вопросы следует оставить в тестирующей программе, а также заменить или переработать. Также в тестирующих программах необходимо проводить и анализ ответов, предлагаемых на выбор по отдельным вопросам. Обсуждая с те-

стируемой группой вопросы, на которые были даны в большинстве случаев не однозначные, а различные ответы, можно выяснить причину их некорректности. Если вопросы и ответы сформулированы неудачно, их следует пересмотреть или вообще исключить из тестирующей программы.

Как было сказано выше, по результатам опроса, проведенного по тестирующим программам, студентов делят на две группы: сильную (Г!- с высоким количеством правильных ответов) и слабую (Г2- с низким количеством ответов). Для того, чтобы выяснить неудачно составленные вопросы можно провести анализ ответов по специальный таблице (таблица 2). В качестве примера приведен такой вариант.

Таблица 2

Анализ ответов, предлагаемых на выбор по отдельным вопросам _тестирующей программы_

№ Группа Выбранные ответы

вопроса 1 2 3 4 5

1 Г1 7 0 1 6 1

Г2 11 0 0 2 2

2 Г1 2 2 1 2 8

Г2 3 1 2 2 7

3 Г1 2 4 3 4 2

Г2 3 0 2 7 3

N Г1 0 0 15 0 0

Г2 3 1 9 1 1

Примечание: выделены жирным шрифтом данные по правильным ответам, N - количество вопросов.

Варианты ответов на первой вопрос показывает, что выбор четвертого ответа связок с тем, что он содержащий в себе такую информацию, которая заставила шестерых студентов из сильной группы предпочесть его правильному ответу. Причину этого преподаватель может установить в ходе собеседования, попросив их обосновать выбранный ими вариант ответа.

Во втором вопросе ответы равномерно распределены по четырем ошибочным вариантам. Такой результат предполагает либо неудачную формулировку самого вопроса, либо правильного ответа.

Третий вопрос слишком трудный для испытуемых: 11 студентов из сильной группы и все 15 из слабой группы дали неправильный ответ. Несколько больший выбор четвертого ответа по отношению к остальным вариантам указывает на его правдоподобность, особенно для студентов слабой группы. Полное отсутствие правильных ответов в слабой группе говорит о том, что плохо знающему изучаемый курс студенту этот ответ (номер 2) кажется ошибочным. Эти свойства характеризуют высокую дидактическую ценность вопроса и выборочных вариантов ответа. Собеседование в тестирующей группе может показать, что данный вопрос в действительности не трудный, просто он относится к плохо усвоенному студентами разделу темы.

На М-й вопрос шесть студентов из слабой группы ответили неправильно. В данном случае по количеству выбранных ошибочных ответов мало, что можно узнать о корректности вопроса. Поэтому преподавателю необходимо провести обсуждение этого вопроса со студентами, которое даст возможность преподавателю выявить следующее: действительно ли вопрос слишком легкий и не представляет собой дидактической ценности, или сама формулировка ориентирует студентов на правильный ответ, или этот вопрос нужен, но относится к хорошо изученному испытуемыми учебному материалу. В первом случае вопрос необходимо исключить из тестирующей программы, во втором - переработать, а в третьем - оставить без изменения.

Аналогичный анализ вопросов и ответов следует проводить по каждой разработанной тестирующей программе. Это позволит своевременно внести коррективы в программируемый материал, до непосредственно внедрения его в учебный процесс.

Диагностическую ценность вопросов можно определить и другими методами. Приведем некоторые из них.

По результатам экспериментальной проверки тестирующей программы неправильные ответы студентов заносят в специальные таблицы (таблица 3).

Таблица 3

Вопросы Неправильные ответы в «слабой» группе, Ук Неправильные ответы в «сильной» группе, Ут Разность неправильных ответов в «сильной» и «слабой» группах (Ук-Ут) Сумма неправильных ответов в «сильной» и «слабой» группах (Ук+Ут)

1 3 1 2 4

2 6 3 3 9

3 10 4 6 14

10 12 5 7 17

1=40 1= 80

Диагностическая ценность (Бу) каждого вопроса тестирующей программы опреде-

ляется по формуле: Бу =

К х (Ум+ут)

, где К - общее количество вопросов (следова-

2п (К -1)

тельно, и возможных ответов); п - количество испытуемых (в «сильной» («слабой») N х 27 АГ _

группе). п =- где N - общее количество студентов, ответивших на вопросы те-

100

стирующей программы. Ум— неправильные ответы в «слабой» группе, Ут- неправильные ответы в «сильной» группе.

Для примера мы проводим оценку диагностической ценности тестирующей программы, в которой участвовало 60 студентов (Щ, причем неправильные ответы распределились так, как показано в таблице 4. Количество студентов в «слабой» и «сильной»

группе определится по формуле: п =

N х 27 60 х 27

100 100 стирующей программе N.

Диагностическая ценность первого вопроса:

Б = К х (Ум+Ут) = 10 (3 +1)

-¿-'т/1

= 16. Количество вопросов в те-

< 100% = 14%

2п (К -1) 2 х16 (10 -1)

Аналогично диагностическая ценность второго вопроса БУ2=31%, третьего вопроса БУ3 =48%, а десятого вопроса БУ10 =59%.

Если значения БУ находится в пределах от 16% до 84%, то вопросы тестирующей программы имеют удовлетворительную ценность. Если меньше 16% - то вопросы слишком легкие для испытуемых, а если больше 84% - то слишком трудные.

Диагностическую ценность вопросов контролирующей программы можно определить по цифровым данным, представленных в четвертом и пятом столбцах таблицы 4. чем больше число (Уы-Ут), приведенное в четвертом столбце таблицы, тем выше диагностическая ценность, чем больше число (Ук+Ут), приведенное в пятом столбце, тем труднее вопросы.

Иногда числа, находящиеся в четвертом столбце, могут иметь отрицательные значения. Это означает, что на такие вопросы «сильные» студенты отвечают неправильно, а «слабые» - правильно. Это говорит о том, что такие вопросы сформулированы недостаточно четко и однозначно и требуют существенной переработки или замены.

В некоторых тестирующих программах задания (вопросы) варьируют (выполнено и не выполнено), т.е. каждое из них может иметь лишь два состояния (1 или 0, да или нет, «+» или «-»).

Поэтому для исследования их взаимосвязи можно использовать тетрахорический

коэффициент сопряженности (корреляции): t _ (A х D ~B x C)~ 0,5 х n

4 yj(A + B)x(C + D)x(A + C)x(B + D) '

где T4 - тетрахорический коэффициент корреляции.А, B, C и D - численность группы, или частоты вариант, распределенные по клеткам соответствующей четырехпольной корреляционной таблицы, n - объем выборки.

Некоторые авторы при определении трудности вопросов рекомендуют применять и бисериальный коэффициент корреляции Rbs. Он вычисляется по формуле:

mrm2 I njxn2

Rbs _ —s- у—(—1), где m1 и m2- средние арифметические альтернативных групп,

nj и n2- объемы этих групп, N=n1+n2 - общие число наблюдений или объем выборки, Sm-среднее квадратичное отклонение для всей выборки.

Для вычисления Rbs сопоставляется два статических ряда: один количественный, выражающий общую успешность ответа на предложенную тестирующую программу, чаще всего он означает число правильно выполненных студентами заданий, другой ряд -качественный. Он имеет две альтернативные группы (1 или 0, «+» или «-»). Первая означает, что задание выполнено, а вторая - что задание не выполнено. Бисериальный коэффициент сопряженности изменяется в пределах от -1 до +1. При m1=m2, Rbs=0. Значимость Rbs оценивается с помощью t-критерия Стьюдента.

В заключение следует отметить, что экспериментальную проверку тестирующих программ рекомендуется проводить на адекватном контингенте студентов. Если, например, тестирующие программы предназначены для студентов первого курса, то их стандартизацию проводят по данным эксперимента, в котором участвовали только первокурсники. Создавая контрольно-измерительные материалы преподаватель должен помнить, что разработанные тесты не могут считаться завершенными, если они не получают удовлетворительной оценки по надежности и информативности. Ограниченный объем статьи не позволяет нам рассмотреть эти два вопроса.

ЛИТЕРАТУРА

1. Аванесов, В.С. Научные проблемы тестового контроля знаний / В.С. Аванесов. - М. : Изд-во «Центр тестирования», 1994. - 240 с.

2. Алпацкая, Е.В. Оценка качества тестирующих программ методами математической статистики : методические рекомендации / Е.В. Алпацкая, Н.В. Бубнов. - Смоленск : [б. и.], 2012. -21 с.

3. Андреева, А.В. Использование автоматизированных информационных систем для оценки и управления качеством образования [Электронный ресурс] / А.В. Андреева // Современные проблемы науки и образования. - 2013. - № 1. - URL : http://es.rae.ru/science/195-881 (дата обращения 27.02.2015).

4. Майоров, А.Н. Теория и практика создания тестов для системы образования / А.Н. Майоров. - М. : Интеллект-центр, 2002. - 296 с.

REFERENCES

1. Avanesov, V.S. (1994), The Scientific problems of test knowledge control, publishing house Testing Center, Moscow.

2. Alpatskaya, E.V. and Bubnov N.V. (2012), the Quality assessment testing programs methods of mathematical statistics, SGAFKST, Smolensk.

3. Andreeva, A.V. (2013), "The automated information systems for assessing and managing the Quality of Education", Journal of Modern problems of Science and Education, No. 1, available at: es.rae.ru/science/195-881, Moscow.

4. Majorov, A.N. (2002), The Theory and practice creating tests of Education, Intellect-Centre, Moscow.

Контактная информация: sgifk@ya.ru

Статья поступила в редакцию 30.10.2015

УДК 796.332

МЕТОДИКА FOOTDRAWING В ТЕХНИЧЕСКОЙ ПОДГОТОВКЕ

ФУТБОЛИСТОВ

Аль Рубайе Нухад ХАббас, аспирант,

Михаил Александрович Правдов, доктор педагогических наук, профессор, Шуйский филиал «Ивановский государственный университет», г. Шуя

Аннотация

В статье представлены результаты исследования по внедрению методики «рисование ногой» (footdrawing) в процессе технической подготовки футболистов. Установлено, что применение специальных двигательных действий, связанных с рисованием ногами, способствует развитию у футболистов координационных способностей. Определены основные виды линий для рисования, моделирующих траектории движений ноги с мячом. Представлено оборудование для рисования разными частями ног при имитации действий с мячом.

Ключевые слова: рисование ногой, траектории движений ноги футболиста, тренировочное оборудование, координационные способности.

DOI: 10.5930/issn.1994-4683.2015.11.129.p14-18

METHOD OF FOOTDRAWING IN THE TECHNICAL PREPARATION OF THE

FOOTBALL PLAYERS

Al Rubaye Nuhad Kh Abbas, the post-graduate student,

Mikhail Alexandrovich Pravdov, the doctor of pedagogical sciences, professor, Ivanovo State University, (Branch in Shuya), Shuya

Annotation

The article presents the results of the study on implementation of the method "footdrawing" during the technical training of the players. It has been found that the use of the specific motor actions related to the footdrawing contributes to the development of the players' coordination abilities. The main types of the lines for drawing, simulating the trajectory of movement of the foot with the ball, have been determined. The equipment for drawing with the different parts of the legs while simulating the actions with the ball has been presented.

Keywords: footdrawing, trajectory of football player legs, training equipment, coordination abilities.

ВВЕДЕНИЕ

Важнейшей характеристикой степени мастерства игроков в футболе является уровень технической подготовленности. В настоящее время культурный пласт исследований, посвященных решению проблем технической подготовки игроков в футболе, представлен многочисленными научно-методическими разработками [1-3, 5, 6, 8]. При этом поиск новых подходов, форм, средств и методов технической подготовки по-прежнему остается наиболее актуальной проблемой для ученых и практиков. В спектре направлений совершенствования компонентов технической подготовки особое внимание привлекают проблемы, связанные с формированием у игроков двигательных умений высшего порядка - комплекса действий с мячом, отвечающих параметрам точности, быстроты выполнения при приеме, ведении, передачах, финтах и ударах [4, 5, 7]. Анализ научных исследований позволяет заключить, что работ, посвященных изучению кинематики движений отдельных звеньев ноги при выполнении двигательных действий с мячом в дина-