Использование компьютерных технологий при анализе результатов тестирования учащихся по физике Текст научной статьи по специальности «Науки об образовании»

Библиографический список

1. Границкая А. С. Научить думать и действовать: Адаптивная система обучения в школе: Кн. для учителя. М.: Просвещение, 1991. 175 с.

2. Зуева М.Л. Возможности использования адаптивной системы обучения для формирования ключевых компетенций // Ярославский педагогический вестник. 2005. № 2 (43). С. 87-92.

3. Зуева М.Л. Формирование некоторых ключевых компетенций на уроке математики по теме «Преобразование графиков» // Ярославский педагогический вестник. 2005. № 3 (44). С. 96103.

4. Хуторской А.В. Ключевые компетенции как компонент личностно-ориентированной парадигмы образования // Народное образование. 2003. № 2. С. 58-64.

А.Ю. ХМЕЛЬНИЦКАЯ

Использование компьютерных технологий при анализе результатов тестирования учащихся по физике

1. Введение

За последнее время произошли существенные изменения в системе образования. Интенсивное развитие экономики и производства, внедрение информационных технологий во все сферы деятельности привели к формированию современного мышления у молодого поколения. Возникла необходимость опережающего развития образования как молодежи, так и взрослых.

В учебный процесс активнее стали внедряться новые технологии, формы самостоятельной работы, самоконтроля. Встает вопрос, как проверить эффективность тех или иных методов или методик.

Без диагностики невозможно следить за развивающим эффектом обучения, получать обоснованные данные об успешности учащихся в изучении отдельных предметов, а тем самым - оценивать сравнительную эффективность различных методов, форм и средств обучения. К сожалению, ни наука, ни практика еще не располагают сколь-нибудь полной и бесспорной системой таких методов.

При организации элективных курсов, при подготовке к Единому государственному экзамену, при проведении тематического и итогового контроля наиболее эффективным

становится использование тестовых технологий.

При диагностировании учебной деятельности определяют основной параметр, который подлежит диагностированию, - уровень подготовленности учащихся, который является одной из латентных переменных, не поддающихся непосредственному измерению.

2. Тестовые технологии в образовательной практике

Наиболее технологическим диагностическим инструментарием является педагогический тест.

Преимущество применения тестовых технологий в получении информации для дальнейшей работы учителя очевидно, с их помощью можно получить:

- таблицы итоговых результатов для каждого учащегося класса, сопровождаемых набором оценок успешности по содержательным линиям учебной программы;

- диаграммы усредненных результатов для класса по общему итогу тестирования и отдельным содержательным линиям;

- таблицы обобщенных результатов выполнения теста для класса по всем оцениваемым позициям и заданиям.

Практика показала, что при помощи тестов можно за короткое время провести проверку большого числа учащихся. Приме -нение же компьютерных программ облегчает обработку результатов тестирования.

Использование ЭВМ дает возможность:

- накапливать информацию в компьютерных базах данных;

- делать статистическую обработку данных, составлять таблицы и диаграммы;

- проводить анализ, диагностику, прогноз;

- находить причины различных достижений учащихся.

Хорошо зарекомендовала себя практика проведения тренировочного тестирования в форме ЕГЭ для выпускников 11-х классов с использованием контрольно-измерительных материалов Федерального Центра тестирования г. Москвы. Согласно данным по Рыбинскому муниципальному округу, в тренировочном тестировании по физике приняли участие в 2004 году - 20 человек, в 2005 году -447 человек.

3. Анализ результатов тренировочного тестирования по физике 2004-05 уч. года

Диагностирование с использованием тестовых технологий помогает организовать работу методиста с конкретным учителем по разным направлениям деятельности:

- организация целенаправленной квалификации педагога,

- коррекция учебного плана или программы (увеличение времени на изучение конкретной темы),

- замена учебных или методических материалов,

- прогноз для уточнения программ развития и планов мероприятий.

Важным фактором диагностики становится достоверность и объективность анализа результатов тестирования.

При проведении тестовой работы по физике был получен низкий результат по округу - 32%; 15 школ из 33-х получили результат ниже среднего. На рис. 1 представлены результаты тренировочного тестирования по физике 2004-2005 уч. года: по оси абсцисс -образовательные учреждения, принимавшие участие в тестировании, по оси ординат -средний балл образовательного учреждения.

Рис.1. Средние баллы образовательных учреждений Рыбинского МО

Анализ заданий части А выявил те задания, с которыми справилось наименьшее количество учащихся. На рис. 2 представлены результаты (средний балл) выполнения учащимися заданий части А: по оси абсцисс -номера заданий тестовой работы, по оси ор-

динат - % учащихся, правильно выполнивших соответствующие задания.

Из гистограммы (рис.2) и графика (рис.3) видно, что трудными в части А оказались задания №№ 8, 10, 17, 19, 24, 25, 27.

1 2 3 4 5 6 7 8 9 1011 12131415161718192021 222324252627282930

Рис.2. Результаты выполнения заданий части А 56

80%

70%

60%

50%

40%

30%

20%

10%

0%

1 2 3 4 5 6 7 8 9 1011 12131415161718192021 222324252627282930

Рис. 3. График, отражающий успешность выполнения заданий тестовой работы части А

В данном случае необходимо провести более детальный анализ этих заданий, выявить их характеристические особенности. Таким образом, тестовое задание становится латентной переменной, а уровень подготовленности учащихся - индикатором этой переменной.

При проведении анализа тестовых заданий нами использовалась программа ЯЛММ

2020 (Rasch Unidimensonal Measurment Models), разработанная под руководством проф. Дэвида Эндрича (Мердокский университет, Австралия). Rasch Measurment - это статистический анализ, основанный на модели датского математика Г. Раша.

Рис.4. Характеристическая кривая легкого задания.

При анализе все испытуемые разбиваются на группы, в которых примерно одинаковое количество человек. На графике (рис.4) группы представлены в виде точек, которые определяют «сильных», «средних» и «слабых» учащихся при выполнении конкретного задания. Характеристические кривые описываются логистической (нелинейной) функцией. По смещению кривой вправо или влево от точки перегиба можно судить о трудности задания

Рассмотрим самое легкое задание № 4, рис.4 (III вариант контрольно-измерительных материалов для тренировочного тестирования 2004-05 уч. года Федерального Центра тестирования).

ЗАДАНИЕ № 4

Если сила тяжести, действующая на 10010 Descriptor for Item 10 Locn = 2,014 FitRes =

погруженное в жидкость тело, больше архимедовой силы, то тело

1) всплывает

2) тонет

3) находится в равновесии в любом месте жидкости

4) плавает на поверхности жидкости

Задание № 4 - задание репродуктивного уровня на знание закона Архимеда. Оно в основном соответствует модели Раша, т. к. точки находятся на кривой.

Как показал анализ, самым трудным заданием оказалось задание № 10, рис. 5 (III вариант контрольно - измерительных материалов для тренировочного тестирования 2004-05 уч. года Федерального Центра тестирования). Уровень трудности задания 2,014 logits.

1,195 ChiSq[Pr] = 0,002 S ampleN = 80

Slope

0,25

Рис. 5. Характеристическая кривая трудного задания

ЗАДАНИЕ № 10

Что происходит с внутренней энергией воды в процессе кристаллизации при темпе-

ратуре кристаллизации

?

1) кинетическая энергия молекул воды увеличивается, потенциальная - уменьшается;

2) кинетическая энергия молекул воды не изменяется, потенциальная - уменьшается;

3) кинетическая энергия молекул воды уменьшается, потенциальная - не изменяется;

4) кинетическая энергия молекул воды - не изменяется, потенциальная - увеличивается.

Задание № 10 - задание реконструктивного уровня - дана стандартная ситуация из термодинамики на закон сохранения энергии.

При анализе данного задания можно увидеть, что оно не обладает дифференцирующей способностью. Вероятность правильного ответа у учащихся с наибольшей способностью (+1,5 logits ) равна «0».

Анализ дистракторов показал, что среди данных вариантов ответа на задание № 10 правильный ответ: «кинетическая энергия молекул воды не изменяется, потенциальная -уменьшается». В тестовом задании разговор идет о внутренней энергии, а в ответах внутренняя энергия разделена на два вида - кинетическую и потенциальную, таким образом, наблюдается несоответствие содержания са-

мого задания и дистракторов, что вводит в заблуждение испытуемых. Очевидно, такое задание не может использоваться для объективной оценки знания учащихся. Поэтому для проведения любого вида диагностики важно иметь надежные измерители. Соответственно, для разработки таких измерителей нужны соответствующие программы. Программа

RAMM 2020 (Rasch Unidimensonal Measurment Models), основанная на модели Раша, может быть успешно использована для корректировки диагностического инструментария.

Программа ЯЛММ 2020 позволяет наглядно интерпретировать задания в тесте. По характеру кривых и расположению точек можно дать описательную характеристику любого задания, что важно для разработчиков тестов.

Характеристическая кривая задания № 25 (рис.6). Трудность этого задания 0,923. График полностью соответствует модели Раша. Задания с такими характеристиками идеально подходят для измерения латентной переменной, так как обладают сильной дифференцирующей способностью.

Рис. б. Характеристическая кривая задания, обладающего сильной дифференцирующей способностью

10009 Descriptor for Item Э Locn = -0,481 FitRes = 3,427 ChiSq[Pr] = 0,000 SampleN=80 Slope

Рис. 7. Характеристическая кривая задания, обладающего слабой дифференцирующей

способностью

Рис. 8. Характеристическая кривая задания, обладающего слабой дифференцирующей

способностью

Задания № 9 и № 14 (рис.7, 8) - задания слабой дифференцирующей способности.

Учащиеся с высоким уровнем знаний имеют меньшую вероятность правильно ответить на эти тестовые задания, а учащиеся с низким уровнем знаний имеют большую вероятность правильно ответить на данные задания, чем это следует из модели Раша. Веро-

ятность соответствия этого задания всему тесту также очень мала (0, 000 и 0,002 logits), и поэтому такие тестовые задания желательно исключить из теста.

Программа RAMM 2020 позволяет также увидеть соотношение между уровнем подготовленности учащихся и трудностью заданий теста (рис.9, 10).

PERSONS

ITEMS

F

г

е

q

10

Person-ltem Threshold Distribution

(Grouping Set to Interval Length of 0ДІ making 30 Groups)

TZT"

л w; лл

2

w

таг

3 Location (logits) 0,0%

16,7%

33,3%

Рис.9. Гистограмма выполнения тренировочной работы по физике (I вариант)

PERSONS

15 —г

ITEMS О

5 _I.

q 10

Person-ltem Location Distribution

(Grouping Set to Interval Length of 0,20 making 35 Groups)

-r 18,8%

Ho. He an SD Total [80] 0,137 0,933

IZZJ

- 6,3%

4 Location (logits) 0,0%

17,2%

34,5%

Рис.10. Гистограмма выполнения тренировочной работы по физике (II вариант)

На рис. 9, 10 даны две гистограммы - I и II вариант тренировочной работы по физике для подготовки к Единому государственному экзамену. В первом варианте тестировалось 79 человек, во втором варианте - 80.

По оси ординат число учащихся (в верхней части) и заданий (в нижней части) с соответствующим значением латентной переменной. Слева указаны абсолютные значения учащихся/заданий, а справа - относительные значения в процентах от общего числа учащихся/заданий. В верху гистограммы указано, что средний уровень знаний учащихся на 0,133 logits превышает средний уровень трудности заданий (который для удобства интерпретации выбран равным 0) для первого варианта и на 0,187 logits - для второго варианта. Среднеквадратическое отклонение для оценок уровней знаний равно 0,765 - первый вариант и, соответственно 0,988 - второй вариант. Кроме того, вверху гистограммы указано, что цена деления на оси абсцисс равна 0,20 logits, в результате в интервале от -3 до +4 logits рассматривается 30 и соответственно 35 групп с различными значениями латентной переменной.

Данные гистограмм I-го и II-го вариантов свидетельствуют, что трудности заданий распределены примерно равномерно по всему

исследуемому диапазону латентной переменной «уровень подготовленности по физике», следовательно, использованные в тестировании контрольно-измерительные материалы позволяют достаточно эффективно оценить уровень знаний на всем диапазоне варьирования латентной переменной. Оценки уровня знаний школьников распределены примерно по нормальному закону.

Тестовые технологии - эффективный инструментарий для диагностики и проведения мониторинговых исследований. Но сами по себе тесты не войдут в образовательную практику учебных заведений, они могут быть востребованы только тогда, когда учитель сам станет разработчиком новых программно -педагогических средств и организатором самостоятельного процесса учения.

Н.В. ФРОЛОВА

Организационно-педагогические условия формирования профессиональных компетенций у студентов управленческих специальностей

Современные организации, являющиеся объектами профессиональной деятельности выпускников управленческих специальностей, представляют собой социотехниче-