CC BY
51
УДК 37:001.12/ 18
С.П. Мирошниченко ПРОЦЕССЫ ТЕСТИРОВАНИЯ И РАЗВИТИЯ В ОБРАЗОВАНИИ
При проведении и обработке результатов Российского государственного педагогического тестирования используются модели теории Item Response Theory (IRT), которая в переводе на русский язык получила название «Теория моделирования и параметризации педагогических тестов» (ТМППТ или ТППТ). Основополагающим в этой теории является предположение о том, что учебные достижения учащегося в определенной области знаний можно оценивать с помощью объективного скрытого (латентного) параметра, называемого уровнем подготовленности. В , , , -тым объективным параметром, называемым уровнем трудности задания. Скрытые параметры учащихся и заданий не поддаются непосредственному измерению, однако их значения могут быть оценены по результатам решения теста большим количеством учащихся с использованием методов статистического анализа. Для вычисления статистических оценок скрытых параметров заданий и учащихся необходимо задаться математической моделью зависимости вероятности решения конкретного задания конкретным участником (вероятности успеха) от уровней подго-
( ). -ций успеха чаще всего используют однопараметрическую модель Раша и двухпараметрическую модель Бирнбаума. Однопараметрическая модель Раша предполагает, что вероятность успеха однозначно определяется одним параметром x = в - 3
- разностью между уровнями подготовленности учащегося в и трудности задания <5. Параметры в и 3 измеряются на интервальной логистической шкале с областью определения (-со; +оо), которая в последствии преобразуется в 100-бадльную шкалу . -тоинством является простота ее применения.
Более сложной моделью является двухпараметрическая модель Бирнбаума, в которую по сравнению с моделью Раша добавлен еще один параметр - коэффициент дискриминации задания d, характеризующий способность задания измерять уровень подготовленности испытуемого, т.е. другими словами, параметр качества .
достаточными статистиками, т.е. испытуемые, решившие одинаковое число зада, . -чеством правильно решенных заданий, но и тем, какие именно задания решил испытуемый. При этом достаточными статистиками при определении тестовых баллов являются суммы коэффициентов дискриминации правильно решенных заданий. Таким образом, тестовый балл испытуемого определяется первичным баллом, взвешенным по качеству решенных заданий, определяемому их коэффициентами дискриминации. Хорошие задания вносят существенный вклад в тестовый балл, а , . Конечно, это шаг вперед по сравнению с моделью Раша, однако трудность решенных заданий в рамках модели Бирнбаума не влияет на тестовый балл.
С нашей точки зрения, модели Раша и Бирнбаума имеют следующие недос-:
♦ трудность решенных тестовых заданий не влияет на тестовый балл;
♦ не учтены такие важные факторы, как внимательность испытуемых и неравномерность их подготовленности по различным разделам курса.
Эти недостатки могут быть устранены путем разработки новых (или модернизации существующих) моделей функции успеха, учитывающих кроме уровня подготовленности испытуемых и другие их индивидуальные качества. В частности, параметр й двухпараметрической модели Бирнбаума может быть интерпретирован не как параметр задания, а как параметр участника тестирования. При этом параметр й характеризует однородность подготовки учащегося. Величина й (коэффи-
), -ные задания от легких. Если считать уровень подготовленности учащегося при решении конкретных заданий случайной величиной, то величины в и й-1 могут интерпретироваться как математическое ожидание и среднеквадратичное отклонение этой случайной величины. Поскольку число независимых факторов, влияющих на результат выполнения каждого задания, достаточно велико, можно предположить, что выполняются условия центральной предельной теоремы, вследствие чего уровень подготовленности учащегося имеет нормальное распределение вероятностей. Функция успеха описывается интегральной функцией нормального распределения, хорошей аппроксимацией которой является модель Бирнбаума.
Если наряду с коэффициентом дискриминации учащегося в модели учитывать коэффициенты дискриминации заданий, то коэффициент й в модели Бирнбаума приобретает смысл обобщенного коэффициента, являющегося функцией коэффициента дискриминации учащегося йу и коэффициента дискриминации задания й,. При этом разность между уровнем подготовленности учащегося и уровнем трудности задания будет случайной величиной, закон распределения которого является композицией законов распределения уровней подготовленности учащегося и труд. -званных исходных распределений. С учетом этого, обобщенный параметр й может быть определен из выражения й = (й - + й3'2)'1/2. Введение дополнительного пара, , -лов не только количество, но и трудность правильно выполненных заданий. В ча-, , , больший тестовый балл получит учащийся, правильно решивший большее количество трудных заданий. В то же время, среди учащихся, набравших невысокие пер, , количество простых заданий. Логика такого определения баллов заключается в , , , -дания, скорее всего, случайно. В то же время, среди учащихся, набравших низкие , , решение достаточно простых - закономерным.
Оценка уровня подготовленности, используемая в настоящее время, измеряет уровень подготовленности на уровне вероятности успеха р = 0,5. Однако, если в дальнейшей профессиональной деятельности учащийся будет правильно решать только половину поставленных задач, то это явно не может быть признано удовле-.
других, более высоких уровнях вероятности успеха, например, на уровне р = 0,9 -это будет оценка твердых, устойчивых, хорошо воспроизводимых знаний, позволяющих выполнять задания практически безошибочно, другими словами - оценка умений. Для приведения оценок знаний и умений к единой шкале будем считать, что оценки знаний учащегося, имеющего единичный коэффициент дискримина-
ции, совпадают на всех уровнях. Тогда, оценка знаний в логитах вр на уровне вероятности р будет определяться из выражения
вр =в+(\- Р
й 1-р
В частности, на уровне вероятности р = 0,9, учащийся, имеющий коэффициент дискриминации, й = 0,7 при уровне знаний в = 2 логита будет иметь оценку умений, равную 1,058 логит, а учащийся с тем же уровнем знаний и коэффициентом дискриминации 1,5 , будет иметь оценку уровня умений 2,732 ло гит.
Измерение структуры подготовленности по индивидуальной характеристической функции участника тестирования. В 2001 году результаты Всероссийского государственного централизованного тестирования были впервые обработаны с использованием модели Бирнбаума. Считалось, что индивидуальные характеристические функции всех участников имеют одинаковую форму и отличаются друг от друга лишь сдвигом вдоль оси логит. Однако, форма индивидуальных
, , -жет быть различной. Информация, необходимая для построения эмпирической индивидуальной характеристической функции участника, содержится в матрице ответов участника на задания с известной трудностью и дифференцирующей способностью. Исследуя форму индивидуальной характеристической функции участника. М.Б. Челышкова [1] предлагает в зависимости от вероятности успеха разбить диапазон трудности заданий, решаемых участником, на ряд областей. В работе делается вывод о том, что существование широкой зоны ближайшего развития у учащегося связано с наличием большого числа пробелов в структуре знаний и свидетельствует о его низкой обучаемости. Также отмечается, что ширина зоны ближайшего развития (а, следовательно, и величина коэффициента й ) не определяет однозначно качество обучения и в зависимости от подготовленности может быть рассмотрено и как позитивное явление, свидетельствующее о высоких потенциальных возможностях обучаемого, и как негативное, говорящее о пробелах в знаниях и низкой динамике обучения. Отсюда можно сделать вывод, что модель Бирнбаума и вычисленный на ее основании коэффициент й не могут использоваться для однозначной числовой оценки качества подготовленности участника.
На наш взгляд, противоречивость выводов о роли зоны ближайшего развития в процессе обучения объясняется следующими причинами. Измерение подготовленности на уровне вероятности успеха р = 0,5 , принятое в ТМППТ, является психологически непривычным по сравнению с классическим измерением по пятибалльной или десятибалльной шкалам, где оценка «отлично» соответствует знаниям на уровне вероятности успеха р = 0,9 - 0,95. В качестве примера традиционного оценивания знаний по четырёхбалльной шкале рассмотрим стандарт Таганрогского государственного радиотехнического университета [2], в котором регламентируется выставление оценок по результатам итогового рейтингового контроля знаний: 85% - 100% - отлично; 70% - 84% - хорошо; 55% - 64% - удовлетворительно; 0% - 54% - неудовлетворительно. Оценке "отлично" соответствуют в среднем знания на уровне р = 0,925; а значение р = 0,5, используемое для измерения в ТМППТ, соответствует оценке "неудовлетворительно". Второй причиной вышеназванных противоречий является несовершенство модели Бирнбаума. Вывод о негативном влиянии широкой зоны ближайшего развития является следствием симметричности графика характеристической функции участника в модели Бирнбаума относительно точки перегиба. На самом деле ширина различных зон может не за-( ) , -
теристической функции участника может быть более сложной, в частности, -асимметричной и для ее описания требуются более сложная модель.
Приведенный анализ показывает, что для получения возможности измерения структуры подготовленности (структуры знаний) участников тестирования должны быть решены следующие задачи:
♦
, -
.
♦ Построение мате магической модели, объединяющей характеристические функции заданий и участников и позволяющей описывать характеристические функции участников различной, в том числе и асимметричной
.
♦ Разработка методики построения и сглаживания индивидуальных характеристических функций участников тестирования.
Данные задачи успешно решены в работе [3].
Функция структуры знаний. Индивидуальная характеристическая функция ( ) . Оцениваемая в ТМППТ подготовленность участника вi представляет собой оценку математического ожидания подготовленности, ничего не говорящую о структуре знаний. Информация о структуре знаний участника может быть получена в результате измерения значений индивидуальной характеристической функции на различных уровнях вероятности успеха. В работе [4] ИХФУ разбивается на 5 интервалов ( , , , ,
). , различных по форме, требует построение новых моделей. В результате рассмотрения механизма формирования характеристических функций может быть предложена трехпараметрическая модель тестирования, в которую наряду с дифференцирующей способностью задания входит параметр, характеризующий дифференцирующую способность участника тестирования и определяющий крутизну наклона
. -
,
одновременного учета различных дифференцирующих способностей разных заданий и участников тестирования. Использование трехпараметрической модели позволяет оценивать не только уровень подготовленности участника тестирования, но и структуру его знаний.
Проведенные исследования показывают возможность разработки технологии второй оценки при тестировании. Характер (вид) зависимости ИХФУ не только однозначно оценивает структуру знаний, но и показывает потенциальные возможности будущего студента. Кроме того, рассматривая ИХФУ как кривую развития и проводя тестирование в течение определенного времени (через месяц, семестр и т.д.), можно построить кривую развития студента (школьника), т.е. контролировать процесс развития учащегося. Данная технология представляет интерес не только , .
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология). - М.: ИЦКПС, 2001. - 165 с.
2.
для студентов дневной формы обучения. Стандарт Таганрогского государственного радиотехнического университета. - Таганрог, 1994.
3. Глушенко А.А., Иванцов В.В., Клово АТ., Радомская М.В. Измерение и оценка качества образования. - М.: Изд-во «Международная Педагогическая Академия», 2003. - 237 с.
4. . ., . ., . . -
вития (часть II). - М.: Изд-во «МПА-ПРЕСС», 2005. - 194 с.
УДК 681.3.066:378.1
..
ИСПОЛЬЗОВАНИЕ МУЛЬТИМЕДИА КАК ОДНОГО ИЗ СРЕДСТВ ИНТЕНСИФИКАЦИИ САМОСТОЯТЕЛЬНОЙ РАБОТЫ ПРИ ИЗУЧЕНИИ ИНОСТРАННОГО ЯЗЫКА
Компьютеризация образовательного процесса получила распространение и применение во всем мире и успешно практикуется во всех ведущих ВУЗах. Все большее внимание уделяется изучению и использованию новейших компьютерных разработок для изучения различных учебных дисциплин, в том числе и иностран-.
возможности, как студентов, так и преподавателей. Но, в то же время, поток информации настолько огромен, что необходимо умело в нем лавировать и извлекать , .
Из года в год поток информационных материалов растет, что ведет к увеличению учебной нагрузки студентов. С другой же стороны, количество часов, выделяемых на аудиторные занятия, заметно уменьшается. Эти факторы определяют повышенное внимание к требованиям, предъявляемым к самостоятельной работе .
Актуальная в последнее время индивидуализация обучения направлена на то, чтобы процесс обучения стал личностно-ориентированным, то есть соответствовал интересам и потребностям будущих специалистов. Но, в разрез с этим, уменьшение аудиторной нагрузки снижает возможность реализации субъект-субъектного .
компьютера и мультимедийных технологий.
Самостоятельная работа является одной из важнейших форм обучения в ВУЗе - обязательной составляющей учебной, научной и исследовательской дея.
профессиональной подготовки будущих специалистов. К сожалению, практика , -, -мя, выделять главное, самостоятельно принимать решения и делать выводы. В такой ситуации преподаватель должен научить студентов работать самостоятельно, , , -
- , заинтересованность в ее самостоятельном решении.
, -тельной работы (Л.Г. Вяткин, М.Г. Гарунов, ПЛ. Пидкасистый, С.Ф.Шатилов и .), ,
« ». - , все сходятся в едином мнении, что самостоятельная работа представляет собой
