CC BY
106
заниматься маркетинговой деятельностью, устраивать рекламные кампании, проводить переговоры и участвовать в них, выступать на торжествах и других мероприятиях. Одним словом, выпускника экономического вуза следует не только научить различать названные жанры речи, которые, как мы выяснили, являются наиболее востребованными в системе менеджмента, ему следует также дать возможность применять эти жанры на практике в соответствии с модельными особенностями, учитывая ситуацию произнесения/написания, целевую установку, содержание, композицию, способ языкового оформления и произнесения/написания речи. Только при этих условиях обучение будет носить ярко выраженную профессиональную направленность, а студент получит реальную возможность приобрести навыки, благодаря которым он сможет при любых условиях успешно управлять людьми, выделять приоритетные цели деятельности, предвидеть возможные варианты их решения, меняя не только методы, но и стиль управления в зависимости от конкретной ситуации.
Литература
1. Балыхина Т.М. Содержательно-композиционная специфика устной профессионально-деловой речи: Учебное пособие. - М.: РУДН, 2008.
2. Черкашина Т.Т., Тартынских В.В. Лингвокоммуникации в управлении. Учебное пособие - М.: Издательский дом ГУУ, 2012.
3. Деркач А.А. Акмеологические основы развития профессионала. - М.: Издательство московского психолого-социального института; Воронеж: НПО «МОДЭК», 2004.
4. Черкашина Т.Т. Формирование коммуникативного лидера: метаметодика диалога. Монография. - М.: Изд-во Московского гуманитарного университета, 2011.
5. Романова Н.Н. Профессионально-коммуникативная подготовка специалистов в контексте языковой образовательной политики технического университета / Н.Н. Романова. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2009.
6. Тартынских В.В. К вопросу о культуре речи учащихся / Научно-теоретический и методический журнал «Русская словесность». 2008. № 6.
А.А. Малыгин
СТРАТЕГИИ И АЛГОРИТМЫ РЕАЛИЗАЦИИ АДАПТИВНЫХ ТЕХНОЛОГИЙ
ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ
STRATEGIES AND ALGORITHMS OF REALIZATION OF ADAPTIVE TECHNOLOGIES BASED ON EDUCATIONAL MEASUREMENTS
Аннотаци: Обосновываются преимущества адаптивного тестирования и его использование на количественном уровне педагогических измерений результатов обучения. Приводятся различные стратегии реализации адаптивных технологий, подробно описывается алгоритм варьирующее ветвящегося адаптивного тестирования.
Ключевые слова: оценивание, результаты обучения, педагогические измерения, адаптивное тестирование, эффициентность педагогического контроля, алгоритмы.
Abstrac: The advantages of adaptive testing and its usage on the quantitative level of educational measurements of educational achievements are described in the article. Different strategies of realization of adaptive technologies are given by the author. The algorithm of flexilevel adaptive testing is analyzed in details.
Key words: evaluation, educational achievements, educational measurements, adaptive testing, efficiency of educational control, algorithms.
Научно-обоснованный подход к оцениванию результатов обучения, обеспечивающий получение объективной и сопоставимой информации, на сегодняшний день связывают с педагогическими измерениями [6]. Педагогические измерения как отдельная наука широко распространена за рубежом, но не в полной мере еще реализуется в России. Данная область является одним из ключевых компонентов эвалюации в образовании, которая представляет собой целый «спектр теоретико-методологических и практических работ по систематическому исследованию ценности и позитивности качеств обучаемых, анализируемых на основе единой методологии, сочетания количественных и качественных методов для отслеживания характера и динамики изменений качества процесса и результатов образования» [1]. Применение количественных методов требует использования преимущественно стандартизированных тестов, данные которых обрабатываются и анализируются с применением аппарата математики, статистики, мета-анализа, дисперсионного анализа, факторного анализа и т. д. Количественные показатели фиксируются в баллах или процентах. Качественные методы сбора информации основаны на экспертных оценках и суждениях, наблюдении, проведении анкетирования и интервью. Качественные оценки выражаются в суждениях типа «хорошо», «удовлетворительно» и т. п. Часто каждому оценочному суждению приписывается определенный, заранее согласованный (установленный) балл, показатель (например, оценочному суждению «отлично» - балл 5). Очень важно при этом понимать, что оценка - это не число, получаемое в результате измерений и вычислений, а приписанное оценочному суждению значение, поэтому количественные манипуляции с оценочными суждениями (баллами) недопустимы. Чтобы избежать соблазна использовать оценки как числа, во многих странах мира они имеют буквенное обозначение, например А, В, С и т. д. В целом, методологические основы современных подходов к оцениванию результатов обучения строятся на идее сочетания количественных и качественных данных, представленных в одной из трех шкал теории измерений (номинальная шкала, порядковая шкала, интервальная шкала).
Обращаясь к тестированию как наиболее эффективному и надежному методу получения информации на количественном уровне измерений, резонно ставить вопрос об эффициентности, т. е. о том, сколько и каких ресурсов тратится на его реализацию. Привычное тестирование с фиксированным числом заданий и временем на их выполнение не всегда приводит к точным, высоко объективным (надежным), обоснованным (валидным) и сопоставимым результатам. В этом случае имеет смысл применять адаптивное тестирование, которое отвечает эффициентности, поскольку позволяет существенно минимизировать трудозатраты, время на его проведение, а также повысить точность измерения.
Обоснование адаптивного тестирования как эффициентного метода педагогического контроля, помимо определения его теоретико-педагогических оснований, ключевых понятий, выделения принципов и условий его организации, происходит через подходы к моделированию. Началу адаптивного тестирования предшествует выбор определенной стратегии и разработка алгоритма предъявления тестовых заданий, позволяющих достичь эффективности педагогических измерений. Так, в работе [5] адаптивное тестирование классифицируется на двухшаговое и многошаговое, сообразно которым выстраиваются различные стратегии и разрабатываются алгоритмы.
Двухшаговое тестирование предполагает наличие двух этапов, отличающихся по целям, задачам и конструированию педагогических тестов. На первом этапе испытуемым предъявляется входной тест, цель которого - осуществление максимальной дифференциации учащихся вдоль оси переменной измерения. По результатам дифференциации определяется интервал или множество точек на оси, применительно к
которым на втором этапе организуется адаптивный режим и происходит адаптивное тестирование.
Многошаговое тестирование представляет собой такую организацию тестирования, когда испытуемый движется по своей индивидуальной траектории в процессе выполнения отличающихся по числу и трудности наборов заданий. Алгоритм отбора и предъявления заданий строится по принципу обратной связи, когда при правильном ответе испытуемого очередное задание выбирается более трудным, а неверный ответ влечет за собой предъявление последующего более легкого задания, чем то, на которое испытуемым был дан неверный ответ. Таким образом, многошаговое тестирование строится на алгоритмах с полной контекстной зависимостью, в которых очередной шаг совершается только после оценки результатов выполнения предыдущего шага, поскольку зависит от этого результата.
В свою очередь многошаговые стратегии адаптивного тестирования подразделяются на фиксированно ветвящиеся и варьирующе ветвящиеся в зависимости от того, как конструируются многошаговые адаптивные тесты. Если один и тот же набор с фиксированным расположением заданий на оси трудности используется для всех испытуемых, но каждый движется по набору индивидуальным путем в зависимости от результатов выполнения каждого очередного задания, то стратегия адаптивного тестирования является детерминированно-ветвящейся. Задания по трудности в наборе обычно располагают на равном расстоянии друг от друга либо выбирают убывающий шаг сообразно нарастанию трудности, что позволяет подстроить темп тестирования под испытуемого. Приведем описание двух наиболее распространенных стратегий, относящихся к фиксированно ветвящимся.
Пирамидальная стратегия
Суть пирамидальной стратегии заключается в том, что все испытуемые начинают процесс тестирования с задания средней трудности. Если ответ испытуемого на задание правильный, то ему предъявляется следующее по степени трудности задание; при неправильном ответе предлагается менее трудное задание. Процедура повторяется до тех пор, пока испытуемый не выполнит запланированное количество заданий. Для реализации пирамидальной стратегии необходимо при заданном количестве стадий тестирования (оно совпадает с количеством уровней трудности) определить количество заданий каждого уровня и в тесте в целом.
На рис. 1 представлен пример 10-стадийного теста, в котором имеется 55 заданий. В начале тестирования студенту предъявляется задание средней трудности (5-го уровня). На втором шаге ему может быть предложено задание либо 5-го, либо 6-го уровня. Очевидно, что на каждом шаге могут быть задействованы задания стольких уровней трудности, каков номер шага. Если в тесте имеются задания 10 уровней трудности, то в целом каждому испытуемому предъявляется 10 из 55 входящих в тест заданий.
Заметим, что в пирамидальной стратегии на каждом уровне трудности требуется определенное количество заданий. Наибольшее количество заданий (равное количеству уровней трудности) может быть задействовано на среднем уровне. Всего одно задание используется на максимальном уровне. На соседних уровнях количество заданий отличается на 2 (исключение составляют уровни, соседствующие со средним). Можно заметить, что на первом уровне требуется 2 задания, на втором - 4, на третьем - 6 и т. д. На последнем уровне используется 1 задание, на предпоследнем - 3 и т. д.
Можно использовать общую формулу для определения количества заданий на произвольном уровне трудности. Пусть всего имеется K уровней трудности. Номер среднего уровня трудности определяется как целая часть от деления количества уровней на 2: очевидно, при K четном это будет ^2, а для нечетного K получим ^ + 1)/2. На уровне трудности с номером, меньшим Ш2, используется 2i заданий, где i - номер уровня. Для уровней трудности с номерами, большими Ш2, количество заданий равно 2^ - /') +1, где i - номер уровня. Всего в тесте будет использовано (К + 1)хК/2 заданий.
номер стадии
Рис. 1. Схема распределения заданий для 10-стадийного теста
1 ^l "? I С Г--Г т о п
номер стадии
V
Рис. 2. Схема распределения заданий для 9-стадийного теста
В табл. 1 представлены количества заданий каждого уровня и в тесте в целом для различных значений количества стадий тестирования. Очевидно, что пирамидальная стратегия может быть использована только при условии наличия достаточно большого банка заданий различного уровня трудности, однако она соответствует упрощенному пониманию адаптивного тестирования.
Стратегия половинного деления
Стратегия половинного деления строится на основе современной теории конструирования педагогических тестов Items Response Theory (далее - IRT), согласно которой значения уровня подготовленности испытуемых и трудности заданий теста выражены в одних и тех же единицах измерения - логитах, а значит, могут быть помещены на одну стандартную шкалу, что позволяет соотнести уровень подготовки любого обучаемого с мерой трудности каждого задания теста. Абсолютная величина разности (в-р) - это расстояние, на котором находится испытуемый с уровнем подготовки в от задания с трудностью р.
Если отрицательная разность велика по модулю (в- р), то это значит, что уровень подготовки обучаемого намного ниже трудности задания, и с очень большой вероятностью он сделает его неверно. Большие положительные значения разности (в - Pi) также говорят о несоответствии уровня подготовленности и трудности задания, но в другую сторону, то есть с очень большой вероятностью испытуемый выполнит такое задание правильно.
Таблица 1
Количество заданий каждого уровня для пирамидальной стратегии
Количество стадий тестирования Всего заданий в тесте Заданий уровня
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
5 15 2 4 5 3 1
6 21 2 4 6 5 3 1
7 28 2 4 6 7 5 3 1
8 36 2 4 6 8 7 5 3 1
9 45 2 4 6 8 9 7 5 3 1
10 55 2 4 6 8 10 9 7 5 3 1
11 66 2 4 6 8 10 11 9 7 5 3 1
12 78 2 4 6 8 10 12 11 9 7 5 3 1
13 91 2 4 6 8 10 12 13 11 9 7 5 3 1
14 105 2 4 6 8 10 12 14 13 11 9 7 5 3 1
15 120 2 4 6 8 10 12 14 15 13 11 9 7 5 3 1
16 136 2 4 6 8 10 12 14 16 15 13 11 9 7 5 3 1
17 153 2 4 6 8 10 12 14 16 17 15 13 11 9 7 5 3 1
18 171 2 4 6 8 10 12 14 16 18 17 15 13 11 9 7 5 3 1
19 190 2 4 6 8 10 12 14 16 18 19 17 15 13 11 9 7 5 3 1
20 210 2 4 6 8 10 12 14 16 18 20 19 17 15 13 11 9 7 5 3 1
Если задания расположены в порядке возрастания трудности, то можно утверждать следующее:
- если испытуемый справился с заданием, то с большой долей вероятности он правильно выполнит задания, уровень трудности которых меньше;
- если испытуемый не справился с заданием, то с большой долей вероятности он не сможет выполнить задания с более высоким уровнем трудности.
Эти утверждения позволяют выбирать задания таким образом, что испытуемому не предлагаются те задания, результат выполнения которых предсказуем с большой долей вероятности.
Пусть все задания расположены в порядке возрастания трудности, причём все задания по трудности различаются. Пусть испытуемому предложено задание среднего уровня трудности. Возможны две ситуации: учащийся с заданием не справился, учащийся выполнил задание верно. В первом случае с большой долей вероятности можно предположить, что испытуемый не справится с более сложными заданиями, во втором - справится с более легкими заданиями. Таким образом, отбирается та половина заданий, результат выполнения которых можно считать известным, и поэтому их можно не предъявлять. Следовательно, можно выбрать оставшуюся половину заданий, относительно результата которых нельзя сделать никаких предположений: в первом случае это будут задания более легкие, а во втором - более трудные, чем предъявленные, т. е. для предъявления испытуемому имеем в два раза меньше заданий, чем было ранее. При повторе следующего шага тестирования множество заданий будет делиться на две части (этим и объясняется название стратегии), таким образом происходит сужение «области неопределенности» в два раза. Когда на очередном шаге мы получаем всего одно задание, тестирование завершается.
1
2
3
4
5
номер стадии
Рис. 3. Схема стратегии половинного деления для 16 заданий
Таким образом, если имеется К заданий, то после первого шага тестирования остается К/2 заданий, после второго - К/4 заданий, после третьего - К/8 заданий и т. д. Тестирование продолжается, пока выполняется условие в виде неравенства (К/2г)>1, где г - номер стадии. Это неравенство также позволяет по количеству заданий определить максимальное количество стадий, которое понадобится, - оно равно [1о§2(К + 1)], где знак [•] обозначает целую часть числа (см. табл. 2).
Таблица 2
Количество стадий в стратегии половинного деления _
Количество заданий 8-15 16-31 32-63 64-127 128-255 256-511 512-1000
Количество стадий 4 5 6 7 8 9 10
Итак, стратегия половинного деления может быть описана следующим алгоритмом. Пусть всего имеется К заданий.
1. Предъявляется задание с номером ] = [К/2], номер стадии г =1.
2. Если (К/2г)>1, то переходим к п. 3, иначе тестирование завершается.
3. Увеличиваем номер стадии г на 1. Если задание с номером ] выполнено верно, то
предъявляется задание с номером [/+К/2г], иначе - с номером [/-К/2г]. Переход к п. 2.
При имеющемся количестве заданий описанная стратегия позволяет получить результат за минимальное количество шагов, что влечет уменьшение длины теста, но происходит потеря точности измерения, а тем самым надежности адаптивного тестирования.
Варьирующая ветвящаяся стратегия заключается в предъявлении заданий по алгоритму, который прогнозирует оптимальную трудность последующего задания по результатам выполнения испытуемым предыдущего тестового задания. Главной особенностью и одновременно преимуществом варьирующей ветвящейся стратегии является пошаговая переоценка уровня подготовленности испытуемого после каждого выполнения очередного задания. В результате образуется своеобразная последовательность значений в, применительно к которым подбираются значения трудности задания Д. Варьируются при такой стратегии адаптивного тестирования трудность заданий и шаг, определяемый разностью трудностей двух соседних заданий последовательности. Реализовать такую стратегию возможно только с помощью вероятностных моделей теории ГО.Т, как раз позволяющих прогнозировать успешность выполнения очередного задания при фиксированном значении в. В практической работе автором статьи выбор был сделан в пользу варьирующей ветвящейся стратегии, алгоритм реализации которой представлен на рис. 4.
Данное решение обусловлено сравнительным теоретическим анализом результатов работ по адаптивному тестированию, а также накопленным практическим опытом по апробации различных видов тестирования (бланкового, компьютерного) с различными вариантами предъявления заданий (детерминированного или случайного) и временными ограничениями.
Рис. 4. Алгоритм варьирующе ветвящегося адаптивного тестирования
Достоинствами выбранной стратегии являются:
- выбор в качестве критерия остановки алгоритма адаптивного тестирования величины ошибки измерения, получаемой при оценивании переменной измерения, что позволяет заранее прогнозировать надежность теста;
- индивидуальная траектория адаптивного тестирования для каждого студента;
- возможность вариации трудности и дифференцирующей способности при подборе оптимальных заданий для каждого контролируемого студента.
Результаты проведенного анкетирования студентов технического вуза и личная беседа на тему оценки результатов обучения позволили сделать вывод о положительном отношении к таким методам контроля, которые основываются, во-первых, на принципах равноправия и объективности, и, во-вторых, организуются через компьютерные системы и информационно-коммуникационные технологии.
Вместе с перечисленными достоинствами остается нерешенным вопрос о том, как входить в режим адаптивного тестирования, т. е. с задания какой трудности следует начинать. Можно предложить несколько подходов для начала тестирования. Первый
подход заключается в том, что если отсутствует информация о начальном уровне подготовленности контролируемого учащегося, то следует ориентироваться на среднюю оценку в группе, проходившей тестирование. Второй подход относится к двухшаговому тестированию и строится на использовании результатов выполнения входного теста (претеста). При третьем подходе тестирование предлагается начинать с относительно легких заданий, дав время испытуемому для привыкания и адаптации.
Для реализации любой из приведенных стратегий необходимо выполнение следующих условий:
- наличие банка калиброванных тестовых заданий, имеющих устойчивые характеристики и полученные с помощью выбранной модели ГО.Т;
- наличие компьютерных программ либо программно-инструментальной среды, в которых используется одна или несколько выбранных моделей ГО.Т, способствующих достижению максимально возможной точности измерений при оценивании подготовленности студента;
- наличие спецификации, обеспечивающей содержательную валидность моделируемого теста.
С дидактической точки зрения последнее условие особенно важно, поскольку для получения объективных и сопоставимых результатов во время тестирования необходимо учитывать содержательные элементы дисциплины (предмета), проверка которых планируется в спецификации теста.
Далее приведем пример работы алгоритма адаптивного тестирования.
Работа алгоритма адаптивного тестирования
Требование: наличие банка калиброванных тестовых заданий с известными устойчивыми оценками трудности задания в- и его дифференцирующей способности а,.
Возьмем для примера 10 заданий из банка:
Задание] в, а,
1 -2,237 0,397
2 -1,116 0,537
3 -0,469 1,261
4 -0,103 0,857
5 0,067 1,471
6 0,241 0,92
7 0,495 1,382
8 0,801 0,94
9 1,17 1,29
10 1,496 1,44
Шаг 1. Испытуемому предлагается самое легкое задание из банка. В соответствии с данной таблицей - это задание № 1.
Шаг 2. Ответ испытуемого на данное задание оказался верным, т. е. его профиль
{1}.
Шаг 3. В соответствии с профилем ответа вычисляется функция правдоподобия для всего диапазона значений в при известных в1=-2,237 и а1=0,397 выбирается такое значение в, для которого функция правдоподобия принимает максимальное значение.
Общий вид функции правдоподобия Ь {х-\ в^ =Р]Х Q]l'XJ, где Ру =-17а.^в ^ -
вероятность правильного ответа на]-е задание, а Q]■ = 1 - Р- - вероятность неправильного ответа.
Проведя расчет, получаем, что наибольшее значение функция правдоподобия Ь1 принимает при в= 4.
Шаг 4. Вычисляются значения информационной функции при в= 4 для оставшихся заданий трудностью в] и предъявляется то задание, которое имеет наибольшее значение данной функции. В нашем случае таким заданием будет № 8 1(в= 4)=0,013, соответственно оно и будет предъявлено испытуемому.
Шаг 5. В зависимости от ответа испытуемого (верно / неверно) пересчитывается функция правдоподобия и выбирается ее максимальное значение. Пусть испытуемый ответил на задание № 8 неверно, тогда его профиль с учетом предыдущего ответа будет {1; 0}. Функция правдоподобия в этом случае будет следующей: Д1; 0)=Р1(в)^2(в). Максимум этой функции будет достигаться при в= -0,5.
Шаг 6. Для уровня подготовленности в= -0,5 выбирается задание, имеющее наибольшее значение информационной функции. Для нашего примера это будет задание № 3.
Шаг 7. Составляется новый профиль ответов испытуемого путем добавления значения 0 или 1 в зависимости от того, какой был его ответ на текущее задание. Предположим, ответ был верным, тогда профиль имеет вид {1; 0; 1}, для которого вновь рассчитывается функция правдоподобия Д1; 0; 1)=Р1(в)-02(в)-Рз(в)'и снова находится значение в, соответствующее максимальному значению. В рассматриваемом примере максимум функции правдоподобия достигается при в= 0,0.
Шаг 8. Повторяется шаг 6. Предъявляется задание № 5.
Шаг 9. Повторяется шаг 7.
и так до тех пор, пока не будет выполнено условие | в - вк-1 |< £ либо не сработает останавливающее правило, например, это правило, когда стандартная ошибка измерения 5е(б) = <0,6.
Допустим, что в нашем примере после правильного выполнения 5-го задания получено новое значение в = 0,5 и испытуемый отвечает неверно на следующее задание. Профиль его ответов будет выглядеть так: {1; 0; 1; 1; 0}, функция правдоподобия соответственно Ц1; 0; 1; 1; 0)=Pl(в)■Q2(9)■Pз(9)■P4(9)■Q5(в). Максимум уже новой функции правдоподобия достигается при в = 0,0. В этом случае получаем такую последовательность оценок уровня подготовленности {4,0; -0,5; 0,0; 0,5; 0,0}.
Шаг 10. Вычисление стандартной ошибки измерения по приведенной выше формуле даст значение равное 0,58, что меньше установленного критерия. Тогда в логитах уровень подготовленности испытуемого будет равен в = 0,0 со стандартной ошибкой измерения 0,58.
Для предъявления испытуемому его индивидуального балла необходимо вычисленный уровень подготовленности шкалировать [5].
Таким образом, каждый обучающийся проходит тестирование в индивидуальном для него режиме с разной скоростью и различным числом заданий. Вполне понятно, что быстрее всего из режима адаптивного тестирования выходят испытуемые сильно и слабоподготовленные, поскольку для этих двух групп предъявляются только такие задания, которые соответствуют их актуальному уровню развития и посильны для выполнения. Последнее обстоятельство повышает мотивацию к выполнению предъявляемых заданий.
В качестве останавливающего правила адаптивного тестирования выступает условие достижения запланированной стандартной ошибки измерения. Тогда окончательная оценка уровня подготовленности выражается в виде в± 8в(в).
Результаты опытно-экспериментальной работы автора данной статьи дают достаточные основания утверждать, что соблюдение педагогических и технологических условий, а также использование описанных методик обеспечения надежности и валидности результатов при реализации адаптивного тестирования не занижают точности измерений, а тем самым обеспечивается эффективность контроля результатов обучения студентов [3].
Литература
1. Гуськова М.В. Эвалюация в образовании: монография / М.: Инфра-М, 2012. - 152 с.
2. Звонников В.И., Челышкова М.Б., Малыгин А.А. Адаптивное тестирование в дистанционном обучении // Высшее образование сегодня. - 2012. - №6. - С. 7-10.
3. Малыгин А.А. Адаптивное тестирование в дистанционном обучении: монография / Иван. гос. хим.-технол. ун-т. - Иваново, 2012. - 138 с.
4. Малыгин А.А. Компьютерное адаптивное тестирование в обеспечение качества дистанционного обучения // Вестник университета. - 2010. - №4. - С. 166-169.
5. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология): монография / ИЦПКПС. - М., 2001. - 165 с.
6. Челышкова М. Б. Аттестация выпускников вузов в рамках компетентностного подхода // Вестник КГУ им. Н.А. Некрасова. - 2012. - №6. - С. 270273.
