CC BY
46
СОЦИАЛЬНО-ГУМАНИТАРНЫЕ ПРОБЛЕМЫ ДЕЯТЕЛЬНОСТИ ОВД И ГПС
1(52) 2010
РАСЧЕТ ПАРАМЕТРОВ МОДЕЛИ ПЕДАГОГИЧЕСКИХ
ИЗМЕРЕНИЙ
О.Г. Деменченок,
начальник кафедры математики и информатики
ФГОУ ВПО ВСИ МВД России, кандидат технических наук, доцент
Рассмотрены теоретические основы оценки параметров модели измерения, предложены аналитические зависимости для модели Г. Раша. Описана технология поиска параметров модели Г. Раша средствами Microsoft Excel. Проведен анализ результатов подбора параметров модели и анализ качества моделей.
Theoretical bases of an estimation ofparametres of model of measurement are considered, analytical dependences for G.Rasch model are offered. The technology of search ofparametres of model of G.Rasch is described by means Microsoft Excel. The analysis of results of selection of parametres of model and the analysis of quality of models is carried out*.
Специфической чертой современного этапа развития теории и практики педагогических измерений следует считать широкое внедрение методов математического моделирования. Математические модели способствуют выполнению двух основных функций теории - объяснению и прогнозированию наблюдаемых результатов тестирования.
*
Demenchenok O.G. Calculation of parameters of model of pedagogical measurements.
ВЕСТНИК ВОСТОЧНО-СИБИРСКОГО ИНСТИТУТА МВД РОССИИ
94
СОЦИАЛЬНО-ГУМАНИТАРНЫЕ ПРОБЛЕМЫ ДЕЯТЕЛЬНОСТИ ОВД И ГПС
1(52) 2010
Для практического применения моделей в педагогических измерениях необходимо, прежде всего, определить параметры модели. Затем неизбежно возникает вопрос об адекватности полученной модели - насколько хорошо модель справляется со своими функциями? Подбору параметров и оценке качества модели посвящена данная статья. Теоретические основы оценки параметров модели измерения
Задача построения математической модели, связывающей уровни подготовленности испытуемых и трудности тестовых заданий с конкретными результатами выполнения теста, может быть сформулирована следующим образом. Из теоретических соображений выбран принципиальный вид зависимости вероятности правильного ответа. Эта зависимость - та или иная модель Item Response Theory (IRT).
Модель содержит ряд параметров: в - подготовленность испытуемых, Р - трудность заданий, а - значение параметра крутизны графика функции задания или различающая способность задания для двух- и трехпараметрических моделей, с -мера возможного угадывания правильного ответа на задание, для трехпараметрической модели. Требуется так выбрать эти параметры, чтобы результаты конкретного тестирования и математическая модель наилучшим образом совпадали.
Решение этой задачи во многом зависит от того, что именно мы условимся считать «наилучшим»,
т.е. от принятого критерия оптимальности. Можно, например, считать критерием оптимальности минимум максимального отклонения между расчетными и экспериментальными данными; можно потребовать, чтобы в минимум обращалась сумма абсолютных величин отклонений и т.д. При каждом из этих требований мы получим свое решение задачи, свои значения параметров в и р.
Теоретическую базу всех методов и приемов, положенных в основу построения эмпирических математических моделей, составляет метод максимального (наибольшего) правдоподобия. В общем виде метод максимума правдоподобия можно сформулировать так: наилучшее описание явления то, которое дает наибольшую вероятность получить в результате измерений именно те значения, которые и были фактически получены [1].
В идеальном случае математическая модель полностью соответствует экспериментальным данным. Однако в действительности результаты измерения всегда содержат погрешности. В связи с этим имеет место множество гипотез, не противоречащих опытным данным. Метод максимального правдоподобия состоит в выборе такой гипотезы, при которой вероятность получить в процессе измерения фактически наблюдаемые величины была бы максимальной. В формальной записи этот метод может быть представлен в виде максимума произве-
ВЕСТНИК ВОСТОЧНО-СИБИРСКОГО ИНСТИТУТА МВД РОССИИ
95
СОЦИАЛЬНО-ГУМАНИТАРНЫЕ ПРОБЛЕМЫ ДЕЯТЕЛЬНОСТИ ОВД И ГПС
1(52) 2010
дения вероятностей всех наблюдаемых независимых событий [2]:
N
Pi ■ Р2 ■■■■■ Pn =ПPi ^max (!)
i=1
Ещё один известный метод -метод наименьших квадратов - это метод теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. По этому методу требование наилучшего согласования расчетных х и экспериментальных х0 данных сводится к тому, чтобы сумма квадратов отклонений между ними обращалась в минимум:
N
X(xi - x0i)2 ^ min (2)
i=1
Метод наименьших квадратов приводит к сравнительно простому математическому способу оценки параметров; кроме того, он допускает довольно веское теоретическое обоснование с вероятностной точки зрения.
Критерии подбора параметров модели Раша по методу максимума правдоподобия
Вернемся к задаче подбора параметров модели. Предположим, из теоретических соображений выбрана модель Г. Раша. По этой модели вероятность результата х при решении /-ым тестируемым j-го задания определяется выражением:
х„ (в1 -р,)
Р( х) =
e
1 + e
в-р,
(3)
где Xj - результат выполнения задания, х = 1 при правильном ответе, х = 0 при неправильном ответе; в/ - уровень
подготовленности /-го тестируемого; Pj - уровень трудности j-го задания.
По методу максимального правдоподобия наилучшим будет признан тот набор значений в и P, при котором произведение расчетных вероятностей фактически полученных результатов максимально:
ПП р, (х)=ПП
X, (в-р,)
e
л + ев-р,
i=1 j=1 i=i j=1 1 + e
^ max (4)
где n - количество испытуемых; m -число тестовых заданий.
Особенность модели Г. Раша заключается в том, что она оперирует только разностью параметров в и P Поэтому можно получить бесконечное количество «наилучших» решений, отличающихся на произвольную постоянную величину:
в-р = (в+ С) - (P+ С) = в- р. Для определенности целесообразно ввести ограничение, например, в виде равенства нулю среднего значения уровня подготовленности всех испытуемых: в= 0. (5)
В этом случае наилучшее решение будет единственным. Для реализации в вычислительных алгоритмах желательно преобразовать ограничение (5) в неравенство:
Щ<е, (6)
где s - некоторая допустимо малая величина, например равная 0,001.
Выражений (4) и (6) достаточно для непосредственного численного решения задачи подбора параметров модели.
По методу наибольшего правдоподобия можно получить ещё
ВЕСТНИК ВОСТОЧНО-СИБИРСКОГО ИНСТИТУТА МВД РОССИИ
96
СОЦИАЛЬНО-ГУМАНИТАРНЫЕ ПРОБЛЕМЫ ДЕЯТЕЛЬНОСТИ ОВД И ГПС
один вариант решения, основанный на том, что в точке экстремума (максимума или минимума) производная функции равна нулю.
Зная, что ea eb = ea+, преобразуем числитель условия (4):
ZZ x (9-р,)
л 2=1 ,=1
-»max (7)
9-P,'
1(52) 2010
Используя (8) и (9), заменим
ZZ *S=Z R9
(10)
2=1 J=1
n m
i =1
m
ZZ x,p,=Z s,p, (11)
2=1 J=1 J=1
Таким образом, уравнение (7) принимает вид
n m i \
nn(i+«"O
n m
Z КД-Z s-P,
yi=l J=1
2=1 j=1
Введём обозначения: R -
сумма результатов выполнения тестовых заданий i-м тестируемым (R
max (12)
П П (1+ee‘-Pj)
2=1 J=1
Так как логарифм - монотон-
также называют исходным баллом): но возрастающая функция, то мак-
симум функции правдоподобия
R =Z
х,.
(8)
j =1
Sj - сумма результатов выполнения j-го задания всеми тестируемыми
совпадает с максимумом ее логарифма:
n
sj =Z xj
i=1
(9)
ln
n m
Z Rfii -Z s-P,
2=1 J=1
^ max
(13)
ПП(1 + e9-P )
V 2 =1 J=1 У
Для нахождения максимума функции правдоподобия найдем и приравняем нулю частные производные логарифмической функции правдоподобия по каждому из аргументов:
5
n m n m / O'
Z w-Z s,P, -ZZ ln (1+)
]=1 2=1 J=
V 2=1
или
R-Z
m PJ
=11 + e
9-p
Щ
= 0
= R2-Z
m p,
J=1
1 + e
9-Pj
= 0
(14)
5 ZR9-Z’P-ZZZIn(1 + e9 P)|
V 2=1 J =1 2=1 J =1
или s, -Z
n e9 p-
2=1 1 + e
9-P,
5P,
= 0
= -s, +
n e9 p-
Z
2=1 1 + e
9-P,
= 0.
(15)
ВЕСТНИК ВОСТОЧНО-СИБИРСКОГО ИНСТИТУТА МВД РОССИИ
97
СОЦИАЛЬНО-ГУМАНИТАРНЫЕ ПРОБЛЕМЫ ДЕЯТЕЛЬНОСТИ ОВД И ГПС
1(52) 2010
Нетрудно заметить, что выражение (14) представляет собой разность между суммой результатов выполнения заданий i-м испытуемым и суммой вероятностей правильных ответов на все задания для того же испытуемого. Аналогично, уравнение (15) представляет собой разность между суммой результатов выполнения задания всеми тестируемыми и суммой вероятностей правильных ответов на то же задание для всех испытуемых.
В итоге мы получаем второй вариант решения по методу наибольшего правдоподобия. Он состоит из n уравнений (14) (по одному уравнению на каждого тестируемого для i=1, 2 ... n) и m уравнений (15) (по одному на каждое задание), которые нужно численно решить с учетом дополнительного ограничения, например (6), для нахождения параметров модели Г. Раша. Наличие аналитических зависимостей для частных производных упрощает и существенно ускоряет поиск решения. Поэтому многие алгоритмы подбора параметров модели Г. Раша основаны на уравнениях (14) и (15).
Критерий подбора параметров
модели по методу наименьших квадратов
Сформулируем условие оптимальности подбора параметров модели, используя метод наименьших квадратов. По этому методу приближённые значения параметров находятся из условия минимизации суммы квадратов отклонений между
моделью и наблюдаемыми результатами.
Отклонение (различие) между моделью и наблюдаемыми результатами может быть найдено как разность результата выполнения задания Ху и вероятности правильного ответа Ру. для правильного ответа Ху -Ру = 1 - Ру, для неправильного ответа Xij — Pij = 0 — Pij = — Pij ■
Разность Xij — Pij показывает, насколько расчетная вероятность правильного ответа отличается от идеального значения: для правильного ответа Pij должна стремиться к единице, а для неправильного ответа - к нулю.
Тогда критерий минимума квадратов отклонений для обеих рассматриваемых моделей формулируется в виде условия:
ПК —
1
•=1 }=1
1+) J
^ min 16)
В ходе пробных расчетов выявлено, что в ходе поиска решения иногда отмечается существенный рост значений в Поэтому условие (6) дополнено вторым ограничением, устанавливающим пределы изменения в от —5 до +5:
вmax ^ 5 (17)
2
Подбор параметров модели в электронной таблице Microsoft Excel.
Все расчеты могут быть выполнены в Microsoft Excel, доступном и широко известном средстве автоматизации вычислений. Excel способен находить экстремум
ВЕСТНИК ВОСТОЧНО-СИБИРСКОГО ИНСТИТУТА МВД РОССИИ
98
СОЦИАЛЬНО-ГУМАНИТАРНЫЕ ПРОБЛЕМЫ ДЕЯТЕЛЬНОСТИ ОВД И ГПС
1(52) 2010
функции одной или нескольких переменных. Кратко опишем технологию поиска параметров модели Г. Раша по методу максимального правдоподобия для представленных
Находим сумму баллов каждого тестируемого: в клетку Р2 вводим =СУММ(В2:02) и копируем эту формулу в клетки Р3:Р35. Для суммы баллов по каждому заданию в В36 вводим =СУММ(В2:В35) и копируем в С36:О36.
Рассчитываем начальные значения параметров модели:
- для уровней подготовленности испытуемых в Q2 вводим =LN(P2/(14-P2)) и копируем в клетки Q3:Q35 (14 - число тестовых заданий);
- для уровней трудности заданий в В37 вводим =LN((34-B36)/B36) и копируем в С37:О37 (34 - количество испытуемых).
Определяем вероятности результатов выполнения тестовых заданий, для чего в В42 вводим =ЕСЛИ(В2>0; 1/(1+EXP((-1)*($R2-B$38)));1-1/(1+EXP((-1)*($R2-B$38)))) и копируем в клетки В42:О75. Если значение в клетке B2 больше нуля (задание выполнено правильно), то рассчитывается вероятность правиль-
в табл.1 результатов тестирования (принцип решения остальных задач аналогичен). Сначала вводим данные табл.1 в клетки В2:О35 (рис.1).
ного ответа по формуле 1/(1 +EXP((-1 )*($R2-B$3 8))); в противном случае - вероятность неправильного ответа
1-1/(1+EXP((-1)*($R2-B$38))). Для расчета параметров двухпараметрической модели вместо сомножителя (-
1) следует записать адрес клетки со значением дифференцирующей способности задания.
Зададим параметры модели, равные начальным:
- выделим начальные значения уровней подготовленности испытуемых Q2:Q35 и вставим значения в R2:R35, для чего нажмем кнопку Копировать, щелкнем в клетке R2 и выберем в меню Правка - Специальная вставка -Значения;
- для уровней трудности выделяем В37:О37 и вставляем значения в В38:О38.
В клетку R36 введем формулу модуля среднего значения уровней подготовленности =ABS(CP3HA4(R2:R35)) .
A B C D E F G H I J K L M N O
1 4 5 7 6 9 8 10 11 13 12 14 15 16 17
2 25 0 1 0 1 0 0 0 0 0 0 0 0 0 0
3 4 1 0 1 0 1 0 0 0 0 0 0 0 0 0
4 33 1 0 1 0 0 0 1 0 0 0 0 0 0 0
5 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0
Рис.1. Ввод исходных данных
ВЕСТНИК ВОСТОЧНО-СИБИРСКОГО ИНСТИТУТА МВД РОССИИ
99
СОЦИАЛЬНО-ГУМАНИТАРНЫЕ ПРОБЛЕМЫ ДЕЯТЕЛЬНОСТИ ОВД И ГПС
1(52) 2010
Найдем произведение всех вероятностей: в R38 введем
=ПРОИЗВЕД(В42:075). В клетке R38 появляется 1,66431E-58, т.е. начальное значение вероятности всех ответов очень мало — 1,66-10- . Так как механизм поиска решения Excel требует, чтобы значения критерия и, следовательно, его изменения при подборе параметров не были бы слишком малы, то удобнее искать максимум логарифмической функции правдоподобия. Для этого в клетку R39 введем =Ln(R38).
Проверим, установлен ли механизм поиска решения: выберем в меню Сервис - Надстройки, поставим отметку в пункте Поиск решения и нажмем ОК. Далее нужно выполнить команду Сервис - Поиск решения и заполнить диалоговое окно (рис.2):
1) кликнуть левой клавишей мыши в поле Установить целевую ячейку (т.е. клетку, значение которой необходимо максимизировать или минимизировать), переместить указатель мыши и кликнуть на ячейке R39 с фор-
мулой критерия оптимальности;
2) указать направление поиска, отметив пункт Равной максимальному значению;
3) в поле Изменяя ячейки ввести адреса ячеек, значения которых будут варьироваться в процессе поиска решения. В нашем случае это R2:R35; В38:О38 (удобно вводить, выделяя клетки с помощью мыши, второй диапазон при нажатой клавише Ctrl);
4) с помощью кнопки Добавить
ввести ограничение: значение
В36<0,001;
5) нажав кнопку Параметры, указать параметры поиска в соответствии с рис.3. Это повысит точность подбора параметров.
После щелчка на кнопке ОК получим решение поставленной задачи. В клетке R38 находится максимальное значение вероятности всех данных, равное 5,09-10- . Значения уровней подготовленности, найденные по методу наибольшего правдоподобия, записаны в клетках R2:R35, уровней трудности заданий - в ячейках В38:О38.
Рис.2. Окно поиска решения
ВЕСТНИК ВОСТОЧНО-СИБИРСКОГО ИНСТИТУТА МВД РОССИИ
100
СОЦИАЛЬНО-ГУМАНИТАРНЫЕ ПРОБЛЕМЫ ДЕЯТЕЛЬНОСТИ ОВД И ГПС
1(52) 2010
Параметры поиска решения
2<]
Максимальное время: Предельное число Относительная
секунд
ОК
100
Отмена
J 0,0000001
Загрузить модель,
Допустимое отклонение: [5 Сходимость:
%
Сохранить модель,,.
10,00001
Справка
Г” Линейная модель Г” Автоматическое масштабирование
Г” Неотрицательные значения Г” Показывать результаты итераций
[-Оценки г-Разности г-Метод поиска
9 линейная С прямые ® Ньютона
С квадратична ® центральные С сопряженных [радиент
Рис.3. Рекомендуемые параметры поиска решения
Анализ результатов подбора параметров модели
Насколько отличаются параметры модели измерения, найденные по разным методикам? Для ответа на этот вопрос сравним результаты решения одной и той же задачи, полученные разными способами. Для примера взята задача подбора параметров модели Г. Раша из известной работы Б.Д.Райта и М.Х. Стоуна [3].
Анализ результатов подбора параметров модели свидетельствует:
1) значения параметров существенно зависят от выбранной модели и метода расчета;
2) характер изменения параметров в и Р для всех рассмотренных моделей и методов подобен. Это подтверждает корреляционный анализ - коэффициент корреляции для уровней подготовленности составляет от 0,92 до 0,99, для уровней трудности от 0,94 до 0,99, что свидетельствует об очень сильной статистической взаимосвязи;
3) значения дифференцирующей способности заданий, найден-
ные по методу максимального правдоподобия и программой Winsteps хорошо согласованы (коэффициент корреляции 0,90). Однако эти значения слабо согласованы с результатами по методу наименьших квадратов (коэффициент корреляции 0,17);
4) равным начальным уровням подготовленности испытуемых (т.е. одинаковым суммам результатов тестирования R) соответствуют равные итоговые значения по всем методикам расчета для модели Г. Раша, за исключением метода наименьших квадратов;
5) аналогично, равным
начальным уровням трудности тестовых заданий (т.е. одинаковым суммам выполнения задания всеми тестируемыми у) соответствуют равные итоговые значения по всем методикам расчета для модели Г. Раша, за исключением метода наименьших квадратов;
6) для двухпараметрической модели равным начальным уровням в и Р могут соответствовать разные итоговые значения, как по методу максимального правдоподобия, так
ВЕСТНИК ВОСТОЧНО-СИБИРСКОГО ИНСТИТУТА МВД РОССИИ
101
СОЦИАЛЬНО-ГУМАНИТАРНЫЕ ПРОБЛЕМЫ ДЕЯТЕЛЬНОСТИ ОВД И ГПС
1(52) 2010
и по методу наименьших квадратов. Литература
1.Львовский Б.Н. Статистические методы построения эмпирических формул. - М.: Высшая школа, 1988.
2. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. - М.: ЮНИТИ, 1998.
3. Wright B.D., Stone M.H. Best Test Design. - Chicago: MESA PRESS. 1979.
ИССЛЕДОВАНИЕ ОСОБЕННОСТЕЙ РЕАКЦИЙ НА СИГНАЛЫ ОПАСНОСТИ У ЛЮДЕЙ ПОЖИЛОГО ВОЗРАСТА
А.Р. Ермаков,
доцент кафедры ПТиБЖ ФГОУ ВПО ВСИ МВД России, кандидат медицинских наук, доцент
В.А. Помыткин,
начальник отдела обеспечения пожарной безопасности объектов высших органов государственной власти Центра обеспечения деятельности ФПС МЧС России
В работе изучается влияние различных средств и способов оповещения на действия пожилых людей наиболее часто встречающиеся действия при угрозе их жизни для выработки рекомендаций для участников тушения и спасения пострадавших.
The purpose of this work is studying influence of various means and ways of the notification on actions of older persons, studying of most often meeting actions at threat of their life and a life of associates and development of recommendations for firemen and rescuers*.
Ermakov A.R., Pomitkin V.A. Research the danger signals features reactions of elderlys people.
ВЕСТНИК ВОСТОЧНО-СИБИРСКОГО ИНСТИТУТА МВД РОССИИ
102
