CC BY
57
какая задача является более важной: обеспечить качество переходных процессов по возмущению,
по управлению или при заданном соотношении «управление-возмущение». Полученные настройки в общем случае обеспечивают несколько более качественные переходные процессы по управлению и (или) по возмущению, чем при использовании настроек, рассчитанных методами В.Я. Ротача и А.П. Копеловича.
Литература
1. Копелович А.П. Инженерные методы расчета при выборе автоматических регуляторов. М.: Металлургиздат, 1960. 190 с.
2. Ротач В.Я. Теория автоматического управления. М.: Изд-во МЭИ, 2004. 400 с.
3. Затонский А.В. Компенсация недоступности информации в подсистеме управления сложной технической системой // Математические методы в технике и технологиях: сб. науч. тр. Междунар. науч. конф. Саратов, 2008. Вып. 21. Т. 2. С. 54-58.
УДК 519.85:004.421
ТЕОРЕТИЧЕСКИЕ ОСНОВЫ АЛГОРИТМА РАСЧЕТА ЛАТЕНТНЫХ ПЕРЕМЕННЫХ ПРОГРАММНЫМ КОМПЛЕКСОМ ШЬР-1И
И.Н. Елисеев, к.т.н.
(Южно-Российский государственный университет экономики и сервиса, г. Шахты, ега@^ззи-ги)
В статье рассматриваются теоретические основы расчета латентных параметров участников тестирования и дихотомических заданий (индикаторов) диагностического теста по результатам их выполнения. В качестве модели измерения используется однопараметрическая модель Раша. Предложен алгоритм расчета латентных параметров, обеспечивающий высокую сходимость расчетных данных к экспериментальным.
Ключевые слова: диагностический тест, индикатор теста, латентный параметр, алгоритм расчета.
Создание современных программных средств, обеспечивающих качественную обработку дихотомических результатов тестирования, анализ полученных данных и их интерпретацию, связано с разработкой теоретических основ и алгоритма расчета латентных параметров участников тестирования 0 и дихотомических заданий (индикаторов) диагностического теста р. Для решения подобной задачи могут использоваться различные математические методы, которые нашли применение в теории педагогических измерений. Это методы РКОХ, попарного сравнения [1], моментов, максимального правдоподобия [2] и др. При выборе конкретного метода необходимо учитывать, что расчет латентных параметров зачастую выполняется по нормативным выборкам небольшого объема, поэтому полученные оценки параметров 0 ив могут отличаться от объективно существующих точных значений 0 и р. В связи с этим возникает необходимость в исследовании несмещенности, эффективности и состоятельности оценок 0 и р . Избежать проведения подобных исследований можно, если теоретическое обоснование алгоритма вычисления латентных параметров
провести методом максимального правдоподобия. Этот метод наиболее полно использует данные выборки для расчета параметра, и получаемые с его помощью оценки являются состоятельными, асимптотически несмещенными и асимптотически эффективными [2]. Это обстоятельство позволило выбрать метод максимального правдоподобия для разработки теоретических основ расчета латентных параметров 0 и р - уровня подготовленности участника тестирования и уровня трудности индикатора диагностического теста соответственно.
В качестве модели измерения, с использованием которой вычисляются латентные параметры, используется однопараметрическая модель Г. Раша [2, 3]. Некоторые математики-теоретики считают, что эта модель получена и обоснована им экспериментально и не имеет убедительного теоретического обоснования. Поэтому разработку математического аппарата, необходимого для расчета параметров латентных переменных, следует начать с теоретического обоснования допустимости использования однопараметрической модели Раша для оценки результатов образовательной деятельности.
Перед датским математиком Г. Рашем была поставлена задача: исследовать, как в процессе обучения изменяются навыки чтения школьниками незнакомого текста. Исследования должны были выполняться при соблюдении следующих требований:
- соответствие текстов уровню подготовленности школьника: не слишком трудные или слишком легкие;
- использование различных текстов при каждом исследовании;
- измерение значений уровня подготовленности школьников по одной и той же шкале.
При решении поставленной задачи для статистики выбиралось число ошибок, допущенных при чтении. На основе обработки и анализа многочисленных данных и диаграмм Г. Раш предположил в качестве гипотезы, что среднее число ошибок хр4,
сделанных р-м школьником с уровнем подготовленности Бр при чтении 1-го текста с трудностью
„ - в.
Б(, можно представить в виде х = — .
Тогда отношение среднего числа ошибок хр1
и хр2, которые допустит р-й школьник при чтении
двух текстов разной трудности Б1 и Б2, определится только отношением этих трудностей и не будет зависеть от уровня подготовленности школьника:
р1
ХР2
Исходя
" В1" " В2"
1 °р \ [. °р \
В в,
из
полученного результата Г. Раш пришел к выводу о том, что трудность всех текстов, которые используются для проверки уровня подготовленности школьников в чтении, можно откалибровать относительно некоторого стандартного текста и представить на одной шкале. Школьникам можно дать для проверки навыков чтения любой из текстов, и их уровень подготовки будет измерен по одной и той же шкале.
Один из важнейших выводов, сделанных Ра-шем в результате обработки и анализа результатов исследования, заключался в том, что для оценки навыков чтения школьником незнакомого текста необходимо использовать вероятностный подход. Это в наибольшей степени соответствует результатам прочтения текста. Например, хорошо подготовленный школьник может допустить много ошибок при прочтении легкого текста, а плохо подготовленный - прочесть трудный текст с малым количеством ошибок. Никогда нельзя точно предсказать, прочтет или не прочтет безошибочно школьник незнакомый текст, но можно сказать, насколько у него высоки шансы сделать это.
Для расчета вероятности Рп| правильного прочтения ¡-го текста трудностью Р| школьником п с уровнем подготовленности 01 Рашем была пред-
ложена однопараметрическая дихотомическая мо-Л-Р)
дель Рп] =
е
0п-Р)
(1)
"---- -п|
= {1П
1 + е"
которая в дальнейшем нашла широкое применение в оценке результатов образования, для социологических и психодиагностических исследований и в других областях.
Рассмотрим обоснование допустимости использования дихотомической модели Раша для оценки результатов образовательной деятельности с учетом изложенных ранее требований. Пусть п-й студент выполняет тест по учебной дисциплине, состоящий из j заданий (¡=1, 2, ..., Ь). Результат выполнения каждого задания обозначим через хп|. Величина хп| может принимать два значения:
когда задание выполнено верно, когда задание выполнено неверно.
Индивидуальный балл п-го студента (общее
ь
число успешно выполненных заданий) X =2 х„-
п )=1 4
позволяет получить представление об уровне знаний материала дисциплины, но на его основании нельзя прогнозировать выполнение других заданий. Для получения прогноза безусловно необходимой информацией является знание того, с какой вероятностью в следующий раз п-й студент успешно выполнит ¡-е задание теста. Иначе говоря, при оценке уровня подготовленности студента, как и при оценке навыков чтения незнакомого текста школьником, необходимо использовать вероятностную модель. Никогда нельзя точно предсказать, решит или не решит студент задачу, но можно сказать, каковы его шансы решить ее.
Рассмотрим прогноз выполнения задания теста студентами т и п. Обозначим через Рп| вероятность того, что п-й студент успешно выполнит ¡-е задание теста. Тогда величина (1-Р| будет равна вероятности того, что этот студент неверно выполнит то же задание. Аналогичные обозначения введем для т-го студента. В соответствии с теоремой об умножении вероятностей матрица ожидаемых результатов для этих студентов может быть представлена в виде таблицы.
Возможные исходы выполнения задания студентами
Студент т Студент п
Задание выполнено, хп(=1 Задание не выполнено, хп|=0
Задание выполнено, хт(=1 Р Р • Р т|Р nj Рт|(1-Рп|)
Задание не выполнено, хт(=0 (1-Рт|)Рщ (1-Рт|)(1-Рп|)
Пусть два студента выполняют один и тот же набор тестовых заданий, одинаковых по трудно-
сти с заданием J и проверяющих один и тот же элемент содержания учебной дисциплины. Обозначим через N11 число заданий, успешно выполненных обоими студентами; - число заданий, успешно выполненных только т-м студентом; - число заданий, успешно выполненных только студентом п; - число заданий, не выполненных обоими студентами.
При сравнении достижений студентов информативными являются только числа и которые соответствуют успешному выполнению заданий одним из студентов. Числа ^ и не дают информации о том, у какого студента уровень подготовленности выше. Из таблицы видно, что число заданий успешно выполненных только студентом т, будет прямо пропорционально произведению вероятностей Р^(1-Р^). Аналогично число заданий ^ь успешно выполненных только студентом п, будет прямо пропорционально произведению вероятностей (1-Р^)Р^. Отношение числа к числу ^ определяется выражением
N Р (1 - Р )
^10 1пЛ п;/
N
Р,.(1 - Р..)'
(2)
При бесконечно большом числе заданий Ь (Ь^да) оно определяет соотношение уровней подготовленности студентов т и п. Логично предположить, что выражение (2) не должно зависеть от трудности заданий в наборе. Поэтому для другого набора множества заданий, одинаковых по трудности с другим заданием к теста и проверяющих один и тот же элемент содержания учебной дисциплины, получится аналогичное выражение. Причем соотношение уровней подготовленности студентов должно остаться прежним. Поэтому для наборов заданий к и ] можно записать
Р„1(1 - Р^Р-^ - Рпк)
Р^(1 - Р) Р*(1 - Рщк)
Из выражения (3) следует, что
(3)
Г р 1 П; = Г рк 1 пк Г (1 - р-к) 1
11 - рп: У V 1 - Рпк Р V -к У
(4)
V 1 - Р-1 У
Для обеспечения объективности сравнения необходимо, чтобы соотношение между любой парой наборов заданий ] и к было справедливо для любого студента т. Поэтому уровень подготовленности некоторого студента с индексом 0 и любого набора заданий одинаковой трудности с индексом 0 могут быть условно приняты в качестве точек отсчета при проведении этих сравнений. Для получения единой шкалы сравнения подготовленности студентов и трудности заданий удобно выбрать одну точку отсчета, считая подготовленность студента и трудность набора заданий с
индексами 0 эквивалентными, так что Р00 будет равно 0,5. Заменяя в выражении (4) индексы т и к на 0, получим
V1 - Р, У
п0
^(1 - Роо)^
Р
V1 - Pоj ,
V1 - Р.0 J ' Р,
__00 ^
Р
V Р00 у ^ (100:) ^
V1 - Р.0 У
V1 - Р;,
(5)
Первый сомножитель полученного выражения ^
= представляет собой уровень подго-
1 - Р
п0 У
товленности п-го студента в выбранной системе отсчета и является только его свойством. Второй Г ъ \ 1
= — - это величина, обЬ
сомножитель -
0;
V1 - Р0; у
ратная трудности ^го задания в той же системе отсчета, которая является исключительно свойством этого задания.
С учетом введенных обозначений выражение (5) запишется в виде
(
V1 - Рп; У
Й. Ь
(6)
Таким образом, шанс п-го студента успешно выполнить ]-е задание теста определяется отношением его уровня подготовленности к уровню трудности задания.
Прологарифмировав обе части уравнения (6), найдем
^ ( в Л ( х> \
1п I
1 - Р
з 1п
1 - Р „
V п0
п; у
з 1п(й.) - 1п(ь;). Обозначая 1пй„ = 1п
+ 1п
0)
V1 - Р.0
1-Р
V 0j У
= е„, а
1П I
1 - Р„:
= 1пЬ = ^, получим: 1п
v1 - рп; у
-р. или
V1" р.;.
= ее"-р:
Решая данное уравнение, найдем вероятность Рп успешного выполнения ]-го задания п-м студентом:
е п 1
Выражение (7) представляет собой вероятность выполнения студентом п задания если известны его уровень подготовленности 0п и уровень трудности задания р^ выраженные в логитах. Оно совпадает с формулой (1), полученной Ра-шем. При расчете 0п и Pj количественно измеряются уровень подготовленности п-го студента и уровень трудности j-го задания соответственно.
х
Теоретические основы расчета латентных переменных по дихотомическим данным
Параметры латентных переменных - уровня подготовленности студента 0П и уровня трудности заданий Pj - рассчитываются по результатам тестирования, которые представляются в виде матрицы ответов. Каждая строка такой матрицы - это профиль ответов студента на Ь заданий теста, а каждый столбец - профиль ответов всех N студентов на одно конкретное задание. Элемент матрицы ответов х,у отражает результат выполнения п-м участником тестирования j-го задания и может принимать значения 1 или 0.
Вероятностная модель значений х^ описывается однопараметрической моделью Раша, которая определяется формулой
р..
-р{х 1Ге в И-ехр((е" -В|))
" р*х- 1(9-В)*- 1 + ехр(9. -В.) .
(8)
Найдем выражения для расчета параметров 0п и Pj, используя для этого решение задачи максимального правдоподобия для матрицы ответов размером NxL в предположении независимости величин Хь Yj, 0п и Pj (N - количество участников тестирования, Ь - количество заданий в тесте). Вероятность правильного ответа всех N участников тестирования на все Ь заданий теста, представляющая собой функцию максимального правдоподобия Л, определится произведением вероятностей Р^, рассчитанных по формуле (8):
л
N Ь N Ь / ,у ч*
-п пр;-п пр{х. М)}-
п—1 .-1 п—1 .-1 * Л ''
II]1ехр(х..(е„-в)) (9)
N Ь . .
ПП[1+ехр (е.-в,)]
П_1 1_1 * *
Логарифмируя левую и правую части выражения (9), получим
Х^ 1п Л - 2Х„9. -
п-1
-2У, В,-| 21» [1 + ехр (е.-В,)],
(10)
где 2 хп] - X - первичный балл п-го участника ,-1
тестирования, равный общему количеству полу-
N
ченных им баллов; 2 хи. - У. - первичный балл 11-1
j-го задания, равный числу участников тестирования, успешно выполнивших его.
Для получения выражений, которые позволяют рассчитать значения уровня подготовленности 0п п-го участника тестирования и уровня трудности Pj j-го задания, найдем максимальное значение логарифмической вероятности Х, продифференцировав выражение (10) по латентным переменным 0п и Pj и приравняв производные к нулю:
ЗХ=Х ь ехр (еп -в,)
аеп п + ехр(9п -В,)
ах
ев,
- Хп -2 Рп, -0,
1
--У +
(11)
ехр(е„ -В.) N
+ 2,е 1 Л --У + 2Р -0
п-11 + ехр(еп -в,) п-1
Для решения системы уравнений (11) воспользуемся предложенным Ньютоном методом численного решения нелинейного уравнения вида 1"(х)=0.
Если функция 1"(х) дважды дифференцируема
(1+1)
в окрестности точки х0, значение аргумента х( ) на (1+1) шаге итерации может быть вычислено на основе выражения
f '(х(,))
(12)
ах ах
Примем - в качестве функции ^0„), а -
ееп аВ
- как функцию Для определения производных f (0п) и f (Pj) необходимо вычислить вторые
а2х а2х
производные —- и —- от логарифмической
ае11 аВ
функции максимального правдоподобия Х. Найдем их. Вторая частная производная от левой части первого уравнения (11) запишется в виде
а2х= а ае2 - ае
п п
Ь
х„-2-
ехр(е„ -В,)
(13)
£1 + ехр(е„-В,) _
--2 [ р - р ]-- р„,) - f '(е„).
,-1 ,-1
Аналогичным образом найдем вторую частную производную от второго уравнения системы (11):
а 2х аВ2
-"2[рп(1 -рп)]-f'(В,).
(14)
Подставляя ^0п), f(Pj), f (0п) и f (Pj) из выражений (11), (13), (14) в формулу (12), получим рекуррентные соотношения для расчета значений 0п
и &:
Ь ехр(е?-В('))
е('+1) - е(4) +
п п
п -
В('+1) - В(4) ■
X -У-п 21+ехр(еп') -в(°)
2 [ р("-(1 - р(")]
N ехр (е?-В(')) , 211 + ехр (е(4) -В(4))
2[р("-(1 -р,)] '
(15)
(16)
Итерационный процесс вычисления латентных переменных 0п и Pj завершается при выполнении условия ст<Д/3, где А - заданная погрешность вычислений; о - значение среднеквадратичного отклонения очередного приближения 1-й итерации от аналогичных оценок, полученных на предыдущей итерации (1-1) [2]:
а =
¿(0Г4-ei")2+£(j4-ßf)2
n=l j=l
(L + N -1)
(17)
Стандартные погрешности расчета е(0п) и е^) величин 0п и Pj определяются знаменателями формул (16) для последней итерации:
1
Г Ь г- . -|~Т
>
E(en)=[1; [ Pnj (1 - Pnj )]]2;
1
e(ßj)=[| [ pn(i - pnj)]]- 2.
(18)
Алгоритм расчета латентных переменных по дихотомическим данным
На основе полученных выражений определим последовательность выполнения операций для нахождения 0п, Pj. Алгоритм расчета представляет собой следующую последовательность действий (см. рис.).
1. Определить начальные значения параметров е(0) и В(0) на основе выражений ( в
e(.0) = in
i - p.
n = 1,N,
где Рп=Хп/Ь - доля баллов, полученных п-м участником тестирования при выполнении Ь заданий теста;
ß(0) = in
(1 - p^
j = 1,L,
где Pj=Yj/N - доля баллов, полученных N участниками тестирования при выполнении j-го задания теста. Если Рп=1, Pj=1 или Рп=0, Pj=0, то профиль ответов п-го участника тестирования или j-го задания из обработки исключается.
2. Используя начальные значения е(0), вычислить уточненные значения е(1*+1) при 1=0 по формуле (15). Итерационные вычисления повторяются до тех пор, пока выполняется условие
|е1,) —впг-1^! ^Де.
3. Используя начальные значения В(0), найти В(*+1) при 1=0 по формуле (16). Значения В(4) после каждой итерации центрируют:
р<») - р« -12В(!), 1 - IX
Блок-схема алгоритма вычисления параметров латентных переменных методом максимального правдоподобия
Итерационные вычисления продолжить до тех пор, пока выполняется условие |ß(J) - ß(!-1) | ^ Ар.
4. Вычислить значение критерия завершения итерационного вычисления латентных переменных 0„ и ßj, используя выражение (17).
5. Если 8<А/3, завершить итерационные вычисления (A=min(Ae, Aß)). В противном случае повторить шаги алгоритма со 2-го по 5-й, используя вместо e(0) и ß(0) полученные значения e(4) и ß('\
6. По формулам (18) вычислить погрешности расчетов для последней итерации.
Рассмотренный алгоритм расчета параметров латентных переменных по дихотомической матрице результатов тестирования используется в программном комплексе RILP-1M [4]. Достоверность полученных с его помощью значений параметров подтверждается высокой сходимостью расчетных данных к эмпирическим, согласием их с оценками, рассчитанными с помощью лицензионной диалоговой системы RUMM 2020.
Литература
1. Wright B.S., Masters G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206 p.
2. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 169 с.
3. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen, Denmark: Danish Institute for Educational Research, 1960. 160 p.
4. Елисеев И.Н., Елисеев И.И., Фисунов А.В. Программный комплекс RILP-1 // Программные продукты и системы. 2009. № 2. С. 178-181.
УДК 681.513.4
СИСТЕМА ОЦЕНОЧНЫХ ПОКАЗАТЕЛЕЙ И КРИТЕРИЕВ ДЕЯТЕЛЬНОСТИ ГОСУДАРСТВЕННЫХ СЛУЖАЩИХ
М.Ю. Шитько (Московский государственный университет приборостроения и информатики,
тас164@гатЫег. ги, а1рЪл.80@уа. ги)
Проверка деятельности структур Ростехнадзора осуществляется на основе системы оценочных показателей и критериев, которая служит для объективной оценки деятельности, анализа ее результатов, определения объема служебной нагрузки на работников проверяемого территориального органа и для сведения к минимуму субъективных факторов при определении итоговых оценок.
Ключевые слова: критерий, иерархия критериев, экспертная оценка, эффективность.
Метод вычисления коэффициентов значимости достижений инспектора определяется типом подкритериев самого нижнего уровня. Рассмотрим эту задачу применительно к аддитивным неопределенным подкритериям. Напомним, что оценки по этим подкритериям могут принимать дискретные значения, которые, однако, неизвестны. Суть определения оценок еи1, е^, ..., еит экспертов по и-му критерию такого типа заключается в следующем. Исходя из документальных данных определяют количество Уц достижений j-го инспектора. Относительная оценка ец j-го эксперта по и-му объекту надзора имеет вид
euj = V Т Vu
i=1
(1)
где Уц - ненормированное значение оценки; т -количество экспертов.
Вычисление показателя эффективности сводится к вычислению ненормированной интегральной оценки по критерию с0И которым обозначена корневая вершина графа иерархии критериев, описывающего И-го инспектора с последующим нормированием этих оценок. Вычисление этой оценки сводится к вычислению интегрированных оценок по всем его подкритериям. В свою очередь, определение интегрированной оценки по некоторому подкритерию сводится к нахождению оценок по всем его подкритериям и т.д. вплоть до подкритериев последнего уровня.
По индукции нетрудно показать, что оценки
*
о*ь по критерию с0И вычисляются по следующему
выражению: е
ojh
=ТOj,Z п
w:
(2)
?=1 P=1a„upEZ?f
где wP„ - относительный коэффициент важности
П-го подкритерия критерия cu, который обозначает
дугу ач„р, принадлежащую Р-му простому пути 2(=р0 в графе иерархии критериев от £-й вершины (подкритерия) нижнего уровня до вершины самого высокого уровня; 0)^ - оценка )-го эксперта по |-му подкритерию нижнего уровня; т - количество простых путей в графе иерархии критериев от |-й вершины (подкритерия) нижнего уровня до вершины наивысшего уровня; е - количество под-критериев нижнего уровня.
Таким образом, для вычисления ненормированного значения показателя эффективности необходимо найти множество простых путей в графе иерархии критериев, которые соединяют вершину С нижнего уровня с вершиной с0 наивысшего уровня. Известно много алгоритмов решения этой задачи. Учитывая, что граф иерархии критериев ориентированный и не имеет циклов, наиболее приемлемым представляется модифицированный алгоритм Бержа [1, 2].
Суть этого алгоритма в следующем. Отмечаем вершину с пометкой 0, а вершины, являющиеся ее однопреемниками, - пометкой 1. Далее отмечаем пометкой 2 каждую вершину са, удовлетворяющую следующим условиям:
а) вершина са не имела до этого пометки 2;
б) вершина са является однопреемником хотя бы одной вершины, у которой пометка 1 первая.
После этого отмечаем пометкой 3 вершины, еще не имевшие этой пометки и являющиеся од-нопреемниками какой-нибудь вершины с пометкой 2, которая у нее первая, и т.д.
Учитывая, что граф иерархии критериев направленный и не имеет циклов, этот процесс заканчивается, когда исчерпаны все возможности увеличить количество пометок вершины с0. Нетрудно видеть, что это условие выполняется, когда множество вершин, для которых изменено множество пометок, содержит единственную вер-
m
