Экспериментальное подтверждение состоятельности оценок трудности заданий теста Текст научной статьи по специальности «Математика»

использования фильтрации среднеквадратичная ошибка составляет 0,21, а с фильтром получено значение 0,1657, что показывает эффективность применения предложенного подхода. Влияние относительных уровней шумов и сигналов на величину среднеквадратичной ошибки требует дополнительных исследований и экспериментов.

Предложенный подход к нахождению решений обратных задач может использоваться в различных практических ситуациях, когда достаточно получить численное, а не аналитическое решение задачи.

Литература

1. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. М.: Изд-во Физматлит, 2001. 224 с.

2. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1979.

3. Новые возможности в решении обратных задач лазерной спектроскопии с применением искусственных нейронных сетей / И.В. Гердова [и др.] // Изв. РАН: Сер. Физическая. 2002. Т. 66.

4. Абраменкова И.В., Пучков А.Ю., Павлов Д.А. Нейро-нечеткий метод снижения чувствительности решения обратных задач к вариациям данных // Программные продукты и системы. 2011. № 4 (96).

УДК 378.146: 519.67

ЭКСПЕРИМЕНТАЛЬНОЕ ПОДТВЕРЖДЕНИЕ СОСТОЯТЕЛЬНОСТИ ОЦЕНОК ТРУДНОСТИ ЗАДАНИЙ ТЕСТА

И.Н. Елисеев, к.т.н.

(Южно-Российский государственный университет экономики и сервиса, г. Шахты, ет(а^вв;и.ги)

Состоятельность оценок максимального правдоподобия латентного параметра «трудность задания» однопара-метрической дихотомической модели Раша при фиксированном числе одинаковых по трудности заданий теста Ь и неограниченно возрастающем объеме выборки студентов N подтверждена результатами вычислительного эксперимента. Показано, что при этих же условиях оценки 9* уровня подготовки г'-го студента, рассчитанные по допустимой дихотомической матрице ответов, стремятся по вероятности к их первоначальным оценкам 9°.

Ключевые слова: дихотомическая матрица, тест, состоятельность оценок, задание теста, латентный параметр, модель Раша.

Для независимой оценки состояния учебной работы образовательного учреждения в качестве входных данных используются результаты тестирования учебных достижений обучаемых с помощью педагогических тестов. При прочих равных условиях надежность этих результатов будет определяться качеством тестов и входящих в них заданий. Одним из важных показателей качества последних является точность определения латентного параметра «трудность задания» теста в/ (точность калибровки задания). Чем точнее определены значения в/, тем с меньшей погрешностью будут найдены значения 9, латентного параметра «уровень подготовки» студента.

Оценки р* и 9* латентных параметров в/ и 9,

рассчитываются по результатам тестирования, которые представляются в виде дихотомической матрицы ответов Х=(х,/) [1]. Расчет оценок осуществляется численными методами на основе итера-ционых выражений [1, 2], полученных с использованием метода максимального правдоподобия:

Е Р = X: 1=1

N

Е р = у

1 = 1, 2,

, N,

(1)

] = 1, 2,..., Ь,

У,

N

= Е

¿=1

х - столбцо-

где х = ^ ху - строчные,

у=1

вые суммы элементов матрицы X. Вероятности р/ правильного выполнения 1-м студентом с уровнем подготовленности 9, '-го задания трудностью в/ определяются дихотомической моделью Раша:

Р =■

1 + е

в,-в,

(2)

Важным требованием к оценкам максимального правдоподобия р* и 9* латентных параметров

однопараметрической дихотомической модели Раша является наличие у них свойства состоятельности. Традиционное определение состоятельности к оценкам этих параметров неприменимо, поэтому в работе [3] предложено следующее условие состоятельности для оценок латентных параметров модели Раша.

Пусть (9,, (Р} )™=1 - числовые последовательности. При всех N, L>2 рассмотрим оценки 9* параметров 9,, /=1, 2, ..., N и оценки р* параметров в/, '=1, 2, ..., L, рассчитанные по формулам (1), для дихотомической матрицы ответов X размера NxL, полученной в результате ответа N тес-

I

ь

тируемых с уровнем знаний 81, 62, ..., 9дт на Ь заданий теста трудности рь р2, ..., р^. Назовем эти оценки состоятельными, если для любых двух ограниченных последовательностей (9,^, (Р} )™=1 найдется неслучайная двойная последовательность (а ж , такая, что при всех у>1 величины 9* +аж , р* +аж сходятся по вероятности,

соответственно, к 8, и р,- при N^ж, Ь^ж. Необходимость введения в условие состоятельности последовательности (аж )^=1,1==1 связана с тем, что при всех N, Ь>1 матрица вероятностей (ру )*=1,Д, вычисляемых по формуле (2), а значит, и строчные , и столбцовые уУ суммы (1</<Ы, 1</<Ь) для этой матрицы инвариантны относительно изменения параметров 8,, р,- (1</'<Ы, 1<<Ь) на одну и ту же величину а. Использование последовательности (а ж ,1=1 дает возможность корректировать значения оценок 9* и р*. В противном случае получается заведомо невыполнимое условие состоятельности. Чтобы убедиться в этом, предположим, что оценки 9^, р^, п=1, 2, ..., удовлетворяют введенному в [3] понятию состоятельности. Тогда для любых неслучайных ограниченных последовательностей (9Л )л=1, (Рл )л=1, например, для нулевых последовательностей (0л = 0)л=1, (Рл = 0)Г=1, оценки 9^, р^ сходятся по вероятности к 8п и р„ соответственно, то есть к нулю при Ы^ж, Ь^ж. Однако в таком случае матрица вероятностей (ру )"1, Д для оценок 9^, р^, рассчитанных для ограниченных последовательностей Ф„ = 1)Г=1, (Рл = 1)Г=1, окажется такой же, что и для нулевых последовательностей, и оценки будут сходиться по вероятности к нулю, что исключает их сходимость к единице. Это говорит о неверности предположения о состоятельности оценок 9^, Р^ и делает бессмысленным рассмотрение введенного определения состоятельности без использования последовательности (а ж ,1=1.

На практике объем выборки N участников тестирования можно сделать достаточно большим, но число заданий Ь теста ограничивается разумным значением, при котором зависимость результатов выполнения теста от утомляемости тестируемых можно считать несущественной (как правило, Ь=50 [2]). В связи с этим важно знать, обладают ли оценки максимального правдоподобия латентных параметров однопараметрической дихотомической модели Раша, рассчитанные по матрице ответов с достаточно большим числом строк N и ограниченным числом столбцов Ь, свойством состоятельности.

В [2] теоретически исследована состоятельность оценок 9* и р* (/ = 1, N, у = 1, Ь) при неограниченном возрастании объема выборки участников тестирования N и конечном числе одинаковых по трудности (Р,=0) заданий теста Ь. Было показано, что при каждом фиксированном '>1 оценки 9* уровня знаний '-го студента, рассчитанные по допустимой дихотомической матрице ответов, стремятся по вероятности к их первона-

чальным оценкам 9° = 1п-

Ь - х

при Ы^да. При

этих же условиях оценки максимального подобия Р* параметров р,=0, у = 1, Ь, сходятся по вероятности к нулю, что означает наличие у них свойства состоятельности. Следует отметить, что в качестве значения р,- трудности каждого из заданий можно было бы выбрать другое, отличное от нуля значение р0, поскольку функция (2) и ограничен-

да

ность последовательности (9;) 1=1 инвариантны относительно изменения всех параметров на одну и ту же величину р0.

Полученные в [2] теоретические результаты нуждаются в экспериментальной проверке.

Целью этой работы является экспериментальное исследование состоятельности оценок максимального правдоподобия 9*, р* латентных параметров однопараметрической дихотомической модели Раша при фиксированном числе одинаковых по трудности заданий теста Ь и неограниченно возрастающем объеме выборки студентов N.

Провести экспериментальные исследования с использованием реального теста не представляется возможным, поскольку на практике нельзя получить Ь тестовых заданий абсолютно одинаковой трудности. В связи с этим проверка проводилась на основе вычислительного эксперимента в два этапа. На первом этапе с помощью имитационного моделирования создавалось несколько выборок значений 81, 82, ..., 8дт в предположении, что они распределены по нормальному закону. Значения математического ожидания те и стандартного отклонения сте выбирались равными те=0, сте=1,414 логит. В дальнейшем модель матрицы формировалась двумя способами. В соответствии с первым из них для каждой из полученных выборок 8, ( = 1, N) и выборки заданий с нулевой трудностью р,=0 (у = 1,49) формировалась матрица вероятностей р, значения которых вычислялись по формуле (2) модели Раша. С помощью имитационного моделирования на основе закона равной вероятности элементы матрицы вероятностей заменялись на 0 и 1. В результате этого получали дихотомическую матрицу с числом строк N и числом столбцов Ь=49. Объем выборки виртуальных

х

тестируемых МхЬ после удаления экстремальных строк и столбцов оказался равным 202x49 и 1233x49. Каждая из сформированных таким образом матриц обрабатывалась программным комплексом ЯХЬР-1М [4], в результате находились значения оценок 9*, р* и начальные значения уровня подготовки 90. Рассчитывалось относительное отклонение у, оценок 9* от значений 90. Анализировались полученные значения оценок р* латентных параметров р,- и сравнивались с р,=0 (} = 1,49). Вычислялось среднее выборочное оценок р*, и анализировались их характеристические кривые.

Анализ полученных данных показал, что при увеличении объема выборки N величина у, снижается. Для матрицы размером 202x49 среднее значение у1ср оказалось равным 0,5 %, а диапазон изменения значений у, составил от 0,36 до 0,81 %. Для матрицы размером 1233x49 значения у, изменялись в интервале от 0,13 до 0,28 %, а у,ср снизилось до 0,15 %. Разброс значений р* составил от -0,21 логит до 0,157 логит (для матрицы 1233x49), выборочное среднее р оценок р* оказалось равным нулю. Равенство р =0 подтверждается и симметричным относительно точки с координатами (0,5; 0) расположением характеристических кривых виртуальных заданий (рис. 1). Все это подтверждает полученные в работе [2] теоретические результаты.

Формирование модели матрицы вторым способом проводилось на основе моделирования в соответствии с алгоритмом, описанным в [5]. Были сформированы 3 матрицы: 501x49, 1002x49 и 3007x49. Их обработка показала, что во всех трех случаях оценки 9* полностью совпадают с оценками 90. Значения оценок р* почти для всех вир-

туальных заданий оказались равными нулю, то есть значениям р, Для отдельных виртуальных заданий наблюдалось отклонение р* от нулевых значений. Оно составило 0,005 логит для матрицы 501x49 и 0,002 логит для матрицы 3007x49. Характеристические кривые всех виртуальных заданий полностью совпали (рис. 2), выродившись в одну кривую, причем проходящую через точку с координатами (0,5; 0), что свидетельствует о равенстве всех р* нулю.

0.8 /

/

J

1

/ 3.4

/ ?

/ 3.1

в, Л

Рис. 2. Характеристические кривые виртуальных заданий виртуального теста, рассчитанные по модели матрицы 1002х49 вторым способом

На втором этапе вычислительного эксперимента осуществлялась проверка справедливости теоретически полученных результатов для значения Р,, отличного от нуля. Для этого с помощью описанного в [5] алгоритма формировалась генеральная дихотомическая матрица ответов размером 1012x49. Термин «генеральная матрица» понимается в том же смысле, что и в работе [5]. По сформированной генеральной матрице ответов с помощью программного комплекса Я1ЬР-1М рассчитывались генеральные значения 9, и р,- латентных параметров (/ = 1, N, } = 1, Ь), находились параметры закона распределения те=0 логит и сте=1,42443 логит значений 9, (/' = 1, N) в предположении его нормальности. Из полученных значений р,- выбиралось одно: р4§=0,491 логит, индивидуальный балл которого 748=416. На его основе формировалась модель матрицы ответов с числом строк N=1012 и числом столбцов ¿=49. Все столбцовые суммы у задавались одинаковыми, равными 416. В качестве строчных сумм х выбирались строчные суммы х, генеральной матрицы, которые корректировались так, чтобы итоговые суммы

49 1012

2 У] и 2 Х были равны. Сформированная та-

1= 1 ¿=1

ким образом модель дихотомической матрицы ответов обрабатывалась программным комплексом Я1ЬР-1М, и анализировались полученные значения оценок трудности всех заданий р* (} = 1, Ь).

Г; э.э

0." /Л

/ "Ш

0.4 М 0.4

ж

0.1

% яагшп

Рис. 1. Характеристические кривые виртуальных заданий виртуального теста, рассчитанные по модели матрицы 1233x49 первым способом

Анализ показал, что для всех виртуальных заданий полученные значения р* оказались равными 0,494 логит. Отклонение у от генерального значения р,=0,491 логит составило 0,6 %. Оценки 9* полностью совпали с оценками 90.

Таким образом, результаты вычислительного эксперимента подтверждают полученный теоретическим путем вывод о стремлении оценок максимального правдоподобия 9* латентного параметра 8 к первоначальным значениям 90 и о состоятельности оценок р* латентного параметра «трудность задания» теста при неограниченном возрастании объема выборки N.

Литература

1. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000. 168 с.

2. Елисеев И.Н., Шрайфель И.С. Модель оценивания латентных параметров дихотомической модели Раша // Изв. вузов: Технич. науки. 2011. № 6. С. 37-46.

3. Елисеев И.Н., Шрайфель И.С. Доказательство несостоятельности стандартных оценок латентных параметров дихотомической модели Раша // Изв. вузов: Электромеханика, 2012. № 1. С. 85-96.

4. Елисеев И.Н., Елисеев И.И., Фисунов А.В. Программный комплекс RILP-1 // Программные продукты и системы. 2009. № 2. С. 178-181.

5. Елисеев И.Н. Модель дихотомической матрицы результатов тестирования // Программные продукты и системы. 2011. № 3. С. 80-86.

УДК 519.876.5+519.178

ПРОГРАММНОЕ СРЕДСТВО ДЛЯ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ

С ПОМОЩЬЮ ГРАФОВЫХ МОДЕЛЕЙ

И.Н. Карпухин; Ю.П. Кораблин, д.т.н. (Российский государственный социальный университет, г. Москва, surstrat@mail.ru; y.p.k@mail.ru);

А.А. Незнанов, к.т.н. (Национальный исследовательский университет «Высшая школа экономики», г. Москва,

aneznano v@fose. ru)

Рассмотрены текущая реализация и перспективы развития оригинального программного средства G-IPS Ultimate, предназначенного для имитационного моделирования (в том числе систем реального времени). Модель системы задается с помощью набора решающих графов специального вида, которые позволяют строить нечеткие модели систем.

Ключевые слова: имитационное моделирование, графовая модель, экспертные знания, продукционные знания, программный комплекс.

Компьютерное имитационное моделирование (ИМ) систем сегодня является актуальной задачей, а проблема выбора модели описания логики протекания процессов остается открытой. Имитационное моделирование - мощный и зачастую единственно доступный инструмент исследования поведения сложных систем [1]. Методы ИМ позволяют собрать необходимую информацию о поведении системы с помощью вычислительных экспериментов над компьютерной моделью системы, реагирующей на сигналы внешней среды. Актуальность исследования данной задачи обусловлена переходом к автоматизации сложных систем в различных производственных областях, а также важностью прогнозирования поведения процессов во времени. Причинами активного развития ИМ стали кризис аналитичности, когда для многих задач отсутствовали аналитические решения, и появление новых классов задач предсказательного моделирования. Вместо натурного эксперимента имитация может потребоваться по следующим причинам: система недоступна, экспери-

мент на реальной системе слишком затратен, функционирование системы сопряжено с большими рисками, система еще не существует [2].

Перед моделированием необходимо выбрать модель представления экспертных знаний. В числе наиболее доступных и распространенных - модели на основе продукционных правил. Продукционные модели используются для решения сложных задач, которые основаны на применении эвристических методов представления знаний, позволяющих настраивать механизм вывода на особенности проблемной области в условиях неопределенности.

В продукционной модели основной единицей знаний является правило вида: «если <посылка>, то <заключение>», с помощью которого можно выразить пространственно-временные, причинно-следственные, функционально-поведенческие (ситуация-действие) отношения объектов.

Авторы данной статьи за основу модели представления экспертных знаний взяли продукционную модель, являющуюся наряду с фреймами од-