CC BY
83
с использованием изменяемых весовых коэффициентов Wиk.
Аналогично проверяется второе условие - все оценки за практические навыки и оценки за теоретическую подготовку должны быть не ниже «хорошо» - по значению функции отрицания дизъюнкции У = XI V ... V ХС, реализуемой с использованием изменяемого весового коэффициента W не или О.
Наконец, по вычисленным значениям функций в случае выполнения второго условия формируется итоговая оценка: при выполнении первого условия - «отлично» (5), а при его невыполнении - «хорошо» (4).
При этом осуществляется переход от двоичных переменных к балльным значениям итоговой оценки в соответствии с соотношением У=\У1У1+\У2У2, где У1 и У2 количество двоичных переменных на входах сумматоров Е4 и Е5 со значениями, равными 1.
Выбираются следующие значения изменяемых весовых коэффициентов:
5/2, если У1 = 2;
О, если У2 2.
XVI =
\¥2 =
2, если У2 = 2; О, если У2 ^ 2.
Фрагмент методики, реализующий выставление итоговой оценки «удовлетворительно» или «неудовлетворительно», может быть построен аналогично.
Для наиболее широкой реализации коэффициентных методик с изменяемыми весовыми коэффициентами целесообразно создание программной
оболочки, предназначенной для разработки и реализации методик пользователями, не специализирующимися в области вычислительной техники и программирования.
Созданный с участием авторов вариант программной оболочки получил официальную государственную регистрацию (№ 2008610291 от 14 января 2008 г.) и экспериментально проверен на примере разработки используемой в учебно-воспитательном процессе Ростовского военного института Ракетных войск методики рейтинговой оценки кафедр по итогам обучения за семестр и за учебный год.
В заключение отметим, что компьютерные коэффициентные методики широко используются в практике оценки объектов, относящихся к разнообразным областям деятельности, так как, обладая простотой используемого математического аппарата, обеспечивают рациональное сочетание оперативности получения результата с возможностью количественного его обоснования.
Недостатком существующих коэффициентных методик является невозможность реализации логических функций в процессе получения результата. Логические функции в компьютерных коэффициентных методиках реализуются на основе перехода от традиционно используемых постоянных весовых коэффициентов к изменяемым.
Литература
1. Долгов А.И., Долгов А.И., Журавлев Ю.П. Методика решения некоторых задач оценки объектов с помощью ЦВМ // Автоматика и вычислительная техника. 1965. N° 9.
2. Долгов А.И., Мартыненко А.Ф., Преснухин В.В. Коэффициентная методика с изменяемыми весовыми коэффициентами // Искусственный интеллект. Донецк. МОН и ИПИИ «Наука [ осв1та». 2008. Т. 4.
УДК 378.146:519.87
КАЛИБРОВКА ЗАДАНИЙ ТЕСТА С ИСПОЛЬЗОВАНИЕМ БУТСТРЕП-МЕТОДА
И.Н. Елисеев, к.т.н.
(Южно-Российский государственный университет экономики и сервиса, г. Шахты, е1п@^ззи-ги)
В статье обосновывается возможность использования бутстреп-метода для калибровки заданий теста. На основе машинного эксперимента показано, что с помощью этого метода можно значительно снизить величину интервальных оценок трудности заданий.
Ключевые слова: тест, задание теста, калибровка, бутстреп-метод.
Важным этапом создания надежных педагогических и диагностических тестов для управления качеством образовательной деятельности в учреждениях профессионального образования является калибровка (определение трудности) их заданий (индикаторов). Калибровка проводится с помо-
щью современных методов и программ расчета латентных переменных на основе обработки результатов тестирования. Как правило, объем используемой выборки студентов невелик (от 20 до 50 человек), из-за чего погрешность калибровки получается недопустимо большой. Причем вы-
борка эта является единственной, и увеличение ее объема за счет накопления данных в течение определенного времени зачастую неприемлемо.
Современные подходы к решению проблем подобного рода базируются на использовании параметрических методов и связаны с генерированием выборки необходимого объема на основе закона распределения, полученного по результатам тестирования. Однако при малых объемах выборки трудно верно выбрать саму параметрическую модель и с приемлемой точностью рассчитать ее параметры. Из-за этого погрешность оценки выборочного среднего и дисперсии получается большой и снизить ее не представляется возможным.
Указанного недостатка лишены методы увеличения объема выборки, в которых используется непосредственное размножение экспериментальных результатов тестирования, такие как бутст-реп-метод, метод складного ножа [1] и их модификации. За счет размножения исходной выборки с их помощью создается выборка существенно большего объема.
Целью данной работы является исследование возможности использования бутстреп-метода для снижения погрешности калибровки трудности заданий теста и уменьшения величины ее интервальных оценок.
Для исследования была выбрана матрица результатов тестирования студентов (выборка) размером 50x42. Формирование бутстреп-выборок производилось следующим образом. Исходная матрица тиражировалась большое число раз (К), причем каждая последующая матрица располагалась строго под предшествующей. При таком размножении положение столбцов всех матриц сохранялось неизменным. В результате тиражирования получалась выборка большего объема, число столбцов которой оставалось равным 42, а количество строк возрастало в N раз. Затем из нее случайным образом отбирались с возвращением п матриц размером 50x42, каждая из которых обрабатывалась, как и исходная матрица, с помощью программного комплекса МЬР-1 [2]. Число п менялось. На первом этапе количество тиражирований N выбиралось равным 100, и строки полученной матрицы размером 5000x42 не перемешивались. Из нее последовательно извлекались с возвращением группы матриц с п=10, 25, 50, 75, 100, 200, 300,..., 2000. В результате обработки матриц находились бутстреп-выборки Р^** (¡=1, 2, 3, ..., п). Каждое из рассчитанных бутстреп-значений Р^** усреднялось по п выборкам, и определялись
—(Б**
оценки среднего значения Р] * и стандартного
(Б**
отклонения * .
Зависимость величины р(Б* от количества п извлекаемых матриц в группе для самого легкого
задания № 31 показана на рисунке 1 а), и для самого трудного задания № 20 - на рисунке 1 б).
о)
Рис. 1. Зависимость р(Б* от п для заданий: а) легкого и б) трудного
Прямыми линиями на рисунке показаны значения оценок р20* и р31*, рассчитанные для исходной матрицы. Из графиков видно, что при п<200 значения р(Б* статистически неустойчивы. Как показал анализ, для |р^| >0,1 логита амплитуда колебаний р(Б* может достигать 20-25 % от среднего значения. Статистическая устойчивость оценок р(Б* заметно улучшается, когда число извлекаемых матриц п в группе превышает 500. Макси-
—(Б**
мальное отклонение Р] * от усредненного значения, вычисленного по группам матриц с 500<п<2000, составляет не более 7-10 % практически для всех заданий теста с I р/| >0,1. Вывод об улучшении статистической устойчивости подтверждается результатами анализа зависимости
(Б**
оценки среднеквадратичного отклонения о]' от п (рис. 2). При п>500 амплитуда колебаний значе-
Е ® в к § а Й § 8 § в § § | Р | | ? § § | § | ¡п
Рис. 2. Зависимость о(Б* от п для заданий: легкого (1), трудного (2) и средней трудности (3)
(Б)*
нии с( ) для рассматриваемых задании существенно снижается. С учетом данного вывода в ка-
Б(Б)* _(Б)*
честве предельных оценок величин р> ) и с.
—(Б)*
были приняты их усредненные значения р^./ и -(Б)*
, рассчитанные по 16 группам матриц с п=500, 600, ..., 2000.
Для практического использования полученных результатов важно знать, какое минимальное количество групп матриц 8 и число бутстреп-матриц в группе п необходимо выбрать, чтобы ус-
77(1,1» —(Б)"
редненные по ним значения р^,., и мало
"(Б)8 ..
отличались от предельных р^/ и . С этой
целью исследовалась зависимость относительной
Й(Б)* -(Б)" „
погрешности оценок р^,., и а^н от значении « и
п. Для проведения исследований были выбраны самое легкое и самое трудное задания теста, а также задания одинаковой трудности 1, 13 и 38 (Р/=0,467 логита).
Относительные погрешности и у^. рассчитывались по одной группе матриц с п=600 (8=1) и при усреднении по группам матриц с различными значениями п и 8 (см. табл.).
Зависимость уй» и у^» от числа 8 групп бутстреп-матриц
л Отн. 8=1 8= -2 8=4 8=6 8=9 8=11
погр. У (%) п=600 п=500, 600 п=600, 700 п=500, 600, ..., 800 п=500, 600, ..., 1000 п=800, 900, ..., 1600 п=1000, 1100, ..., 2000
1 Ущ* 2 1,30 2,80 0,74 0,74 0,28 0,50
УЯ1* 4,40 3,20 1,32 0,90 0,48 0,56 0,38
20 Ур20* 1,50 1 1,25 0,48 0,23 0,28 0,14
Уо20* 1,24 0,46 1,32 0,90 0,56 0,22 0,20
31 Урэ1* 0,22 0,17 0,35 0,09 0,07 0,03 0,10
Уя31* 0,70 2 2 0,04 0,50 0,74 0,10
13 Ур13* 3,80 0,27 1 0,36 0,77 0,18 0,35
Уо13* 0,40 3 3,90 0,02 0,30 0,04 0,04
38 Ур38* 1,70 2,30 0,60 1,50 0,99 0,46 0,40
Уо38* 3 0,13 1,78 0,82 0,80 0,35 0,35
Из таблицы видно, что погрешность расчета менее 1 % и для р^ , и для с(8г1 обеспечивается
при усреднении не менее чем по шести группам бутстреп-матриц с п=500, 600, ..., 1000. Использование только четырех групп бутстреп-матриц приводит к увеличению относительной погрешности
оценки Р^Т! до 1,5 %. Снижение погрешности до
0,5 % достигается при усреднении не менее чем по 11 группам бутстреп-матриц.
На втором этапе исследовалось влияние на ре-
-(Б)* -(Б)*
зультаты оценок р^ и с.«г1 числа т перемешиваний строк размноженной матрицы. Исследования проводились для одной группы матриц с п=800, количество которых выбиралось равным 10, для 16 групп матриц с п=500, 600, ..., 2000 и для 6 групп матриц с п=500, 600, ..., 1000. Количество перемешиваний изменялось с интервалом Ат1=5 105 в диапазоне от 0 до 107 и с интервалом Ат2=5 106 в диапазоне от 5 106 до 108. Для одной группы матриц рассчитывались средние значения
Р^ по десяти извлеченным матрицам и находились их относительные отклонения от величины р£/.
Анализ результатов показал, что зависимость Ур/(т) носит случайный характер. Разброс значе-
—(Б)*
ний относительно р^,/ для большинства заданий
(анализировались задания с I р/| >0,1 логита) составляет 1-2 %, но для отдельных может достигать 5 %. Это выше разброса значений р^*, рассчитанных по 10 бутстреп-матрицам при т=0 (для большинства заданий (0) изменяется от 0,5 до 1 %, для отдельных достигает 4 %). Анализ характера зависимости у^ (т) относительных измене-„ -*(Б)
ний с.10 также свидетельствует о том, что стати-
„ -*(Б)
стическая устойчивость оценок с.10 ухудшается
при перемешивании (уп1 возрастает на 1,5-2 %). Расчет предельных оценок (т), ^^(т),
выполненный по 16 группам матриц для различного числа перемешиваний т, показал, что отличие значений р.^ (т) от р^ (0) не превышает
0,7 % для указанных в таблице заданий, если т принимает значения 5 106, 107, 2 107. При т=106 и т=1,5107 может достигать 1-1,5 %. Значения практически не отличаются от указанных и для других заданий теста, но когда I р/| близко к 0,1 логита, они могут возрастать до 4 %. При 8=6 различия р£> (т) и р?^ (0) несколько выше и могут достигать 6 %. Изменения предельных оценок
для этих же значений 8 могут увеличиваться
до 3,5 %, что превышает колебания значений
=(Б)*
рассчитанных для т=0.
Таким образом, перемешивание строк размноженной матрицы приводит не к повышению
устойчивости оценок р.,
(Б)* .«г
'* -(Б)*
и о- ' , как ожидалось,
а, скорее, к ее снижению.
На третьем этапе оценивались и сравнивались
интервалы изменения значений р^ и Р.Б) . Для
случая непараметрической статистики [3] трудность ¡-го задания, рассчитанная по исходной
матрице размером кх/, будет находиться в интер* *
вале р;-(-^).и(р)<р] <р;+(-^).и(р).
Здесь к - число строк в исходной матрице; и(р) - число, зависящее от величины доверительной вероятности р. С учетом данного выражения отношение к ширины интервалов изменения исходного значения Pj и полученного бутстреп-
значения Р; ' составит >.«—-1-—= . Например,
1 О; -л/к
для задания № 10 (о/=0,498, öf =0,296, к=50,
n=500) величина к составила 5,32.
Таким образом, использование бутстреп-мето-да позволяет существенно уменьшить величину интервальных оценок трудности заданий теста и за счет этого повысить точность их калибровки.
Литература
1. Efron B. Bootstrap methods: Another look at the jackknife Ann. Statist, 1979. V. 7. № 1, pp. 1-25.
2. Елисеев И.Н., Елисеев И.И., Фисунов А.В. Программный комплекс RILP-1 // Программные продукты и системы. 2009. №> 2. С. 178-181.
3. Орлов А.И. Эконометрика: учеб. пособие для вузов. М.: Изд-во «Экзамен», 2002. С. 83.
УДК 004.422
ОСОБЕННОСТИ РЕАЛИЗАЦИИ АРХИТЕКТУРНОГО ШАБЛОНА THIN WEB CLIENT НА ПЛАТФОРМЕ JAVA EE 6
В.И. Аржаев, к.т.н.; A.C. Полыгаев (НИИ «Центрпрограммсистем», г. Тверь, [email protected])
На конкретном примере рассматривается технология создания полнофункционального интерфейса web-прило-жения на основе шаблона Thin web client с помощью фреймворка Java Server Faces. Для построения пользовательского интерфейса применяются JSF-компоненты Woodstock, расширенные с помощью библиотеки DynamicFaces.
Ключевые слова: архитектурные шаблоны web-приложения, платформа создания корпоративных автоматизированных систем, среда разработки, технология асинхронного обновления страниц.
Архитектурный шаблон Thin web client (тонкий web-клиент) обычно используется в тех web-приложениях, в которых гарантируется наличие минимальной конфигурации клиента. При этом вся бизнес-логика выполняется на сервере в процессе обработки запроса на получение страницы, сгенерированного браузером клиента.
Термин расширенное клиентское приложение относится к настольным приложениям с расширенными возможностями, в то время как термин приложение для тонкого клиента относится к приложениям, базирующимся на архитектурных шаблонах web -приложений. Обычно расширенные клиенты сложны в развертывании и управлении, с другой стороны, тонкие клиенты не имеют таких широких возможностей пользовательского интерфейса и не так быстро реагируют, как толстые/расширенные клиенты.
По мере развития технологий возникает новое поколение платформ и сред разработки для создания приложений для конечного пользователя. Асинхронный JavaScript и XML (AJAX), Rich Internet Application (RIA), Rich Client Platform (RCP) и Flash обеспечивают технологию, среду разработки и приемы, которые позволяют разра-
ботчикам создать web -приложения для конечного пользователя на основе шаблона тонкий клиент с гораздо более богатыми пользовательскими интерфейсами и повышенной быстротой реакции.
Для разработки web-приложений используются два подхода: на основе компилируемых модулей и интерпретируемых сценариев.
Наиболее популярным решением является Java Server Pages (JSP). Страницы JSP, хотя и содержат сценарии, при первом обращении к ним подлежат компиляции и загружаются как сервлеты. Пока серверная страница не изменяется, web-сервер продолжает использовать уже скомпилированный сервлет. Это дает некоторый выигрыш в производительности при использовании JSP по сравнению с другими типами сценариев. При разработке приложения на основе архитектуры тонкого клиента предлагается активно использовать достаточно новую компонентную, событийно-ориентированную технологию создания web -приложений Java Server Faces (JSF). Фактически подобно Swing и AWT приложение JSF - это каркас разработки приложений, предоставляющий набор стандартных графических компонентов для создания пользовательского интерфейса на стороне сервера.
