CC BY
20
Учебный материал
И
Создание файла грамматик
Несколько типов грамматик в одном файле Структура разделов для правил
Т
Преподаватель
Схема генерации тестов
чать как печатные версии тестов, так и компьютерные интерактивные. Кроме того, после генерации система способна множество раз синтезировать разнообразные тесты на одном наборе файлов-хранилищ.
Как видно из вышеизложенного, ИИПС дает возможность быстро создавать множество разнообразного учебного материала, при этом среда позволяет делать тесты, учебные материалы и даже данные произвольного формата. Рассматриваемая среда разработки применяется при подготовке бакалавров и магистров в таких дисциплинах, как «Системное программное обеспечение», «Интеллектуальные информационные системы», «Системы искусственного интеллекта и принятия решений». ИИПС в данных курсах применяется и для синтеза учебного материала, и для обучения.
Данная система является очень гибкой, что позволяет легко интегрировать ее в различные среды и программные комплексы, в том числе имеется опыт интеграции в интеллектуальный агентно-ориентированный учебный комплекс [5], где для этой системы отводилась роль универсального и мощного генератора учебных заданий. В дальнейшем систему можно расширить и использовать формальные грамматики для генерации не только учебного материала, но и моделей поведения интеллектуальных агентов.
Система генерации учебного материала на основе формальных грамматик упрощает и автоматизирует создание большого количества неповторяющихся и разнообразных тестов и тестовых заданий.
Литература
1. Голосов А.О., Полотнюк И.С., Филиппович А.Ю. Информационные технологии в образовании: преимущества интеграционного подхода // Проблемы теории и практики управления. 2006. № 8. С. 64-68.
2. Brusilovsky P., Kobsa A., Neidl W. (eds.), The Adaptive Web: Methods and Strategies of Web Personalization. Lecture Notes in Computer Science, Springer-Verlag, Berlin Heidelberg NY, 2007, Vol. 4321, pp. 3-53.
3. Маслов С.Ю. Теория дедуктивных систем и ее применения. М.: Радио и связь, 1986. 136 с.
4. Сергушичева А.П., Швецов А.Н. Синтез интеллектуальных тестов средствами формальной продукционной системы // Математика/Компьютер/Образование: сб. науч. тр. М.Ижевск, R&C Dynamics, 2003. Вып. 10. Ч. 1. С. 310-320.
5. Сорокин С.И., Мамадкулов Ю.О., Швецов А.Н. Интеллектуальная система генерации учебных тестов на основе формальных грамматик: сб. тез. Всерос. конф. по результ. проект., реализованных в рамках ФЦП «Научные и науч.-педагогич. кадры инновационной России» на 2009-2013 гг. М., 2010. С. 76-78.
References
1. Golosov A.O., Polotnyuk I.S., Filippovich A.Yu., Problemy teorii i praktiki upravleniya [Problems of management theory and practice], 2006, no. 8, pp. 64-68.
2. Brusilovsky P., Kobsa A., Neidl W., The Adaptive Web: Methods and Strategies of Web Personalization. Lecture Notes in Computer Science, Vol. 4321, Springer-Verlag, Berlin Heidelberg NY, 2007, pp. 3-53.
3. Maslov S.Yu., Teoriya deduktivnykh sistem i ee primeneniya [The deductive systems theory and its appliance], Moscow, Radio i svyaz, 1986, 136 p.
4. Sergushicheva A.P., Shvetsov A.N., Matematika. Kompyuter. Obrazovanie: Sbornik nauch. trudov [Math. Computer. Education: proc.], iss. 10, part 1, Moscow-Izhevsk, R&C Dynamics, 2003, pp. 310-320.
5. Sorokin S.I., Mamadkulov Yu.O., Shvetsov A.N., Sbornik tezisov Vseros. konf. po rezultatam proektov, realizovannykh v ramkakh FTsP «Nauchnye i nauchno-pedagogicheskie kadry innovatsionnoy Rossii» na 2009—2013 gg. [Proc. of All-Russian Conf. in view of the results of projects of FTP «Scientific and educational research personnel of innovative Russia» in 2009-2013], Moscow, 2010, pp. 76-78.
УДК 004.942
ОПТИМИЗАЦИЯ СИСТЕМЫ ТЕСТОВ ПРИ КВАЛИФИКАЦИОННОМ ТЕСТИРОВАНИИ СПЕЦИАЛИСТОВ
Н.А. Бессарабов, бакалавр, инженер; Т.Н. Кондратенко, начальник лаборатории;
Д. С. Тимофеев, начальник сектора (Государственный научно-исследовательский институт авиационных систем, ул. Викторенко, 7, г. Москва, 125319, Россия, nikitabes@mail.ru, tanya@fgosniias.ru, timofeev@fgosmias.ru)
Статья посвящена исследованию процесса конструирования системы педагогических тестов при использовании критериально-ориентированного подхода. Рассмотрена зависимость точности оценивания латентных параметров при
использовании модели Раша от вероятностных характеристик контингента испытуемых. Предложена модель описания группы испытуемых специалистов в виде несимметричного относительно нуля распределения подготовленно-стей в положительном направлении. Решена задача минимизации средней дисперсии измерения уровня подготовленности испытуемого по соотношению трудностей заданий в экзаменационном тесте. Определено оптимальное распределение трудностей заданий при заданном распределении уровней подготовленности. Построена зависимость оптимального распределения трудностей тестов в задании в виде отклонения от равномерного распределения. Приведена зависимость дисперсии ошибки тестирования при равномерном и оптимальном распределении трудностей заданий от уровня подготовленности испытуемых. Построена зависимость оптимального распределения трудностей заданий для обычной группы испытуемых с симметричным относительно нуля распределением подготовлен-ностей. Для минимизации дисперсии ошибки необходимо конструировать более простые тесты, ниже среднего уровня подготовленности, и более сложные, выше среднего уровня, в интервале приблизительно удвоенного разброса распределения подготовленностей с дальнейшим стремлением к равномерному распределению.
Ключевые слова: математическая теория тестирования, модель Раша, логит, функция успеха, конструирование тестов, точность результатов тестирования, распределение трудностей заданий.
TESTS COLLECTION OPTIMIZATION FOR EXPERTS QUALIFICATION TESTING Bessarabov N.A., Ph.D., engineer; Kondratenko T.N., head of laboratory; Timofeev D.S., head of sector (State Research Institute of Automatic Systems, Viktorenko St., 7, Moscow, 125319, Russia, nikitabes@mail.ru, tanya@fgosniias.ru, timofeev@fgosniias.ru) Abstract. The article considers the process of pedagogical tests system creation using criterion-referenced approach. The dependence of the estimation accuracy of latent parameters using the Rasch model from probabilistic characteristics of subjects was elaborated. A model of the test specialists description is proposed as asymmetric with respect to zero allocation in a positive direction. The task of minimizing average variance of level of testee expertise estimation in reference to tests har d-ness is completed. The optimal distribution of task's easiness for a given distribution of level of expertise was elaborated. The optimal distribution of the tasks for a given distribution of level of expertise was found.
The dependence of the optimal distribution of test's tasks as a deviation from the uniform distribution was found. There is a dependence of tests error variance from the level of testee expertise when uniform and optimal distribution of test's tasks. The dependence of test's tasks optimal distribution for a group of su bjects with level of expertise symmetrical distribution around zero was elaborated. To minimize the error variance it is necessary to construct a simple test below the average level of testee expertise and more complex tests than the average level. An interval of level of testee expertise distribution should be doubled and aim for uniform distribution.
Keywords: Rasch model, Item response theory models, logit, success function, designing tests, the accuracy of test results, the distribution of test's easiness.
Современная теория педагогического тестирования имеет приблизительно шестидесятилетнюю историю, инициированную основополагающей работой Раша [1]. Методика практического применения тестирования изложена в ряде монографий [2]. Много работ посвящено методам конструирования педагогических тестов [3]. Программное обеспечение обработки результатов тестирования включено во многие статистические пакеты, в частности в открытую систему Я [4].
Несмотря на многочисленные исследования модели Раша и ее расширений, остается открытым вопрос о распределении трудностей заданий системы тестирования в зависимости от контингента испытуемых для обеспечения наилучшей точности результатов испытаний.
Критериально-ориентированный подход в педагогическом тестировании позволяет оценивать степень усвоения испытуемыми необходимого учебного материала. Авторы заданий разрабатывают спецификации тестов, а затем по ним задания с подробной детализацией области содержания. Так как точность результатов тестирования зависит от распределения уровней подготовленности испытуемых и трудностей тестов, при разработке заданий важно обеспечить не только соответствие тестов спецификации и элементу содержания, но и адекватное соотношение трудностей тестов, особенно при ожидаемом асимметричном распреде-
лении подготовленности аттестуемых специалистов, сдвинутом в положительном направлении оси степени подготовленности в логитах.
Цель данной работы - оценка соотношения трудностей тестов, при котором минимизируется средняя дисперсия измерения уровня подготовленности в зависимости от его распределения.
Постановка задачи
За основу взята одна из основных моделей теории моделирования и параметризации тестов - од-нопараметрическая модель Раша.
Пусть тест состоит из К заданий различной трудности {5/} (/=1, ..., К). Результат выполнения задания оценивается по дихотомическому принципу: ставится единица, если задание выполнено правильно, и ноль, если задание выполнено неверно. Пусть тест выполняли N испытуемых (/-1, ..., Ы), каждый со своим уровнем подготовленности 9;. В этом случае вероятность того, что участник с уровнем подготовленности 9/ выполнит верно задание трудности 5/, определяется функцией успеха:
р е, А =---• С1)
Множество всех таких единиц и нулей образует матрицу ответов А={а//}, (/=1, ..., К) и (/=1, ..., Ы).
Величины 9/ и 5/ - это латентные параметры модели Раша. Наблюдаемыми являются элементы матрицы ответов, по этой информации предлагается оценить трудность задания и уровень подготовленности тестируемого.
Дисперсия измерения уровня подготовленности испытуемого определяется формулой
2
а2 (б. 81.....8а.) =
Е_1_
>11 + с/?(0-5.)
(2)
преобразованной к удобному для дальнейших выкладок виду формулы (2.4.10) монографии [3].
Для исследования зависимости точности тестирования от контингента испытуемых предполагается, что уровень подготовленности в логитах имеет гауссово распределение с положительным средним: плотность распределения подготовленности гауссовар9еЫ(М9, 592).
Оптимизация системы тестирования заключается в создании такой системы тестов, в которой уровни трудности для набора заданий обеспечивают минимальное математическое ожидание дисперсии уровня подготовленности испытуемых, а именно в решении задачи
-2 " Л...... . > пин • (3)
Ев <Г
Метод решения задачи
Плотность распределения случайной величины
V, = . , * _ (4)
1 + с/г(9 - )
равна р(у ) ■■
1
где £(>',) = агссИ(--1).
У!
(5)
(6)
Плотность распределения суммы случайных
величин т=у\+...+уК определяется интегралом-сверткой
РЛХ)=1 -1 Ру, (Х) • Ръ (х2 ~ Х1 )-
■■■/К (.V
Так как дисперсия (2) равна
о2 0.8......8.
2
то плотность ее распределения равна
(л 2 (2 р, (г) = —-д
2 Г;
г и
(7)
(8)
(9)
(10)
В результате критерий оптимизации имеет вид
Ев ст в,81,...,8£ =
■ Е
| 7 2 2 = I — — -Р,
, г г'
ск.
(11)
Функция V. (8,):
1
1 + с/?(0 - 8 )
(12)
выпукла по 5/ в силу выпуклости функции ск() и ее неотрицательности, а свертка плотностей (8) выпукла в соответствии с работой [5].
Для решения задачи выпуклой минимизации применяли метод нулевого порядка (случайного поиска) в математическом пакете МайаЪ, а целевую функцию - многомерный интеграл - вычисляли методом Монте-Карло.
Результат решения задачи оптимизации при р9еЫ(2, 1,1) и К=25 представлен на рисунках 1 и 2.
3 э
1,10
А
0"5
*
*
Л-НЕ
0,55
0,50
0,40
Ф -2,00 -1,00
Уровень подготовленности, логит
Среднеквадратичное отклонение при равномерном распределении трудностей
Среднеквадратичное отклонение после минимизации дисперсии
Рис. 2. Ошибка тестирования при равномерном и оптимальном распределении трудностей тестов в задании
Для сравнения с группой обычного контингента испытуемых на рисунке 3 показан результат решения задачи оптимизации при р9еЫ(0, 1,7) и К-25.
В отличие от группы аттестуемых специалистов обычный контингент учащихся должен иметь нормальное распределение подготовленностей с
0,00
1,00
2,00
3,00
4,00
5,00
г
2
2
г
г
Ii
о. 0,0
-2,0 -1,0 0,0 1,0 2,0 Трудности тестов, логит
Рис. 3. Оптимальное распределение трудностей тестов в задании в виде отклонения от равномерного распределения для обычного контингента испытуемых
нулевым средним и среднеквадратичным отклонением 1,7 и практически быть сосредоточенным на интервале от -5 до 5 логит.
Анализ решения
При базовом равномерном распределении трудностей тестов в случае сдвинутого относительно нуля распределения подготовленностей специалистов для минимизации разбросов систему тестов необходимо конструировать с более простыми заданиями ниже среднего уровня подготовленности и с более сложными заданиями правее среднего уровня подготовленности в интервале приблизительно удвоенного разброса распределения подготовленностей аттестуемых с дальнейшим стремлением к равномерному распределению.
Для группы обычного контингента учащихся оптимальное распределение трудностей тестов существенно ближе к равномерному, чем для группы со сдвинутым относительно нуля распре-
делением подготовленностеи с тем же характером отклонений от равномерного распределения.
В заключение следует отметить, что авторами предложен метод конструирования тестов при критериально-ориентированном подходе. Его отличительной особенностью является минимальная средняя дисперсия оценки уровня подготовленности испытуемого. Отбор трудностей заданий проводится с учетом минимизации введенного критерия оптимизации. Рассматриваемый в статье метод позволяет сконструировать тест в зависимости от предполагаемого распределения уровня подготовленности испытуемых и количества заданий.
Литература
1. Rasch G., Probabilistic models for some intelligence and attainment tests, Copenhagen, Denmark: Danish Institute for Educational Research, 1960, 199 p.
2. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 168 с.
3. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учеб. пособие. М.: Логос, 2002. 432 с.
4. Mair P., Hatzinger R., Journ. of Statistical Software, 2007, May, Vol. 20, Iss. 9.
5. Сижук П.И., Сижук Т.П. О выпуклости свертки р-сим-метричных выпуклых и звездообразных функций с отрицательными коэффициентами // Вестн. Ставропольского гос. ун-та. 2009. № 63. C. 79-82.
References
1. Rasch G., Probabilistic models for some intelligence and attainment tests, Copenhagen, Denmark Danish Inst. for Educational Research, 1960, 199 p.
2. Neyman Yu.M., Khlebnikov V.A., Vvedenie v teoriyu modelirovanija i parametrizatsii pedagogicheskikh testov [Introduction to theory of modeling and educational tests parameterization], Moscow, Prometey, 2000, 168 p.
3. Chelyshkova M.B., Teoriya i praktika konstruirovaniya pedagogicheskikh testov [The theory and practice of educational tests creation], Moscow, Logos, 2002, 432 p.
4. Mair P., Hatzinger R., Journal of Statistical Software, 2007, May, Vol. 20, iss. 9.
5. Sizhuk P.I., Sizhuk T.P., Vestnik Stavropolskogo gosudarstvennogo universiteta [Bulletin of NCFU], 2009, no. 63, pp. 79-82.
3,0
2,0
1,0
р-1,0
£ 0) -2,0
m -3,0
-4,0
-4,0 -3,0
3,0
4,0
УДК 004.416.6
РЕФАКТОРИНГ ИСХОДНОГО КОДА- ОСНОВНЫЕ ПРИЕМЫ
А.Л. Калабин, д.ф.-м.н., профессор, зав. кафедрой; Е.Н. Грязнов, аспирант (Тверской государственный технический университет, наб. Аф. Никитина, 22, г. Тверь, 170026, Россия, propelleroff@gmail.com)
Обосновывается применение рефакторинга исходного кода между итерациями разработки при использовании в разработке программного продукта итерационной модели жизненного цикла ПО. Рассматриваются принципы и причины рефакторинга кода как средства улучшения его читабельности и композиционной стройности структуры программы. На примере программного пакета для математического моделирования процессов формования волокон описываются основные и наиболее необходимые методы рефакторинга, в том числе замена именований функциональных частей программы (классов, их полей и методов), передвижение полей и методов по иерархии классов при использовании наследования, выделение и встраивание классов, выделение методов, комментирование узких мест
