CC BY
3Электронный журнал «Труды МАИ». Выпуск № 42
www.mai.ru/science/trudy/
УДК 681.3
Об адаптации обучающих и тестирующих систем переподготовки молодых специалистов на предприятиях аэрокосмического
комплекса*
А.В. Наумов, Сай Кхин Аунг Тинт
Для обучающих систем переподготовки молодых специалистов на предприятиях аэрокосмического комплекса предложены средства статистического анализа результатов работы тестирующих программ, на основании которых построены алгоритмы адаптации исходного контента системы в зависимости от уровня подготовки специалистов. В качестве средетв статистического анализа в работе использован аппарат проверки статистических гипотез. Приведены результаты апробации предложенной системы для ряда групп специалистов.
Ключевые слова: обучающая система; статистический анализ; обратная связь; статистическая гипотеза; виртуальный учитель.
1. Введение.
В условиях коренной модернизации российской системы образования и перехода на новые стандарты обучения, весьма актуальной и значимой на предприятиях становится задача повышения квалификации и переподготовки вновь поступающих молодых кадров. Организация на предприятиях полноценных образовательных комплексов является сложной задачей, требующей привлечения значительных ресурсов. В связи с этим все большую популярность завоевывают системы автоматизации процесса обучения: компьютерные обучающие и тестирующие программы, системы дистанционного обучения и т.д. Развитие подобных систем в
*Работа в ы по лне на при поддержке РФФИ грант № 05-07-0164а
последние годы приобрело значительные масштабы[1-4]. С массовым распространением и
*Работа в ы по лне на при поддержке РФФИ грант № 05-07-0164а
удешевлением ПЭВМ, развитием глобальной сети Интернет существенно расширяется также потенциальная аудитория дистанционно обучаемых и тестируемых.
На предприятия приходят специалисты из различных образовательных учреждений, осуществляющих подготовку кадров для аэрокосмической отрасли, имеющих различные образовательные программы. Тем более, что в течение ряда лет (до 2016 года) выпуск специалистов будет осуществляться на основе государственных образовательных стандартов 2-го поколения (ГОС ВПО 2), но одновременно, ряд вузов уже начал подготовку по ФГОС. Таким образом, на предприятия могут придти выпускники, обучавшиеся по разным, хотя и близким стандартам.
Вузы, осуществляющие подготовку для предприятий аэрокосмического комплекса расположены в различных городах России( Москва, Самара, Уфа, Рыбинск, Казань) и их учебные планы и программы изучаемых дисциплин могут иметь отличия, отражающие специфику предприятий, расположенных в данном регионе. В ФГОС, разработанных УМО АРК, допускается значительная доля вариативной части (от 25-30% для специалистов и до 50% для направлений бакалавриата ). Вузы сами определяют профили подготовки для бакалавров и специализации для специалистов. Поэтому по перечню и объему дисциплин и базовых частей они могут отличаться.
Очень важно для правильной организации последующего процесса дообучения или переподготовки молодых специалистов предложить грамотную систему испытаний и тестов, позволяющих объективно оценить уровень знаний и способности контингента. При этом, открытым остается вопрос о точности, полученной в результате испытаний оценки и информативности (значимости) тестового материала. Следовательно, сам испытательный процесс должен обладать максимальной адаптивностью, т.е. быть чувствительным к ответам обучаемых. Трек вопросов (ответов) должен формироваться так, чтобы выявить реальный уровень знаний и навыков обучаемого, а также дать оценку самому тестовому контенту. Необходимо автоматически получать рекомендации по изменению тестовых заданий (усложнению, упрощению или исключению) в зависимости от группового и индивидуального уровня подготовки учащихся.
«Обратная связь» компьютерной обучающей и тестирующей системы является актуальным фактором объективного контроля знаний. Если обучающий или тестирующий материал, предлагаемый слушателям, не соответствует уровню обучаемой группы, то крайне
затруднительно делать вывод о его усвоении. При этом априорное деление слушателей на «сильных» и «слабых» не всегда возможно, а в условиях, например, удаленного тестирования или заочного обучения нереализуемо. Большинство современных электронных средств обучения обладают теми или иными механизмами адаптивности. Однако оперативность внесения изменений и гибкость многих из них, к сожалению, невысокая. Отчасти это объясняется необходимостью анализа значительных объемов оперативных данных о динамике обучения или тестирования, что, в свою очередь, требует дополнительного времени, повышенной концентрации вычислительных ресурсов, централизованного управления и ручного вмешательства экспертов предметной области.
Таким образом, актуальным становится разработка алгоритмов статистического анализа результатов тестирования, рассчитанных на максимальную автономность работы (может успешно применяться в распределенных системах) и высокую скорость обработки результатов ("на лету") в рамках концепции обратной адаптивной связи через виртуального учителя.
2. Поверка соответствия сложности тестового контента уровню знаний группы специалистов
Предлагается что имеется "эталонная" группа из n специалистов, для которой оцениваются вероятности сдачи теста целиком, а также ряды распределения количества баллов, набранных эталонным слушателем за выполнение каждого задания. Данная эталонная группа формируется экспертами предприятия из числа молодых специалистов в полной мере отвечающих предъявляемым требованиям.
Оценка вероятности успешной сдачи теста задается формулой
Р0 =т/ п,
где m - число эталонных специалистов, успешно сдавших тест.
Рассмотрим статистику Tn адаптивного критерия. Пусть случайная величина Xn - число студентов в оперативно исследуемой группе из n человек, сдавших тест, тогда
„ Х„-пР0
случайная величина 1п =
случайной величине U~ N(0,1)).
сходится по распределению[5] к стандартной гауссовской
Управляющее воздействие на систему генерации тестового контента формируется следующим образом. Для заданного уровня вероятности а рассмотрим квантили Ха12 и
Х1 _а/2 стандартной гауссовской случайной величины.
Если Тп^{Ха12,Х1_а12) то считается, что уровень теста соответствует уровню слушателей в группе и может служить оценкой их знаний. При этом никакие управляющие воздействия на обучающую систему не требуются.
Если Тп <Ха12, то уровень теста необходимо понизить, а если Тп >Х1_а/2, то уровень теста нужно повышать.
Данный алгоритм имеет несложную программную реализацию, выполняется достаточно быстро, не требует мощных вычислительных ресурсов.
3. Проверка соответствия уровня сложности задания тестируемой группе.
Часто бывает, что тестовый контент используется для оценки уровня знаний различных групп слушателей, обучаемых по разным программам, или разными преподавателями. В этом случае очень важно оперативно принимать решение о соответствии отдельных тестовых заданий уровню материала, прочитанного слушателям. Для этого используется аппарат проверки гипотезы о виде закона распределения с помощью критерия Пирсона.
Пусть на основе работы с эталонной группой для каждого тестового задания получены распределения количества баллов набираемых эталонными слушателями за это задание:
Zi Zi Z2 Z m-1 Zm
Pi Pi P2 Pm-1 Pm
где Zi , i=1,..,m - количество баллов, набранных тестируемым за задание (например, от 0 до 1 с шагом 0.2, или 0. 25), pi=P(Z=Zi) , i=1,..,m.
m in —flu
Рассмотрим статистику Gn = ^ —---—, где nk - число тестируемых, набравших за это
к=1
ПРк
задание баллов, в группе из п человек. Величина Оп сходится при п —» сс по распределению к случайной величине, имеющей распределение (хи-квадрат с т-1 степенью свободы) [5].
Тогда, управляющее воздействие на систему формируется следующим образом. Если реализация статистики Оп принадлежит доверительной области (0,^(ш-1)), где %1(т-1)-квантиль уровня а распределения хи-квадрат с (да -1)степенью свободы, то уровень сложности задания считается соответствующим уровню группы. В противном случае задание требуется заменить.
4. Примеры использования критериев адаптации.
Пусть следующая таблица отражает исходные данные, полученные по эталонной группе специалистов для некоторого задания.
Хт 0 0.25 0.5 0.75 1
Рш 0.05 0.1 0.3 0.3 0.25
Здесь Хт - число баллов, начисленное за это задание, а Рт - оценка вероятности
начисления такого количества баллов, найденная на основе анализа работы эталонной группы специалистов.
В следующей таблице отражены результаты работы тестируемой группы специалистов.
Хт 0 0.25 0.5 0.75 1
3 7 12 18 10
Здесь ит - число слушателей в тестируемой группе из 50 человек, набравших Хот баллов
за исследуемое задание.
Вычислим значение статистики Пирсона.
С ¿К-^) = 2.6
п / ;
к=1 пРк
Выберем уровень значимости р = 0,05. Тогда доверительная область имеет вид (0, 9.49), где (5 -1) = 9,49 - квантиль уровня а = 1 — р = 0.95 распределения хи-квадрат с 4 степенями
свободы.
Проверяем гипотезу
И0 : Уровень сложности исследуемого задания соответствует уровню знаний группы специалистов.
Значение статистики Пирсона принадлежит доверительной области Оп = 2.6 < Х\-Р($ — 1) = 9,49, следовательно, проверяемая гипотеза принимается.
Пусть теперь по-прежнему эталонная группа состоит из 50 студентов. Уровень значимости при проверке гипотезы о соответствии сложности контента уровню группы примем равным 0.05.
Оценка вероятности сдачи теста среднестатистическим участником эталонной группы / 40
равна Р0 =т/ = — = 0.8. к 0 /и 50
Пусть Р - вероятность сдачи теста среднестатистическим участником тестируемой группы. Тогда для проверки соответствия уровня сложности контента уроню группы в целом можно проверить гипотезу
Н0= ]{ = Р0
Предположим, что в тестируемой группе тест сдали 48 студентов. Вычислим значение Хп-пР0
статистики 1 =
Ма-^)
., 48-50*0 8
л/ 50 * 0.8 * 0.2
Доверительная область для проверки гипотезы И при уровне значимости критерия 0.05 имеет
вид (X ,,) X п - -1.92 X, /,=1.92
^ V а/ 2? 1-а/2У ГД£ °^ & 1-сг/2
т й Т= 2.828 >1.92 п
1аким образом, " Следовательно, управляющим воздействием на
обучающую систему будет повышение уровня сложности контента.
5. Результаты апробации системы обратной связи в обучающих системах переподготовки молодых специалистов на предприятиях аэрокосмического комплекса.
Разработанные критерии адаптации программным образом реализованы в контуре обратной связи (виртуального учителя) обучающей и тестирующей системы, используемой на ряде предприятий аэрокосмического комплекса (ГОС НИИ «Аэронавигация» ФГУП ЦАГИ, ГСКБ ОАО «Алмаз-Антей», ФГУП "Московский институт теплотехники» ) в процессе дообучения молодых специалистов. Имеется опыт тестирования более двадцати групп специалистов, проходивших повышение квалификации в интерактивном режиме. Результаты тестирования десяти групп по профильной дисциплине предприятия отражены на следующей диаграмме.
] Апробация материала |~П"||~Х"|
Апробация материала
SQL Test
N группь Кошче-тео студен то е объем контента Число задачи . признанных не гоотЕетсте'утсщиии уро еню те стируе м ых Тп ЕОЕерит область уро вил 995 1-1.35. 1.96) Изменип кон те ста
► 2(1 20 • -1.05403255333. Tnel-1 ЭВ.1.9В). нормальный
2 20 з; 4 1.G03567451474.. Тп е (-1.96.1.96} ... нормальный
3 20 40 К 2.42212028327; Тп > 1.36-пок'... понижать
4 20 50 4 D.S164965S0927... Тпе (-1.96,1.96)... нормальный
с 20 25 2 -2.08893187146. Тп = -1.Э6-ПОЕ... поЕьшать
е 20 30 4 D.76B7061147B5... Тпе (-1.96,196}... нормальный
7 2D 40 а 2.44948Э7427В1.. Тп > 1.36- noh.J... понижать
в 20 30 4 1673320053068 Тпе (-1.96,1.96)... нормальный
э 20 з; 6 1460593486680 Тпе (-1.96,196)... нормальный
1D 20 40 3 1.054092553389... Тпе (-1.96,196}... нормальный
Рис. 5.1. Экранная форма апробации тестов по профильной дисциплине
Результаты тестирования эталонной группы специалистов по профильной дисциплине представлены на рис. 5.2. Вертикальная линия красного цвета наглядно показывает "пороговое значение" оценки, установленное экспертом. Цифра на стрелке соответствует числу слушателей эталонной группы, успешно завершивших испытание (сдавших тест).
Рис. 5.2. Графическая иллюстрация результатов апробации тестов. Эталонная группа.
На рис. 5.3 ,5.4 представлены графические иллюстрации результатов тестирования двух групп молодых специалистов с той же "пороговой оценкой" успешной сдачи теста, что и в эталонной группе. Здесь цифрой под красной стрелкой показано количество слушателей, сдавших тест и рекомендация "виртуального учителя" о действиях, которые необходимо предпринять с контентом, т.е. не изменять, повысить или понизить сложность предлагаемых в процессе тестирования вопросов.
Рис. 5.3. Результаты тестирования по профильной дисциплине, группа (1)
Рис. 5.4. Результаты тестирования по профильной дисциплине, группа (2)
Результаты апробации показывают, что уровень подготовки молодых специалистов различный и не всегда соответствует требованиям, предъявляемым экспертами предприятия. Система обратной связи, основанная на использовании аппарата проверки статистических гипотез, позволяет адаптировать тестовый контент и обеспечить, таким образом, максимальную объективность в проверке уровня знаний и способности молодых специалистов к дальнейшему дообучению на предприятии.
4. Заключение.
В работе на основе аппарата проверки статистических гипотез решена актуальная задача построения контура обратной связи в тестирующих программах обучающих систем. Разработанные критерии адаптации позволяют эффективно корректировать в автоматическом режиме исходный тестовый контент и обеспечивать максимальную объективность получаемых оценок уровня знаний и способностей тестируемых. Апробация программной реализации разработанной адаптивной тестирующей системы при организации процесса дооучения и переподготовки молодых специалистов предприятий аэрокосмического комплекса показала эффективность контура обратной связи в подобных обучающих и тестирующих системах.
Библиографический список
1. Юрков А.В. Обзор отечественных систем дистанционного обучения. // Компьютерные инструменты в образовании. 2003. № 1. С. 8-14.
2. Сай Кхин Аунг Тинт Архитектура и сценарии работы обучающей системы. // Вестник Московского авиационного института. 2009. Т. 16. №7. с. 90-95.
3. Наумов А.В., Сай Кхин Аунг Тинт Алгоритм статистического анализа сложности тестов в адаптивной обучающей системе. // Материалы VIII Международной конференции по неравновесным процессам в соплах и струях (NPNJ'2010).- М.:Изд-во МАИ-ПРИНТ. 2010. С. 593-594.
4. Кибзун А.И., Наумов А.В. Электронный учебно-методический комплекс по курсу «Теория вероятностей и математическая статистика» для дистанционного обучения. // Вестник компьютерных и информационных технологий. 2008. № 10. С. 43-48.
5. Панков А.Р.,Платонов Е.Н. Практикум по математической статистике. -М: МАИ.
2006.
Сведения об авторах
Наумов Андрей Викторович, доцент Московского авиационного института (государственного технического университета), к.ф.-м.н.
Тел. (499)158-4113, e-mail naumovav@mail.ru
Сай Кхин Аунг Тинт, аспирант Московского авиационного института (государственного технического университета).
Тел. (499)158-4998, e-mail mar@k806.mainet.msk.su
