CC BY
74
УДК 371
АЛГОРИТМ И МЕТОДИКА АВТОМАТИЗИРОВАННОЙ ОЦЕНКИ ЗНАНИЙ ОБУЧАЕМЫХ
А. С. Снегур (КамчатГТУ)
В статье рассматривается один из вариантов решения задачи по оценке качества усвоения обучаемыми учебного материала с помощью предлагаемого алгоритма и методики автоматизированной оценки знаний на базе ранее разработанных систем.
The article presents an algorithm and method offormalized estination of students’ knowledge.
The formalized estination of knowledge has been based on the previously developed systems.
1. Состав системы автоматизированной проверки качества знаний обучаемого
На основании проведенного краткого анализа процесса обучения [2, 3] и выработанных в результате анализа требований к разрабатываемому алгоритму автоматизированной проверки качества знаний обучаемого (с выставлением ему оценки по общепринятой 4 балльной шкале) целесообразно применить набор элементов (функциональных блоков), составляющих структуру подсистемы автоматизированного оценивания, в рамках которой может функционировать подобный алгоритм.
Данная структура построена с учетом опыта создания аналогичных подсистем [1]. Ее отличительной чертой является возможность автоматизированного получения корректной, с точки зрения требования дидактики, оценки уровня знаний обучаемого в привычной 4-балльной ранговой шкале.
Внешний вид предлагаемой подсистемы оценки знаний приведен на рис. 1. Она состоит из шести основных блоков. Рассмотрим их подробнее.
Данный блок предназначен для приведения ответа обучаемого, выдаваемого в неформализованном виде, к виду эталонной модели учебного обьекта (УО) [3], представленной связным, избыточным, не содержащим циклов направленным графом, т. е. «деревом» [3] (см. на схеме).
Блок структуризации учебной информации (І)
Xl.l
(КС)
Vl
V2
Vj
Vn-l
(НС) Xn.l
Xn.m Vn
l62
Блок структуризации учебной информации
Граф УО
2
Блок анализа полученной модели и сравнение ее с эталонной
А
Е
Блок определения качества знания обучаемого
Формализ.
результат
Блок выдачи результатов тестирования
6
ЭУО
База эталонных моделей
3
УЭ
Нормативы
РЕЗУЛЬТАТ (оценка по 4-балльной шкале)
Рис. 1.Структурная схема системы автоматизированной проверки качества знаний обучаемого
1
5
4
Поскольку в ходе ответа обучаемый может выражать свои мысли в виде текста (речи), рисунка (графически) или формул (точные науки), данный модуль должен содержать алгоритмы для обработки определенных выше видов выражения семантической учебной информации.
Ввиду этого было принято решение при разработке структуры определенной выше подсистемы взять за основу блока 1 соответствующий элемент, разработанный в рамках пакета прикладных программ (ІШП) «Диагностика» [1]. Данный ППП разработан с учетом основных требований дидактики в отношении представления учебной информации. Поэтому его использование полностью соответствует задачам настоящего предложения.
Данный блок представляет собой комплекс взаимосвязанных алгоритмов, каждый из которых предназначен для обработки соответствующего вида учебной информации (текст, графика, формула). Входной информацией данного блока будет являться ответ обучаемого в неформализованном виде.
Состав данного блока, подробное описание его составных частей и принцип работы алгоритма приведены в работе [1].
Блок анализа полученной модели и сравнение ее с эталонной (2)
Структура данного блока, так же как и блока 1, позаимствована в работе [1]. Его основу составляет математический аппарат. Входной информацией для данного блока будет являться модель ответа обучаемого и в виде графа, а также эталонная модель УО, подготовленная заранее преподавателем. Выходной информацией будет являться величина АЕ [2], показывающая степень отличия одной модели от другой.
База эталонных моделей (3)
Данный блок отвечает за хранение и редактирование в случае необходимости эталонных моделей УО, предлагаемых для проверки обучаемых в ходе автоматизированного экзамена.
Опираясь на материал, изложенный в статьях [2, 3], необходимо определиться с правилами, по которым будет построена база эталонных моделей УЭ. Разрабатываемый алгоритм автоматизированного контроля знаний обучаемых должен одинаково успешно работать как с учебной информацией, выдаваемой в виде связного текста, так и с информацией в виде рисунков, графиков, диаграмм и т. д. Таким образом, база эталонов должна будет состоять из эталонных моделей этих видов выражения учебной информации. Помимо всего прочего, в состав данной базы будет входить также база вопросов.
Современные визуальные среды разработки программных продуктов позволяют создавать удобные информативные формы, поддерживающие все вышеназванные вспомогательные базы данных.
В соответствии с положениями, определенными [4, 5] и проанализированными в статьях [2, 3], необходимо до начала проверки знаний построить в памяти ЭВМ эталонную графовую модель ответа. Узлы графовой модели будут являться корневыми и дочерними понятиями в зависимости от того, как они соотносятся в заданном преподавателем графе. Помимо этого, в этих же понятиях может быть определено наличие или отсутствие иллюстрации, относящейся к тому или иному узлу. При помощи определенных разделителей алгоритм получает возможность отличать обязательную иллюстрацию (если речь идет о графическом элементе по ходу текста) от желательной или необязательной.
Однако подобная форма не является обязательной. Вполне допустимой в данном случае будет табличная форма. К тому же реализовать ее значительно проще. Для этого не надо использовать никаких дополнительных компонентов.
Блок определения качества знания обучаемого (4)
Данный блок предлагается к разработке в рамках настоящей статьи. Входной информацией для него должна служить величина ЛЕ, характеризующая отличие модели УО, выдаваемого обучаемым, от эталонной модели знания, сформированной заранее преподавателем, и нормативные величины |х.,Л.} [3], определяющие значение эталонного параметра и величины его отклонения [2].
На выходе данного блока формируется результат контроля качества усвоения пройденного материала в виде оценки по 4-балльной шкале.
Нормативы (5)
Для разработки системы нормативных показателей {хэт, К] [3], а также других параметров, обеспечивающих реализуемость расчета балла оценки, рекомендуется следующая последовательность действий:
1. На вербальном уровне формулируется цель К изучения УО.
2. Производится квантификация цели К на составляющие ее подцели К. до уровня, на котором достижение каждой из подцелей К. может быть измерено каким-либо выходным контролируемым параметром ВКП х^ деятельности обучаемого.
3. Для каждого из выявленных ВКП х, исходя из особенностей изучаемого УО, используемых технических средств измерения ВКП х. и других соображений, устанавливаются две его количественные характеристики:
х.эт - эталонное значение ВКП х., соответствующее абсолютному достижению цели х^ от хэт{,
К - предельно возможное значение отклонения х. от хэт., соответствующее состоянию, когда погрешности в деятельности обучаемого приводят к полному недостижению цели К..
4. Все ВКП х^ классифицируются по принадлежности к группе, определяющих {хог] и дополняющих {Хд.] ВКП.
5. Для каждого из совокупности {хд}, дополняющих ВКП, методом экспертной оценки определяется его вес (т.), исходя из условия < 1.
6. Исходя из учебно-воспитательных целей данного цикла обучения определяется необходимый нормативный уровень обученности, соответствующий полному достижению целей
обучения и определяемый допустимым значением qвг вероятности невыполнения обучаемым поставленной перед ним задачи.
Блок выдачи результатов тестирования (6)
Данный блок определяет интерфейс разработанной подсистемы автоматизированной оценки. Он должен позволять в удобном виде просматривать оценки испытуемых, иметь опцию архива прошедших электронных экзаменов, предоставлять преподавателю по желанию протокол своей работы, т. е. проводить контроль обучаемого.
С учетом того, что ЛСМ знания представляет из себя граф [3], то в качестве выходного контролируемого параметра (ВКП) в этом случае целесообразно будет рассматривать величину относительной энтропии Е [2], которая является показателем конфигурации графовой модели. Разность этих показателей ЛЕ = \Е - Еэт\ отражает полноту ответа обучаемого. Исходя из
ЛЕ
приведенных положений [10], можно записать: q =—— . И вот именно в этом виде в качестве
Я
модели оценки ЛСМ она может войти в качестве основы предлагаемого алгоритма.
С позиций педагогики принятая система оценки качества усвоения обучаемыми УО должна решать двуединую задачу: проверка обучаемых и управление их учебной деятельностью. Необходимость реализации данной задачи в САО существенно расширяет требования к ее решению, она предполагает разработку единой системы оценки и нормативных показателей обучения. Наиболее полно требования к такой системе были сформулированы Н.Ф. Талызиной [6]. Эти требования включают:
1. Объективность - оценка должна базироваться на системе нормативных показателей, вне зависимости от их конкретного вида, одинаково отражающих уровень обученности обучаемых и обеспечивающих обоснованность сравнения достигнутых показателей по различным видам учебной деятельности.
2. Многокритериальность - оценка должна отражать весь комплекс требований, предъявляемых к виду оцениваемой учебной деятельности, с учетом их определяющего влияния на достижение поставленной цели.
3. Диагностичность - возможность проведения качественного и количественного анализа процесса обучения и его прогнозирования в целях обеспечения его максимально возможной эффективности.
4. Формализуемость - методика определения оценки, анализа и прогнозирования хода обучения должна обеспечивать возможность обработки имеющихся данных на ЭВМ с последующим предоставлением комплекса информации, обеспечивающего принятие оптимального решения по корректуре процесса обучения.
5. Соответствие количественного выражения оценки принятой в практике традиционной 4-балльной шкале и сложившимся представлениям наиболее представительной части профессорско-преподавательского состава.
Предлагаемая выше модель семантической и прагматической оценки информационных процессов в системе обучения полностью соответствует первым четырем из сформулированных
Н.Ф. Талызиной требований. Для создания единой системы оценки и нормативных показателей обучения необходимо лишь трансформировать семантическую и прагматическую оценки информации в представленном обучаемым УО в соответствии с последним, пятым из сформулированных выше требований.
Таким образом, модель оценки качества усвоения УО обучаемым должна соответствовать следующим требованиям:
1. Отображать качество учебной деятельности обучаемых в традиционной 4-балльной шкале.
2. Быть инвариантной к изменению нормативных требований к качеству усвоения обучаемыми одного и того же УО, что принципиально важно прежде всего для оценки ФМ умения (практическое обучение).
3. При оценивании предъявляемого обучаемым конкретного УЭ наиболее полно соответствовать количественному выражению балла оценки, определенного методом экспертной оценки, т. е. непосредственно отображать систему предпочтений наиболее представительной части обучающих.
Таким образом, на основании разработанных выше предложений можно создать алгоритм, который представлен на рис. 2.
НАЧАЛО
Ввод ответа обучаемого в неформализованн ом виде
Структуризация ответа, выданного в виде математической формулы
Структуризация ответа, выданного в виде рисунка
Ер Н/Нтах
Структуризация ответа, выданного в виде текста
Ет Н/Нтах.
Сравнение модели, выданной в ходе ответа с ЭМ
^ АЕ
Получение д = —2
Я2
I
Определение оценки £
N =■
Формирование
отчета и выдача
результатов
10
С
11
КОНЕЦ
Рис. 2. Алгоритм автоматизированной оценки
Данный алгоритм состоит из 11-ти блоков. Блоки 1 и 11 определяют соответственно начало и конец работы алгоритма. Блоки 2-7 являются типовыми, поскольку были разработаны в рамках ППП «Диагностика»[1]. Блоки 8 и 9 предлагаются в рамках настоящей статьи. Модели, составляющие основу работы данных блоков, были описаны выше. Блок 10 определяет программный интерфейс и интерфейс пользователя. При его создании возможно использование любых современных средств разработки программного обеспечения.
5
7
6
8
9
2. Методика использования алгоритма автоматизированной оценки знаний обучаемого
В современной педагогической литературе [7 - 10] проблема формулировки системы предпочтений обучающих в отношении знаний и умений обучаемых представлена как проблема выявления вида шкалы / — ^ I, р N >, где I — качество знаний и умений обучаемого; N — балл оценки в традиционной 4-балльной шкале; р— функция гомоморфного отображения I в N. Причем основной целью абсолютного большинства проведенных исследований являлось именно выявление вида функции р, соответствующей системе предпочтений обучающих и обеспечивающей гомоморфность этого отображения. Если учесть, что I есть результат сравнения представленного обучаемым УО с его эталоном, имеющимся у обучающего, а N — результат оценки этого сравнения в существующей у обучающего системе предпочтений, то функция — N есть функция доверия. Таким образом, формулируемая в педагогике проблема выявления шкалы / — < I, р, N > в терминах теории эффективности систем есть проблема разработки критерия эффективности учебной деятельности обучаемого, а в терминах теории системноинформационного анализа, как было показано выше, — проблема прагматической оценки полученной от него информации.
Исходя из приведенных выше положений методика применения предлагаемого к разработке в настоящей статье алгоритма может выглядеть следующим образом (табл. 1):
Таблица 1
Методика применения алгоритма автоматизированной оценки знаний обучаемых
Блоки алгоритма Содержание методики применения
2 Обучаемый вводит свой ответ в виде неформализованного, свободно конструируемого текста так, как если бы он отвечал живому преподавателю. В тексте могут встречаться рисунки (графики, диаграммы и т. д.), которые могут быть набраны с помощью графических примитивов. В тексте могут встречаться формулы, набранные в окне дополнительного редактора.
3,4 Алгоритм анализирует ответ и разбивает его на фрагменты, которые затем в зависимости от результатов анализа отправляются на обработку в соответствующие модули программы.
5 При обнаружении в составе ответа обучаемого математической формулы происходит ее анализ в соответствии с ЭМ, хранящейся в базе ЭМ отдельно или же в составе модели какого-либо УО.
6 При обнаружении в составе ответа обучаемого иллюстрации (график, диаграмма, таблица) происходит ее анализ в соответствии с ЭМ, хранящейся в базе ЭМ отдельно или же в составе модели какого-либо УО по методике, разработанной в рамках создания ІППІ «Диагностика» [1].
7 При анализе участков текста ответа алгоритм использует методику структуризации и анализа связного текста, разработанную в рамках ІППІ «Диагностика».
8 Поскольку алгоритм работает с ЛСМ знания, представленной в виде графа, под ВКП будет пониматься наличие или отсутствие вершин и дуг графа. Таким образом, система нормативных показателей {хэт Я] будет определяться величиной ЛЕ = \Еод - Еэт |. Задача определения заданного уровня обученности решается в таком случае определением в ходе эксперимента величины ЛЕ , соответствующей цвг и цуог.
9 Поскольку на предыдущем шаге была определена область оценивания обучаемого, процесс $ вычисления балла сводится к нахождению значения формулы: N = — . Ч
10 Формирование отчета об экзамене включает в себя: - выставление оценки в интерактивном режиме; - выдачу по запросу протокола экзамена с указанием отсутствующих элементов модели ответа; - поддержание архива оценок обучаемого.
Для разработки системы нормативных показателей {хэт, Я], обеспечивающих реализуемость расчета балла оценки, необходимо проведение эксперимента.
При разработке системы нормативных показателей наибольшую сложность представляет определение эталонного значения показателя освоенности (автоматизации) данного вида деятельности, определяющего оценку уровня сформированности навыка как степени автоматизма действия обучаемого при реализации соответствующего вида ФМ УО. Однако, как было показано выше, для контроля качества усвоения знаний (т. е. ЛСМ знания) ситуация несколько иная. В данном случае преподавателю нечего измерять с секундомером или же изыскивать иные
количественно измеримые ВКП - достаточно соотнести модель ответа обучаемого с эталонной моделью. Таким образом, под {хэт, Я] будет пониматься величина ЛЕ, соответствующая цвг и цуог
[3].
С целью получить ответы на вопросы: в какой степени повысилась эффективность процедуры оценивания знаний обучаемого с применением предлагаемого алгоритма и в какой степени можно доверять автоматизированной оценке, полученной при помощи алгоритма, - целесообразно провести эксперимент. Он может проводиться по методике, предложенной ниже.
В учебных группах курсантов (студентов), обучающихся по одной из специальностей, необходимо провести автоматизированное тестирование с использованием ППП «Диагностика» в рамках семестрового (курсового) экзамена. В результате теста будут получены протоколы ответов обучаемых, представляющие собой графовые модели УО, уже соотнесенные с хранящимися в памяти ЭВМ эталонными графовыми моделями и содержащие, соответственно, величину ЛЕ, отражающую ущербность знаний испытуемых.
Помимо этого, группе экспертов, состоящих из преподавателей профилирующих кафедр в количестве 5-10 человек, необходимо оценить знания обучаемых по тем же самым вопросам традиционным способом. Результаты проведенного эксперимента по одной из групп свести в табл.
2.
Таблица 2
Данные, полученные в ходе эксперимента
№ п/п Фамилия слушателя № вопр. ЛЕ Оценка экспертов Ч
1 2 3 4 5 6
Для большей обьективности эксперимент целесообразно провести в 3-5 учебных группах. Сводная таблица результатов должна быть обобщена в предлагаемой ниже таблице.
Таблица 3
Обобщенная таблица результатов экспериментов
№ учебной группы Баллы экспертных оценок
Усредненные интервалы распределения ЛЕ 2,0 2,5 3,0 3,5 4,0 4,5 5,0
В результате проведенного эксперимента мы получим количественное выражение Я и цвг, что обеспечит реализуемость расчета балла оценки по указанной выше формуле. В дальнейшем для получения математически обоснованного вывода о предпочтении автоматизированной проверки знаний обучаемых по предлагаемой методике целесообразно сравнить оценки, полученные с помощью ППП «Диагностика» предлагаемой методики и традиционным способом. Методику математического сравнения и проведения анализа планируется рассмотреть в следующей статье на страницах очередного номера научного журнала «Вестник КамчатГТУ».
Литература
1. Комплекс ЦФАП ВМФ. Методика N-09.8601 М. Алгоритм автоматизированной структуризации учебной информации и диагностики обучаемого / П.В. Филиппов, Ю.Ф. Волынец, К.В. Граневский, П.В. Дьяков, М.А. Исаев, Д.Ю. Волынец. - Петродворец: ВМИРЭ им. Попова, 1999.
2. Снегур А. С. Особенности основных методов прагматической оценки семантической информации // Вестник КамчатГТУ. - № 1. - 2002. - С. 190-202.
3. Снегур А. С. Методика определения областей достижения цели при оценке прагматического содержания информации в системе обучения // Материалы Международной научно-практической конференции (15-16 октября 2002 г.). - Петропавловск-Камчатский: КамчатГТУ, 2002.
4. Мизенцев В.П. Проблема аналитической оценки качества и эффективности учебного
процесса в школе. В 3-х ч. - Куйбышев: Куйбышевский гос. пед. институт, 1979.
5. Мизенцев В.П., Кочергин А.В. Проблема аналитической оценки качества и эффективности учебного процесса в школе. - Куйбышев: Куйбышевский гос. пед. институт, 1986.
6. Беспалько В.П. Слагаемые педагогической технологии. - М.: Педагогика, 1989.
7. Блинов В.М. Эффективность обучения. - М: Педагогика, 1976.
8. Митропольский А.К. Техника статистических вычислений. - М.: Наука, 1971.
9. Печников А.Н. Теоретические основы психолого-педагогического проектирования автоматизированных обучающих систем. - Петродворец: ВВМУРЭ им. Попова, 1995.
