CC BY
68
УДК 004.023+378.14 ББК 32.973.26-018.2
В. В. Лаптев
МЕТОД ОЦЕНИВАНИЯ УМЕНИЙ И НАВЫКОВ ПРИ ОБУЧЕНИИ ПРОГРАММИРОВАНИЮ
V. V. Laptev
SKILLS RATING METOD FOR PROGRAMMING EDUCATION
Рассматривается проблема оценивания умений и навыков в автоматизированной системе обучения. Предлагаются алгоритмы интерактивного обучения с учетом нормативного времени выполнения задания и без учета времени. Навыки оцениваются как доля успешных действий обучаемого при выполнении задания. Построена формальная модель интерактивного обучения в виде марковского процесса с двумя состояниями. Критерий обученности вычисляется как энтропия системы.
Ключевые слова: обучающая система, уровень обученности, институциональное управление, трудоемкость задания, нормативное время, энтропия.
The problem of the skills rating in automated training system is considered. The algorithms of interactive education with and without time control are presented. The skills can be rated as a part of the successful actions during the task execution. The formal model of interactive education is built as Markov’s process with two states. The level of competence can be rated as a system entropy.
Key words: training system, level of competence, institutional control, task difficulty, normative time, entropy.
Введение
В самом общем виде процесс обучения представляет собой совместную деятельность обучающего и обучаемого. Более детальный анализ показывает, что взаимодействие преподавателя и студента при обучении состоит из ряда принципиально различных видов деятельности:
— информационная - студенту для изучения предоставляется учебный материал в некоторой форме: лекции, тексты, рисунки, графики и т. п.;
— тренирующая - студент учится применять полученные знания на практике, решая задачи;
— контролирующая - знания и умения студента проверяются и оцениваются;
— административная - ведется учет показателей процесса обучения каждого студента. Очевидно, что при изучении любой предметной области для обучаемого превалирующими являются первые два вида деятельности, особенно при самообучении. Контроль и администрирование дают возможность управлять процессом обучения и обеспечивают обратную связь. Эти два вида деятельности практически всегда осуществляет преподаватель, хотя и при самостоятельной работе контроль необходим.
Автоматизация процесса обучения предполагает автоматизацию всех видов учебной деятельности. Специфика обучения программированию заключается в том, что тренирующая деятельность является превалирующей для обучаемого. Главное, чему должен научиться программист - это писать программы, поэтому обучающая среда по программированию должна в первую очередь обеспечивать обучение написанию программ. При этом особую важность приобретают автоматизированные методы контроля.
В настоящее время автоматизированный контроль осуществляется исключительно посредством тестирования. Однако для определения уровня компетентности в программировании тестирования совершенно недостаточно. Любая профессиональная компетенция представляет собой известную триаду: знания, умения и навыки. Тестирование в какой-то мере позволяет определить только достигнутый уровень знаний предметной области. При обучении программированию необходимо оценивать уровень умений и навыков в написании программ.
Опытный программист отличается от начинающего тем, что он выполняет работу значительно быстрее и с меньшим количеством ошибок. Опыт - это результат многократного реше-
ния самых разнообразных программистских задач. Желательно, чтобы программист мог набрать подобный опыт в процессе обучения, а не во время реализации профессиональной разработки. В данной работе нами предлагается способ управления обучением решению задач и метод оценки достигнутого уровня умений и навыков.
Неформальная постановка задачи
При выполнении любого задания обучаемый совершает некоторые операции (действия) в обучающей среде. Например, для создания диаграммы классов обучаемый должен выбрать вид диаграммы, тип узла (класс), создать узлы-классы, задать названия классов, выбрать типы связей между классами, проставить связи на диаграмме и т. п.
При создании программы тоже выполняется определенный набор действий: требуется задать последовательность операторов и объявить каждый объект программы, присвоив объектам имена. Для объектов-данных требуется задать тип значений. Для каждой процедуры и функции необходимо задавать имя и список параметров, в котором для каждого параметра указывать тип.
Для выполнения конкретного задания требуется совершить в обучающей среде определенный фиксированный набор операций. Назовем операции этого множества правильными. Количество правильных операций составляет трудоемкость задания. Действия, совершаемые обучаемым при выполнении задания, могут быть либо правильными, либо ошибочными. Назовем все действия, совершаемые обучаемым, учебными действиями.
Очевидно, что количество ошибочных операций, совершаемых при выполнении конкретного задания, будет тем меньше, чем большим объемом знаний, умений и навыков обладает обучаемый - этот объем составляет опыт обучаемого. Начинающий совершает много ошибок. По мере научения деятельность обучаемого становится все более безошибочной, поэтому задачу обучения умениям и навыкам можно сформулировать как задачу минимизации ошибочных операций при выполнении заданий.
Рассмотрим работу обучающей системы в одном сеансе обучения, в котором ученику предоставляется одно задание для выполнения. Одну учебную операцию, выполняемую обучаемым, будем считать единицей учебного ресурса. Перед выполнением задания обучаемому предоставляется обучающей системой некоторый объем этого ресурса, заведомо больший, чем трудоемкость выполнения задания. Выполняя операции, обучаемый расходует этот ресурс. Система отслеживает действия обучаемого и организует обратную связь, вычисляя расход ресурса и его остаток. Эта информация сообщается обучаемому, чтобы он мог скорректировать свои действия.
Если обучающий совершает много ошибочных действий, он быстро расходует предоставленный объем ресурса. В некоторый момент ресурса останется настолько мало, что для завершения задания придется действовать безошибочно. В этот момент система переходит в режим институционального (принудительного) управления. В этом режиме множество разрешенных операций ограничивается правильными операциями. Режим институционального управления подобен обучению под присмотром наставника, когда тот обучает ученика правильным действиям для выполнения задания. Таким образом, обучаемый получает возможность завершить задание.
Режим институционального обучения может быть включен с самого начала, если система предоставит обучаемому объем ресурса, равный трудоемкости. Подобный режим работы соответствует первому уроку, когда учитель просто показывает, как надо правильно действовать для решения поставленной задачи.
Таким образом, обучающая система может работать в трех режимах:
— инстуциональный - действиями обучаемого управляет система;
— свободный (контрольный) - обучаемый совершает любые действия, система не вмешивается в управление, но ведет журнал действий пользователя и вычисляет метрики-оценки;
— полусвободный (обучающий) - обучаемый совершает действия в пределах предоставленного ресурса, система переходит в институциональный режим при исчерпании ресурса, система ведет журнал действия пользователя и вычисляет метрики-оценки.
Система организует множество обучающих сеансов, что позволяет обучаемому постепенно набирать опыт и действовать все более безошибочно. Отметим, что система может управлять обучением в самых разнообразных режимах, например разрешить или запретить обучаемому
пользоваться помощью или включить информационный режим, в котором каждое неверное действие обучаемого сопровождается подробным сообщением об ошибке.
Критерии оценивания
На момент выполнения контрольного задания обучаемый обладает некоторым уровнем обученности. Поскольку время выполнения контрольного задания мало по сравнению с общим временем обучения, то можно считать, что за время выполнения контрольного задания текущий уровень обученности остается неизменным. В контрольном режиме система не переходит в режим институционального управления, поэтому доля правильных действий от общего количества учебных действий, совершенных обучаемым, может служить оценкой достигнутого уровня обученности.
В контрольном режиме помимо количества ошибочных действий дополнительным критерием для определения уровня навыков служит время выполнения задания. Для контрольного задания задается нормативное время, в течение которого задание должно быть выполнено. Очевидно, что оценка обучаемого, не уложившегося в нормативное время, должна быть снижена.
Формальная постановка задачи
Предположим, что система содержит N однотипных заданий и обучаемому предоставляется одно задание в сеансе.
Пусть Q - это множество учебных действий, В - это трудоемкость задания, а Е - множество ошибочных действий. Тогда Q = В и Е, и |Q| = |В| + |Е|, где \Х\ - мощность множества Х. Система проводит несколько сеансов обучения-контроля, и в 7-м сеансе обучаемому предоставляется ресурс ^7|:
^| = |А| + Е7|.
Рассмотрим сначала управление обучением без учета времени. За время 7-го сеанса фактический объем учебных действий составит:
дг = (ф + ег) < ^|,
где Ф7 - количество выполненных обучаемым правильных операций, Ф7 < |Д|; е7 - количество совершенных ошибочных действий, ег < |Ег|.
При выполнении задания система вычисляет «расстояние» до завершения задания:
Иг = (|Д| - Ф) / |Д|.
Эта величина сообщается обучаемому, чтобы он знал, сколько действий осталось до завершения задания.
Система переходит в режим институционального управления, если в сеансе обучаемый совершил д7 = (Ф7 + |Ег|) учебных действий. Лимит ошибок исчерпан, и система принудительно заставляет обучаемого совершить /7 = |Д| - Ф7 правильных операций. Задание считается выполненным. Если обучаемый самостоятельно выполнил Ф7 = |Д| правильных операций, то задание считается выполненным независимо от количества ошибок.
После завершения задания требуется вычислить текущий уровень обученности и определить объем предоставляемого ресурса ^г+1| для следующего сеанса. Пусть г - уровень обученности. Без учета времени в г -м обучающем сеансе уровень обученности г7 вычисляется по формуле
Гг = Ф / (|Д| + ег). (1)
Очевидно, что 0 < г < 1, причем г = 0 означает полное отсутствие каких-либо знаний, умений, навыков. При одновременном стремлении Ф - > |В| и е - > 0 уровень обученности стремится к 1, что и является целью обучения.
Система должна проверять выполнение условия г7 > еь, где еь - некоторая положительная константа, 0 < еь < 1. Эта константа определяет начальный минимальный уровень обученности, поэтому неравенство г7 < еь означает, что обучаемый совершил слишком много ошибок и нужно повторить в следующем сеансе то же самое задание. В этом случае объем ресурса для следующего сеанса вычисляется по формуле
^г+1| = В + |Д|(1 - гг ) .
В противном случае система выдает следующее задание, и объем ресурса вычисляется так:
^г+1| = |Д+1 | + |Д+1|(1 - гг ).
Заметим, что |Е| = Д|(1 - г) фактически определяет прогноз количества ошибок, которые может совершить обучаемый при выполнении предлагаемого задания.
В обучающем режиме при первом сеансе, когда г = 0, ресурс ошибок |Е0| = Д0|. Система выделит ресурс для первого сеанса:
^1 = 2|Д|.
Если принять |Е0| = 0, то система с самого начала будет работать в институциональном режиме, заставляя пользователя выполнять только правильные операции.
Обучение заканчивается после к-го сеанса (к < N при выполнении условия: |1 - гк| < 8г, где ег - малая положительная константа, 0 < 8г < 1.
Таким образом, алгоритм адаптивного управления формированием навыков решения задач без учета времени можно представить следующим образом:
1. Задать 8Ь, 8Г; установить режим обучения: обучающий, контрольный.
2. 1 := 0, Г0 := 0, |Б | := ^ Е := Д0|;
3. пока |1 - г1| > ег
4. 1 := 1 + 1
5. если Г1 < 8ь
тогда ^+1 := Д! + ^(1 - Г1 )
иначе выбрать новую задачу с трудоемкостью Д1+1|,
^1+11 := Д^ + |Б1+1|(1 - г)
6. Сеанс обучения 1, получить ё1, е1
7. ^ = (Д1 - ^) / |Б1|
если режим = обучающий
и если е1 = |Е1| тогда перейти в режим институционального управления
иначе если режим = контрольный и если е1 = |Е1| тогда закончить сеанс
8. г = а1 / (|Э1| + е1)
9. конец цикла
В этом алгоритме неформализованным остался единственный пункт в шаге 5: выбрать новую задачу с трудоемкостью |Д+1|. Формализация данного пункта существенно зависит от предметной области и решаемых в этой области задач и составляет отдельную тему для исследования.
Учет времени
Время рассматривается как ресурс, который выделяется системой в обучающих и контрольных сеансах. Пусть трудоемкость задания составляет |Д| операций и для выполнения ]-й операции требуется ^ единиц времени. Тогда общее операционное время выполнения задания равно:
т=ЕД = л-.
В более простом варианте время выполнения всех операций считается одинаковым, и полное операционное время выполнения задания вычисляется как Т0 = 7 Д|. Заметим, что нормативное время выполнения задания должно быть несколько больше полного операционного времени Т0, поскольку время расходуется не только на выполнение операции, но и на переход к следующей (например, на перемещение мышки от одной кнопки к другой требуется некоторое время).
Для первого обучающего сеанса система выделяет обучаемому минимальный временной ресурс в объеме Т0 единиц времени, а при завершении задания фиксирует фактическое время выполнения. Пусть обучаемый выполнит первое задание за фактическое время 70 > Т0. Тогда на выполнение одной операции обучаемый в среднем затратит 50 = 70 / д0 единиц времени. Второй и последующие сеансы завершаются при 77 = Т7, и система вычисляет величину
si t, / q, t, / (|A| + e)
Эта величина представляет собой индивидуальный темп работы обучаемого при выполнении конкретного задания. Очевидно, что при отсутствии ошибочных действий величина s принимает минимальное значение min s = t / |D|.
Обратная величина
V = q, /1, = (|D,| + e,) / t,
представляет собой интенсивность (скорость) выполнения операций обучаемым при выполнении конкретного задания. Величины s, и v, представляют собой важные характеристики обучаемого и сохраняются в модели обучаемого.
Ресурс времени для второго и последующих сеансов вычисляется по формуле
Tm = si |ßi+i l
Таким образом, объем временного ресурса, выделяемого в сеансе, регулируется темпом работы обучаемого. Если обучаемый «медленный», то выделяется больше времени, если работает быстро - меньше.
С учетом времени система переходит в режим институционального управления либо при исчерпании ресурса ошибочных действий E, либо при исчерпании ресурса времени T.
Уровень обученности с учетом времени вычисляется следующим образом:
ri = p(t1)(d1 / (|Д| + et)), (2)
где p(t) - функция снижения оценки при превышении нормативного времени. В [1] для данной функции получена формула p(t) = e'Xt, а в [2] показано, что коэффициент d = 1/Х представляет собой трудность задания. В данном случае под трудностью задания мы понимаем трудоемкость задания |D|, поэтому функция снижения оценки принимает вид
p(t) = e-m. (3)
Пусть tB - нормативное время, tB = (T0 + О < Th где tE - малая константа. Тогда превышение нормативного времени в i-м сеансе составит t = (T, - tB), и эта величина подставляется в качестве аргумента в формулу (3).
Таким образом, модифицированный алгоритм формирования навыков решения задач с учетом времени можно представить следующим образом:
1. Задать eb, sr, установить режим обучения: обучающий, контрольный
2. i := 0, г0 := 0, |D | := |D0|, |E0| := |D0|, вычислить T0
3. пока |1 - ri| > sr
1. i := i + 1
2. если ri < sb
тогда |Qi+11 := |Di| + |Di|(1 - ri )
иначе выбрать новую задачу с трудоемкостью |Di+1|, i. |Qi+11 := |Di+11 + |Di+11(1 - ri)
3. Сеанс обучения i, получить di, ei, ti
4. Если режим = обучающий и если if ei = |Ei| или ti = Ti
i. тогда перейти в режим институционального управления если режим = контрольный
и если ei = |Ei| или ti = Ti
ii. тогда закончить сеанс
5. qi := di + ei, Si = ti/qi
6. Ti+1 := si |Qi+1|
7. ri := p(ti) di / (|Di| + ei)
4. конец цикла
Информационно-энтропийный критерий уровня обученности
Выше формула (1) определяет достигнутый обучаемым уровень умений и навыков как долю успешных действий от множества учебных операций. В формуле (2) учитывается время выполнения задания. Однако возможен и другой подход к определению уровня обученности, позволяющий учесть не только успешные, но и ошибочные действия обучаемого - на основе вычисления энтропии.
Действие, совершаемое обучаемым при выполнении контрольного задания, будем считать случайным событием. Последовательность действий представляет собой поток случайных событий, обладающий следующими свойствами:
1. Ординарность. Вероятность совершения обучаемым двух или более действий за интервал времени Д7 по сравнению с вероятностью совершения за то же время ровно одного действия настолько мала, что ею можно пренебречь.
2. Отсутствие последействия. Вероятность совершения обучаемым некоторого количества действий на одном интервале времени не зависит от того, сколько действий обучаемый совершил в другом интервале времени.
3. Стационарность. На момент выполнения контрольного задания обучаемый обладает некоторым фиксированным уровнем обученности. Можно считать, что за время выполнения контрольного задания текущий уровень обученности, в том числе и достигнутый уровень навыков, остается постоянным.
Таким образом, последовательность действий, совершаемых обучаемым при выполнении контрольного задания, является пуассоновским потоком. Поскольку действие может быть правильным и неправильным, система контроля может пребывать в одном из двух состояний: либо в правильном состоянии, либо в состоянии ошибки. Следовательно, процесс, протекающий в контрольном режиме обучающей системы, является марковским [3], причем представляется моделью Гильберта с двумя состояниями (рис.).
Модель Г ильберта
Пусть - правильное состояние; Б/ - ошибочное состояние; р - вероятность перехода из правильного состояния в ошибочное; q - вероятность перехода из ошибочного состояния в правильное. Соответственно, вероятность остаться в правильном состоянии составляет 1 - р, вероятность остаться в ошибочном состоянии равна 1 - q, причем р + q Ф 1. Поскольку поток стационарный, существуют финальные вероятности пребывания системы в состояниях и Б/.
р1 = q / (р + q); р/ = р / (р + q),
причем р1 + р/ = 1. Однако обучающая система имеет возможность вычислить эти вероятности непосредственно:
р( = ё/ (ё + е); р/ = е / (ё + е),
где ё - количество выполненных обучаемым правильных операций; е - количество совершенных ошибочных действий. Тогда можно вычислить энтропию системы:
Н = - (р7 1о82р) + р/ 1о%2(р/)).
Энтропия позволяет определить интегрированный уровень обученности. В самом деле, в первом сеансе обучения, когда уровень обученности нулевой, вероятности р1 = р/ = 0,5, энтропия максимальна и равна 1. По мере обучения энтропия уменьшается, поэтому критерий обученности можно определить так:
г = 1 - Н при pt > р/; г = Н при pt < р/.
Отметим, что вероятности р( и р/ можно вычислять не только по отдельному контрольному заданию, но и всему множеству действий, совершенных обучаемым в контрольном режиме при выполнении всех заданий. Таким образом, если обучаемый совершает большое количество ошибочный действий в нескольких заданиях, то его уровень обученности уменьшается.
Заключение
Предложенный подход предполагает, что обучающая система собирает полную информацию о действиях обучаемого во время сеансов обучения. Например, система может определять время между действиями, вычислять среднее время простоя, время получения помощи, собирать информацию об обращении обучаемого к подсистеме помощи, вычислять интенсивность обращения к подсистеме помощи и т. п. Накопление статистических данных позволит решить несколько важных задач:
- по собранным эмпирическим данным выявить индивидуальные кривые научения [4];
- построить индивидуальную модель ошибок обучаемого [5].
Совокупность разнообразных временных и количественных характеристик составляет индивидуальный профиль обучаемого. Знание типичных для студента характеристик позволяет, во-первых, улучшить адаптивное управление обучением и, во-вторых, повысить надежность контроля. Если в процессе сеанса обучения текущие характеристики обучаемого, собираемые системой, существенно отличаются от его статистических характеристик, это может говорить о применении студентом нечестных методов выполнения задания (например, задание выполняет другой студент по просьбе обучаемого).
Для реализации описанного подхода требуется, чтобы операции, необходимые для выполнения задания, были «крупноблочными». Например, редактор кода должен оперировать не отдельными символами, а конструкциями языка и объектами программы. Кроме того, система должна «знать», какова трудоемкость выполнения того или иного задания - в системе должны храниться эталонные результаты выполнения заданий [6].
В Астраханском государственном техническом университете на кафедре «Автоматизированные системы обработки информации и управления» (АСОИУ) разработана интегрированная среда программирования на основе семантического редактора [7], позволяющая вести учет всех действий студента. Описанный в статье метод оценивания умений и навыков реализуется в данной среде как один из методов адаптивного управления обучением. В настоящее время разработанная интегрированная среда проходит апробацию на кафедре АСОИУ. При изучении дисциплин «Основы алгоритмизации» и «Алгоритмизация математических задач» студенты выполняют лабораторные работы в семантическом редакторе.
СПИСОК ЛИТЕРАТУРЫ
1. Сербин В. И. Методы оценки знаний в подсистеме тренинга обучающей системы // Вестн. Астра-хан. гос. техн. ун-та. - 2007. - № 1 (36). - С. 247-251.
2. Лаптев В. В., Сербин В. И. Учет времени при оценивании результатов автоматизированного контроля // Изв. Волгоград. гос. техн. ун-та. - 2010. - № 11 (71). Сер.: Актуальные проблемы управления, вычислительной техники и информатики в технических системах. - Вып. 9. - С. 102-105.
3. Феллер В. Введение в теорию вероятностей и ее приложения: Т. 1. - М.: Кн. дом «Либроком», 2010. - 528 с.
4. Новиков Д. А. Закономерности итеративного научения. - М.: Ин-т проблем управления РАН, 1998. - 77 с.
5. Атанов Г. А., Пустынникова И. Н. Обучение и искусственный интеллект, или Основы современной дидактики высшей школы. - Донецк: Изд-во ДОУ, 2002. - 504 с.
6. Лаптев В. В. Требования к современной обучающей среде по программированию // Объектные
системы-2010 (Зимняя сессия): материалы II Междунар. науч.-практ. конф., Ростов-на-Дону,
10-12 ноября 2010 г. / под общ. ред. П. П. Олейника. - Ростов н/Д, 2010. - С. 104-110.
7. Семантический редактор автоматизированной обучающей системы по программированию: свид. об офиц. рег. программ для ЭВМ № 2011619172, Россия / Грачев Д. А., Лаптев В. В.; зарег. 25.11.2011.
REFERENCES
1. Serbin V. I. Metody otsenki znanii v podsisteme treninga obuchaiushchei sistemy [Methods of assessment of knowledge in the subsystem of training of educational system]. Vestnik Astrakhanskogo gosu-darstvennogo tekhnicheskogo universiteta, 2007, no. 1 (36), pp. 247-251.
2. Laptev V. V., Serbin V. I. Uchet vremeni pri otsenivanii rezul'tatov avtomatizirovannogo kontrolia [Registration of the time during assessment of the results of automated control of state technical university]. Iz-vestiia Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta, 2010, no. 11 (71). Seriia: Aktual'nye problemy upravleniia, vychislitel'noi tekhniki i informatiki v tekhnicheskikh sistemakh, iss. 9, pp. 102-105.
3. Feller V. Vvedenie v teoriiu veroiatnostei i ee prilozheniia [Introduction to the theory of probabilities and its supplement]. T. 1. Knizhnyi dom «Librokom», 2010. 528 p.
4. Novikov D. A. Zakonomernosti iterativnogo naucheniia [Peculiarities of iterative training]. Moscow, Institut problem upravleniia RAN, 1998. 77 p.
5. Atanov G. A., Pustynnikova I. N. Obuchenie i iskusstvennyi intellekt, ili Osnovy sovremennoi didaktiki vysshei shkoly [Training and artificial intellect or Fundamentals of the modern didactics of high school]. Donetsk, Izd-vo DOU, 2002. 504 p.
6. Laptev V. V. Trebovaniia k sovremennoi obuchaiushchei srede po programmirovaniiu [Requirements to the modern training environment in programming]. Ob"ektnye sistemy-2010 (Zimniaia sessiia): materialy II Mezhdunarodnoi nauchno-prakticheskoi konferentsii. Rossiia, Rostov-na-Donu, 10-12 noiabria 2010 g. [Object systems-2010 (Winter session): proc. II Int. sci. conf. Russia, Rostov-on-Don, 10-12 November 2010]. Rostov-on-Don, 2010, pp. 104-110.
7. Grachev D. A., Laptev V. V. Semanticheskii redaktor avtomatizirovannoi obuchaiushchei sistemy po programmirovaniiu [Semantic editor of automated training system on programming]. Svidetel'stvo ob ofitsial'noi registratsii programm dlia EVM RF, no. 2011619172, 25.11.2011.
Статья поступила в редакцию 24.12.2012
ИНФОРМАЦИЯ ОБ АВТОРЕ
Лаптев Валерий Викторович — Астраханский государственный технический университет; канд. техн. наук, доцент; доцент кафедры «Автоматизированные системы обработки информации и управления»; Laptev@ilabsltd.com.
Laptev Valeriy Victorovich — Astrakhan State Technical University; Candidate of Technical Sciences, Assistant Professor; Assistant Professor of the Department "Automated Systems of Information Processing and Management"; Laptev@ilabsltd.com.
