CC BY
60
Educational Technology & Society 10(3) 2007
ISSN 1436-4522
Методика определения качества обучающей компоненты информационно-управляющей системы в процессе ее опытной эксплуатации
В.К. Григорьев, О.А.Аксенов, А.А. Антонов, А.В. Грушин кафедра математического обеспечения вычислительных систем Московский государственный институт радиотехники, электроники и автоматики
grigoriev@mirea.ru
АННОТАЦИЯ
В статье предлагается методика экспериментального исследования качества специальных класса компьютерных обучающих программ (КОП). Компьютерные обучающие программы этого класса создаются по авторской технологии разработки обучающих компонент информационно-управляющих систем для обучения массовых профессиональных пользователей (МММ). Описываются основные параметры, характеризующие качество обучающих компонент, предлагаются числовые характеристики для измерения качества, описываются инструментальные средства для проведения эксперимента. В статье приводятся результаты экспериментального исследования КОП и дается их анализ.
In this article a technique of experimental study of quality of the special class of computer tutoring programs (CTP) is offered. Computer tutoring programs of this class are created by authors’ technology of development of information management systems tutoring components for training of mass professional users. Basic parameters defining quality of tutoring components are described, numerical characteristics for measurement of quality are offered, instruments of experiment are described. The result of the experimental study of CTP and it’s analysis are given.
Ключевые слова
компьютерная обучающая программа, массовый профессиональный пользователь, информационно-управляющая система, качество обучающей компоненты, инструментальная система
Введение
В соответствии со спиральной моделью разработки информационно-управляющих систем (ИУС) (Стандарты, 1996, МакГоуэн К., 1993) момент внедрения систему в опытную эксплуатацию порождает ситуацию «разрыва знаний», которая характеризуется большим числом обучаемых и малым числом людей, имеющих знания о предмете обучения. Известно, эффективность использования ИУС существенно зависит от навыков работы с ИУС массовых профессиональных пользователей (МПП) (Григорьев В.К., 2003). Обучение МММ характеризуется в большей степени получением навыков, нежели знаний и, следовательно, должно основываться на деятельном подходе (Атанов Г. А, 2001). Причем, условия «разрыва знаний» требуют минимизации затрат времени на преподавание, а статус МММ требует минимизации финансовых затрат на обучение. Это обуславливает целесообразность применения для обучения МММ компьютерного обучения (в частности, дистанционного). Более того, в работе (Григорьев В.К., Кричевец А.К., 2003) выдвигается тезис об обязательности создания обучающей компоненты ИУС, причем, опережающего создания. Важнейшими характеристиками, с помощью которых можно оценить качество обучающей компоненты, являются качество обучения и время обучения. Качество обучения характеризуется такой численной величинами, как количество ошибок, а качество обучающей компоненты
характеризуется скоростью уменьшения количества ошибок в процессе обучения и времени выполнения заданий. Именно вопросам разработки методики оценки качества обучающей компоненты ИУС и анализу результатов ее использования просвещена данная статья.
Анализ обучающей компоненты (ОК) для МПП информационно-управляющей системы (ИУС) начнем с рассмотрения обобщенного интерфейса ОК.
Структура обобщенного интерфейса представлена на Рис. 1 и состоит из восьми элементов. Элементы ограниченные сплошными линиями обязательно присутствуют в каждом окне при работе ОК, а ограниченные пунктирными линиями могут отсутствовать. Элементы 1,5 представляют модель изучаемого объекта, области, в частности элемент 1 это образ ИУС. Элемент 5 содержит визуальные модели вспомогательных элементов. интерфейса. Для предоставления ситуаций используются элементы:
- Мультимедийное описание ситуации, элемент 6
- Навигация по ситуациям и заданиям, элемент 4 Непосредственно учебные агенты представлены:
- Элементами, отображающими двойственность положения пользователя в ИУС, как специалиста предметной области и как оператора ИУС - это текстовые и/или мультимедийные элементы 2,3, задание на разрешение ситуации, в терминах предметной области, и указание по выполнению задачи (текущего шага) для разрешения ситуации, в терминах ИУС;
- Указанием на ошибочные действия, элемент 7, текстовый и/или мультимедийный;
- Демонстрацией правильного разрешения ситуации, элемент 8, текстовый
и/или мультимедийный.
8
Рисунок 1. Структура обобщенного интерфейса ОК ИУС.
Естественно, в процессе проектирования конкретных ОК ИУС элементы обобщенного интерфейса могут и должны изменяться и уточняться, однако в большинстве практических реализаций ОК ИУС эти элементы присутствуют в том или ином виде.
Методика исследования
Обучающие компоненты ИУС характеризуются набором численных параметров, значения которых измеряются во время пользовательского выполнения тренажерного диалога. Этими параметрами являются:
- время выполнения последовательных шагов сценария, которое аддитивно по всем шагам сценария;
- количество ошибок выполнения шагов сценария, которое характеризует степень отклонения выполнения задания от эталонной последовательности сценария;
- информационным состоянием элементов управления (ЭУ) ИУС, которое совместно с формулировкой задачи влияет на параметры времени и ошибок. Оценка численных характеристик данных параметров, получаемая в ходе
сценарного выполнения действий обучаемых и на основе аналитической оценки сценария позволяет оптимизировать обучающие компоненты ИУС. Данная оптимизация может осуществляться при помощи следующих методов:
- определения узких мест описания ситуаций и изменения их содержания в случае несоответствия качества заданным величинам;
- заменой моделей ЭУ ИУС на более адекватные с точки зрения передачи их функциональности;
- уменьшением количества и структуры подаваемого материала.
Разработана следующая методика, позволяющая производить оценку
параметров.
Для представления данных эксперимента строятся матрицы вида:
Е н Ец — — Е Г0, если нет ошибок или шаг не выполнен , ч
ОЕ = <4г = 1,п, 1 = 1,ч‘ =\ 0 б (1.1)
11 11 I > 0, кол - во ошибок
т и т м -------- — т Го, если обучаемый не выполнил шаг , ч
От = <,Т ,г = 1,п, 1 = 1,5, =)■ * (1.2)
11 11 [ > 0, время затраченное на шаг
где рЕ - матрица ошибочных действий, рт - матрица времени прохождения элементарных шагов. Матрицы горизонтально нумеруются по обучаемым, принимавшим участие в испытании - п, а вертикально по шагам сценария - 8. Для оценки качества сценария вводится матрица выполненных шагов р8
„ „ — — „ Г1, если обучаемый выполнил шаг , ч
О5 = , г = 1,п, 1 = 1,5, <5 ={’ У (13)
[ 0, иначе
На основе данных матриц строятся столбцы частоты возникновения ошибок РЕ и среднего времени выполнения шага Рт вида:
Е ч, Е Чп
рЕ = {рЕ}■ рЕ = ^р = (рт,>■ рТ = 1т— (1.4)
Еч! Еч!
2=1
2=1
Эксперимент
С помощью специально разработанного программного обеспечения поддержки эксперимента было проведено исследование (структура которого показана на рис. 2):
- качественное сравнение результатов запоминания информации в ходе традиционного (бумажного обучения) и компьютерного (при помощи обучающих программ) обучения;
- методики изучения потенциально ошибочных мест на примере рассматриваемых моделей ИУС.
эксперимента
Анализ результатов эксперимента
Запуск обучающей программы, а затем ИУС контролировался при помощи специального программного обеспечения (ПО), которое задавало последовательность выполняемых этапов и контролировало время их выполнения. Элементарные действия обучаемого по выполнению сценария диалога обучающего компонента фиксировались на ЖБВ сервере в ходе выполнения задачи.
Экспериментальные данные служат инструментом анализа диалоговых моделей ИУС в виде обучающих программ. При этом наиболее наглядным способом анализа сценариев является графическое сравнение полученных результатов.
На основании формул (1.4) строятся графики результатов работы обучаемых с обучающим компонентом, в которых на одном листе отображаются данные
выполнения пользователем однотипных заданий, при этом актуальными с точки
зрения анализа являются задания, имеющие две и более реализации. Однотипность заданий предполагает выполнение пользователем одних и тех же функций ИУС с использованием одинаковой последовательности вершин графа диалога. На основании понятия однотипной последовательности задается понятие однотипных сценариев. Выполнение однотипных сценариев для однотипных заданий
осуществляется на базе различных входных данных, что предполагает выполнение действий с одними и теми же ЭУ ИУС с потенциально изменяющейся совокупностью данных на входе. При этом варьируются внутренние состояния ЭУ ИУС, устанавливаемые в ходе диалогового взаимодействия.
Для исключения результатов, вызванных возможными простоями по причинам не связанным с обучением, а также наиболее быстрых и наиболее медленных обучаемых в результирующих данных исключается 10% минимальных и
максимальных результатов по критерию времени выполнения данного шага.
Рисунок 3. Диаграмма среднего времени выполнения элементарных шагов диалога обучающей программы в рамках однотипной задачи
На основании диаграммы среднего времени выполнения элементарных шагов диалога (рис.3) возможно проведение оценки отдельных компонент сценарного описания модели ИУС. В частности, указанный график показывает снижение среднего времени выполнения шага за счет последовательного выполнения однотипной задачи, что говорит об обучении пользователя. При этом на следующих за второй итерацией действиях происходит общее запоминание последовательности, что отражается приближением результатов к среднему времени выполнения отдельного ЭУ, определяемого физиологическими особенностями человека.
На основании результатов эксперимента общая тенденция снижения времени выполнения элементарных шагов подтвердилась при анализе большинства заданий, включающих различное число однотипных подзаданий, что отражается преимущественно на времени выполнения первого и второго вхождения однотипного подзадания. Таким образом, применение подобного аппарата для анализа сценариев позволяет проследить сложные с точки зрения обучаемого моменты восприятия диалоговых решений модели ИУС и формулировки заданий на обучение.
Представленные на рисунке 3 диаграммы соответствуют набору однотипным подзаданий в рамках одного задания, при этом 1-й ряд соответствует первому выполнению, 2-й второму и т.д. Для наглядности подзадания 4-10 не выведены на диаграмму. Характерный пик на 1-м шаге соответствует первоначальному восприятию текста задания, резкий подъем на 6-м шаге в 1-й реализации (1-й ряд) соответствует интуитивно непонятному месту ввода параметров задания (что должно быть дополнительно разъяснено в 1-й раз), на 12-м, 13-м и 14-м интуитивно непонятному интерфейсному решению диалога ИУС, которое желательно разъяснить дополнительно.
Диаграмма среднего количества ошибок выполнения элементарных шагов (рис.3) также является информативным параметром анализа обучающих компонентов ИУС. На ее основе наиболее четко проявляются труднопонимаемые с точки зрения обучаемого места сценария. При этом приближение среднего количества ошибок или превышение порогового значения в 1 ошибку может говорить как о некорректно сформулированном тексте помощи, так и о несоответствии текста помощи или текста задания сценарному алгоритму, заложенному в диалоговую модель ИУС.
порядковый номер элементарного шага
Рисунок 4. Диаграмма среднего количества ошибок выполнения элементарных шагов диалога обучающей программы в рамках однотипной задачи
Представленные на рис. 4. диаграммы однозначно по оси абсцисс
соответствуют тем же диаграммам на рис. 3 и отличаются характеристикой шагов диалога, расположенной по оси ординат. На представленной на рис. 4. диаграмме прослеживаются сильные колебания, возникшее на 12-м шаге, объясняется тем, что интуитивно непонятное интерфейсное решение не разъясняется явно в тексте задания, а формулировка текста подсказки вызывает ряд сложностей у обучаемых.
Подобные объяснения достаточны для изменения текстовых формулировок сценария обучения, а в некоторых случаях и потенциально интерфейса пользователя, что позволяет использовать данную методику в качестве средства анализа диалоговых моделей ИУС. Проверенная на большинстве экспериментальных заданий, она показала возможность использования средств анализа ситуаций, вызывающих экстремумы экспериментальных значений, что требует корректировки исходных данных.
Заключение
Предложена методика анализа качества ОК ИУС, полученные результаты экспериментального исследования не только подтвердили правомерность применимости методики, но и позволили сделать предположение о расширении области применения методики на интерфейс ИУС.
Литература
Международные стандарты, поддерживающие жизненный цикл программных средств. М., МП «Экономика», 1996.
[МакГоуэн К., 1993] МакГоуэн К. Методология структурного анализа и проектирования. - М.: «Метатехнология», 1993.
[Григорьев В.К., 2GG3] Григорьев В.К. Подсистема обучения — обязательная компонента информационно-управляющей системы (принципы разработки, методики проектирования и реализации). - «Educational Technology & Society» 6(3) 2003, стр. 139-153
[Атанов Г.А, 2001] Атанов Г.А. Деятельностный подход в обучении. - Донецк: ЕАИ-пресс, 2001.
[Григорьев В.К., Кричевец А.К., 2003] Григорьев В.К., Кричевец А.К. Корреляция типов пользователей и методов обучения в большой распределенной информационно-управляющей системе. - «Educational Technology & Society» 6(4) 2003, стр. 194-203
