CC BY
45
УДК 004.942 ББК 32.81
О НЕКОТОРЫХ СПОСОБАХ ИЗМЕРЕНИЯ ПАРАМЕТРОВ УПРАВЛЯЮЩЕЙ ИНФОРМАЦИИ В АВТОМАТИЗИРОВАННЫХ ОБУЧАЮЩИХ СИСТЕМАХ
Тазетдинов А.Д.1
(АНО ВПО Международный банковский институт, Санкт-Петербург)
В образовательной сфере существует крайне мало количественно измеряемых параметров входной информации, на основании которых можно строить управляющие воздействия. Статья посвящена проблеме структурирования входной обучающей информации. В качестве способа структурирования предлагается использовать граф понятий учебного материала, для которого автором разработаны формальные способы измерения таких параметров как язык изложения, связность, структурированность, последовательность изложения.
Ключевые слова: автоматизированные обучающие системы, измерение параметров учебного материала, моделирование процесса обучения.
Введение
В настоящее время в связи с активным развитием Интернет-образования большую роль приобретают автоматизированные обучающие системы (АОС). Однако решение задачи автоматизации управления в образовательной сфере наталкивается на
1 Тазетдинов Андрей Дамирович, кандидат технических наук, (191_nkp@bk.ru).
308
проблему формализации и выявления управляющих воздействий, обеспечивающих требуемое поведение такого объекта управления, как обучающийся. Это связано не только с тем, что объект управления обладает множеством характеристик, имеет неопределенную структуру и параметры, а также собственные цели и мотивацию, что делает поведение такого объекта крайне сложным для прогнозирования. В отличие от автоматизированных систем управления неживыми объектами, где точно известны все параметры входной информации и управляющих сигналов (формат, структура, тип, сила и т.д.), в образовательной сфере существует крайне мало количественно измеряемых параметров входной информации, на основании которых можно строить управляющие воздействия. Недостаточное внимание, уделяемое разработчиками АОС этой проблеме, приводит к невысокой эффективности механизмов управления АОС и как следствие, неудовлетворенности обучающихся и преподавателей этими системами. Безусловно, невозможно выявить и учесть все параметры, влияющие на поведение обучающего, так как природа такого объекта управления имеет социальный характер, а его поведение в большинстве случаев зависит от влияния внешней среды. Тем не менее, чем больше параметров будет доступно количественному измерению и учету, тем эффективней будут управляющие воздействия. Многие из возможных параметров носят категориальный (качественный) характер, и для их измерения требуются новые подходы.
1. Анализ параметров обучающей информации
Рассмотрим, на какие элементы процесса обучения можно оказывать влияние посредством АОС. Процесс обучения, как управляемый процесс, выполняется в несколько этапов. Независимо от выбранной технологии и стратегии управления обучением минимально необходимым и неотъемлемым этапом является этап предъявления информации. Этот этап является определяющим для дальнейшего понимания учебного материала
(УМ), идентификации обучаемого и автоматического формирования для него набора контрольных и практических заданий [2]. Типичным примером этого этапа обучения является лекция или доклад. Следующим этапом обучения, в зависимости от стратегии обучения, идет этап многократного повторения (запоминания и понимания УМ), который может включать в себя выполнение различных практических заданий, решения математических задач и т. п. По достижении определенного уровня знаний или навыков обучение заканчивается. Механизм автоматизированного управления обучением можно изобразить в виде схемы (рис. 1).
Рис. 1. Схема управления этапом предъявления информации
На схеме входная информация х представляет собой вектор, состоящий из п смысловых единиц информации х = {х} 1 = 1, ..., п. Под смысловой единицей информации понимается сложное или простое понятие, а также конкретные формулы, теоремы, определения, аксиомы, леммы, следствия, законы, правила, события и факты, рассматриваемые в контексте УМ [3, С.70]. у - это вектор {у} результатов измерений уровня знания или понимания смысловых единиц информации х1, где каждому х1 может соответствовать 0 или более результатов измерений у. Для измерения усвоенной информации обычно используются различного вида тестовые задания с возможностью узнавания или воспроизведения (устный или письменный ответ, решение задач) отдельных единиц информации. В зависимости от обучающей системы в качестве единицы измерения
Внешняя среда
yj могут использоваться как бинарные {0, 1}, так и многобальные целочисленные или вещественные шкалы.
Процесс предъявления информации обладает некоторой длительностью t. Уровень понимания ^X(x,t) обучающимся (объектом управления - ОУ) информации x в момент времени t определяется некоторой внутренней функцией переработки информации F(^). Функция управления такой системой будет u(t) = U(x, e(t), ...), где e(t) = x -y(t) вектор рассогласования. А цель управления u (Dt) ® max или u(Ax) ® min. Единица вре-
X t
мени At и единица информации Ах являются единственными количественными величинами (или параметрами), которые могут быть реально измерены в рамках АОС и которые могут служить и служат в настоящее время формальными показателями эффективности функции управления любой АОС. Иными словами, в данном случае управление тем лучше, чем больше мы можем выдать информации за стандартное время или чем меньше мы потратим времени на выдачу стандартного объема информации.
Важности этапа предъявления информации посвящено множество работ и предложены различные математические модели, стремящиеся раскрыть структуру функции F(^). В подавляющем большинстве случаев процесс усвоения знаний описывается как функция от объема выданной информации [5], для которой приняты следующие допущения:
• усвоение одного элемента учебного материала происходит за бесконечно малый по сравнению с длительностью изучения всей дисциплины интервал времени;
• в процессе обучения обучающийся усваивает всю сообщаемую ему информацию;
• число изучаемых элементов достаточно велико;
• условия обучения (внутренние и внешние) стационарны.
К сожалению, во многих математических моделях используется только один параметр входной информации - объем (количество смысловых единиц информации). Подобное огра-
ничение в реальной жизни встречается редко. Обычно таких параметров гораздо больше, и они оказывают существенное влияние на процесс понимания и запоминания информации. В качестве параметров входной информации можно рассматривать следующие:
• объем;
• структурированность;
• связаность смысловых элементов;
• язык изложения (насыщенность специальными терминами, стиль и т. п.);
• степень новизны;
• степень сложности материала (использование сложных логических конструкций и выводов и т. п.);
• форма представления (видео, аудио, графическая, текстовая и т.д.);
• последовательность подачи (изложения или изучения).
Современные исследования в области психолингвистики и
когнитивной психологии, посвященные проблеме понимания [1, 6, 10], говорят о важности языковых конструкций, способа изложения, связности смысловых элементов, структурированности и форме представления новой информации для ее понимания и запоминания человеком. Обычно, в том числе и в АОС, учебный материал курса обучения или дисциплины представляет собой массив информации, включающий в себя набор элементов (хрестоматии, контенты, методические указания и т.д.), который делят на логические, относительно законченные части следующим образом:
1. Раздел.
1.1. Тема.
1.1.1. Параграф.
Однако восприятие информации обучающимся осуществляется посредством более мелких элементов - понятий (концептов) [6, 9], что требует рассмотрения процесса усвоения знаний с позиции теоретико-множественного подхода. Для этого возьмем некоторую предметную область, описываемую множеством
из к понятий, А = {аь а2, ..., ак}, где к е N множеству натуральных чисел. Преподаватель пытается объяснить их обучающемуся посредством множества понятий В из г элементов. Обучающийся воспринимает их посредством множества С из q понятий. Тогда любому понятию аг- е А, 1 = {1, 2,.к} можно сопоставить подмножество понятий С В, ф 0, объединенных смысло-
выми связями. Образовавшуюся структуру математически и визуально можно описать с помощью графа G¡. Обучающийся любое понятие с1] е воспринимает и понимает посредством
подмножества собственных понятий Еу с С, объединенных смысловыми связями в граф О'у. При этом подмножество Еу, в отличие от Д-, может быть равно 0. В этом случае обучающемуся требуются дополнительные разъяснения, так как понятие а1 понято им не полностью, либо не понято совсем, либо понято не правильно. Третий вариант наиболее сложный. Именно он приводит к возникновению иллюзии полного понимания УМ, в то время как это понимание искажено, иногда существенно, недостаточной информацией или неверными посылками [4]. Таким образом, входная информация воспринимается обучающимся в виде графа понятий, представляющего собой многоуровневую структуру с нелинейной топологией, которая может совпадать или не совпадать с делением на разделы, темы, параграфы. Входная информация, организованная в виде графа понятий, обеспечивает целостное представление об УМ, характеризующееся большей связанностью и структурированностью материала (от общих понятий до частных фактов) и меньшим объемом сопутствующей второстепенной информации.
Отсутствие учета многих параметров входной информации связано не только с ограниченными возможностями автоматизированных систем по формированию нестандартных творческих реакций на ответы обучающихся. АОС не могут произвольно менять форму представления УМ, эмоциональную окраску текста, структуру смысловых связей или множества понятий языка изложения [7, 8]. Пока на это способен только человек. В первую очередь это связано со сложностью их коли-
чественного измерения. Поэтому введем некоторые дополнительные, по отношению к объему и времени, величины входной информации, которые могут быть количественно измерены при использовании графа понятий для структурирования и представления УМ.
2. Способы измерения параметров
Язык изложения является одним из наиболее важных параметров, отвечающих за понимание УМ. Для измерения сложности языка изложения разделим граф УМ на подграфы по уровням иерархии, каждый из которых объединит понятийные множества, необходимые для объяснения понятий вышележащего уровня. Графы первого уровня формируются из понятий множества А. Таким образом, во множество А должны входить только сложные (не обиходные) понятия, которые могут вызвать затруднение при понимании УМ. Графы второго уровня формируются из понятий множеств В и С. Графы третьего уровня - из понятий множества Х3, необходимых для объяснения понятий множеств В и С. Графы у-го уровня - из понятий множества X, необходимых для объяснения понятий множества Х'_1. В этом случае степень сложности языка изложения будет измеряться в количестве уровней графа, где нулевому уровню сложности соответствуют графы второго уровня. То есть, чем сложнее язык изложения, тем больше шагов рекурсивного спуска требуется для объяснения предыдущих понятий. Введение этого признака позволяет выполнить анализ и итерационную оптимизацию графа понятий УМ, заключающуюся в первую очередь в уменьшении множества сложных понятий А к ® 0. Во вторую очередь, в замене множества В для тех понятий аг- у которыху(аг) > 0 так, чтобы у ® 0.
Связность смысловых элементов определяется как отношение количества элементов множества А к количеству дуг графа или графов первого уровня.
(1) 5 = п(к -1)/£
Ш:
г ’ 1=1
где п - количество графов первого уровня, к - количество элементов множества А, шг = (V = (уь V2,...VШ)) число дуг г-го графа.
Для минимального графа УМ, состоящего из графов первого и второго уровня, связность смысловых элементов будет рассчитываться по формуле
п(к -1) + £к(г -1)
(2) 5=—---------гкЧ,------,
£ шг +££ш
г =1 г=1 g=1
где к - количество графов второго уровня, разъясняющих аг понятие, шg = V = (уь у2, ., vg)) число дуг g-го графа.
Чем больше значение 5, тем больше связанность 5 ® тах. Значение 5 < 1 говорит о том, что материал слабо связан и требует реструктуризации либо разделения на части.
Структурированность. Для множества понятий А определяются связи (дуги графа) первого и второго уровня. Связи первого уровня формируют иерархическую структуру, идеальной топологией которой является дерево. Связи второго уровня обеспечивают дополнительную естественно-смысловую связанность понятий и условно считаются второстепенными. Величина показателя вычисляется из связей первого уровня, как показатель сформированности дерева (отсутствие циклов и несвязных частей) в процентном отношении. Оптимальность графа по данному показателю 5№ ® 100%.
Г(| к -1 - ш |*100)/(к -1), если | к -1 - ш |< к,
(3) 5К = <
[0, в остальных случаях,
где ш - число дуг графа.
Последовательность изложения представляет собой путь на графе УМ, включающий по возможности все вершины графа. Правильная последовательность изложения проявляется в отсутствии объяснений неизученных понятий неизученными, то
есть отсутствие неразрешимых петель на графе УМ, когда для понимания одного нового понятия требуется изучить второе понятие. При этом для понимания второго понятия требуется знание и понимание первого. Идеальная последовательность -это когда все понятия множества A объяснены, но ни одно из понятий не объяснялось два и более раз (т.е. простой путь). Обычно в излагаемом преподавателем материале петель бывает немного, поэтому в качестве единицы измерения этого параметра предлагается использовать количество петель. Оптимизация графа УМ будет заключаться в исключении петель из последовательности изложения loop ® 0.
Однако количество вершин (понятий) k' множества понятий A', входящих в путь (последовательность изложения) может не совпадать с количеством понятий множества A k Ф k. Этому может быть несколько причин. Первая - анализ знаний обучающихся (например, входной тест) показал, что часть понятий уже знакома обучающимся и дополнительное повторение не требуется. Вторая - это наличие петель в последовательность изложения. Третья - комбинация первой и второй. Предлагается следующий способ вычисления количества петель
(4) loop = k - k",
где k"- количество понятий множества понятий A , являющегося пересечением множеств А и A', A" = A n A', A" с A , k" < k.
Такие параметры входной информации, как форма представления, степень новизны и сложности УМ обычно формируются эмпирически, исходя из представлений и опыта преподавателя, и зависят от решаемой задачи. В АОС эти параметры закладываются изначально и редко изменяются. Следует различать сложность входной информации (использование сложных логических конструкций и выводов и т.п.) и сложность практических заданий и задач. Управление последними активно используется в адаптивных АОС, где группы сложности заданий сопоставляются с уровнем знаний обучающихся, показанным в определенных контрольных точках учебного курса [2].
Кроме веденных показателей входной информации в функции ^(0 необходимо учесть влияние на процесс усвоения знаний различных внешних и внутренних факторов [7, 8]. Зависимость от способа воспроизведения УМ подробно рассматривалась в [7, 8]. Тогда функция ^) принимает вид функции от целого набора параметров:
(5) цх(х,0 = /(х, Раг(0, £е(0, (,...),
где Раг(() - параметры входной информации, а £,х(0 - совокупность внешних и внутренних факторов, влияющих на обучающегося в процессе восприятия им входной информации.
Целевая функция u(x, t) = f (x, Par(t), t,...), оптимизации параметров k ® 0
управления
раскрывается
такой системой,
систему уравнений
(6) и (X, t) =
где вместо u (At) ® max
® max .
mx (x,t)
j ® 0 5 ® max str ® 100% loop ® 0
задачи выдачи максимального объема УМ или u(Ax) ® min решается задача организации
УМ.
в
3. Пример использования
В качестве примера рассмотрим такое концептуальное понятие сетевых технологий, как модель OSI (Open Systems Interconnection). Полное описание этой модели насчитывает около 1000 страниц текста, в тоже время для понимания основных идей этой модели достаточно краткого описания. Возьмем его фрагмент.
«Модель взаимодействия открытых систем OSI, иногда называемая стеком OSI - базовая основополагающая модель, описывающая структуру передачи данных от одного приложе-
ния другому. Используется как абстрактная схема описания уровневого подхода описания работы. Модель OSI состоит из семи концептуальных уровней. Каждый из этих уровней соответствует конкретной задаче, выполнению определенной части некоего алгоритма. Благодаря модели OSI становится более понятной парадигма взаимодействия сетевого оборудования и программного обеспечения. Следует также отметить, что основополагающим сегодня считается семейство протоколов TCP/IP, концепция которого идет вразрез с OSI, однако никак нельзя отметать практическую и образовательную ценность эталонной схемы взаимодействия открытых систем. Модель OSI разработана международной организацией по стандартизации ISO (International Standardization Organization). Переносить OSI в качестве проекции на существующую сетевую систему не стоит в силу некоторой идеализированности модели.
Взаимодействие уровней в этой модели - субординарное. Каждый уровень может реально взаимодействовать только с соседними уровнями (верхним и нижним, посредством интерфейсов), виртуально - только с аналогичным уровнем на другом конце линии (посредством протоколов). Под реальным взаимодействием мы подразумеваем непосредственное взаимодействие, непосредственную передачу информации, например, пересылку данных в оперативной памяти из области, отведенной одной программе, в область другой программы. При непосредственной передаче данные остаются неизменными все время. Под виртуальным взаимодействием мы понимаем опосредованное взаимодействие и передачу данных; здесь данные в процессе передачи могут уже определенным, заранее оговоренным образом видоизменяться.»
На основе этого фрагмента можно сформировать следующее множество понятий А, описывающее предметную область (для удобства в скобках показаны индексные номера элементов):
A = {модель (1), стек (2), структура (3), абстрактная схема
(4), уровневый подход (5), концептуальный уровень (6), конку-
рентная задача (7), алгоритм (8), парадигма взаимодействия сетевого оборудования (9), основополагающие (10), семейство протоколов TCP/IP (11), концепция (12), эталонная схема (13), сетевая система (14), идеализированность модели (15), суборди-нарное (16), интерфейс (17), протокол (18), данные (19), область оперативной памяти (20), опосредованное (21)}. Граф Gb построенный из элементов множества А (рис. 2), отражает совокупность смысловых связей между понятиями этого множества.
Таким образом, в результате расчетов параметров языка изложения к = 21, у = 2. По формуле (1) сумма дуг графа первого уровня С1 равна Тшг = 29. Вершины {7, 8, 10, 12, 16, 20, 21} рассматриваются как отдельные графы первого уровня, не связанные с графом С] и не имеющие дуг. Тогда п = 8, а показатель связанности смысловых элементов 5 = 5,51. Для вычисления значения параметра структурированности необходимо выде-
лить на графе О1 связи первого уровня. В данном случае частично оптимизируем граф О1, удалив из него понятия, которые не имеют смысловых связей с основной структурой графа (вершины {7, 8, 10, 12, 16, 20, 21}) и второй корень (вершины {14, іі}). В результате получаем следующий граф О1' (рис. 3). Количество дуг в графе О1' т = II, а значения параметра яїї = 45%.
Рис. 3. Частично оптимизированный граф Gг
Рассматривая граф G1 можно увидеть, что в данном контексте часть понятий дублирует другие понятия. Так, понятия (4), (13) и (15) дублируют понятие (1), (3) дублирует понятие (2), а
(5) - понятие (6) (затененные вершины на рис. 3). Подобное дублирование частично изменяет смысл основных понятий, затрудняя, тем самым, понимание сути, и приводит к неизбежному образованию петель в последовательности изложения УМ. Поэтому величина параметра loop для графа G1 становится равной количеству дублирующих вершин loop = 6.
Удалив дублирующие вершины, получаем новое множество понятий A' = {модель, стек, уровень, данные, протокол, интерфейс} и оптимизированный граф понятий G1'' (рис. 4). Жирными стрелками на графе выделены связи первого уровня, необходимые для расчета параметра структурированности str.
Рис. 4. Граф понятий GI"
Для графа G/' получились следующие результаты расчета параметров: к = 6, j = 1, n = 1, 5 = 1,7, str = 100%, loop = 0. То есть полученный граф содержит существенно меньше сложных понятий и второстепенных связей, гораздо лучше структурирован и не имеет дублирующих вершин. Таким образом, фрагмент описания модели OSI, модифицированный на основе графа G/', стал значительно проще для понимания.
«Модель взаимодействия открытых систем OSI, иногда называемая стеком OSI, представляет собой 7-уровневую структуру, разработанную Международной организацией по стандартам (Intemational Standardization Organization - ISO). Эта модель, фактически, содержит в себе 2 различные модели:
• вертикальную модель, обеспечивающую взаимодействие между соседними уровнями на одной машине;
• горизонтальную модель, обеспечивающую взаимодействие программ и процессов на различных машинах.
В горизонтальной модели двум программам требуется общий протокол для обмена данными. В вертикальной - соседние уровни обмениваются данными с использованием интерфейсов. Модель четко определяет различные уровни взаимодействия систем, дает им стандартные имена и указывает, какую работу должен делать каждый уровень. В модели OSI взаимодействие делится на семь уровней или слоев. Каждый уровень имеет дело с одной определенной частью (задачей) взаимодействия. Таким
образом, общая проблема взаимодействия делится на 7 частных проблем, каждая из которых может быть решена независимо от других».
Эффективность применения предложенной технологии для измерения параметров входной информации анализа и модификации учебных текстов может выражаться в сокращении времени, необходимого для понимания и изучения УМ. По нашим наблюдениям такое сокращение времени составляет в среднем 10% - 20 %, а в некоторых случаях, в зависимости от сложности УМ, и еще больше [9].
Заключение
В качестве выводов по изложенному материалу можно сказать следующее. Ряд проблем автоматизации управления в АОС заключаются в том, что отнесение обучаемого к слабому уровню обусловлено не только уровнем незнаний или плохими способностями обучаемого, но, прежде всего, несовпадением языков взаимодействия АОС или преподавателя с обучаемым. Именно понятийно-языковое несовпадение является одним из ключевых моментов, стимулирующих сегодня развитие социальной педагогики и активное внедрение в учебный процесс таких элементов, как форумы, чаты, wiki, социальные сайты и другие элементы для совместного обсуждения учебного материала [9].
Отсутствие учета большинства параметров входной информации позволяет рассматривать многие математические модели в приложении к процессу усвоения знаний лишь как частные случаи, либо как статистические модели, справедливые для большого количества наблюдений при стационарных внешних и внутренних условиях. В тоже время, создание математической модели процесса усвоения знаний, включающей в себя возможность учета рассмотренных в статье параметров, требует дальнейших исследований.
Определенным недостатком предлагаемых способов измерения параметров входной информации является необходимость
итерационного приближения, т.е. статистических наблюдений и реструктурирования информации для формирования оптимального графа УМ. Однако значения At и Ах также определяются эмпирическим способом на основе статистических наблюдений. Поэтому введение дополнительных измеряемых параметров позволит более точно определять характер входной информации и, тем самым, более эффективно управлять не только процессом обучения, но и другими процессами социальной сферы, где требуется детальный анализ выдаваемой информации.
Литература
1. АЛЕКСАНДРОВ И. О. Формирование структуры индивидуального знания. - М.: Изд-во «Институт психологии РАН», 2006. 560 с.
2. ЛЕОНОВА Н. М., МАРКОВСКИЙ М. В. Имитационные математические модели процессов адаптивного управления образовательной деятельностью / Под ред. А.Д. Модяева: Монография. - М.: МИФИ, 2006. - 123 с.
3. ЛЕОНТЬЕВ А. П., ГОХМАН О. Г. Проблемы управления учебным процессом (математические модели). - Рига: Зи-нанте, 1984. - 239 с.
4. НЕВОЛИН И.Ф., ПОЗИНА М.Б. Процессы понимания и когнитивной самооценки в тестовых технологиях. [Электронный ресурс]. - Режим доступа:
www.nesterova.ru/nauch/testing .pdf.
5. НОВИКОВ Д. А. Закономерности итеративного научения. М.: Институт проблем управления РАН, 1998. - 77 с.
6. СОЛСО Р. Когнитивная психология. - 6-е изд. - СПб.: Питер, 2006. - 589 с.
7. ТАЗЕТДИНОВ А.Д. Анализ математических моделей обучения в приложении к компьютерным обучающим системам репетиторского типа // Научно-технические ведомости СПбГПУ. 2008, № 3(60). - С. 191 - 196.
8. ТАЗЕТДИНОВ А Д. Математическая модель усвоения знаний для компьютерных систем репетиторского типа // Научно-технические ведомости СПбГПУ. 2008. № 4(62). -С.134 - 140.
9. ТАЗЕТДИНОВ А. Д., СТРИГУН А. И. Результаты проверки эффективности репетиторской обучающей системы // Экономика и управление. 2008. № 6. - С. 205-210.
10. ШВЫРКОВ В.Б. Введение в объективную психологию: Нейрональные основы психики: Избранные труды. - М.: Изд-во: ИП РАН 2006.- 592 с.
ROUTINES FOR MEASURING PARAMETERS OF MANAGEMENT INFORMATION IN AUTOMATED TRAINING SYSTEMS
Andrey Tazetdinov, International Institute of Banking, St Petersburg, Cand.Sc. (191_nkp@bk.ru).
In educational sphere there is lack of quantifiable parameters of input information that can be used for decision making. The article studies a problem of structuring the input learning information. As a way of structuring it is offered to use graphs of concepts in the training documentation. For such graphs the routines are developed to measure the parameters like language, connectivity, structure, and the sequence of teaching.
Keywords: automated training systems, measurement of training documentation parameters; training process modeling.
Статья представлена к публикации членом редакционной коллегии М. В. Губко
