CC BY
55
Корректировка модели обучения на основе результатов анализа отклонений процесса обучения, проводимого на базе когнитивной и
продукционной модели
В.А. Латыпова Уфимский государственный авиационный технический университет
Аннотация: Когда в учебном курсе присутствуют сложные открытые задачи, эффективность управления процессом обучения становится крайне низкой. Это связано со скудностью собираемой по таким задачам статистики, трудностями при анализе проблем. В данной работе предлагается методика, в которой учитывается специфика сложных открытых задач. Методика позволяет преподавателю проводить подробный анализ проблем учебного курса и их источников в удобной форме и корректировать модель обучения, опираясь на результаты обучения. Методика и инструментальное средство ее реализующее были использованы в учебном процессе в Уфимском государственном авиационном техническом университете при проведении курсового проектирования по дисциплине «Проектирование автоматизированных систем обработки информации и управления». В результате использования данной методики эффективность обучения была повышена на 14%.
Ключевые слова: эффективность обучения, управление обучением, сложная открытая задача, когнитивная карта, продукционная модель, теоретико-множественное представление, банк ошибок
Введение
Проводя обучение в смешанной и дистанционной форме, и используя для контроля усвоения материала тестирование, преподаватели могут анализировать соответствующие статистики по вопросам тестов. На основе данного анализа преподаватели могут предпринимать те или иные управляющие воздействия: корректировать учебные материалы, менять вопросы в тестах и т.д. В данном случае проблем у преподавателя при управлении обучением не возникает: он видит проблемные места учебного курса и решает их. Ситуация меняется, когда в учебном курсе присутствуют сложные открытые задачи (далее СОЗ) [1], большинство которых нельзя проверить с помощью тестов. Чаще всего статистика по процессу обучения в данном случае собирается очень скудная: информация об оценке за такую задачу и о количестве попыток сдачи. На основе таких данных эффективно управлять процессом обучения невозможно. В работе [1] описано средство,
позволяющее собирать более полную информацию о процессе обучения, включая и информацию об ошибках. Однако простой анализ статистики по ошибкам, как при тестировании, для эффективного управления обучением не подходит. Может быть очень много ошибок, по сравнению с количеством вопросов, которые используются в тестировании. Это связано с тем, что работы выполняются в свободной форме, и может быть много уникальных ошибок. Поэтому необходима особая методика и инструментальное средство, учитывающие специфику СОЗ, которые позволят преподавателю проводить подробный анализ проблем учебного курса и их источников в удобной форме и корректировать модель обучения, опираясь на результаты обучения.
1 Методика анализа отклонений процесса обучения на основе использования когнитивной и продукционной модели
1.1 Построение и использование когнитивной карты решения проблемы низкой эффективности обучения при наличии СОЗ
Когнитивная карта служит для отображения некоторой ситуации или проблемы, решение которой сложно формализовать. Когнитивная карта представляет собой знаковый ориентированный граф [2]. Знаковый граф -это граф, дуги которого имеют знак «+» или «-». Узлами графа в когнитивной карте выступают факторы (переменные) проблемы, а дугами - причинно-следственные связи между ними. Если дуга имеет положительный знак, значит, увеличение значения фактора-источника приводит к увеличению значения фактора-приемника, а при уменьшении значения фактора-источника, значение фактора-приемника также уменьшается. Если дуга имеет отрицательный знак, то ситуация обратная: увеличение значения фактора-источника приводит к уменьшению значения фактора-приемника, а уменьшение значения фактора-источника приводит к увеличению значения фактора-приемника [3].
На карте всегда присутствуют целевые факторы: факторы, для которых необходимо добиться заданных значений, чтобы проблема была решена. Управление ситуацией: приведение к целевому состоянию происходит за счет других факторов: управляемых факторов, факторов, на которые можно оказать непосредственное влияние [4].
Когнитивные карты используются и для решения проблем вуза. В работе [5] представлена когнитивная карта управления качеством образования вуза в целом. В работе [6] представлена карта, моделирующая приемную кампанию университета. Однако решение проблемы низкой эффективности обучения при наличии СОЗ в существующих работах не рассматривается. Для частичного решения данной проблемы, при детальном анализе отклонений в обучении, можно использовать когнитивную карту.
Модель решения проблемы низкой эффективности обучения представляет собой знаковый ориентированный граф: М = (Ц, У, С),
где Ц - множество вершин, отображающих целевые факторы (показатели процесса обучения); У - множество вершин, отображающих управляемые факторы (источники проблем); С - множество дуг, отображающих причинно-следственные связи.
В качестве целевых факторов взяты показатели обучения, используемые в работе [7] для вычисления интегрального показателя эффективности. Множество целевых факторов имеет вид:
Ц = {Ц1, Ц2, Цз, Ц4, Ц5}, где Ц1 - повторяемость ошибок у разных студентов; Ц2 - количество попыток сдачи одной работы (этапа); Ц3 - количество ошибок; Ц4 - процент ошибок бэкграунда; Ц5 - процент ошибок оформления.
Множество управляемых факторов (источников проблем) имеет вид:
У = {У1, У2, Уз, У4, У5},
:
где У1 - ясность и полнота изложения материала; У2 - ясность комментариев к исправлению; У3 - сложность задания; У4 - пробелы в бэкграунде; У5 -невнимательность.
Для построения когнитивных карт используются различные системы. В работе [8] рассмотрены отечественные системы: «Ситуация», «Космос», «ИГЛА» и др. Однако, данные системы не имеют свободного доступа. Поэтому для построения модели была использована зарубежная онлайн программа Mental Modeler [9]. На рис.1 представлена когнитивная карта решения проблемы низкой эффективности обучения при наличии СОЗ.
Рис. 1. - Когнитивная карта решения проблемы низкой эффективности
обучения
Управление целевыми факторами происходит с помощью воздействия преподавателя на управляемые факторы, которые в свою очередь действуют на целевые. Недопустимое значение фактора Ц4 «Процент ошибок бэкграунда» говорит о том, что пробелы в бэкграунде есть у значительной части студентов, и поэтому нужно этот бэкграунд восполнить в виде дополнительного материала.
Недопустимое значение фактора Ц5 «Процент ошибок оформления» говорит о том, значительная часть студентов проявляет невнимательность, оформляя работу не так, как положено и описано в методическом обеспечении. Здесь также необходимо сформировать дополнительный материал: материал с предупреждающей информацией. Влияние на факторы Ц4 и Ц5 является самой простой задачей, по сравнению с остальными целевыми факторами, так как в данном случае действует только один управляемый фактор.
Недопустимое значение фактора Ц1 «Повторяемость ошибок у разных студентов» может говорить об одновременном влиянии трех факторов, двух факторов или влиянии только одного из трех управляемых факторов. Недопустимая повторяемость ошибок может говорить о невнимательности студентов и/или пробелах в бэкграунде, и/или отсутствии ясности и полноты изложения материала текущего курса. В данном случае нужно выделить повторяемые ошибки и дифференцировать, какой фактор оказал негативное влияние в каждом случае.
Недопустимое значение целевых факторов Ц2 и Ц3 может говорить об одновременном влиянии или всех пяти управляемых факторов, или их части. Повлиять на управляемые факторы в данном случае сложнее всего. Необходимо анализировать все ошибки, сделанные за анализируемый учебный год по задаче.
1.2 Продукционная модель поиска источников проблем обучения
На основе когнитивной карты строится продукционная модель, позволяющая определять возможные источники недопустимых значений частных показателей эффективности учебного курса.
По Поспелову [10] продукция - это выражение вида:
(Ы); В; СВ; А ^ В; СА, где N - название продукции,
В - область применения продукции,
СВ - предусловие продукции (условие применимости ядра),
Л^В - ядро продукции,
СА - постусловие продукции.
Название продукции - это порядковый номер продукции. Область применения продукции, предусловие и постусловие совпадают для всех продукций. Область применения продукции - выявление причин проблем в курсе. Предусловие продукции - преподавателем выделен этап курса, где присутствуют частные показатели эффективности с неприемлемым значением. Постусловие - вывод источника проблемы.
Продукционные правила (ядра продукций), построенные на основе когнитивной карты представлены в таблице № 1. Причину проблемы с показателем обозначим как S, нормированное значение 1-го показателя - как
/г.
Таблица № 1
Ядра продукций
№ Условие (если) Результат (то)
1 /1 < 0,37 5 = У V У4 V У5
2 /2 < 0,37 или /з < 0,37 Б = У1 V У2 V У3 V У4 V У5
3 /4 < 0,37 5 = У4
4 /5 < 0,37 Б = У5
1.3 Теоретико-множественное представление ошибок учебного курса
Теоретико-множественное представление ошибок необходимо для выборки ошибок, которые являются причиной недопустимых значений показателей обучения, в процессе выявления отклонений в значениях показателей.
В банке ошибок накапливаются ошибки по различным задачам за все учебные года, когда осуществлялась их автоматизированная проверка [1]. Множество всех ошибок по всему периоду обучения имеет вид:
А = {А/}, / = 1, 2.. т, ПАг = 0,
/=1,2..т
где А г - множество ошибок /-ой задачи по всему периоду обучения (за все учебные года); т - количество задач.
Пример диаграммы Эйлера-Венна для множества А, содержащего 3 задачи, представлен на рис.2.
Множество ошибок одной задачи по всему периоду обучения имеет
вид:
А г = {А/У},у = 1, 2.. и, П А1}
У=1,2.. и
где А у - множество ошибок /-ой задачи за у-й учебный год; и - количество учебных лет, в течение которых задача проверялась автоматизированно.
Пример диаграммы Эйлера-Венна, для представления множества ошибок по одной задаче за три учебных года, представлен на рис.3.
Рис. 3. - Множество ошибок одной задачи по всему периоду обучения
:
После того как преподаватель классифицирует ошибки, множество ошибок одной задачи за один учебный год примет вид:
Ау = В и С и В,
где В - множество ошибок бэкграунда; С - множество ошибок текущего курса; В - множество оформительных ошибок.
Диаграмма Эйлера-Венна, показывающая множество ошибок по одной задаче за один учебный год, представлена на рис.4.
Рис. 4. - Множество ошибок одной задачи за один учебный год Множество ошибок одной задачи за один учебный год, где повторяемость не равна допустимой, имеет вид:
Е = Е1 и Е2 и Е3,
где Е1 - это множество ошибок бэкграунда в БО для задачи, где повторяемость не равна допустимой; Е2 - это множество ошибок текущего курса в БО для задачи, где повторяемость не равна допустимой; Е3 - это множество оформительных ошибок в БО для задачи, где повторяемость не равна допустимой.
На рис.5 представлена диаграмма Эйлера-Венна для данного множества.
Рис.5. - Множество ошибок одной задачи за один учебный год, где повторяемость не равна допустимой
1.4 Продукционная модель поиска источников проблем обучения и их местоположения (уточненная продукционная модель)
Продукции, представленные выше, были преобразованы. Продукция №1 была разбита на три продукции, в условие был добавлен тип ошибки. Были дополнены ядра всех продукций. Теперь есть возможность выявить не только источники проблем, но их местоположение. Область применения продукции и предусловие совпадают для всех продукций, и они аналогичны предыдущей продукционной модели. Постусловие - вывод источника проблемы, а также ошибок соответствующих данной проблеме, сгруппированные по блокам. Блоки показывает места курса, содержащие проблемы. М обозначим множество ошибок, относящихся к источнику проблем.
Таблица № 2
Ядра продукций уточненной модели и множества ошибок
№ Условие Результат
1.1 /1 < 0,37 и тип= «ошибка бэкграунда» 5 = У4, М = Ех
1.2 /1 < 0,37 и тип= «ошибка тек. курса» 5 = У1, М = Е2
1.3 /1 < 0,37 и тип= «оформит. ошибка» 5 = У5, М = Е3
2 /2 < 0,37 или/3 < 0,37 5 = У1 V У2 V У3 V У4 V У5 , М = Ау
1
3 /4 < 0,37 Б = У4 , М = В
4 /5 < 0,37 Б =У5 , М = В
2 Корректирование модели обучения
После того как определены источники проблем и их местоположение для неэффективного курса, преподаватель может приступать к корректировке модели обучения. Преподаватель может выполнять следующие действия:
• изменение алгоритма обучения;
• изменение состава и содержания учебных, методических и других материалов;
• изменение комментариев к исправлению ошибок;
• изменение сложности задач и объема выполнения.
К управляющему воздействию «изменение состава и содержания учебным материалов», в зависимости от источника проблемы, относятся следующие действия преподавателя:
• редактирование теоретико-методического материала (далее ТММ) курса (источник проблемы - отсутствие ясности и полноты материалов текущего курса);
• подготовка материала или поиск существующего, пройденного студентами ранее (подготовка ТММ бэкграунда) и его редактирование (источник проблемы - пробелы в бэкграунде);
• подготовка предупреждающей информации и ее редактирование (источник проблемы - невнимательность студентов).
К управляющему воздействию «изменение алгоритма обучения» относится добавление следующих шагов:
• работа с ТММ бэкграунда;
• ознакомление с предупреждающей информацией.
Управляющие воздействия выполняются на фоне анализа преподавателем ошибок в банке ошибок, соответствующих рассматриваемой проблеме. Алгоритм корректировки модели обучения представлен на рис. 6.
Да
Выделяем подзадачу, анализируем ее проблемы
Нерешеные проблемы . есть? .
Рис.6. - Алгоритм корректировки модели обучения
При анализе соответствующего курса преподаватель видит список процессов с неприемлемыми результатами, т. е. подзадач, у которых значения целевых факторов являются недопустимыми. Далее преподаватель работает с
каждой подзадачей, содержащей отклонения: анализирует выявленные источники проблем и корректирует соответственно модель обучения.
3 Эксперимент и результаты
3.1 Эксперимент. Общее описание
Эксперимент реализовывался при проведении курсового проекта по дисциплине «Проектирование автоматизированных систем обработки информации и управления (далее АСОИУ)» в Уфимском государственном авиационном техническом университете (далее УГАТУ), на кафедре «Автоматизированные системы управления» (далее АСУ) в осеннем семестре 2014 г. Обучение проходила одна группа пятикурсников специальности «АСОИУ». Были использованы данные, полученные ранее при проведении курсового проектирования по той же дисциплине у двух групп пятикурсников специальности «АСОИУ» в осеннем семестре 2013 г. [1].
Выполнение и проверка курсового проекта проводилась дистанционно с очной защитой работы в конце.
Цель эксперимента - проверить эффективность методики корректировка модели обучения на основе результатов анализа отклонений процесса обучения, проводимого на базе когнитивной и продукционной модели.
По результатам 2013 - 2014 учебного года был получен интегральный показатель эффективности обучения Бс = 0,5, что соответствует оценке «средне». Значение показателя невысокое, чтобы его улучшить, необходимо сначала выявить проблемные этапы. В курсе 8 этапов, однако, 8-й этап связан только с корректным оформлением уже проверенной работы, и этапом является лишь формально. Поэтому рассматриваются только 7 основных этапов. По результатам расчетов, было определено, что все этапы курса
содержат проблемы. Поэтому необходима корректировка модели обучения, затрагивающая все этапы курсового проекта.
Для каждого этапа выявляются проблемы, их источники и предпринимаются соответствующие управляющие воздействия.
Для этапа №1 в результате предпринятых управляющих воздействий интегральный показатель эффективности был увеличен с 0,32 до 0,41. На рис.7 представлено изменение частных показателей.
Этап1
1
0,8
01
I 0,6
ф
| 0,4
С5
0,2 0
□ 2013-2014
□ 2014-2015
Показатель
Рис.7. - Изменение частных показателей для этапа №1 Были улучшены значения показателей: повторяемость ошибок, количество попыток сдачи. Количество попыток сдачи хоть и увеличилось, одна осталось неприемлемым. Показатели «количество ошибок» и «количество ошибок оформления» остались неизменными и имеющими недопустимое значение. Соответственно, нужна дальнейшая корректировка файла предупреждения, а также детальный анализ всех ошибок. Данный этап самый объемный по содержанию и времени выполнения из всех, поэтому улучшить эффективность обучения за одну итерацию трудновыполнимая задача. Показатель «количество ошибок бэкграунда» был ухудшен, однако это не критично, т.к. данный показатель имеет очень высокое значение.
Для этапа №2 в результате предпринятых управляющих воздействий интегральный показатель эффективности был увеличен с 0,53 до 0,61. На рис.8 представлено изменение частных показателей.
1 п
08 -
е
06 -
си
У
а X 04 -
п
0,2 -
0
Этап 2
□ 2013-2014
□ 2014-2015
Показатель
3
4
5
Рис.8. - Изменение частных показателей для этапа №2 Были улучшены значения показателей: повторяемость ошибок, количество ошибок и количество ошибок оформления. Показатель «количество попыток сдачи» остался неизменными. Данный показатель почти максимальный и улучшению не подлежит. Показатель «количество ошибок бэкграунда» был ухудшен и очень значительно, что может быть связано с увеличением пробелов из-за изменения учебных планов, уменьшения часов и др. внешних факторов. Поэтому в дальнейшем необходимо подготовить соответствующий материал так, чтобы он был более подробным и ясным.
Для этапа №3 в результате предпринятых управляющих воздействий интегральный показатель эффективности был увеличен с 0,49 до 0,52. На рис.9 представлено изменение частных показателей.
1 п
08 -
е
06 -
си
У
а X 04 -
п
0,2 -
ЭтапЗ
3
Показатель
□ 2013-2014
□ 2014-2015
0
4
5
Рис.9. - Изменение частных показателей для этапа №3 Были улучшены значения показателей: повторяемость ошибок, количество ошибок бэкграунда и оформления. Однако, показатель «повторяемость ошибки» остался недопустимым по значению. Показатель «количество попыток сдачи» остался неизменными. Данный показатель почти максимальный и улучшению не подлежит. Показатель «количество ошибок» был ухудшен. Причина неясна и требует в дальнейшем детального анализа всех ошибок. Тем более что интегральный показатель был улучшен незначительно.
Для этапа №4 в результате предпринятых управляющих воздействий интегральный показатель эффективности был увеличен с 0,49 до 0,5. На рис.10 представлено изменение частных показателей.
Этап 4
1 п
• п ИТ
I °,6--- к-
1 2 3 4 5
Показатель
□ 2°13-2°14
□ 2°14-2°15
Рис.10. - Изменение частных показателей для этапа №4 Были улучшены значения показателей: повторяемость ошибок, количество ошибок бэкграунда и оформления. Показатель «количество ошибок» остался неизменным и неприемлемым по значению. Показатель «количество попыток сдачи» был ухудшен. Причина неясна и требует в дальнейшем детального анализа всех ошибок. Тем более что интегральный показатель был улучшен незначительно.
1
Для этапа №5 в результате предпринятых управляющих воздействий интегральный показатель эффективности был увеличен с 0,55 до 0,64. На рис.11 представлено изменение частных показателей.
Этап 5
0,8
е 0,6
X
У
а X 0,4
п
0,2
0
шш
□ 2013-2014
□ 2014-2015
3 4
Показатель
Рис.11. Изменение частных показателей для этапа №5 Были улучшены значения всех показателей, кроме показателя «количество ошибок». Т.к. все показатели имеют допустимое значение, то дальнейшая корректировка этапа не требуется.
Для этапа №6 в результате предпринятых управляющих воздействий интегральный показатель эффективности был увеличен с 0,6 до 0,69. На рис.12 представлено изменение частных показателей.
Рис.12. - Изменение частных показателей для этапа №6 Были улучшены значения показателей: повторяемость ошибок, количество попыток сдачи и количество ошибок бэкграунда. Показатель
5
«количество ошибок» и «количество ошибок оформления» остались неизменными. Необходима дальнейшая корректировка файла предупреждения, т.к. показатель «количество ошибок оформления» остается менее допустимого.
Для этапа №7 в результате предпринятых управляющих воздействий интегральный показатель эффективности был увеличен с 0,56 до 0,69. На рис.13 представлено изменение частных показателей.
Этап 7
1 п
1 ^вИш
1 2 3 4 5
Показатель
Рис.13. - Изменение частных показателей для этапа №7 Были улучшены значения всех показателей, кроме показателя «количество попыток сдачи». Данный показатель почти максимальный и улучшению не подлежит. Значения всех показателей допустимы, соответственно, этап не подлежит корректировке.
Динамика изменения интегрального показателя по этапам представлена на рис.14.
□ 2013-2014
□ 2014-2015
Рис.14. Изменение интегрального показателя по всем этапам
По рисунку видно, что интегральные показатели были улучшены по всем этапам.
Интегральный показатель для курсового проектирования в целом был увеличен с 0,5 до 0,57, что соответствует 14%-му улучшению.
Выводы
Разработана методика корректировки модели обучения на основе результатов анализа отклонений процесса обучения, проводимого на базе когнитивной и продукционной модели. Использование данной методики позволяет повысить эффективность обучения при наличии СОЗ, позволяя преподавателю детально и в удобной форме анализировать выявленные проблемы учебного курса, их источники и местоположение, и на основе данной информации корректировать модель обучения.
Методика и инструментальное средство управления обучением, реализующее данную методику, были использованы в учебном процессе при проведении курсового проектирования в УГАТУ, на кафедре «АСУ». В результате проведенного эксперимента было выявлено, что применение методики позволило повысить эффективность обучения как всего курса в целом, так и его этапов.
Литература
1. Латыпова В.А. Сложные открытые задачи в смешанном и дистанционном автоматизированном обучении // Инженерный вестник Дона. 2015. №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/3211.
2. Axelrod R. Structure of decision: the cognitive maps of political elites. Princeton, New Jersey: Princeton University Press, 1976. 405 p.
3. Робертс Ф. С. Дискретные математические модели с приложениями к социальным, биологическим и экономическим задачам/ Пер. с англ. А. М. Раппопорта, С. И. Травкина. М.: Наука, 1986. 496 с.
4. Максимов В.И., Корноушенко Е.К., Качаев С.В. Когнитивные технологии для поддержки принятия управленческих решений // Распределенная конференция «Технологии информационного общества 98-Россия». URL: iis.ru/events/19981130/maximov.ru.html.
5. Сироткин Г.В. Когнитивная модель новой системы управления качеством образования вуза в целом // Технические науки — от теории к практике: сб. ст. по материалам XXIX междунар. науч.-практ. конф. № 12 (25). Новосибирск: Изд. «СибАК», 2013. С.53-68.
6. Вокуева Т. А. Решение задачи имитационного моделирования для когнитивных карт Силова // Информационные технологии в управлении и экономике. 2012. №1(9). URL: itue.ru/?p=100.
7. Латыпова В.А. Оценка эффективности процесса обучения при наличии сложных открытых задач с помощью экспертных методов // Инженерный вестник Дона. 2016. №1. URL: ivdon.ru/ru/magazine/archive/n1y2016/3540.
8. Кулинич А.А. Компьютерные системы моделирования когнитивных карт: подходы и методы // Проблемы управления. 2010. №3. С.2-16.
9. Mental Modeler URL: mentalmodeler.org (Free access).
10. Искусственный интеллект. В 3-ч кн. Кн.2. Модели и методы: Справочник. М.: Радио и связь, 1990. 304с.
References
1. Latypova V.A. Inzenernyj vestnik Dona (Rus). 2015. №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/3211.
2. Axelrod R. Structure of decision: the cognitive maps of political elites. Princeton, New Jersey: Princeton University Press, 1976. 405 p.
3. Roberts F. S. Diskretnye matematicheskie modeli s prilozheniyami k sotsial'nym, biologicheskim i ekonomicheskim zadacham [Discrete Mathematical Models, with Applications to Social, Biological, and Environmental Problems]. Per. s angl. A. M. Rappoporta, S. I. Travkina. M.: Nauka, 1986. 496 p.
4. Maksimov V.I., Kornoushenko E.K., Kachaev S.V. Raspredelennaya konferentsiya «Tekhnologii informatsionnogo obshchestva 98-Rossiya» [Conference «Information Society Technologies (IST) 98 Russia»]. URL: iis.ru/events/19981130/maximov.ru.html.
5. Sirotkin G.V. Tekhnicheskie nauki - ot teorii k praktike: sb. st. po materialam XXIX mezhdunar. nauch.-prakt. konf. № 12 (25). Novosibirsk: Izd. «SibAK», 2013. pp.53-68.
6. Vokueva T.A. Informatsionnye tekhnologii v upravlenii i ekonomike. 2012. №1 (9). URL: itue.ru/? p=100.
7. Latypova V.A. Inzenernyj vestnik Dona (Rus). 2016. №1. URL: ivdon.ru/ru/magazine/archive/n1y2016/3540.
8. Kulinich A.A. Problemy upravleniya. 2010. №3. pp.2-16.
9. Mental Modeler URL: mentalmodeler.org (Free access).
10. Iskusstvennyy intellekt. V 3-ch kn. Kn.2. Modeli i metody: Spravochnik[Artificial intelligence. Book2. Models and methods: source book]. M.: Radio i svyaz', 1990. 304p.
