CC BY
202
Educational Technology & Society 4(4) 2001 ISSN 1436-4522
Технология использования экспертных систем для диагностики знаний и умений
И.Н.Пустынникова Донецкий национальный университет ira@dise.donbass.com
АННОТАЦИЯ
В статье описываются различные виды экспертных систем. Обоснована целесообразность применения теоремы Байеса при построении диагностирующих и планирующих экспертных систем, рассмотрены недостатки оболочки BESS с точки зрения ее пригодности для диагностики знаний/умений обучаемых. Предложена усовершенствованная методика построения диагностирующих экспертных систем. Для определения априорных вероятностей и вероятностей подтверждения и опровержения гипотез симптомами предложены соответствующие формулы. Разработаны алгоритмы построения диагностирующих и планирующих экспертных систем. Рассмотрено построение баз знаний, как вид учебной деятельности. Предложен принципиально новый подход для диагностики знаний/умений обучаемых, который основывается не на ответах учащихся, а на тех вопросах и заданиях, которые составляют сами обучаемые при построении экспертных систем.
Ключевые слова:
Экспертные системы; диагностика знаний/умений; базы знаний; учебная деятельность.
Введение
Базисом глобального процесса информатизации общества является информатизация образования. При этом она должна опережать информатизацию других направлений общественной деятельности, поскольку именно здесь формируются социальные, психологические, общекультурные, профессиональные предпосылки информатизации общества.
Потребности общества и личности определили социальный заказ системе педагогического образования, заключающийся в подготовке учителя, в частности, учителя физики, владеющего методикой применения современных методов извлечения, обработки и систематизации знаний в учебном процессе и способного воспитать компьютерно грамотных учащихся. Однако учителя-предметники, как правило, не готовы к применению компьютеров в обучении, поскольку не владеют не только методами разработки компьютерных технологий, но и методами их использования. Для применения компьютеров не только на уроках информатики необходимо готовить преподавателей конкретных дисциплин, владеющих методами разработки и использования компьютерных технологий.
При резком увеличении объема информации в учебном процессе усложняется основная задача преподавателя - управление обучением с использованием обратной связи на основе детальной диагностики знаний и умений учащихся, выявление причин возникновения у них ошибок и разработки способов их устранения. Помощь в эффективном решении этой основной задачи могут оказать методы извлечения, хранения и представления знаний, являющиеся предметом инженерии знаний - одной из ветвей искусственного интеллекта. Использование этих методов позволяет глубже понять структуру предметных знаний, установить связи между предметными понятиями. Созданные инструментальные средства, наибольшей известностью из которых пользуются оболочки экспертных систем, позволяют применять компьютерные технологии при изучении разных учебных дисциплин.
1. Компьютерные системы, основанные на знаниях
Интеллектуальной системой, основанной на знаниях, называют такую систему, в которой с помощью логического вывода знания применяются к решению поставленных задач (Брукинг А., 1987). Иными словами, "системы, основанные на знаниях, - это системы программного обеспечения, основными структурными элементами которых являются база знаний и механизм логических выводов" (Уэно Х., 1989). Основной особенностью таких систем является то, что в этой программе предметные знания представлены в явном виде и отделены от прочих знаний программы (Уотермен Д., 1989)
Между терминами "экспертные системы" и "системы, основанные на знаниях" нет четкого различия. Определений ЭС почти столько же, сколько авторов книг и разработок по этой теме (Нейлор К., 1991, Петрушин В.А., 1992, Поспелов Г.С., 1988, Хейеса-Рота Ф., 1987, Уотермен Д., 1989, Брукинг А., 1987).
Отметим три главных момента, присущих всем авторским определениям. Прежде всего, это указание на то, что ЭС - это готовый программный продукт, используемый для решения задач. Второе - источником знаний является человек-эксперт. Третье - наличие описания области применения ЭС или характеристики класса решаемых задач.
Что касается первого момента, то, отмечая программную реализацию ЭС, авторы пытаются показать, что это не обычные программы в традиционном смысле, реализующие какой-то алгоритм, а программы получения логических выводов и заключений на заданном исходном множестве знаний. Необходимой характеристикой этих программ является наличие базы знаний, без которой невозможно решение задачи (Кокорева Л.В., 1992).
Главной задачей ЭС является фиксация знаний эксперта в определенной предметной области (Ларичев О.И., Мечитов А.И., 1989).
Описание класса задач во всех определениях трактуется также практически одинаково, поскольку подразумевается достаточный уровень сложности задач, решение которых требует участия эксперта. Круг этих задач и определяет область применения ЭС. Причем, если человек-эксперт не свободен от субъективности при принятии решений, то ЭС предполагает выдачу объективного ответа, не зависящего от личности эксперта (Кокорева Л.В., 1992).
В зависимости от назначения выделяют различные классы ЭС (Гаврилова Т.А.,, Червинская К.Р., 1992, Кокорева Л.В., 1992, Петрушин В.А., 1992, Поспелов Г.С., 1988, Хейеса-Рота Ф., 1987, Уотермен Д., 1989). В данной работе описываются:
1. Планирующие системы. Вырабатывают планы действий, которые необходимы для достижения поставленных целей.
2. Диагностирующие системы. На основании наблюдаемых симптомов делают заключения о вероятных нарушениях в системе.
Как планирующие, так и диагностирующие системы используются нами в целях обучения учащихся и диагностики их знаний и умений.
Основу любой ЭС составляют база знаний (рис. 1), машина (механизм) вывода (решатель), подсистема накопления (приобретения) знаний и подсистема объяснения (Ларичев О.И., Мечитов А.И., 1989, Петрушин В.А., 1992, Поспелов Г.С., 1988, Уэно Х., 1989, Крисевич В.С., 1990, Брукинг А., 1987).
У ЭС должно быть два режима работы (Крисевич В.С., 1990): режим приобретения знаний и режим решения задач.
В режиме приобретения знаний эксперт общается с ЭС при посредничестве инженера по знаниям (инженера-когнитолога, аналитика). Хорошо зная требования ЭС к организации знаний, аналитик получает знания от эксперта и, в соответствии с определенными правилами, загружает их в БЗ ЭС (Уотермен Д., 1989). Фактически аналитик служит интерфейсом (каналом связи) в цепочке эксперт - БЗ ЭС. Это избавляет эксперта от изучения иногда довольно сложных правил и языков представления знаний.
Знания (рис. 1) подразделяют на знания первого и второго рода. Знания первого рода (их еще называют декларативные, общедоступные, текстовые, фактические, факты) - хорошо известные, признанные в данной предметной области, общезначимые факты, явления, определения, закономерности-истины, теории, которые обычно изложены и зафиксированы, достаточно хорошо освещены в специальной литературе (книгах, статьях, учебниках, справочниках и т. п.) по данной предметной области. Но, как правило, компетентность эксперта означает нечто большее, чем владение такими общедоступными сведениями. Знания второго рода
(индивидуальные, личные, эмпирические, эвристика) - это эмпирические правила, интуитивные соображения и факты, которые, как правило, отсутствуют в литературе, но которые дают возможность опытному эксперту на основе собственного опыта, накопленного в результате многолетней практики, эффективно принимать решения даже в условиях неполных и противоречивых исходных данных. Эти личные знания в значительной степени состоят из эмпирических правил, которые называют эвристиками.
Рис.1. Структура экспертной системы
База знаний содержит информацию, необходимую для решения задач требуемого типа, в виде фактов и правил. Рабочая память отражает текущее состояние системы при решении задачи (данные о задаче и процессе ее решения). В режиме решения задач в общении с ЭС участвует конечный пользователь, которого интересует результат и способ его получения.
Применение механизма вывода к БЗ о конкретной предметной области, задаваемой экспертом, и к данным о текущей ситуации, задаваемым пользователем, дает решение требуемой задачи.
Важное значение имеет подсистема объяснения - основное отличие ЭС от других диалоговых человеко-машинных систем. Подсистема объяснения отвечает на вопросы "как" и "почему" система приняла то или иное решение. Она не дает пользователю переложить ответственность за последствия принятых решений на ЭВМ и, в то же время, завоевывает доверие пользователя, объясняя ему рациональность действий системы. Еще одной целью подсистемы объяснения является обучение пользователя, т. е. предоставление ему возможности понимания логики эксперта, заложенной в систему (Ларичев О.И., Мечитов А.И., 1989).
Но не всякую ЭС можно рассматривать в качестве обучающей программы, т. е. программы, которая управляет учебной деятельностью учащегося и выполняет (как правило, частично, если рассматривать достаточно длинный отрезок обучения) функции учителя (Машбиц Е.И., 1987). Хотя было предпринято довольно много попыток использовать ЭС для обучения, но большинство ЭС относятся не к обучающим, а к решающим системам (Машбиц Е.И., 1988). Е.И. Машбиц считает, что работа с ЭС может дать весьма значительный образовательный эффект,
обеспечить овладение соответствующими способами действий. Однако изменения в субъекте являются побочным продуктом работы с такими системами, а это значит, что мы имеем дело с какой-то иной (обычно профессиональной), но не учебной деятельностью (Машбиц Е.И., 1988). С другой стороны, автор подчеркивает, что особое внимание следует уделить усвоению системы действий, которые входят в собственно ориентировочную часть способа действий, т. е. таких действий, которые обеспечивают анализ понятий и объектов, образующих основу учебного материала, поиск путей решения задач и средств решения и т. д. (Машбиц Е.И., 1987).
Академик А.П. Ершов отметил, что "компьютер вносит в учебный процесс принципиально новые познавательные средства, в частности вычислительный эксперимент, решение задач с помощью ЭС, конструирование алгоритмов и пополнение баз знаний" (Ершов А.П., 1992). Развитием этого положения является построение баз знаний ЭС.
Поскольку "для разработки ЭС принципиально важным оказывается разработка поля знаний, когда создается некоторое полуформализованное описание основных понятий предметной области и связей между ними" (Гаврилова Т.А.,, Червинская К.Р., 1992), то, по нашему мнению, именно ориентировочная часть способа действия может быть сформирована у студентов, если они будут разрабатывать ЭС по физике, т. е. будут выполнять либо роль экспертов, либо роль аналитиков.
2. Инструментальная экспертная система (оболочка)
При построении экспертных обучающих систем (ЭОС) возможно использование как языков программирования, так и пустых оболочек экспертных систем. Последний способ является более продуктивным, поскольку практически не требует специального обучения программированию. Однако некоторые оболочки ЭС (например, GURU) являются довольно сложными для пользователей-непрограммистов, что и является главным препятствием для их использования в среде непрофессионалов.
Поскольку нашей основной задачей является подготовка учителей физики с помощью современных информационных технологий, а не обучение построению ЭС, то мы выбрали в качестве используемой оболочки BESS (Bayes Expert System Shell). Она проста в обращении, а также возможно отторжение созданной ЭОС от shell-среды. Решения в данной ЭС принимаются на основе теоремы Байеса (см. 3).
Разработана соответствующая методика (авторы - А.М. Довгялло (Довгялло
А.М., Ющенко Е.А., 1988), В.А. Петрушин (ИКТО, 1993)) использования оболочки BESS при изучении ЭС в школе. Исследовались вопросы ее использования для тестирования и диагностики знаний учащихся (Петрушин В. А., 1992, Стухлик Л., Хатомски П., 1992). Однако авторами не рассматривалась проблема использования построения баз знаний экспертных систем, как вида учебной деятельности по физике. Наше использование BESS для диагностики знаний / умений показало, что методика построения ЭС нуждается в совершенствовании (Атанов Г.А., Пустынникова И.Н., 1997а; Атанов Г.А., Пустынникова И.Н., 1998; Атанов Г.А., Пустынникова И.Н., 1995; Пустынникова И.Н., 1998; Atanov G., Pustynnikova I., 1997; Atanov G., Pustynnikova I., 1999). Подробно этот вопрос рассмотрен далее.
3. Байесовский метод принятия решений
Байесовский метод принятия решений имеет строгое математическое обоснование и на его основе возможна реализация механизма вывода, позволяющего решать задачи диагностики, тестирования и планирования (Петрушин В. А., 1992). Эти задачи характеризуются необходимостью учета неопределенности ответов обучаемых. Байесовский метод позволяет учесть эту неопределенность.
Байесовский метод основан на понимании вероятности некоторого события как некой оценки, которая приписывается ему человеком и может изменяться при получении каких-либо дополнительных сведений. Математический фундамент этого метода составляет теорема Байеса. Она рассматривает множество попарно несовместимых событий Ш, Ш, ... , ^, полное в том смысле, что одно из событий непременно наступает, и событие S с вероятностью Р^) > 0. Тогда, согласно теореме,
so
вероятность события Н. при условии, что наступило событие S, может быть вычислена по формуле:
р (и,| в) = „Р(5 I н-> Р(Н-> • (1)
X Р(в | Н;) Р(Н;)
j=1
Принята следующая терминология: события Н. называют гипотезами, Р(Н.)
Р (Н.| в)
априорными вероятностями гипотез, . - апостериорными вероятностями
б в Р (в I Н.) = Р+
гипотез, событие в - симптомом, 4 1 17 1 - вероятностями подтверждения
Н. в Р (в |~ Н.) = Р.- Н.
гипотез Н1 симптомом в, 1 1 - вероятностями опровержения гипотез Н1
симптомом в.
Для оценки влияния симптома в на гипотезу Н1 необходимо означить этот симптом, например, спросив у пользователя имеет ли место событие в. Если событие имеет место (ответ "Да"), то для вычисления новой (апостериорной) вероятности гипотезы Н1 используется формула
Р (Н. | в) = Р.+ Р(Н.) / [Р.+ Р (Н.) + Р.- (1 - Р (Н.))] (2),
а если не имеет места (ответ "Нет") - то формула
Р (Н. |~ в) = (1 - Р.+ ) Р(Н.) / [(1 - Р.+ Р (Н.) - Р.-(1 - Р (Н.))]. (3)
В случае ответа "Не знаю" апостериорная вероятность гипотезы Н. не изменяется.
Для учета неопределенности знаний пользователя при означивании симптомов необходимо расширить список его возможных ответов. Это легко сделать, предложив пользователю означивать симптом на шкале от -п до +п, где п > 1, -п соответствует "Нет", 0 - "Не знаю", а +п - "Да". Например, при п = 5, ответ пользователя "4" соответствовал бы степени уверенности "очень может быть, что "да", а ответ "-3" -"похоже, что "нет". Значение апостериорной вероятности в этом случае рассчитывают, используя кусочно-линейную интерполяцию между значениями Р(Н.), Р (Н. | в) и Р (Н. |~ в) (рис. 2).
Процесс принятия решения для одной гипотезы происходит следующим образом. Пусть Н - гипотеза, которой приписана априорная вероятность Р(Н) и
которая зависит от симптомов в1, в2, ..., вк, где к — 1. С каждым симптомом в.
связаны две вероятности: Р+ = Р (в. | Н) и Рг = Р (в. |~ Н) . Первая вероятность
характеризует степень участия симптома в данной гипотезе (например, вероятность высокой температуры (в) при заболевании гриппом (Н)), а вторая вероятность характеризует степень участия симптома в других гипотезах (продолжая предыдущий пример, это вероятность высокой температуры, если пациент болен не гриппом). Заметим, что р+ и Р.- независимы, т. е. каждая из них независимо от другой может принимать значение от 0 до 1. Если значения Р.+ , как правило, можно оценить, используя накопленные данные (истории болезней, журналы учета успеваемости и т. п.), то для Р.- это сделать практически невозможно, поэтому оценка Р.- почти всегда зависит от эксперта. Часто последнее утверждение справедливо и по отношению к Р.+ .
Рис.2. Учет неопределенности знаний пользователя
Симптомы означиваются в порядке их следования и вычисляется новое значение вероятности гипотезы. Если на вопрос о значении каждого симптома допустимы ответы "Да - Не знаю - Нет", то всего имеется 3k последовательностей ответов, которые задают различные траектории вычислений. Если отвечать всегда так, чтобы вероятность увеличивалась (уменьшалась), то получается траектория, приводящая к максимально (минимально) возможной вероятности Pmax(H) (Pmin(H)) данной гипотезы. На основании максимальной и минимальной вероятностей для каждой гипотезы устанавливаются значения верхнего и нижнего порогов. Например, в качестве верхнего порога ^ЦИ)) можно взять значение максимальной вероятности, умноженное на коэффициент 0,8, а в качестве нижнего порога ^2^)) - значение максимальной вероятности, умноженное на коэффициент
0,2 (Петрушин В.А., 1992). Гипотеза считается принятой, если траектория вычислений дает значение вероятности гипотезы, превышающее значение верхнего порога, и отвергнутой, если значение вероятности гипотезы меньше значения нижнего порога. Таким образом, все траектории вычислений разбиваются на три класса траекторий, приводящих к принятию, отвержению или неопределенности гипотезы (рис. 3).
Р Ф
Рис.3. Классификация траекторий вычислений
Непосредственное применение байесовского метода принятия решений наталкивается на требование попарной несовместимости гипотез. В настоящее время разработаны методы, позволяющие преодолевать эти трудности (Брукинг А., 1987).
4. Создание ЭС в оболочке BESS
При использовании инструментальной системы BESS создание ЭС заключается, по сути дела, в создании базы знаний (БЗ). БЗ байесовской ЭС состоит из знаний о гипотезах и знаний о симптомах.
Знания о гипотезе включают в себя имя гипотезы, текст предписания, априорные вероятности гипотезы и множество симптомов, влияющих на гипотезу, каждый из которых имеет вероятности подтверждения и опровержения этой гипотезы.
Знания о симптоме включают в себя имя симптома, текст вопроса, ответ на который позволяет определить значение симптома, текст помощи для пользователя при ответе на предлагаемый вопрос и информацию о типе ответа.
В системе BESS предусмотрены три типа ответов: альтернативный, интервальный и лингвистический. Альтернативный ответ предполагает выбор одного из трех возможных вариантов ответа: "Да" - "Не знаю" - "Нет" (ответом служит один символ "д" - "=" - "н" соответственно). Интервальный ответ предполагает выбор целого числа из заданного интервала (ответом служит число в интервале от - n до + n, где n - натуральное число, которое может принимать для разных вопросов значения от 1 до 8, причем + n соответствует "Да", 0 - "Не знаю", - n - "Нет", а все остальные -промежуточным значениям). Лингвистический тип позволяет передать "оттенки" ответов ("никогда", "почти никогда", "иногда", "часто", "очень часто", "почти всегда", "всегда"). В данном случае ответом служит одно или несколько слов (от 1 до 16 символов) из упорядоченного набора ответов. Набор состоит из нечетного числа неповторяющихся (от 3 до 17) ответов. Первый ответ соответствует значению симптома "Да", средний ответ - "Не знаю", последний - "Нет", а все остальные -промежуточным значениям симптома. Иными словами, набор позволяет постепенно перейти от "Да" к "Нет". Лингвистический тип ответа является в некоторой степени аналогом интервального.
Байесовский метод принятия решений (рис. 3) позволяет решать задачи диагностики, тестирования и планирования. Однако требования к ответам (не более 16 символов в ответе; не более 17 вариантов ответов; верхний ответ соответствует значению симптома "Да", нижний - значению симптома "Нет") налагают определенные требования на вопросы, задаваемые ЭС пользователю. Наиболее предпочтительными с точки зрения реализации ЭС являются тесты закрытого типа (тесты на соответствие; альтернативные задания; задания, предусматривающие выбор ответа; задания на перестановку), поскольку из тестов открытого типа возможна лишь реализация тестов с пропусками (если пропущено не более 16 символов), причем орфографические ошибки воспринимаются как неправильный ответ; арифметические действия воспринимаются как символы, поэтому "правильность" ответа, с точки зрения ЭС, зависит от порядка слагаемых, множителей и т. п. При использовании тестов открытого типа можно перечислить все верные ответы, но перечислить все неверные ответы невозможно. Это является основным недостатком при использовании тестов открытого типа в BESS. Бесконечного количества ответов в наборе ответов можно избежать, используя гипотезу закрытого мира, согласно которой "утверждения, которые не упомянуты ни как истинные, ни как ложные, принято относить к ложным" (Уэно Х., 1989). Иными словами, мы предлагаем определять в БЗ при использовании тестов открытого типа только правильные ответы, а все, что не определено, считать заведомо неверным.
Важной особенностью практически всех ЭС (в том числе и оболочки BESS) является наличие подсистемы объяснения. Она позволяет пользователю в процессе консультации или после ее завершения узнать, каким образом система пришла к тому или иному решению, почему она в данный момент задает именно этот вопрос. Используя клавиши управления курсором, пользователь может просматривать гипотезы текущего шага экспертизы и переходить от одного шага к другому, двигаясь как вперед, так и назад. Каждый шаг протокола, выводимого на экран, включает в себя следующую информацию: номер шага; имя симптома, активного на данном шаге; ответ, полученный на заданный вопрос; число актуальных гипотез, связанных с текущим (активным) симптомом; актуальные гипотезы. О каждой гипотезе, связанной с текущим симптомом, в протоколе хранится следующая информация: априорная вероятность; вероятность до и после ответа; статус после ответа (актуальна, принята, отвергнута); результат (вероятность увеличилась, уменьшилась или не изменилась) (например, рис. 9 - 12).
При использовании BESS для обучения учащийся может использовать подсистему объяснения для реализации обратной связи. В когнитивной психологии выделяют два вида обратной связи, в нашем случае реакции системы на ответ обучаемого: а) информационный и б) констатирующий (Kulhavy R.W., 1977). Информационная обратная связь представляет собой комментарий и оказывает определенное вспомогательное воздействие, способствующее устранению
допущенной обучаемым ошибки. По сути дела, это - подсказка. Констатирующая обратная связь - это сообщение о том, что ответ обучаемого правильный (или неправильный).
Информационная обратная связь может быть применена в BESS при использовании окна помощи, предусмотренного для каждого вопроса (рис. 7). Информация, содержащаяся в нем, может быть использована пользователем как подсказка. К сожалению, в системе не предусмотрена возможность контроля за тем, обращался или не обращался обучаемый к помощи системы.
Констатирующая обратная связь, по нашему мнению, применяется в BESS косвенно. Это объясняется тем, что увеличение или уменьшение вероятности соответствующей гипотезы на k-ом шаге свидетельствует о правильности или неправильности ответа на k-ый вопрос. Однако это не позволяет в случае неправильного ответа непосредственно определить, а "Какой же из оставшихся вариантов ответа правильный?"
5. Диагностика знаний и умений с помощью экспертных систем
В широком смысле диагностикой называют процесс поиска неисправности в системе, основанный на интерпретации данных (Хейеса-Рота Ф., 1987).
Применительно к процессу обучения диагностика означает выявление тех знаний/умений, которыми учащийся не овладел (Петрушин В.А., 1992).
При построении ЭС, предназначенных для диагностики текущего состояния знаний/умений обучаемого, возможны два подхода. Первый подход подчинен логике раскрытия темы или раздела. При этом подбираются задачи (вопросы), суммарный спектр которых, т. е. совокупность всех знаний/умений, необходимых для решения исходной задачи, покрывает соответствующую часть предметной модели обучаемого (по диагностируемой теме). Предметная модель обучаемого по физике описана в работах (Атанов Г.А., 1993; Atanov G., Martynovich К, V., 1993).
Второй подход заключается в том, что предметная модель обучаемого ограничивается спектром какой-либо задачи или набора задач, т. е. второй подход подчинен логике решения определенной задачи. Если учащийся правильно решает задачу, то считается, что текущая модель обучаемого совпадает с предметной и не требуется никаких корректировок учебного процесса. Если допущена ошибка, то задача диагностирующей системы заключается в определении тех знаний/умений, которыми обучаемый не овладел.
Принципиальным, с нашей точки зрения, является вопрос о выборе вида гипотез. Как указывалось выше, применительно к обучению, диагностика предполагает выявление разделов или отдельных понятий/умений учебной дисциплины, владение которыми со стороны обучаемого неудовлетворительно (Петрушин, 1992).
В.А. Петрушин (Петрушин В.А., 1992) при построении диагностирующих ЭС предлагает методику, которая заключается в следующем. Сформулировать гипотезы вида "обучаемый не знает/не умеет", а для оценки влияния симптома S на гипотезы этого вида означить этот симптом, используя шкалу "Да - Не знаю - Нет". Если обучаемый выполняет действие неправильно (при этом значение симптома S -"Нет"), то апостериорная вероятность гипотезы возрастает, эта гипотеза может быть принята, и система выдаст сообщение, позволяющее диагностировать знания/умения обучаемого. Если обучаемый отказался отвечать на вопрос, предложенный ЭС (при этом значение симптома S - "Не знаю"), то методика (Петрушин В.А., 1992) предполагает, что апостериорная вероятность гипотезы равна ее априорной вероятности, и траектория вычислений приводит к неопределенности гипотезы.
Описанный подход имеет существенные недостатки. Во-первых, ответ "Не знаю" имеет два смысла. Он может быть дан: а) когда обучаемый действительно не знает ответ; и б) в случае, если у обучаемого не хватает времени для обдумывания. Фактически методика реализует лишь случай б), поскольку в случае а) гипотеза "обучаемый не знает/не умеет" должна быть принята, а она остается актуальной. Во-вторых, в случае правильного решения задачи обучаемым (при этом значение симптома S - "Да") гипотеза вида "обучаемый не знает/не умеет" отвергается, а другой гипотезы нет.
Указанные выше недостатки методики (Петрушин В.А., 1992) приводят к тому, что система, построенная согласно данной методике, как при правильном решении обучаемым задачи, так и в случае отказа обучаемого от ответа выдает одно
и то же сообщение: "Нет данных для принятия решения или нет проблем!" Но это сообщение двусмысленно. Первая часть сообщения говорит о том, что гипотезы остались актуальными, но их апостериорные вероятности не превысили верхний порог, и они не могут быть приняты. Вторая же часть утверждает, что все гипотезы отвергнуты. Как показано выше, действия обучаемого, вызывающие это сообщение, могут быть принципиально различными. Сообщение, выдаваемое ЭС, не позволяет преподавателю, не обращаясь к подсистеме объяснения принятия решения или протоколу экспертизы, определить, какие действия обучаемого привели к данному результату. Обращение к подсистеме объяснения позволяет восстановить ход рассуждений обучаемого, однако этот способ является очень громоздким и требует больших затрат времени.
Для того, чтобы исключить такую ситуацию, методика построения ЭС была модернизирована (Пустынникова И.Н., 1998). Во-первых, исключается случай нехватки времени для обдумывания. Это достигается тем, что время, необходимое для работы с системой, определяется экспериментально. Это делается следующим образом. Составляются карточки, включающие те же самые вопросы и задания, которыми будет наполнена БЗ ЭС. С помощью этих карточек проводится тестирование. Обучаемым для ответов дается неограниченное время. Определяется время, за которое все учащиеся справятся с заданием. Это время считается в дальнейшем временем, достаточным для работы с ЭС. Поэтому ответ "Не знаю" рассматривается только как неспособность учащегося ответить на вопрос, предложенный ЭС. Иными словами, означивание симптома происходит по шкале "Да
- Нет".
Во-вторых, неадекватность реакции системы на правильные действия обучаемого устраняется путем включения в БЗ гипотез не только вида "обучаемый не знает/не умеет", но и вида "обучаемый знает/умеет". При этом сумма априорных вероятностей аналогичных гипотез вида "обучаемый не знает/не умеет" и вида "обучаемый знает/умеет" равняется единице, поскольку одно из выше названных событий обязательно произойдет, т. е. обучаемый либо умеет, либо не умеет что-либо делать, либо знает, либо не знает какое-либо положение учебного материала.
Правильное решение задачи приводит к уменьшению вероятности гипотез вида "обучаемый не знает/не умеет", зависящих от данного симптома, и увеличению вероятности гипотез вида "обучаемый знает/умеет", и наоборот. При этом мы считаем, что система, построенная таким образом, является диагностирующей, поскольку она выявляет знание/незнание (умение/неумение) обучаемым отдельных вопросов, в то время как тестирование, например, предполагает интегральную оценку уровня знаний обучаемого (Петрушин В.А., 1992).
ЭС могут выступать как инструмент обучения методам и способам выделения главного в учебном материале. Они могут использоваться как для традиционной диагностики знаний/умений обучаемого по его ответам на предложенные системой вопросы, так и для диагностики знаний/умений обучаемого по тем вопросам, которые он составляет при разработке БЗ ЭС. Подробно этот вопрос рассмотрен далее.
5.1. Разработка диагностирующих экспертных систем
Реализуем описанные выше подходы к диагностике знаний/умений обучаемых при разработке ЭС по физике. Исходной позицией здесь должно являться то, что ЭС выступает в качестве средства, с помощью которого организуется учебная деятельность. Основной единицей деятельности в обучении является задача. Каждую задачу можно характеризовать набором элементов и связей между ними. Условие задачи - это совокупность разрозненных и разобщенных дискретных элементов, в качестве которых выступают объекты, представления, понятия предметной области, итоги мыслительной деятельности (Кокорева Л.В., 1992).
Многие авторы (Лорьер Ж.-Л., 1991; Машбиц Е.И., 1987; Машбиц Е.И., 1988) указывают, что общим методом решения задач является разбиение задачи на подзадачи (метод сведения к подзадачам), которые совместно удовлетворяют требуемым условиям. Задача считается решенной, когда каждая из подзадач в отдельности решена (Лорьер Ж.-Л., 1991).
Процесс решения задачи разбиением ее на подзадачи можно представить в виде графа И/ИЛИ (Представление..., 1989). Каждой вершине этого графа ставится в соответствие некоторая подзадача, причем вершины графа бывают двух типов:
конъюнктивные и дизъюнктивные. Конъюнктивные вершины (тип "И") интерпретируются как сведение решения задачи к решению всех ее подзадач, которые соответствуют дочерним вершинам конъюнктивной вершины. Наличие дизъюнктивных вершин (тип "ИЛИ") интерпретируется как сведение решения задачи к решению любой из ее подзадач, которые соответствуют дочерним вершинам дизъюнктивной вершины (Уинстон П., 1980). В И/ИЛИ графе каждая вершина относится только к одному типу (либо И, либо ИЛИ).
Е.И. Машбиц выделяет два подмножества подзадач (Машбиц Е.И., 1987; Машбиц Е.И., 1988): а) самостоятельные этапы решения исходной задачи и б) подзадачи, возникающие, если обучаемый испытывает затруднения при решении подзадач а). Мы не будем их в дальнейшем разграничивать, укажем лишь, что исходную задачу мы разбиваем на элементарные подзадачи. Но поскольку любую операцию можно считать элементарной только применительно к некоторым обучающимся, а применительно к другим она может выступать как сложный способ действия (Машбиц Е.И., 1987), то уточним, что мы понимаем под элементарной подзадачей. Элементарная подзадача - это: а) этапы решения исходной задачи; б) предметные подзадачи, возникающие, если обучаемый испытывает затруднения при решении подзадач а). Иными словами, мы считаем, что обучаемый является отличником по всем остальным предметам, кроме физики. Иначе ЭС может стать очень громоздкой, из-за гипотез типа "обучаемый не умеет читать, писать, считать" и т. п.
Если при стандартном решении задачи обучаемым преподаватель в большинстве случаев может проверить лишь знание формул, то при применении ЭС возможна проверка знания всех элементов структуры задачи. Разные авторы выделяют различные элементы. Так, П. А. Шеварев (Шеварев П.А., 1966) выделяет в ней: а) характеристику данных, б) характеристику задания. Г.А. Балл (Балл Г.А., 1970) - предмет задачи и требование задачи, т. е. модель требуемого состояния предмета задачи. Л.М. Фридман (Фридман Л.М., 1977) различает: а) предметную область, т. е. класс объектов (предметов), о которых идет речь в задаче; б) отношения, связывающие объекты предметной области; в) требования задачи, т. е. что необходимо установить в результате решения задачи; г) операторы, т. е. совокупность тех действий (операций), которые надо произвести над условиями задачи, чтобы выполнить ее требования. М.В. Гамезо и В.С. Герасимова (Гамезо М.В., Герасимова В.С., 1977) выделяют: 1) объекты, о которых идет речь в задаче: а) обобщенные величины (например, путь, скорость и время); б) конкретные значения этих величин; 2) функциональные зависимости величин; 3) характер ситуаций (движение одновременное, навстречу друг другу и т. д.); 4) связи и отношения между значениями каждой величины (равно, больше, меньше и т. п.). Е.И. Машбиц (Машбиц Е.И., 1987; Машбиц Е.И., 1988) в каждой учебной задаче выделяет: а) требования, выполнение которых обеспечивает правильное решение задачи; б) объекты, определяемые условием задачи; в) их функции, или, иными словами, связи одних объектов с другими; г) указания о способах и средствах решения. Л. П. Доблаев (Доблаев Л.П., 1982) разбивает решение задачи на два этапа: понимание
(“воспринимающая” часть процесса (ориентировочная часть способа действия)) и собственно решение (исполнительная часть способа действия). Понимание включает в себя осознание вопроса задачи, выделение данных в условиях задачи, установление связей между ее данными и между данными и вопросом, выбор альтернатив, а на этой основе - обнаружение “скрытых” проблем и постановку перед собой промежуточных вопросов. Решение есть оперирование данными и результатами промежуточных действий с целью получения ответов на промежуточный и основной вопросы задачи (Доблаев Л.П., 1982).
Мы полагаем, что если задачу использовать как основу при построении ЭС, то в ней следует выделять: а) объекты, о которых идет речь в задаче (причем в качестве объектов могут выступать как предметы окружающей действительности (или их модели), так и конкретные физические величины, их характеризующие (скорость, масса и т. п.)); б) характер ситуаций (взаимодействие между предметами, характер изменения величин (увеличение, уменьшение, постоянство и т. п.)); в) отношения, связывающие объекты задачи; г) требования задачи, т. е. что необходимо установить в результате решения задачи; д) операторы, необходимые для выполнения требований задачи. Задав соответствующие вопросы, можно выяснить, выделил ли обучаемый все объекты задачи, знает ли он их определения, понял ли он, что именно происходит в задаче, знает ли он формулы, умеет ли их преобразовывать.
Отсюда мы приходим к пониманию понятия элементарной подзадачи типа б) как задачи, число объектов и операторов в которой по-возможности минимизировано. Если рассматривать трудность задачи как функцию двух показателей (Машбиц Е.И., 1987): вероятности правильного решения определенным контингентом и времени, затраченного на решение, то, элементарная задача может быть трудной из-за недостаточной сформированности соответствующего способа действия у обучаемого (влияет на вероятность правильного ответа), но она почти всегда легкая по затратам времени на ее решение (нет громоздких вычислений). Элементарная подзадача типа а), являющаяся этапом решения исходной задачи, может быть трудной как в первом, так и во втором смысле (это зависит от исходной задачи).
Разбив исходную задачу на подзадачи и выделив все ее элементы (объекты, ситуации, отношения, требования, операторы) необходимо, исходя из ее суммарного спектра, составить список гипотез вида "обучаемый не знает/не умеет" и вида "обучаемый знает/умеет" (рис. 5). Для каждой гипотезы составляется текст предписания, которое сообщает система по окончании сеанса экспертизы. Оно может иметь такой же вид, как и имя гипотезы, а может содержать дополнительную информацию (например, информацию о том, как правильно надо было ответить на вопрос или какой параграф учебника необходимо изучить обучаемому).
Затем необходимо определить множество симптомов вида "обучаемый знает/умеет".
Симптомы означиваются в результате решения подзадач. Симптом не может означиваться несколькими подзадачами, поскольку в используемой версии BESS для означивания симптома задается лишь один вопрос. Поэтому возможны случаи, когда несколько симптомов будут одинаковыми. Однако несколько симптомов могут относиться к одной гипотезе, и один симптом может участвовать в характеристике нескольких гипотез. Соответствие между симптомами и гипотезами удобно оформить в виде таблицы (табл. 1). Соответствие между симптомами и задачами можно также оформить таблицей, а можно указать номер задачи, в результате анализа решения которой происходит означивание симптома, в скобках после имени симптома.
Априорные вероятности гипотез, а также вероятности подтверждения и опровержения гипотез симптомами являются экспертными знаниями. Исследования показывают, что люди плохо определяют вероятности событий, размеры выборки и т. п. (Ларичев О.И., Мечитов А.И., 1989). На такие оценки сильно влияет личное восприятие событий. Поэтому для определения априорных вероятностей и вероятностей подтверждения и опровержения нами предложены соответствующие формулы. Ими можно воспользоваться, проведя предварительное тестирование. Причем тестовые задания должны содержать те же элементарные подзадачи, которые будут входить в БЗ ЭС.
Априорные вероятности гипотез Hi определяются по формуле (Атанов Г.А., Пустынникова И.Н., 1997а; Атанов Г.А., Пустынникова И.Н., 1995; Пустынникова И.Н., 1998):
P(Hi) = N(Hi)/N, (4)
где N(Hi) - количество обучаемых, выполнивших действие Hi, а N - общее число участников тестирования. Для быстрой проверки расчетов используется то обстоятельство, что сумма априорных вероятностей аналогичных гипотез вида "обучаемый не знает/не умеет" и вида "обучаемый знает/умеет" равняется единице, поскольку одно из выше названных событий обязательно произойдет, т. е. обучаемый либо умеет, либо не умеет что-либо делать, либо знает, либо не знает материал.
Вероятность подтверждения гипотезы Hi симптомом Sj определяется формулой (Атанов Г.А., Пустынникова И.Н., 1997а; Атанов Г.А., Пустынникова И.Н., 1995; Пустынникова И.Н., 1998):
+ N (S,) UN (Ht)
p+ (S,) = V ^U v , (5)
1 j N(Ht)
а аналогичная вероятность опровержения - формулой
N (S,) U N (~Hi)
p-(S,) = v j^U v^, (6)
* j N(~Hi)
где N(Hi) (N(~Hi)) - количество обучаемых, выполнивших (не выполнивших) действие Hi; N(S,)U N(H i) - количество обучаемых, выполнивших и действие Sj
и действие Hi; N(S,)M N(~ H i ) - количество обучаемых, выполнивших действие
Sj, но не выполнивших Hi.
Расчет вероятностей подтверждения и опровержения в отдельных случаях может быть упрощен введением понятий тождественных и противоположных гипотез и симптомов (Атанов Г.А., Пустынникова И.Н., 1997а; Атанов Г.А., Пустынникова И.Н., 1995; Пустынникова И.Н., 1998).
Назовем симптом и гипотезу тождественными, если они описывают одно и то же событие и имеют вид "обучаемый знает/умеет". Назовем симптом и гипотезу противоположными в том случае, если они описывают противоположные события (при этом симптом имеет вид "обучаемый знает/умеет", а гипотеза имеет вид "обучаемый не знает/не умеет"). Если симптом и гипотеза тождественны (противоположны), то вероятности подтверждения и опровержения гипотезы симптомом, определяемые по выше приведенным формулам, равны соответственно р+ = 1, р- = 0 (для противоположных р+ = 0, р- = 1).
Если вычисления выполнены верно, то вероятности подтверждения (опровержения) гипотез вида "обучаемый не знает/не умеет" равняются вероятностям опровержения (подтверждения) аналогичных гипотез вида "обучаемый знает/умеет".
Обобщая выше сказанное, можно предложить следующий алгоритм для построения диагностирующей ЭС (Атанов Г.А., Пустынникова И.Н., 1997а; Атанов Г.А., Пустынникова И.Н., 1998; Атанов Г.А., Пустынникова И.Н., 1997б; Атанов Г.А., Пустынникова И.Н., 1995; Пустынникова И.Н., 1998):
1. Выбрать задачу (или тему) P1, на основе которой будет осуществляться диагностика.
2. Определить те знания и умения (объекты, ситуации, отношения,
требования, операторы), которые необходимы обучаемому для решения задачи P1 (или что он должен знать и уметь после изучения выбранной темы). Иными словами, разбить задачу P1 на элементарные подзадачи, решая которые можно последовательно перебрать спектр (см. 5) исходной задачи или темы, поскольку спектр исходной задачи (темы) и суммарный спектр подзадач должны совпадать.
3. Исходя из суммарного спектра, составить список гипотез вида
"обучаемый не знает/не умеет" и вида "обучаемый знает/умеет".
4. Составить текст предписания для каждой гипотезы.
5. Определить множество симптомов вида "обучаемый знает/умеет".
6. Установить соответствие между симптомами и подзадачами, при
решении которых эти симптомы означиваются. При этом все симптомы должны означиваться хотя бы одной задачей (см. п. 2).
7. Составить таблицу соответствия "гипотезы - симптомы".
8. Определить априорные вероятности гипотез.
9. Определить вероятности подтверждения и опровержения гипотез
симптомами.
10. Наполнить базу знаний экспертными и предметными знаниями.
Механизм вывода BESS допускает одновременное принятие нескольких
гипотез. Без этой возможности создание диагностирующих ЭС представляло бы значительные трудности, поскольку по окончании сеанса диагностики должна быть получена информация о текущей предметной модели обучаемого, включающая в себя сведения о знании (или незнании) некоторого множества объектов предметной области.
5.2. Построение диагностирующей экспертной системы по молекулярной физике
Рассмотрим создание базы знаний, используя приведенный выше алгоритм, на примере следующей задачи.
Р1. В двух сосудах емкостью V! = 3 л и v2 = 5 л находятся соответственно азот под давлением р1 = 1 атм и водород под давлением р2 = 5 атм. Сосуды соединяют трубкой, объемом которой можно пренебречь. Найти установившееся давление смеси, если начальная температура газов равна температуре окружающей среды. Ответ получить в единицах СИ.
В задаче P1 на применение объединенного газового закона и закона Дальтона можно выделить следующие элементы (объекты, характер ситуаций, отношения, требования, операторы) (см. 5):
- идеальный газ;
- термодинамические параметры идеального газа;
- изотермический процесс;
- закон Бойля-Мариотта;
- закон Дальтона.
Суммарный спектр предметных знаний / умений, описывающий задачу P1, включает в себя:
- умение решать задачи на применение объединенного газового закона и закона Дальтона;
- умение определять, что температура в данном процессе останется постоянной;
- знание формулировки закона Дальтона;
- умение применять закон Дальтона;
- знание формулировки закона Бойля-Мариотта;
- умение применять закон Бойля-Мариотта;
- умение переводить литры в метры кубические;
- умение переводить атмосферы в паскали.
Задача P1 на применение объединенного газового закона и закона Дальтона может быть разбита на следующие элементарные подзадачи:
P2. Газы находятся в сосудах емкостью v1 и v2 при давлении p1 и p2. Их соединяют трубкой, объемом которой можно пренебречь. Начальная температура газов равна температуре окружающей среды 300 К. Определить температуру смеси.
P3. Выберите правильную формулировку закона Дальтона из приведенных
ниже:
Если имеется смесь идеальных газов, не вступающих в химическую реакцию,
то:
1. общее давление больше суммы давлений, создаваемых каждым газом в отдельности;
2. общее давление меньше суммы давлений, создаваемых каждым газом в отдельности;
3. общее давление равно сумме давлений, создаваемых каждым газом в отдельности.
P4. В сосуде находятся два газа, которые создают давления p1 и p2 соответственно. Найти давление смеси.
P5. Выберите правильную формулировку закона Бойля-Мариотта из приведенных ниже:
p v = const при:
1. m = const;
2. m = const и T = const;
3. T = const;
4. m = const или T = const.
P6. В сосуде емкостью v1 находится газ под давлением p1. В сосуде емкостью v2 - вакуум. Сосуды соединяют трубкой, объемом которой можно пренебречь. Найти установившееся давление газа, если начальная температура газа равна температуре окружающей среды.
P7. В сосуде емкостью v2 находится газ под давлением p2. В сосуде емкостью v1 - вакуум. Сосуды соединяют трубкой, объемом которой можно пренебречь. Найти установившееся давление газа, если начальная температура газа равна температуре окружающей среды.
P8. Переведите литры в метры кубические:
3 л = ... м3.
P9. Переведите литры в метры кубические:
5 л = ... м3.
P10. Переведите атмосферы в паскали:
1 атм = ... Па.
P11. Переведите атмосферы в паскали:
5 атм = ... Па.
P12. Переведите атмосферы в паскали:
3,5 атм = ... Па.
Полученное множество содержит 11 подзадач, которые покрывают весь спектр, порожденный исходной задачей P1. В качестве гипотез приняты следующие 1б событий:
H1 (H2) - обучаемый не умеет (умеет) решать задачи на применение объединенного газового закона и закона Дальтона;
H3 (H4) - обучаемый не умеет (умеет) определять, что температура в данном процессе останется постоянной;
H5 (Ш) - обучаемый не знает (знает) формулировку закона Дальтона;
H7 (H8) - обучаемый не умеет (умеет) применять закон Дальтона;
H9 (H10) - обучаемый не знает (знает) формулировку закона Бойля-Мариотта;
H11 (H12) - обучаемый не умеет (умеет) применять закон Бойля-Мариотта;
H13 (H14) - обучаемый не умеет (умеет) переводить литры в метры кубические;
H15 (Шб) - обучаемый не умеет (умеет) переводить атмосферы в паскали.
Текст предписания по гипотезе имеет такой же вид, как и сама гипотеза (например, текст предписания по H1: "Обучаемый не умеет решать задачи на применение объединенного газового закона и закона Дальтона").
В качестве симптомов выбраны следующие 12 событий:
51 - обучаемый умеет решать задачи на применение объединенного газового закона и закона Дальтона (означивание происходит при анализе решения задачи P1);
52 - обучаемый умеет определять, что температура в данном процессе остается постоянной (P2);
53 - обучаемый знает формулировку закона Дальтона (P3);
54 - обучаемый умеет применять закон Дальтона (P4);
55 - обучаемый знает формулировку закона Бойля-Мариотта (P5);
56 - обучаемый умеет применять закон Бойля-Мариотта ^б);
57 - обучаемый умеет применять закон Бойля-Мариотта (P7);
58 - обучаемый умеет переводить литры в метры кубические (P8);
59 - обучаемый умеет переводить литры в метры кубические (P9);
510 - обучаемый умеет переводить атмосферы в паскали (P10);
511 - обучаемый умеет переводить атмосферы в паскали (P11);
512 - обучаемый умеет переводить атмосферы в паскали (P12).
Означивание симптомов происходит в результате анализа решений задач,
номера которых указаны в скобках. Некоторые симптомы (б и 7; 8 и 9; 10, 11 и 12) одинаковы. Но поскольку задачи, с помощью которых они означиваются, отличаются числовыми данными, то в используемой версии BESS необходимо их разграничение.
Каждый из этих симптомов принимает одно из двух значений: "да" в случае правильного выполнения действия обучаемым; "нет" в случае неправильного выполнения действия обучаемым или в случае отказа обучаемого от выполнения действия.
Соответствие между гипотезами и симптомами задано табл. 1.________________
Симпто- мы \ Sj Гипо- тезы Hi 1 2 3 4 5 б 7 8 9 10 11 12
1,2 + + + + + + + + + + + +
3,4 + +
5,6 + - + + - - - - - - - -
7,8 + - + + - - - - - - - -
9,10 + - - - + + + - - - - -
11,12 + - - - + + + - - - - -
13,14 + - - - - - - + + - - -
15,16 + - - - - - - - - + + +
Табл. 1. Соответствие "гипотезы-симптомы" в предметной области решения задач на объединенный газовый закон
Априорные вероятности гипотез, вероятности подтверждения и опровержения гипотез симптомами являются экспертными знаниями. Эти вероятности были получены в результате эксперимента, специально проведенного со студентами Донецкого национального и Донецкого государственного технического университетов. В ходе эксперимента студенты решали задачи Р1- Р12 (см. выше).
Априорные вероятности гипотез определялись по формуле р(Ні) = ^Ні)/^ где ^Ні) - количество обучаемых, выполнивших действие Ні, а N - количество обучаемых, принявших участие в эксперименте ^ = 129).
Вероятность подтверждения гипотезы Ні симптомом Б] определяется формулой (5), а вероятность опровержения - формулой (6). Например,
р+(Б2)=£<мит>
P-(S2)
N(H1)
N (S2) UN (~ Ht) = N (S2) UN (H2) N(~H1) N(H2)
(7)
где N(H1) (N(~H1) = N(H2)) - количество обучаемых, которые не умеют (умеют) решать задачи на применение объединенного газового закона и закона
Дальтона; N(S2)U N(Hj ) - количество обучаемых, которые определили, что
температура газа в данном процессе постоянна (решили задачу P2), но не решили
исходную задачу P1; N(S2)UN(~ Hj ) = N(S2)U N(H2) - количество
обучаемых, которые определили, что температура газа в данном процессе постоянна и решили исходную задачу P1. Эксперимент показал, что 95 студентов не решили ни задачу P1, ни задачу P2; 8 решили задачу P1, но не решили задачу P2; 22 решили задачу P2, но не решили задачу P1; 4 решили и задачу P1, и задачу P2. Подсчеты дают N = 129; N(H1) = 95 + 22 = 117; N(~H1) = N(H2) = 8 + 4 = 12; N(S2)U N(Hj) =
22; N(S2)U N(~Hj) = N(S2)U N(H2) = 4. Таким образом:
р (H1) = 117 / 129 = 0,91; р (H2) = 12 / 129 = 0,09; р1+ (S2) = 22 / 117 = 0,19; р1- (S2) = 4 / 12 = 0,33.
Расчет вероятностей подтверждения и опровержения в отдельных случаях может быть упрощен, если использовать понятия тождественных и противоположных симптомов и гипотез (см. 5.1).
Если симптом и гипотеза тождественны (противоположны), то вероятность подтверждения гипотезы симптомом, определяемая формулой (5), р+ = 1, а вероятность опровержения гипотезы симптомом, определяемая формулой (б), р- = 0 (для противоположных р+ = 0, р- = 1).
Аналогично определяются P(Hi), pi+ и pi- для других гипотез и симптомов. Они приведены в табл. 2.
При означивании симптома используется лингвистический тип ответа, при котором правильный ответ соответствует значению симптома "Да", неправильный ответ или отказ обучаемого отвечать на предложенный вопрос соответствует значению симптома "Нет".
Созданная таким образом БЗ содержит зависимые гипотезы. Однако механизм вывода BESS допускает одновременное принятие нескольких гипотез.
Примеры построения диагностирующих ЭС описаны нами в работах (Атанов Г.А., Пустынникова И.Н., 1997а; Атанов Г. А., Пустынникова И.Н., 1997б).
5.3. Разработка планирующих экспертных систем
Диагностика знаний/умений по вопросам (см. 5) может осуществляться и при разработке планирующих ЭС (систем, которые вырабатывают планы действий для достижения поставленных целей). В этом случае студент занимает активную позицию, выступая в роли аналитика. Диагностика при этом осуществляется по вопросам, составленным учеником. Исследования показали (Доблаев Л.П., 1982), что
9l
основным приемом по осмыслению текста является постановка читателем перед собой скрытого вопроса и нахождение ответа на него. Составление БЗ дает обучаемому возможность глубже разобраться в общих и отличительных чертах изучаемых им физических явлений, процессов и законов, а преподавателю увидеть, где именно представления обучаемых ошибочны либо не совсем точны, и откорректировать их. Как показывает педагогический эксперимент, проще построить планирующую ЭС, чем диагностирующую, поскольку для определения вероятностей (априорной, подтверждения и опровержения) отпадает необходимость предварительного тестирования достаточно большой группы студентов. Для построения планирующей ЭС достаточно лишь разобраться в учебном материале.
При разработке планирующей ЭС мы предлагаем следующую методологию формирования БЗ (Атанов Г.А., Пустынникова И.Н., 1997а). В первую очередь, для данной темы определяют все понятия, изучаемые в ней. Текст предписания по гипотезе содержит название соответствующего понятия. Затем аналитик (студент) выявляет все знания (симптомы), характеризующие это понятие, т. е. существенные, общие и отличительные, необходимые и достаточные признаки понятий. При этом
\ §1 \ Н1 р(Н1)=0,9 07 Н2 р(Н2)=0,0 93 Н3 Р(Н3)=0,7 98 Н4 Р(Н4)=0,2 02 Н5 Р(Н5)=0,1 94 Н6 Р(Н6)=0,8 06 Н7 Р(Н7)=0,4 57 Н8 Р(Н8)=0,5 43
Р+ Р- Р+ Р- Р+ Р- Р+ Р- Р+ Р- Р+ Р- Р+ Р- Р+ Р-
Б1 0 1 1 0 0,08 0,15 0,15 0,08 0 0,12 0,12 0 0 0,17 0,17 0
Б2 0,19 0,33 0,33 0,19 0 1 1 0
Б3 0,79 1 1 0,79 - - - - 0 1 1 0 0,68 0,91 0,91 0,68
Б4 0,50 1 1 0,50 - - - - 0,24 0,62 0,62 0,24 0 1 1 0
Б5 0,71 1 1 0,71
Б6 0,36 0,59 0,59 0,36
Б7 0,36 0,59 0,59 0,36
Б8 0,86 1 1 0,86
Б9 0,86 1 1 0,86
Б10 0,71 1 1 0,71
Б11 0,69 1 1 0.69
Б12 0,68 1 1 0,68
Б1 0 0,13 0,13 0 0,06 0,14 0,14 0,06 0 0,11 0,11 0 0 0,13 0,13 0
Б2
Б3
Б4
Б5 0 1 1 0 0,69 0,82 0,82 0,69
Бб 0,27 0,42 0,42 0,27 0 1 1 0
Б7 0,27 0,42 0,42 0,27 0 1 1 0
Б8 0 1 1 0 - - - -
Б9 0 1 1 0 - - - -
Б10 0 1 1 0
Б11 0 1 1 0
Б12 0 1 1 0
Таблица 2. Вероятности подтверждения и опровержения гипотез симптомами
рекомендуется такая технология. Используя литературу и свой опыт (знания), аналитик сначала определяет множество характеристик (признаков), необходимых, с его точки зрения, для описания понятия. После того, как проведена характеристика всех понятий, проверяется возможность дифференциации (разделения) каждой пары понятий. Если в каком-то случае дифференциация невозможна, то уточняются характеристики понятий, позволяющие ее осуществить. Затем аналитик формирует их вероятностные оценки.
Для определения априорных вероятностей гипотез будем пользоваться соображением равновозможности. Это значит, что преподаватель, предлагая задание
студентам, может выбрать любую гипотезу из набора, имеющегося в ЭС, и вероятность выбора этих гипотез одинакова (например, вероятность того, что при работе обучаемого с экспертной системой "Виды движения материальной точки" (см. 5.4) преподаватель даст задание: "Результатом консультации с экспертной системой должно быть предписание "Тело движется равномерно по окружности", равна вероятности использования преподавателем (в качестве задания для обучаемого) любого другого предписания, заложенного в базу знаний данной экспертной системы).
Тогда априорные вероятности гипотез:
Р(Н1) = 1 / к (1 = 1, 2, ..., к), (8)
где к - общее количество гипотез (Атанов Г.А., Пустынникова И.Н., 1997а).
Для определения вероятностей подтверждения и опровержения гипотезы данным симптомом необходимо составить таблицу соответствия между гипотезами и симптомами (см., например, табл. 3), число столбцов которой соответствует числу гипотез (к), а число строк - числу симптомов (п). На пересечении строки и столбца ставится знак "+" если симптом имеет место для данной гипотезы (ответ "да" при ответе на вопрос, означивающий симптом) и знак "-" - в противоположном случае (эта же таблица упрощает проверку возможности или невозможности дифференциации гипотез с помощью данного набора симптомов).
Вероятности подтверждения гипотез различными симптомами равняются либо
0, либо 1. Если в таблице соответствия стоит знак "+", то вероятность подтверждения гипотезы симптомом равна 1, если знак "-", то - 0.
Для нахождения вероятности опровержения гипотезы симптомом Б] необходимо определить количество N знаков "+" в строке, соответствующей симптому Б], и, если вероятность подтверждения равна 1, то вычислить вероятность опровержения по формуле (Атанов, Пустынникова, 1997а):
N - 1
р- =------; (9)
к - 1
а если вероятность подтверждения гипотезы симптомом равна 0, то вычислить вероятность опровержения по формуле (Атанов Г. А., Пустынникова И.Н., 1997а):
N
р- =------; (10)
к - 1
Затем необходимо создать базу знаний, используя оболочку ЭС.
Обобщая выше изложенное, можно предложить следующий алгоритм для построения планирующей ЭС (Атанов Г. А., Пустынникова И.Н., 1997а):
1. Определить явления (гипотезы), которые надо описать, объяснить.
2. Составить текст предписания для каждой гипотезы.
3. Определить свойства (симптомы), которые характеризуют данные явления (гипотезы).
4. Составить таблицу соответствия "гипотезы - симптомы".
5. Продумать тексты вопросов, отвечая на которые пользователь означит симптомы.
6. Проверить возможность дифференциации каждой гипотезы с помощью данного набора симптомов (в случае невозможности дифференциации вернуться к п. 2).
7. Определить априорные вероятности гипотез.
8. Определить вероятности подтверждения и опровержения гипотез симптомами.
9. Создать базу знаний, используя оболочку ЭС.
5.4. Построение планирующей экспертной системы по молекулярной физике
Рассмотрим, например, создание базы знаний "Виды движения материальной точки", используя приведенный выше алгоритм.
В качестве гипотез приняты следующие виды движения материальной точки: Н1 - тело покоится;
Н2 - тело движется равномерно по прямой;
Н3 - тело движется равноускоренно по прямой;
Н4 - тело движется равнозамедленно по прямой;
Н5 - тело движется равномерно по окружности;
Н6 - тело движется равноускоренно по окружности;
Н7 - тело движется равнозамедленно по окружности;
Н8 - тело движется равномерно по кривой с уменьшающимся радиусом кривизны;
Н9 - тело движется равномерно по кривой с увеличивающимся радиусом кривизны.
Их определяют в общей совокупности 6 симптомов, являющихся признаками этих видов движения:
- тело движется;
Б2 - модуль скорости тела постоянен;
Б3 - модуль скорости тела возрастает;
Б4 - направление скорости тела постоянно;
Б5 - нормальное ускорение тела постоянно;
Б6 - нормальное ускорение тела возрастает.
Ниже приведены тексты вопросов о значении соответствующих симптомов:
1. Тело движется?
2. Модуль скорости тела постоянен?
3. Скорость тела и тангенциальная составляющая ускорения направлены в одну сторону? (Если какой-либо из этих векторов равен 0, то "НЕТ")
4. Нормальная составляющая ускорения равна 0?
5. Нормальная составляющая ускорения постоянна?
6. Нормальная составляющая ускорения возрастает?
Текст предписания по гипотезе содержит название соответствующего ей вида движения (например, текст предписания по Н2: "Тело движется равномерно по прямой").
Все виды движений равновозможны, поэтому априорные вероятности гипотез Р(Н1) = 1 / 9 = 0,1111 (1 = 1, ..., 9). Для определения вероятности подтверждения и опровержения гипотезы данным симптомом составим таблицу соответствия между гипотезами и симптомами (табл. 3), в которой "+" означает ответ "да" на выше приведенные вопросы по значению симптома, а "-" - "нет"._______________________
И / S H1 H2 H3 H4 H5 H6 H7 H 00 H9
S1 - + + + + + + + +
(N S + + - - + - - + +
S3 - - + - - + - - -
S + + + + - - - - -
S5 + + + + + - - - -
S6 - - - - - + - + -
Табл. 3. Соответствие "гипотезы-симптомы" в предметной области "Виды движения материальной точки"
Вероятности подтверждения гипотез различными симптомами равняются либо 0, либо 1. Если в табл. 3 стоит "+", то вероятность подтверждения гипотезы симптомом равна 1, если "-", то - 0.
Для нахождения вероятности опровержения гипотезы симптомом необходимо определить N - количество знаков плюс в строке Sj и, если вероятность подтверждения равна 0, то вычислить вероятность опровержения по формуле (3.5) (p-= N / (k - 1), где k - общее количество гипотез); если вероятность подтверждения равна 1, то вычислить вероятность опровержения по формуле (3.6) (p- = (N - 1) / (k -1)).
Например, вероятность подтверждения гипотезы H2 симптомом S1 p2+(S1) = 1, а вероятность опровержения гипотезы H2 симптомом S1
p2-(S1) = 7/8 = 0,875. Вероятности подтверждения и опровержения гипотез симптомами содержатся в табл. 4.
Возможности базы знаний планирующей экспертной системы "Виды движения материальной точки" описаны на информационной странице (рис. 4). Симптомы S1 - S6 означиваются в результате ответа пользователя на вопросы 1 - 6
(рис. 5, 6). Если пользователь не может ответить на вопрос, то предусмотрено использование подсказки, которая находится в окне "Помощь" (рис. 7). По окончании сеанса экспертизы система выдает предписание, которое определяет вид движения. Это должно быть либо движение, заданное преподавателем, либо движение, выбранное самим обучаемым до начала сеанса экспертизы (рис. 8). Подсистема объяснения (рис. 9 - 12) позволяет пользователю узнать, каким образом система приняла это решение.
Пример построения планирующей ЭС описан нами в работе (Атанов Г.А., Пустынникова И.Н., 1997а).
6. Использование экспертных систем в подготовке учителей физики
Как указывалось выше (см. 5), применение ЭС для диагностики может осуществляться двумя путями. Первый состоит в том, что студент работает с готовой (созданной заранее) ЭС, и диагностика осуществляется по его ответам на вопросы, поставленные системой (Атанов Г. А., Пустынникова И.Н., 1998; Пустынникова И.Н., 1998).
Второй путь заключается в том, что студент самостоятельно разрабатывает БЗ, и диагностика осуществляется по тем вопросам и заданиям, которые сконструированы самим студентом. Этот путь, по нашему мнению, является более эффективным, поскольку несет большую учебную нагрузку. Он требует от студентов самостоятельности, творческого подхода. При построении ЭС одним из основных моментов является составление вопросов, при ответе на которые означиваются симптомы. Идея о диалоге как средстве познания и о ведущей роли вопросов в диалоге рассматривается в философии. Мы постарались использовать ее в качестве центральной при диагностике знаний обучаемых путем составления ЭС, поскольку вопрос представляет собой форму движения мысли, в нем ярко выражен момент перехода от незнания к знанию, от неполного, неточного знания к более полному и более точному знанию (Лимантов Ф.С., 1971). Справедливо писал С.Л. Рубинштейн: «Возникновение вопросов - первый признак начинающейся работы мысли и зарождающегося понимания» (Рубинштейн С.Л., 1946).
Для будущих учителей особенно важно не только личное понимание предмета, но и умение донести суть изучаемого до учащихся. Хотя более важным средством углубления понимания текста являются не вопросы учителя к тексту, а владение приемами самопостановки вопросов к нему, однако нельзя недооценивать вопросы учителя, которые имеют более широкую функцию управления обучением (Доблаев Л.П., 1982). А учитель не сможет научить учеников приемам самопостановки вопросов к тексту, если он сам не владеет этими приемами.
Задания по составлению баз знаний ЭС используются при систематизации и обобщении знаний обучаемых по некоторым темам как своеобразная итоговая, зачетная работа. При таком способе диагностики знаний/умений обучаемые не просто репродуктивно воспроизводят материал, а должны систематизировать его, выделить основные понятия, правильно установить взаимосвязи между ними. Помочь студентам вникнуть в детали определений, явлений, процессов, "прочувствовать" их механизмы - это одна из целей занятий, посвященных разработке БЗ ЭС.
\ Si Ї H1 P(H1)= =0,1111 H2 p(H2)= =0,1111 H3 P(H3)= =0,1111 H4 P(H4)= =0,1111 H5 P(H5)= =0,1111 H6 P(H6)= =0,1111 H7 P(H7)= =0,1111 H8 P(H8)= =0,1111 H9 P(H9)= =0,1111
P+ P- P+ P- P+ P- P+ P- P+ P- P+ P- P+ P- P+ P- P+ P-
S1 0 1 1 0,875 1 0,875 1 0,875 1 0,875 1 0,875 1 0,875 1 0,875 1 0,875
S2 1 0,5 1 0,5 0 0,625 0 0,625 1 0,5 0 0,625 0 0,625 1 0,5 1 0,5
S3 0 0,25 0 0,25 1 0,125 0 0,25 0 0,25 1 0,125 0 0,25 0 0,25 0 0,25
S4 1 0,375 1 0,375 1 0,375 1 0,375 0 0,5 0 0,5 0 0,5 0 0,5 0 0,5
S5 1 0,5 1 0,5 1 0,5 1 0,5 1 0,5 0 0,625 0 0,625 0 0,625 0 0,625
S6 0 0,25 0 0,25 0 0,25 0 0,25 0 0,25 1 0,125 0 0,25 1 0,125 0 0,25
Таблица 4. Вероятности подтверждения и опровержения гипотез симптомами
Вопрос
Экспертная система по кинематике позволяет выяснить, знаете ли Вы характерные признаки различных видов движения, а именно:
- относительного покоя;
- равномерного движения по прямой;
- равноускоренного движения по прямой;
- равнозамедленного движения по прямой;
- равномерного движения по окружности;
- равноускоренного движения по окружности;
- равнозамедленного движения по окружности;
- равномерного движения по кривой с увеличивающимся радиусом кривизны;
- равномерного движения по кривой с уменьшающимся радиусом кривизны.
Для работы с экспертной системой Вы должны выбрать один из перечисленных выше видов движения и отвечать на вопросы таким образом, чтобы предписание, выданное в конце работы экспертной системой, совпало с названием выбранного Вами вида движения.
Если Вы не можете ответить на вопрос, предложенный экспертной системой, то нажмите "?".
Enter -
Рмир
Рис. 4. Информационная страница базы знаний «Виды движения материальной точки»
Вопрос
1. Тело движется? д
Рис. 5. Означивание симптома Б1
Рис. 6. Означивание симптома Б2
Рис.7. Окно помощи при ответе на вопрос, означивающий симптом Б2
Рис. 8. Текст предписания
КЙК Шаг : 1 Сипптоп : движение Ответ : д Число актуальных гипотез : 9
гипптгэы ППМПШк
Имя гипотезы : покой Априорная вероятность : 0.1111 Вероятность ДО ответа : 0.1111 Вероятность 00СПЕ ответа : 0.0000 Статус после ответа : отвергнута Вероятность убывает След, гипотеза 4-Пред. гипотеза t Следующий шаг ■+ Предыдущий шаг +■ Выход - Е5С
Рис. 9. Протокол сеанса экспертизы (первый шаг для первой гипотезы)
КЙК Шаг : 1 Сипптоп : движение Ответ : д Число актуальных гипотез : 9
ГИППТГ1М ППМШНк
Ипя гипотезы : рп окр Априорная вероятность : 0.1111 Вероятность ДО ответа : 0.1111 Вероятность П0С0Е ответа : 0.1250 Статус после ответа : актуальна Вероятность возрастает След, гипотеза 4 Пред. гипотеза Т Следующий шаг ■+ Предьщущий шаг +■ Выход - Е8С
Рис.10. Протокол сеанса экспертизы (первый шаг для пятой гипотезы)
КЙК Уаг : 4 Сипптоп : напр, и const Ответ : н Число актуальных гипотез : 3
гипптпм ППМПШК
Ипя гипотезы : рп окр Йприорная вероятность : 0.1111 Вероятность ДО ответа : 0.2758 Вероятность П0СПЕ ответа : 0.4324 Статус после ответа : актуальна Вероятность возрастает След, гипотеза 4 Пред. гипотеза t Следующий шаг ■+ Предыдущий шаг +■ Выход - Е$С
Рис. 11. Протокол сеанса экспертизы (четвертый шаг для пятой гипотезы)
ш Шаг : 6 Сипптоп : ап возрастает Ответ : н Число актуальных гипотез : 1
гипптгш ППМПШк
Ипя гипотезы : рп окр йприорная вероятность : 0.1111 Вероятность ДО ответа : 0.6037 Вероятность ПОСПЕ ответа : 0.6701 Статус после ответа : принята Вероятность возрастает След, гипотеза 4 Пред. гипотеза Т Следующий шаг ■+ Предыдущий шаг +■ Выход - Е8С
Рис. 12. Протокол сеанса экспертизы (шестой, последний, шаг для пятой гипотезы)
Мы считаем, что если студент сумел объяснить суть явления компьютеру, то можно быть уверенным, что он понял материал и сможет объяснить его ученикам. "Понять что-то можно и без объяснения, но объяснить что-то нельзя без понимания этого "что-то" (Фридман Л.М., 1977). Особенно важно это для будущих учителей, поскольку они, например, заучив определение формально, не вникая в суть, не смогут донести ее до своих учеников. Причем часто при формальном заучивании определения (без предварительного анализа) в памяти остаются лишь "кусочки", а "несущественные" (с точки зрения обучаемого) детали исчезают.
Диагностика по вопросам и заданиям, которые сконструированы самим студентом, позволяет проверить не просто формальное знание материала, но и степень понимания материала обучаемыми. Качество усвоения знаний обучаемым преподаватель может проверить, протестировав БЗ, предложенную обучаемым.
В случае адекватной реакции системы БЗ может в дальнейшем использоваться для традиционной формы диагностики (по ответам на предложенные системой вопросы). Иначе определяется причина неадекватности, каковой может быть неправильное применение алгоритма либо недостаточное качество усвоения предметных знаний студентом и вносятся исправления. Таким образом, данный подход позволяет диагностировать как предметные знания, так и умение строить ЭС.
При использовании готовой планирующей ЭС с целью диагностики знаний преподаватель сообщает студентам различные гипотезы, которые являются целью планирования. Задача студентов заключается в том, чтобы отвечая на вопросы, предлагаемые ЭС, добиться совпадения "предписания", выдаваемого ЭС в конце работы, с гипотезой, заданной преподавателем. Если это удалось, то, значит, студент знает, какие признаки (симптомы) характеризуют данную гипотезу, если нет - то, используя подсистему объяснения, обучаемый может самостоятельно определить, где он ошибся, и, при повторной работе с системой, успешно справиться с заданием.
Заключение
Разработаны алгоритмы построения планирующих и диагностирующих экспертных систем. Приведены примеры баз знаний экспертных систем. Приведены примеры баз знаний экспертных систем по физике. Описанная методика реализовывается при подготовке учителей физики (курс «Дидактическое проектирование компьютерных технологий обучения») в Донецком национальном университете.
Однако значение проведенной работы выходит далеко за рамки физики, поскольку предложенная технология диагностики знаний/умений путем построения экспертных систем может быть использована в любой предметной области.
Литература
[Атанов Г.А., Пустынникова И.Н., 1997а] Атанов Г.А., Пустынникова И.Н. Диагностика знаний / умений с помощью экспертных систем: Учебное пособие для студентов физического факультета. - Донецк: ДонГУ, 1997. - 64 с.
[Атанов Г.А., Пустынникова И.Н., 1998] Атанов Г.А., Пустынникова И.Н. Обучение путем построения баз знаний для экспертных систем // Искусственный интеллект. - 1998. - № 2. - С. 42 - 48.
[Атанов Г.А., Пустынникова И.Н., 1997б] Атанов Г.А., Пустынникова И.Н. Применение методов искусственного интеллекта при обучении (с иллюстрацией по физике) // Современные проблемы дидактики высшей школы: Сб. избр. трудов Междунар. конф. - Донецк: ДонГУ. - 1997. - С. 71 - 87.
[Атанов Г.А., Пустынникова И.Н., 1995] Атанов Г.А., Пустынникова И.Н. Создание экспертных систем с помощью BESS // Международная конференция "Знания - Диалог - Решение". Сборник научных трудов. - Том 2. - Крым, Ялта. - 1995.
- С. 315 - 323.
[Балл Г.А., 1970] Балл Г.А. О психологическом содержании понятия "задача" // Вопросы психологии. - 1970. - № 6. - С. 21 - 22.
[Ларичев О.И., Мечитов А.И., 1989] Выявление экспертных знаний (процедуры и реализации) / О.И. Ларичев, А.И. Мечитов, Е.М. Мошкович. Е.М. Фуремс. - М.: Наука, 1989. - 128 с.
[Гаврилова Т.А.,, Червинская К.Р., 1992] Гаврилова Т.А., Червинская К.Р. Извлечение и структурирование знаний для экспертных систем. - М.: Радио и связь, 1992. - 200 с.
[Гамезо М.В., Герасимова В.С., 1977] Гамезо М.В., Герасимова В.С. Знаковое моделирование в процессе решения учебных текстовых задач // Психологические проблемы переработки знаковой информации. - М., 1977. - С. 235 - 252.
[Кокорева Л.В., 1992] Диалоговые системы и представление знаний / Кокорева Л.В., Перевозчикова О.Л., Ющенко Е.Л.; АН Украины. Ин-т кибернетики. - К.: Наук. думка, 1992. - 448 с.
[Доблаев Л.П., 1982] Доблаев Л.П. Смысловая структура учебного текста и проблемы его понимания. - М.: Педагогика, 1982. - 176 с.
[Довгялло А.М., Ющенко Е.А., 1988] Довгялло А.М., Ющенко Е.А. Обучающие системы нового поколения // Управляющие системы и машины. - 1988. - № 1. - С. 18
- 23.
[Ершов А.П., 1992] Ершов А.П. Компьютеризация школы и математическое образование // Информатика и образование. - 1992. - № 5 - 6. - С. 3 - 12.
[ИКТО, 1993] Интеллектуализация компьютерных технологий обучения. Сб. науч. тр. - К.: АН Украины, Ин-т кибернетики им. В. Глушкова, 1993. - 58 с.
[Лимантов Ф.С., 1971] Лимантов Ф.С. О природе вопроса // Вопрос. Мнение. Человек. - Л.: Уч. записки ЛГПИ им. Герцена, 1971. - Т. 497. - С. 4 - 20.
[Лорьер Ж.-Л., 1991] Лорьер Ж.-Л. Системы искусственного интеллекта: Пер. с франц. - М.: Мир, 1991. - 568 с.
[Машбиц Е.И., 1987] Машбиц Е.И. Психологические основы управления учебной деятельностью. - К.: Вища школа, 1987. - 224 с.
[Машбиц Е.И., 1988] Машбиц Е.И. Психолого-педагогические проблемы
компьютеризации обучения: (Педагогическая наука - реформе школы). - М.: Педагогика, 1988. - 192 с.
[Нейлор К., 1991] Нейлор К. Как построить свою экспертную систему: Пер. с англ. -М.: Энергоатомиздат, 1991. - 286 с.
[Петрушин В.А., 1992] Петрушин В.А. Экспертно-обучающие системы. - К.: Наук. думка, 1992. - 196 с.
[Поспелов Г.С., 1988] Поспелов Г.С. Искусственный интеллект - основа новой информационной технологии. - М.: Наука, 1988. - 278 с. (Сер. "Академические чтения").
[Хейеса-Рота Ф., 1987] Построение экспертных систем: Пер. с англ. / Под ред. Хейеса-Рота, Д. Уотермана, Д. Лената. - М.: Мир, 1987. - 441 с.
[Уэно Х., 1989] Представление и использование знаний: Пер. с япон./ Под ред. Х. Уэно, М. Исидзука. - М.: Мир, 1989. - 220 с.
[Атанов Г.А., 1993] Програма (проект) дисципліни "Фізика" для інженерних спеціальностей вищих навчальних закладів // Укл. Г.О. Атанов, В.В. Токій, Н.М. Мартинович. - К.: ІСДО, 1993. - 28 с.
[Пустынникова И.Н., 1998] Пустынникова И.Н. Методология конструирования диагностирующей экспертной системы (на базе оболочки BESS) // Вісник Донецького університету. - Серія А. Природничі науки. - 1998. - № 1. - С. 182 - 187. [Рубинштейн С.Л., 1946] Рубинштейн С.Л. Основы общей психологии. - М., 1946. -704 с.
[Стухлик Л., Хатомски П., 1992] Стухлик Л., Хатомски П. Экспертная система, помогающая студенту диагностировать пробелы в его знаниях // Проблемы внедрения компьютерных технологий в обучение. - К.: АН Украины, Ин-т кибернетики им. В. Глушкова, 1992. - 67 с.
[Уинстон П., 1980] Уинстон П. Искусственный интеллект: Пер. с англ. - М.: Мир, 1980. - 519 с.
[Уотермен Д., 1989] Уотермен Д. Руководство по экспертным системам: Пер. с англ.
- М.: Мир, 1989. - 388 с.
[Фридман Л.М., 1977] Фридман Л.М. Логико-психологический анализ школьных учебных задач. - М.: Педагогика, 1977. - 206 с.
[Шеварев П.А., 1966] Шеварев П.А. О роли ассоциаций в процессе мышления // Исследования мышления в советской психологии. - М.: Наука, 1966. - С. 47 - 54. [Крисевич В.С., 1990] Экспертные системы для персональных компьютеров: методы, средства, реализации: Справ. пособие / В.С. Крисевич, Л.А. Кузьмич, А.М. Шиф и др. - Минск: Выш. шк., 1990. - 197 с.
[Брукинг А., 1987] Экспертные системы. Принципы работы и примеры: Пер. с англ. / А. Брукинг, П. Джонс, Ф. Кокс и др. / Под ред. Р. Форсайта. - М.: Радио и связь, 1987.
- 224 с. - (Кибернетика).
[Atanov G., Martynovich N., Tokii V., 1993] Atanov G., Martynovich N., Tokii V. The program of the physics course as a pupil model // Proc. International Conf. on Computer Technologies in Education. - Kiev. - 1993. - Pp. 138 - 139.
[Atanov G., Pustynnikova I., 1997] Atanov G., Pustynnikova I. Expert Systems Design Using the Bayesian Expert System Shell for Learning Physics // New Media and Telematic Technologies for Education in Eastern European Countries / Eds. P.A.M.Kommers, A.M.Dovgiallo, V.A.Petrushin, P.L.Brusilovsky. - Enschede: Twente University Press, 1997. - Pp. 215 - 219.
[Atanov G., Pustynnikova I., 1999] Atanov G., Pustynnikova I. Learning by constructing knowledge bases for expert systems // Proc. International Conf. on Computers in Education. - V. 2. - Chiba, Japan. - 1999. - Pp. 555 - 558.
[Kulhavy R.W., 1977] Kulhavy R.W. Feedback in written instruction // Review of Educational Research. - 1977. - V. 47. - Pp. 48 - 52.
lOl
