CC BY
48
Левинская Мария Александровна
ПРИМЕНЕНИЕ ЭКСПЕРТНОЙ СИСТЕМЫ ДЛЯ ТРАДИЦИОННОЙ ПРОВЕРКИ ЗНАНИЙ
ВВЕДЕНИЕ
На протяжении последних двадцати лет специалисты в области интеллектуальных систем ведут активные исследовательские работы по созданию и использованию экспертных систем, предназначенных для сферы образования. Появился новый класс экспертных систем - экспертные обучающие системы. Экспертная обучающая система (ЭОС) - это программа, реализующая
ту или иную педагогическую цель на основе знаний эксперта в некоторой предметной области, осуществляющая диагностику обучения и управление обучением, а также демонстрирующая поведение экспертов (специалистов-предметников, методистов, психологов). Большинство разработанных к настоящему времени систем используют достаточно ограниченные методы в организации диалога с обучаемым [8]. Вследствие этого преподаватели относятся к таким программам довольно скептически. Действительно, многие обучающие программы не лишены недостатков, если рассматривать диалог, ведущийся при проверке знаний
обучаемого и оценке его ответов. Так как проблема анализа словесных (текстовых) ответов очень сложна и удовлетворительного решения пока не имеет, в статье рассматривается наиболее формализуемая предметная область - математика, отмечаются некоторые минусы существующих обучающих программ в этой области и предложена своя модель ЭОС, осуществляющая контроль знаний ученика.
ТЕСТОВАЯ И ТРАДИЦИОННАЯ ФОРМА ПРОВЕРКИ
Для оперативного контроля знаний и умений по математике учеников средней школы достаточно давно используются дидактические материалы - специально подобранные и систематизированные упражнения. В последние годы появилась еще одна форма такого контроля - тесты. На западе, особенно в США, они используются достаточно давно. В некоторых ВУЗах уже проводятся в тестовой форме вступительные экзамены. Тесты естественно вписываются в современные педагогические концепции. Дети учатся находить свои
ошибки самостоятельно. Но тогда от привычных форм контроля вполне естественно перейти к более сжатым. Можно ограничиться только проверкой ответов, что уже происходит реально. Тогда использование тестов - совершенно естественное продолжение этой тенденции.
Вместе с тем известна негативная реакция на их использование. Она особенно усилилась у нас после того, как тестовая форма проверки стала использоваться на выпускных школьных экзаменах. Действительно, выпускные экзамены (содержание и форма) направляют работу учителя. Математическое содержание экзаменационных тестов гораздо ниже содержания традиционных заданий на экзамене. Следствие из
указанных утверждений - снижение уровня общего среднего математического образования. Учителя будут ориентировать учеников на экзаменационную тестовую проверку, а потому тесты появятся не только на экзаменах, но и на контрольных работах, а также в процессе текущего контроля. Тем самым примитивизируется содержание среднего математического образования. Кроме того, ученики перестанут и писать, и говорить на математическом языке, так как от них будет требоваться только рисовать кружочки [4].
Тестовая проверка - всего лишь средство для достижения определенных целей. Какими бы ни были тесты, они не должны быть единственным средством диагностики, применяемым в школе. Главное достоинство проверки по тестам в скорости. Но, выигрывая в скорости проверки, проигрываем, во-первых, в культуре математической речи, которую нельзя проверить с помощью тестов, во-вторых, в основательности. Ясно, что традиционная проверка по-
зволяет гораздо глубже оценить уровень знаний ученика.
КОНТРОЛЬ ЗНАНИЙ В КОМПЬЮТЕРНОЙ ОБУЧАЮЩЕЙ СИСТЕМЕ
На сегодняшний день создано огромное количество различных программ учебного назначения по многим учебным предметам, однако существенного влияния на учебный процесс это не оказывает. Компьютер в обучении используется, в основном, как заменитель традиционных дидактических средств. Упор в большинстве применяемых компьютерных программ делается на наглядность, которая с помощью компьютера реализуется чрезвычайно эффективно. Но зачастую обучение этим и ограничивается, поскольку программы являются, по сути дела, информационными или демонстрационными. Пренебрежение дидактикой, непонимание ее роли приводит к тому, что использование иных обучающих программ даже наносит вред учебному процессу. Около десяти лет назад число таких программ составляло около 90% [9]. Конечно, электронные учебно-методические пособия и средства обучения (красочно-иллюстрированные методические пособия, «рабочие тетради», «альбомы», алгоритмы, прикладные программы численных расчетов, иллюстрации и др.) могут сыграть и играют весьма значительную роль в совершенствовании процесса обучения. Аудио-визуальное представление информации, интерактивные тренажеры, виртуальные экскурсии позволяют существенно расширить возможности преподавания, создают новую коммуникативную среду в отношениях учителя и ученика. При этом охватываются все традиционные формы и выявляются новые возможности и направления: дистанционное обучение (очно-заочное), обучение определенных социальных групп населения (обучение инвалиды, реабилитационные программы и т. п.) [5]. Однако дидактический подход остается прежним, отвечающим принципам информационного обучения, - обеспечить доступность учебной информации. Для обес-
печения эффективности учебного процесса автоматизированный учебно-методический комплекс должен принципиально отличаться от текстовых учебников и задачников. Электронный учебник обязательно должен содержать средства для самоконтроля усвоения учебных материалов. Однако пока большинство электронных учебников или не имеют таких средств, или они чрезвычайно примитивны.
При наличии интерактивной компоненты в электронном учебнике также встает вопрос о форме контроля знаний - тестовая проверка или традиционная. Программы-тесты лишь частично моделируют работу учителя по проверке знаний обучаемого. Несмотря на наличие интерактивности, «директив-ность» обучающих программ с заранее заданным сценарием и обязательным контролем в заранее определенных местах является недостатком, лишающим обучаемого инициативы и накладывающая свои ограничения на ученика. Одним из таких ограничений является выбор ответа только из списка предложенных. Например, в ОС по мате-
матике это дает возможность обратной проверки, что нежелательно. Учитывая отмеченные выше минусы тестовой проверки и плюсы традиционной, можно сказать, что интерактивная компонента более совершенных программ должна моделировать традиционную форму проверки. Для этого обучающая система обязана обладать искусственным интеллектом и, следовательно, определенной базой знаний. Такой подход даст возможность проверять ответ обучаемого, введенный в произвольной форме, аналогично тому, который он может написать в тетради. Базу знаний для такой обучающей программы должен заполнить эксперт по знаниям или, по возможности, сам учитель, ис-
ходя из того, какие правила известны ученикам. В этом состоит требование адаптивности программы.
Традиционно требование адаптивности означает приспособление. Адаптация ОС это не только адаптация процесса обучения к уровню знаний, умений, но и адаптация к психологическим особенностям того или иного обучаемого [2]. Сюда относится и адаптивная форма ответа. То есть при вводе ответа ученик должен пользоваться той формой записи, к которой он привык в школе. Наиболее наглядным примером этого требования является ввод ответа 2а вместо 2* а. Также для выполнения требования адаптивности важно иметь базу легко изменяющихся текстовых сообщений. То есть необходим изменяющийся каталог ошибок, включающий ошибку, описание ошибки и сопровождающее сообщение к этой ошибке. Данное требование (адаптивности) не применимо к программе-тесту с жестко фиксированными сообщениями «верно»-«невер-но» (правильно-неправильно). К таким программам-тестам можно отнести, например, продукт «Шпаргалки» («Гуру-Софт») и продукты «Репетитор по математике» («Кирилл и Мефодий»), «Решебник по математике (для поступающих в вузы)», разработанный компанией «Руссобит-М» [6].
В некоторых продуктах, например, «Репетитор по математике» («Кирилл и Мефодий») реакция на правильный и неправильный ответ весьма разнообразна и может зависеть от выбора учителя. Это прибавляет программе адаптивности, однако ошибки пользователя никак не классифицируются на грубые и не грубые, и пользователь не получает конструктивной информации относительно введенного им ответа. Тесты не несут в себе интеллектуального ядра. То есть программы с тестовым контролем знаний интерактивны, некоторые из них адаптивны, но не интеллектуальны.
В программах Физикона «Открытый колледж», «Отрытая математика», помимо тестов (занимающих большую часть вопросов), существуют вопросы с требованием ввести ответ самостоятельно. К сожалению, выбрана не адаптивная форма ответа с соглашениями Maple - строки: степень - А и т. п.
Здесь при проверке ответа формула x = 6,5 не то же самое что x = 13/2 и x = 6 /. Ученику предлагается преобразовать все выражение. Реакции на вводимые ответы - «эквивалентно» или «не эквивалентно» без каких-либо подсказок относительно дальнейших действий.
Одной из программ с возможностью произвольного ввода ответа в общепринятой визуальной форме является программа «Курс математики Боревского» («Медиа-Хауз»). Однако даже при этом ученик сильно ограничен во вводе ответа. Попытка ввести 2 cos x sin x, вместо 2 sin x cos x, оканчивается неудачей уже при вводе cos x, так как от ученика требуется ввести ответ, полностью совпадающий с ответом методиста.
Интерактивной и интеллектуальной программой с адаптивной формой ответов (использующих математическую символику) являются программы фирмы 1C, такие как 1С-репетитор по математике. Хотя следует отметить явное отличие стиля математической символики от классических канонов школьного или вузовского учебника. При вводе ответа авторы заранее предупреждают о некоторых ограничениях ввода. Так, например, при текстовом вводе 0.5 не равно 1/2 и т.п. В формульном вводе формулы проверяются по значению, и может быть принят приближенный ответ, ответ в нестандартной форме (sqrt (0,025)). Наоборот, если объединение нескольких промежутков само является промежутком, то его следует записывать как один промежуток! В противном случае ответ будет признан ошибочным. Так, вместо [1; 2] и [2; 4] и даже [1; 2) и [2; 4], нужно писать просто [1; 4], хотя все три записи обозначают одно и то же множество [3]. Реакция на ответы, как и в большинстве обучающих систем, является не адаптивной и представляет собой два сообщения: верно-неверно (тренажеры устного счета 1С), и пользователь так же, как и в рассмотренных выше программах, не получает полезной информации относительно введенного им ответа. Учитывая, что обучающий эффект в тренирующих системах обеспечивается за счет оказания помощи пользователю в процессе решения задачи, в
примере с промежутками система должна попросить объединить промежутки и классифицировать эту ошибку как не грубую. Допущенная ошибка качественно отличается от такой ошибки, как, например, полностью неправильно введенное множество.
ПРОДУКЦИОННАЯ МОДЕЛЬ ПРОВЕРКИ
Авторами разработан ряд электронных учебников по математике: «Алгебра 7-9», «Математика абитуриенту» [1; 7], удовлетворяющих описанным выше требованиям: интерактивность, интеллектуальность, адаптивность. При построении данных систем при проверке знаний используется подход, свойственный ЭОС. Архитектура любой экспертной системы включает в себя два основных компонента: базу знаний и программный инструмент доступа и обработки знаний, состоящий из механизмов вывода заключений (решения), приобретения знаний, объяснения получаемых результатов и интеллектуального интерфейса. В данном случае база знаний - это каталог ошибок, которые может допустить школьник. Механизм вывода заключений - это классификатор ответа по ошибке. Обмен данными между обучаемым и ЭОС выполняет программа интеллектуального интерфейса, которая воспринимает сообщения обучаемого и преобразует их в форму представления базы знаний и, наоборот, переводит внутреннее представление результата обработки в формат обучаемого и выдает сообщение на экран. Важнейшим требованием к организации диалога обучаемого с ЭОС является естественность. Важно, чтобы последовательность действий при решении задачи была гибкой, соответствовала представлениям обучаемого и велась в профессиональных терминах. Проверка знаний в системах организована следующим способом: от ученика прячется вся формула, ее часть или несколько частей формулы (в зависимости от контекста задачи). Ученик должен будет ввести недостающие части формул при самостоятельном ре-
Рисунок 1.
шении задачи, в порядке, необходимом для получения ответа. На рисунке 1 показан пример нерешенной задачи с CD ROM [7]. Принципы, по которым прячутся формулы, выработаны преподавателями. Так, например, в формулах, являющихся ответами к уравнениям и неравенствам, важно, чтобы обучаемый не знал заранее количество решений и имел возможность ввести весь ответ целиком как набор выражений. В прилагаемой к статье программе даны примеры интерактивных формул, которые применяются для создания задач в названных выше ЭУ [1; 7]. Так, в первом примере требуется вписать первый множитель в формуле разности квадратов, где изначально стоит символ «?» (рисунок 2).
Формула квадрата разности:
а2 Ь2= f) Л I Ь)
Рисунок 2.
При таком подходе к проверке знаний ученика исключается перебор вариантов и возможность обратной проверки. Ответ вводится в произвольной форме, причем, соблюдается требование адаптивности, форма записи максимально приближена к записи ответа в тетради, включая лексикографические правила записи формул.
Проверка формул осуществляется интеллектуально. Сравнение ответа, введен-
ного пользователем, и правильного ответа осуществлено как унификация в языках искусственного интеллекта. Правила преобразования формулы в эквивалентную - это правила вывода А В. Если правильную (эталонную) формулу можно унифицировать с А и при таком сопоставлении и унификации внутренних переменных заданную учеником формулу можно унифицировать с правой частью правила В, то ошибка классифицирована. Другими словами, для каждого правила из базы знаний происходит проверка на применимость: выполняется операция сопоставления с образцом, аналогичная методу унификации в алгоритмических языках логического программирования и рекурсивных функций. Если унификация успешна, то выдается соответствующее этой ошибке сообщение.
Для реализованной таким образом проверки формулы 2ху и 2ух полностью эквивалентны, однако 3/5 и 6/10, несмотря на численное равенство, не являются эквивалентными: требуется сократить дробь, и программа сообщает об этом пользователю (см. рисунок 3). В демо-версии проверки формул в третьем примере (на нахождение производной функции) эталонным выражением является 4х + 2, однако пользователь имеет право ввести 2 + 4х, а на выражение 4х + 1 + 1 - система выдает сообщение «Упростите выражение» (рисунок 4).
Рисунок 3.
понент: активном, включающей в себя набор информационных сообщений, выдаваемых обучаемому в процессе работы, зависящих от конкретного пути решения задачи, полностью определяемых системой (например: «Проверьте знаки», «Сократите дробь»), и пассивной, ориентированной на инициализирующие действия обучаемого (например: «Заполните пропуск»). Работа активной компоненты в демо-версии показана на рисунке 5: ввод выражения а + Ь вместо а - Ь. Работу пассивной
Г| '-ч-Иг ? Ия1-*** у а ) - |+л. м +!
Ь^г» в и ■ г! ш-хх|++ вир ста г ЦХЛ.1Н1 тса ■■■■ ■ав Цвч гсввн.|Л фвпгуг-ы -плитшса<|'
Рисунок 4.
Также эквивалентность формул зависит от типа спрятанной формулы. Так формулы 2ах - 2Ьх и 2х(а - Ь) эквивалентны, однако в задании разложить на множители 2ах - 2Ьх система не должна принимать ответ 2(ах - Ьх), так как проверяемая формула должна содержать не меньше множителей, чем в эталонной формуле. Учитывая, что в системе 24 типа проверки и для каждого типа порядка 20 видов ошибок и, соответственно, 20 сообщений, создается иллюзия полноценного диалога ученика и преподавателя. Типы проверки и сообщения могут быть адаптированы с учетом различного уровня подготовки обучаемого или психологического состояния. Наличие развитой системы объяснений (СО) чрезвычайно важно для ЭОС, работающих в области обучения. В процессе обучения такая ЭОС будет выполнять не только активную роль «учителя», но и роль справочника, помогающего обучаемому изучать внутренние процессы, происходящие в системе. Развитая СО состоит из двух ком-
1'л! Еж1 *. Ч ¿11Ш-111Ы (Т1 ■ й1 вОЫ в)
г. г Д]
ГРЧ1Р11 _■ -. ■ — г41 ■ - ш. Олв ■ -«^-ЧИ'Р """1
Рисунок 5.
компоненты можно наблюдать при нажатии кнопки «?» при незаполненном интерактиве (рисунок 6).
- *■) и + В) |
п
(\ciinrify
--Я-.ИЧ В Г^'.
■ I Т^ЬЪ^Ш п^н гдЛгП Ь.М.1
Рисунок 6.
В состав сообщения входит информация разного рода: пояснения, предупреждения, обучения, указания. Тип диалога характеризуют структурные и лингвистические средства для оформления диалоговых обменов. Структура диалога - связанная совокупность состояний диалога, дости-
^ыиячршышч- '■ ..7 3
1м К раз*
Ъиип jl-jlllll I ijji1b к
ПрОЙ|ЫШ 1Н|1ЛПН 3HBXI
С^тзаявр цроСч .'hiijiim ■!■ 1« -'■■«■■Л шары . п.аш iJ.-í-bi.B :■. ШС» á-Jli|4 fli f""1_1 |1И111 eilH
p + -f._ 4- -+
1мкш рчзз>■ l#m TiicHti ■ у<ч-:■:■ д С- <3 4 0 й
\>Т 11 Uff - 4P4J4-4 ■WUlUPÍ-'." II Г*"
|К«гуш 1 IkiraiJHMÉ priÉUM ■■!■■■ J
жимых при общении пользователя с диалоговой системой. Состояние диалога включает в себя три компоненты: используемую форму диалога, достигнутую в системе ситуацию, которая определяет совокупность функций, представляемых пользователю, предысторию диалога -последовательность диалоговых обменов, приведших в это состояние, и содержание областей данных. Наиболее полное отражение структура диалога находит в сценарии диалога - детальном описании структуры и содержания диалога, достаточном для его реализации автоматическим путем.
Возможность динамического изменения базы сообщений позволяет преподавателю более гибко использовать обучающую систему: учитывать уровень подготовки класса, вести компьютерный диалог с обучаемым с учетом не только языка (русский, английский и т. п.), но и с учетом принятой в классе стилистики. Например, обращение к ученику на «ты» или на «Вы» должно сохраняться и в сообщениях программы об ошибках: «уточни числовой коэффициент», «уточните числовой коэффициент». В полной версии программы методисту предлагается довольно удобное средство управления базой ошибок (рисунок 7). В демо-версии программы представлена только часть каталога ошибок (в текстовом файле) с возможностью ручной (не автоматизированной) правки сообщений и уровня ошибки.
Дальнейшим развитием реализованной проверки можно считать систему с динамическим пополнением каталога ошибок. Преподаватель может дополнить базу знаний (каталог ошибок) характерными ошибками, формализуя часто встречающиеся ошибки в виде описанных выше продукций. В тригонометрии ученики могут не обращать внимания на знак аргумента sin и вводить в ответе sin (-x) вместо sin (x). Под переменной х здесь подразумевается любое дерево-выражение, подобно переменной е
Рисунок 7.
в РЕФАЛЕ, обозначающей любое объектное выражение. Учитель заносит эту ошибку как продукцию sin (-x) ^ sin (x), присваивает этой ошибке уровень по пятибалльной градации (+, +., + -, - +, -) и соответствующее сообщение (например, «Синус - нечетная функция. Проверьте знак аргумента»).
Источниками знаний для конкретных экспертных обучающих систем могут быть учебники, справочники, материалы конкретных исследований в проблемной области и т.п. Сами разработчики могут иметь теоретические знания и практический опыт в данной области. Но классическим источником знаний является эксперт - профессионал в данной предметной области. Таким образом, приобретение знаний требует учета человеческого фактора. Для успешного решения этой проблемы необходимы совместные усилия математиков, программистов, психологов.
ЗАКЛЮЧЕНИЕ
Одним из основных отличий систем, созданных авторами, от существующих обучающих программ можно назвать интеллектуальную проверку, реализованную как ЭС с продукционным представлением знаний. Реализованная таким образом проверка знаний позволяет осуществлять интеллектуальный и более адаптивный контроль обучаемого. Также появляется возможность динамического изменения базы знаний и диалога программы с преподавателем. При создании обучающих систем с использовани-
ем описываемой модели проверки формул, помимо методов искусственного интеллекта, использующихся в проверке, были задействованы методы компьютерной алгебры и опыт преподавателей как экспертов. Такой подход позволил избежать отмеченных выше минусов других обучающих систем.
Отличием экспертных систем от обычных компьютерных является то, что экспертные системы манипулируют знаниями, тогда как любые другие системы - данными. Соответственно, в системе появляется сложный процесс получения знаний от экспертов и внесение их в базу знаний, сопряженный с значительными затратами времени и средств. При этом следует отметить, что искусственная компетентность экспертных систем не заменяет полностью человека. Эксперты могут непосредственно воспринимать весь комплекс входной информации: символьной, визуальной, графической, текстовой, звуковой. У экспертной системы есть толь-
Литература.
ко символы, с помощью которых представлены базы знаний, воплощающие те или иные концепции. Конечно, огромный объем знаний, которым обладают эксперты-специалисты, не удается пока встроить в интеллектуальную систему, тем более столь специализированную, какой является экспертная обучающая система. Однако появление ЭС в области образования уже привели к возможности реализации разумного диалога с учеником и традиционной, а не тестовой проверки его знаний.
К статье прилагается демо-версия программы описываемой выше проверки формул. Ввод формул происходит с клавиатуры; проверка введенной пользователем части формулы выполняется по нажатию кнопки «?». Полная версия ЭУ, использующих данный модуль проверки знаний, является коммерческой разра-
-г i боткой и доступна на CD
--Si- — ROM [1; 7].
1. Станченко С.В., Зайцев В.Е. и др. Алгебра. Электронный учебник-справочник. М.: Кудиц, Кордис&Медиа, 2000.
2. Воронина Т.П., Кашицин В.П., Молчанова О.П. Образование в эпоху новых информационных технологий. М.: Информатика, 1995.
3. Дубровский В.Н. Учебник пользователя комплекса «1С: Репетитор. Математика». АОЗТ «1С», 2002.
4. Рыжик В.И. Интернет-тесты готовности к продолжению образования // Компьютерные Инструменты в Образовании, № 2, 2002.
5. Информационные технологии в науке и образовании // Международная науч.-практ.конф. Сборник материалов. Шахты: Изд-во ЮРГУЭС, 2001.
6. Сайтанов И., Шемякина О., Кузнецов А. Компактные учителя // Компьютерра № 4, 2002.
7. Станченко С.В., Зайцев В.Е, Левинская М.А. и др. Математика абитуриенту. Учебное пособие. М.: Интерактивная Линия, Новый диск, 2001.
8. Самолысов П.В., Ромащенко Т.Ю. Нелинейные процедурные знания - основа построения систем дистанционного обучения // Образование и общество № 5 (11), 2001.
9. Атанов Г.А., Локтюшин В.В. Организация вводно-мотивационного этапа деятельности в компьютерной обучающей системе, Educational Technology & Society № 3, 2000.
Левинская Мария Александровна, аспирант, Московский государственный авиационный институт.
© Наши авторы, 2003. Our authors, 2003.
