CC BY
55
УДК 621.3
В.В. Марков МЕТОДИКА ИЗВЛЕЧЕНИЯ И ОЦЕНКИ ЗНАНИЙ НА ОСНОВЕ НЕЧЁТКОЙ МОДЕЛИ ЭКСПЕРТА
Рассматриваются проблемы построения системы контроля и оценки знаний на основе модели эксперта с элементами адаптации, обладающей признаками нечеткости. Описана модель эксперта-экзаменатора, процедура моделирования системы извлечения знаний и предлагается организация и принципы алгоритмической реализации подсистемы
, , метод и алгоритмы оценки правильности ответов тестируемого на основе анализа близости ключевых слов.
Система контроля знаний; нечёткая модель эксперта; соприкасающихся подпоследовательности лексем.
V.V. Markov TECHNIQUE OF MONITORING AND EVALUATION OF KNOWLEDGE, BASED ON FUZZY EXPERT’S MODEL
The problems of constructing a system of monitoring and evaluation of knowledge, based on expert model with elements of adaptation, which has signs of fuzziness. The model of an fuzzy oriented expert examiner, the modeling procedure of knowledge extraction and the proposed organization and principles of the algorithmic implementation of the subsystem computer-based testing based on the fuzzy model of the expert, as well as the method and algorithms of assessing the correctness of responses tested by analyzing the proximity of keywords.
System of knowledge control; fuzzy model of the expert; contiguous subsequences of tokens.
Введение. Извлечение и диагностика знан ий и умений обучаемого производятся, как правило, посредством его опроса. Каждый вопрос (задание) связан с определенными элементами знаний и/или умений. Организация процедуры извлечения знаний без элементов адаптации (неадаптивный или безусловный контроль, или контроль с безусловной остановкой [1]) подразумевает, что вопросы и задания связаны друг с другом, как правило, в рамках контролируемого и оцениваемого объёма знаний. Процесс извлечения и оценки знаний и умений обучаемого предполагает несколько возможных реакций обучаемых и, соответственно, выводов, которые после этого делает эксперт (его роль играет компьютерная систе-), ( , , -дание и др.). Например, обучаемый «не знает элементов знаний», «не владеет определёнными практическими навыками», «владеет предметом в полной мере». Такие выводы называют гипотезами [2]. Конкретные действия тестируемого всегда подтверждают или опровергают ту или иную гипотезу. При тестировании обычно используется дискретная шкала размером N. Каждому значению этой шкалы Nt быть сопоставлена некоторая гипотеза. Одновременно, каждой гипотезе соответствует множество симптомов - некоторых событий, вызванных действиями (ответами) обучаемого, влияющих на подтверждение данной гипотезы. Симптомы вырабатываются (устанавливаются, задаются, определяются) экспертом в
( ), , имеющихся знаний и опыта, придает им значения, причем решение обучаемым одной задачи может позволить ему определить несколько симптомов. При этом существенно, что эти события фиксируются и оцениваются экспертом. Для проведения процедуры извлечения знаний необходимо составить множество заданий, и
это множество должно быть валидным по содержанию [2]. Это значит, что извлечению подвергаются все необходимые элементы знаний и умения. Каждая задача определяет свой набор знаний и умений, с помощью которых она должна быть решена. Этот набор определяет спектр задачи, а количество выявляемых при этом компетенций - его ширину. Понятно, что, чем сложнее задача, тем шире будет её спектр. Но ширина спектра любой одной задачи недостаточна для оценки извлеченных знаний по всей теме, необходима система, или направленная совокупность задач [6]. Таким образом, локальная фактическая предметная модель тестируемого задает необходимый спектр совокупности задач. Для диагностики, которая проводится по отдельным темам и разделам, перечень знаний и умений должен быть полным, т.е. локальная фактическая предметная модель обучаемого должна соответствовать необходимой части базовой модели [4].
Моделирование системы извлечения знаний путем тестирования. Центральными понятиями для для организации системы извлечения знаний являются множества вопросов р в контролируемых темах Т, ответов на вопросы А, симптомов С и гипотез Н. Эксперт, сформулировав цель контроля, на основании предметной модели обучаемого определяет гипотезы, затем симптомы, подтверждающие эти гипотезы, и задачи (вопросы), решение которых позволит обучаемым . -ва заданий с определенными на этом множестве отношениями. Следует сразу заметить, что правила составления заданий не содержат ограничений. При этом эксперт, , . -шем этот ответ считается эталонным и вывод о том, в какой степени ответ тестируемого является верным, производится на основании оценки соответствия эталонного и полученного ответов. Помимо этого, выявление степени соответствия эталонного и полученного ответов, по сути, определяет тактику дальнейшего продол. -
сана в [3].
Реализация модели извлечения знаний. Компьютерная реализация описанной выше модели может быть представлена алгоритмом, приведённым ниже:
1. Задание множеств тем Т, множеств вопросов (б^овых и дополнительных) для каждой темы р и эталонных ответов на них, размерности шкалы гипотез N и границ подтверждения определённой гипотезы Г.
2. 1=1, j=1.
3. -
са р1 из множества вопросов темы Т|.
4. Отметка Т и р1 , как уже использованных.
5. Определение типа вопроса (б^овый или дополнительный). Для базового вопроса переход к п. 6, для дополнительного - к п. 8.
6. Получение ответа тестируемого и определение степени соответствия р( этого ответа эталонному ответу на базовый вопрос р1. Если рассчитанная степень соответствия означивает симптом гипотезы верного ответа, то занести значение р1 в массив оценок ответов. В случае означивания другой гипотезы переход к п. 8.
7. Если в множестве базовых вопросов по теме есть непомеченные, то 1=1+1 и переход к п. 3. Если все вопросы помечены, ТО 1=1, j=j+1. Если все темы помечены, переход к п.10; иначе - к п. 3.
8.
вопроса р1к, где к = 1,2,3 определяет тип вопроса (1 - наводящий, 2 - уточняющий или 3 - дополнительный).
9. Получение ответа тестируемого и определение степени соответствия от-
вета тестируемого эталонному ответу на дополнительный вопрос р1к. Для всех вариантов результатов расчета, кроме случая правильного ответа на наводящий вопрос, занести значение рл в массив оценок ответов и пере. 7. . 6.
10. ,
множестве оценок отдельных вопросов и вывод результата.
Алгоритм анализа нечеткой схожести текстов ответов на основе оценки близости ключевых слов. Определяющим элементом в предлагаемой методике извлечения знаний является техника сравнения ответов, полученных от тестируе-
, . -ный поиск [7], так и процедуры извлечения и оценки знаний на основе анализа не ответа в целом, а его отдельных семантически соприкасающихся наборов лексем -предложений. Предложение - это минимальная единица языка, которая представляет собой грамматически организованное соединение слов (лексем), обладающее смысловой законченностью [5]. Работа алгоритма начинается с приведения предложения текста ответа к каноническому виду. Следующим шагом является поиск первого слова или его синонима из эталонного ответа в полученном ответе. В слу-, , , последовательно, для всех слов. Когда слова, соответствующие друг другу в эталонном и полученном ответах, будут найдены, то выбирается следующее слово в эталонном ответе и производится поиск его или его синонима в полученном ответе. Поиск производится рядом с предыдущим словом. Ключевым понятием в данном алгоритме является понятие положения слов «рядом». Рассмотрим это поня-. , -ний в выражении естественного языка, а также закономерности, характеризующие такую последовательность в каком-либо конкретном языке. Чаще всего говорят о порядке слов в предложении, однако порядок слов внутри словосочетаний и сочинительных конструкций тоже обладает своими закономерностями. Расположение слов, связанных друг с другом грамматически или по смыслу, в виде цепочки -необходимое следствие линейного характера человеческой речи. Однако грамматическая структура очень сложна и не может быть целиком выражена отношением . -ских значений; другие выражаются с помощью морфологических категорий, служебных слов или интонации. Нарушение правил порядка слов приводит или к из,
[6]. Русский язык является языком со свободным порядком слов, но также даже в таких языках постулируется существование некоторого нейтрального (объектив) . -ром лексем с правильным линейным порядком их расположения, а для учета вариативных отклонений введем величину ^ах, с помощью которой будем и вычислять степень отклонения слов в полученном ответе. Величина (1тах задается эмпирически составителем теста; диапазон значений - в пределах от 1 до N где N - количество слов в предложении.
Сформулируем теперь алгоритм анализа и оценки правильности ответа тестируемого на основе близости слов, где Тэ - эталонный ответ, а Тт - ответ тести:
1. .
2. Задание параметра ё^.
3. 1=1, j=1, к=1, И=0.
4. Если 1-е слово из Тэ равно к-му слову из Тт или они синонимы, то j=k, И=И+1 и переход к 7, иначе - к п. 6.
5. Если 1<|ТЭ|, то 1=1+1, к=1 и переход к п. 4.
6. Если к<|Тт|, то к=к+1 и переход к п. 4, иначе - к п. 5.
7. 1=1.
8. Если j+d<|Tэ| и Тэ[1]=Т[]+1] или ТЭШ и ТЦ+1] синонимы, то j=j+d и пере-
. 10, - . 9.
9. Если j-d>0 и Тэ[1]=Т[]-1] или Тэ[1] и ТтЦ-1] синонимы, то j=j-d и переход к
. 10, - . 11.
10. Расчет коэффициента г.
R=R+r и переход к п. 12.
11. Если 1<|Т|, то 1=1+1 и переход к п. 8, иначе - к п. 12.
12. Если 1<|ТЭ|, то 1=1+1 и переход к п. 7, иначе завершение (переход к 13).
13. :
Из алгоритма видно, что поиск следующего слова производится в обоих направлениях от текущего, это сделано для того, чтобы нивелировать отклонения от прямого порядка слов.
Алгоритм на основе близости слов с весами. При разности длин анализи-, , будет линейно уменьшаться, согласно (2). Для того, чтобы присутствие или отсут-, , сравнения, вводятся ключевые слова. Ключевые слова - это слова в тексте, способные в совокупности с другими словами представлять смысл текста, которые позволяют улучшить результат анализа сравнения [6]. Для этого каждому слову в эталонном ответе присваивается вес, лежащий в диапазоне [1;10].
Тогда формулы (2) и (3) можно переписать с учетом весов слов:
где со - вес слова, I = 1, И, N - количество слов в эталонном ответе.
Структура решающего алгоритма с учетом весов при этом существенных изменений, по сравнению с алгоритмом, описанным выше, не претерпевает.
. -ской реализации подсистемы извлечения и оценки знаний на базе компьютерного тестирования с использованием нечёткой модели эксперта, позволяют симулировать поведение реального эксперта средствами компьютерных технологий, что обеспечивает повышение качество и эффективность оценки знаний и расширяет возможности применения компьютерного тестирования по сравнению с существующими системами тестового контроля знаний. Использованный в работе подход к определению правильности ответов тестируемого, не применяя сложный и громоздкий аппарат семантического анализа, позволяет определять тактику проведения тестового опроса и с высокой долей уверенности судить об уровне знаний .
(1)
R
Р = —
(2)
(3)
д
(4)
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Петрушин В.А. Экспертно-обучающие системы. - К.: Наукова Думка, 1992. - 264 с.
2. Атанов ГА., Пустынникова КН. Обучение и искусственный интеллект, или Основы современной дидактики высшей школы. - Донецк: Изд-во ДОУ, 2002. - 504 с.
3. Марков В.В., Луцан М.В. Организация тестового контроля знаний на основе нечёткой модели экзаменатора // Известия ЮФУ. Технические науки. - 2010. - № 7 (108). - 262 с.
4. . .
группах // Открытое образование Научно-праетический журнал. - М.: CAPITALPRESS, 2009. - № 6 (77). - C. 26-33.
5. . ., . ., . ., :
. . . - 6- ., . . - .: , 2002. - 528 .
6. . ., . . // . Научно-практический журнал. - M.: CAPITALPRESS, 2010. - № 4 (77) - C. 26-33.
7. . . //
Известия ЮФУ. Технические науки. - 2010. - № 7 (108). - C. 7-13.
Статью рекомендовал к опубликованию д.т.н., профессор Н.И. Витиска.
Марков Владимир Васильевич
Технологический институт федерального государственного автономного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге.
E-mail: [email protected].
347928, г. Таганрог, пер. Некрасовский, 44.
.: 88634371651.
Кафедра систем автоматизированного проектирования; доцент.
Markov Vladimir Vasilyevich
Taganrog Institute of Technology - Federal State-Owned Autonomous Educational Establishment of Higher Vocational Education “Southern Federal University”
E-mail: [email protected].
44, Nekrasovskiy, Taganrog, 347928, Russia.
Phone.: +78634371651.
The Department of Computer Aided Design; Associated Professor.
УДК 002.53:004.89
..
МЕТОД СОЗДАНИЯ МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ ПРИНЯТИЯ РЕШЕНИЙ В МНОГОАГЕНТНЫХ ПОДСИСТЕМАХ*
Описывается метод формирования математической модели взаимосвязи между агентами обучения и комбинирования классификатора. Где множество первых моделирует функции управляющих элементов, а второй - моделирует решение всей информационной системы в целом. Условием появления корректирующего воздействия со стороны внешней среды является отсутствие у АКК варианта экспертного решения. Описаны векторные функции параметров рассматриваемых интеллектуальных агентов. Построен граф структуры взаимосвязей иерархии агентов.
Агент обучения классификатора; агент комбинирования классификатора; принятие решений; дискретное пространство; элементы управления.
* Работа выполнена при частичной поддержке РФФИ (проекты: № 10-07-00538, № 11-07-00064, № 11-07-00064).
