CC BY
16
УДК 004.82
Богорадникова А.В., Нечаев В.В., Панченко В.М., Шмелева Д.В.
Московский технологический университет (МИРЭА), г. Москва, Россия
МОДЕЛЬНОЕ ПРЕДСТАВЛЕНИЕ КОЛИЧЕСТВЕННОЙ ОЦЕНКИ КАЧЕСТВА КОНСТРУИРУЕМЫХ ОТВЕТОВ В КОМПЬЮТЕРНЫХ ОБУЧАЮЩИХ СИСТЕМАХ
АННОТАЦИЯ
Рассматривается задача количественной оценки качества конструируемых на естественном языке текстовых ответов на контрольные (тестовые) вопросы в компьютерных обучающих системах при контроле знаний. Для решения указанной задачи используется энтропийный подход. Количественным показателем качества конструируемых ответов служит величина, соотнесённая с традиционной четырёхбальной шкалой оценок. Результаты модельного эксперимента показали возможность и целесообразность использования предлагаемого подхода при автоматизированном контроле знаний.
КЛЮЧЕВЫЕ СЛОВА
Компьютерные обучающие системы, контроль знаний, качество ответов, контрольные вопросы, организованность, энтропия.
Bogoradnikova A.V., Nechaev V.V., Panchenko V.M., Shmeleva D.V.
Moscow Technological University (MIREA), Moscow, Russia
MODEL REPRESENTATIONS OF QUANTITATIVE ESTIMATION OF QUALITY CONSTRUCTED RESPONSE IN THE COMPUTER TRAINING SYSTEMS
ABSTRACT
The problem of quantifying the quality of constructed natural language text answers in computer-based training systems (BTS) in the control of knowledge of students. To solve this problem, we use entropy approach. A quantitative measure of the quality of the responses is constructed value of semantic-syntactic organization, The correlation with traditional chetyrehbalnoy scale of assessments. The results of model experiments have shown the possibility and usefulness of the proposed approach for automated control of knowledge.
KEYWORDS
Computer training systems, the control of knowledge, the quality of the responses, the control questions.
Широкое внедрение в учебныи процесс компьютерных обучающих систем (КОС), а также перспективы их дальнеишего развития выдвигают в ряд важнеиших задачу объективнои количественнои оценки качества вводимых в КОС на естественном языке (ЕЯ) текстовых ответов на контрольные вопросы. При решении даннои задачи возникают принципиальные трудности, обусловленные неметризуемостью лингвистических объектов - слов, предложении, текстов, и формированием синтаксически и семантически правильно построенных предложении. Одним из возможных подходов к преодолению указанных трудностеи является косвенная количественная оценка. В настоящеи работе является косвенная количественная оценка лингвистических объектов (ЛО) и, как следствие, качества ответов R на контрольные вопросы Q, на основе энтропииного подхода. Применимость теории К. Э. Шеннона к рассматриваемому классу задач определяется с однои стороны статическои природои лингвистических систем, а с другои - вычислимостью уровня организованности ЛО на основе оценки максимальнои Hmax и текущеи Нт неопредленности. Рассматриваемыи подход дает возможность обеспечить условия количественнои сопоставимости семантически однородных ЛО и, как следствие, решать класс задач аутентификации и идентификации, классификации, распознавания и т.п. в системах с компонентами искусственного интеллекта (ИИ).
Практическая реализация предлагаемого подхода осуществлялась на основе использования концептуальнои модели [I], учитывающеи такие своиства ЛО как семантика (ф), морфология (для слова) и синтаксис (ц) для предложения и текста, а также организованность (м)
семантических и синтаксических структур ЛО. Концептуальная модель, кроме того, включает систему прямых и обратных бинарных отношении (е) между ф, ц, м компонентами модели. В общем виде концептуальная модель ответа R может быть представлена следующеи четверкои
М(Д) = (МДД),МДД),МШ(Д),Я) (1)
В записи (1): М,ДД) - семантическая модель ответа R; МДД) -синтаксическая модель ответа R; МШ(И) - модель организованности ответа R, представляемая семантическои М,ДД) и синтаксическои М<р(А) составляющими: Е = - совокупность бинарных
отношении между ц>, у., ишц>, у., ш компонентами модели.
Рассмотрим интерпретацию модели (1) в рамках решаемои задачи. Пусть ответ R на контрольньш вопрос Q сформулирован в форме предложения S ВД, состоящего из
У = 1„ „
последовательности слов „ ), а также соответствующеи совокупности правил
5(Д) = К.....$.....(2)
Тогда семантическая модель М,ДД) ответа R может быть представлена в виде
МДД) = {5^:1 = 1,т(р);С^} (3)
где: - семантические элементы (семемы) предложения S(R), определяемые с учетом синонимии и полисемии; - оператор семантических отношении между элементами = 1 ,т(ф),
задающими семантическую структур предложения (2) в соответствии с семантическими
правилами, С^.
Синтаксическая модель МДД) предложения S(R) задается в форме последовательности синтаксических элементов - лексем
МДД) = {^:; = 1,п(Х);См} (4)
Лексемы формируются с учетом грамматических и синтаксических правил русского языка и образуют соответствующие словоформы. В выражении (4) - оператор синтаксических
отношении между элементами.^-,/ = 1,попределяющии синтаксическую структуру ЯСДД) предложения S(R).
Модель организованности МДД) ответа R определяется на основе следующих положении. Познание человеком объектов 2 реального и идеального мира осуществляется посредством идентификации совокупностеи деиствительных или мысленно представляемых признаков п = (■п1:1 = 1, Ъ) этих объектов. В сознании субъекта выделенные совокупности признаков п отображаются в форме понятии Пг(г = 1, Д), которые фиксируются в памяти как образы (модели) исходных совокупностеи признаков П = {Пг}. При информационном взаимодеиствии между преподавателем и обучаемым посредством естественном языке (ЕЯ) в процессе обучения отдельные понятия и их взаимосвязанные совокупности П = {Пг:г = 1,Д} представляются естественно-языковыми моделями. Смысловои аспект понятии Пг(г = 1, Д) отображается семантическои моделью МДПГ). Лексическая форма языкового представления модели МДПГ) определяется синтаксическои моделью МДПГ) в форме синтаксическои структуры ^ДПГ). Таким образом, процесс представления объектов 2 на ЕЯ осуществляется посредством ряда моделеи, гомоморфно отображаемых одна в другую
Г Ядг^ПгдзМуд^ 5(д)
уЕд^пд^П^М^М^ 5(Д) (5)
В последовательности (5) отображения ди д~г- прямои и обратныи гомоморфизмы соответственно. Совершенно очевидно, что представление понятии Пг(г = 1,Д) посредством моделеи МДПГ) и МДПГ) может осуществляться неоднозначным образом. Следовательно, могут существовать семеиства семантических М^(ЯГ) и синтаксических М^(ПГ) моделеи, каждая из которых интерпретирует предшествующую компоненту последовательности (5) с тои или инои степенью релевантности (адекватности). Релевантность (пертинентность) семантическои интерпретации понятия Пг(г = 1, Д) характеризуется используемыми семемами Б^, I = 1, т(ф), их количеством в ответе R, а также смысловои сопрягаемостью - возможностями формировать целостные семантические структуры 5г:ДД). Адекватность синтаксическои интерпретации
семантическои модели МДПГ) определяется как набором лексем и словоформ Б^,] = 1, п так и формои их организации в единую целостную структуру ^ДПГ), представляемую предложением S ВД. Последнии аспект вытекает непосредственно из требовании правил русского языка. С учетом
вышеизложенного можно сделать заключение, что степень адекватности (релевантности) интерпретации понятии Пг(г = 1, Д) определяется целевой организованностью П(Д) семантической М(р{Пг)и синтаксическои МДПг)моделеи относительно определяемого понятия Пг(г = 1, Д). В тех случаях, когда в последовательности (5) при обратных отображениях (движение справа налево) понятие Пг(г = 1, Д) идентифицируется полностью и без искажении, имеет место идеальная организованность Пи(Д)синтаксическои МДПГ) и семантическои М^(Пг)моделеи. Если по моделям МДПг)и М,ДПг)понятие Пг восстановить невозможно, то имеет место полная дезорганизованность. Во всех промежуточных случаях следует говорить о реальнои организованности П(Д).
Рассмотренньш выше подход может быть использован при контроле знании обучаемых, реализуемом в КОС в форме диалога "вопрос - ответ". Количественным показателем качества знании обучаемых, при этом, выступает семантико-синтаксическая организованность П^ДД) ответа, а критерием оценки знании - степень его детерминизма [2].
Организованность П(Д) ответа R на контрольным вопрос Q может оцениваться относительнои мерои по Г. Ферстеру [3]
ЩД) = 1 - (6)
где:
Н(Д)т - относительная организованность ответа, Н(И)тах - максимальная неопределенность ответа.
Анализ зависимости (6) показывает, что относительная организованность П(Д)может принимать численные значения в пределах:
0.0 < ЩД) < 1.0 (7)
Максимальная неопределенность Н(И)тах ответа определяется по У Р. Эшби [4] зависимостью
Я (Д)та* = 1одМ[г(И)]тах (8)
где:М[7(Д)]таж - максимальное число состоянии Z(R), в которых может находиться ответ R. Текущая неопределенность Я(Д)тответа R вычисляется по известнои формуле К. Э. Шеннона
я(д)т = -Х^=1~к(Д)го5~;ссд) (9)
Поскольку качество ответа R определяется не только его смысловым содержанием, но и формнои выражения смысла - синтаксисом, то организованность П(Д) вычисляется как для семантических £,ДД), так и для синтаксических 7ДД)состоянии ответа R.
Семантическая организованность П,ДД) ответа R определяется зависимостью, аналогичнои (6). Если максимальное число семантических состоянии 2(р{Я)тах ответа
Vй)
характеризуется величинои , то максимальная семантическая неопределенность выразится зависимостью вида:
гля)
(10)
max
log
Для определения текущей семантической неопределенности Н,ДД)твычисляется оценка~ДД)к вероятности нахождения ответа R в состоянии Z^k(R), как частота встречаемости этого ответа
(11)
где: Av(R)k - величина, показывающая, сколько раз ответ R находился в состоянии Zv(R)k, ДДД) -полное возможное число семантических состоянии 7^(Д)ответа R. С учетом (9) и (11) неопределенность Я^(Д)твыразится формулои
и т\ тк ApMfc, Av(.R)k
Я^(Д)т = -Гк=1-^1од—. (12)
Принимая во внимание (6), а также (10) и (12), получаем
ПДД) = 1- У*)т . (13)
Нф max
Синтаксическая организованность ПДД) ответа R вычисляется по аналогии с (13).
Vй)
Определяется максимальное возможное число синтаксических состоянии 2^ (Ютах ответа R и вычисляется значение НДД)тажпо формуле
гЛЮ
(14)
Н^Ютах = 1од
Текущая синтаксическая неопределенность определяется по формуле
ЯДЮ^-^-!^^^ (15)
где: ЛДД)р - число, показывающее, сколько раз ответ R находился в 7ДД)рсостоянии, а 5ДД) -полное теоретически возможное число синтаксических состоянии 2^ (Д)ответа R. Отношение
(16)
определяет частоту нахождения ответа R в q-ом синтаксическом состоянии 2^(Я)ри является оценкои ~ДД)Р соответствующеи вероятности. С учетом (14) и (15) синтаксическая организованность ПДД) ответа R определится из соотношения
ПДД) = 1-^к. (17)
Комплексная семантико-синтаксическая организованность П^ДД)определяется по аналогии с (13) и (17). При этом, однако, семантические и синтаксические состояния ответа R рассматриваются совместно. Оценка вероятности ~-,рДД)крнахождения ответа в определенном семантико-синтаксическом состоянии 7фМ(Д)крвычисляется по формуле условнои вероятности. При указанных условиях семантико-синтаксическая организованность будет вычисляться по формуле
П,ДД) = 1-^^_ (18)
Выражение (18) дает возможность комплексно оценить организованность ответов R на контрольные вопросы Q и интерпретируется как показатель качества знании обучаемого.
Для определения критерия качества ответа R и, как следствие, оценки знании обучаемого на основе показателя (18), в настоящеи работе используются факторы устоичивости целенаправленнои деятельности и детерминированности сформированных знании обучаемого [5]. Целенаправленная деятельность абсолютно устоичива, если сформированные знания абсолютно детерминированы. Устоичивость снижается с ростом индетерминизма. Деятельность становится неустоичивои, если степень детерминизма меньше величины 0,7, и невозможной если детерминизм меньше значения 0,3. Детерминизм знании, с другои стороны, связан с их организованностью. Между организованностью П^ДД)и степенью детерминизма имеет место следующее соответствие. Ответ R детерминирован, если значения организованности лежат в пределах 0.7 < П^ДД) < 1.0. Ответ R квазидетерминирован, если его организованность П^ДД)принимает значения в диапазоне 0.1 < П^ДД) < 0,7. Наконец, ответ R является вероятностным, если 0.0 < П^ДД) < 0.1.
С учетом рассмотренных выше условии проведем дидактическую интерпретацию совмещеннои шкалы детерминизма и организованности ответа [2]. Если значения показателя организованности П^ДД)принимают значения в пределах
0.0 < П^ДД) < 0.3, (19)
то это свидетельствует о несформированности знании и, следовательно, о невозможности целенаправленнои деятельности. Посредством условия (19) определяются границы области психофизиологического незнания - ОПН. В тех случаях, когда значения показателя организованности лежат в пределах
0.3 < П^ДД) < 0.7, (20)
то, несмотря на определенным детерминизм ответов R и возможность целенаправленнои деятельности, говорить об удовлетворительных знаниях нельзя, так как деятельность обучаемого все еще остается неустоичивои. Посредством условия (20) определяются границы области дидактического незнания - (ОДН). Если показатель организованности П^ДД)принимает численные значения в диапазоне
0.7 < П^ДД) < 1.0, (21)
то имеют место детерминированные знания и устойчивая целенаправленная деятельность обучаемого. Условие (21) дает возможность определить область дидактического знания (ОДЗ).
Второи этап интерпретации связан с бальнои шкалои оценок. Рассматривается только ОДЗ. В соответствии с принятои в традиционнои системе обучения четырехбальнои шкалои оценок ОДЗ разобьем по линеиному принципу на подобласти. В результате получим следующую систему соответствии:
- "ОТЛИЧНО", если: 0.9 < П^ДД) < 1.0;
- "ХОРОШО", если: 0.8 < П^ДД) < 0.9;П,рДД);
- "УДОВЛЕТВОРИТЕЛЬНО", если: 0.7 < П^ДД) < 0.8;
- "НЕУДОВЛЕТВОРИТЕЛЬНО", если: П^ДД) < 0.7.
Следует отметить, что теоретическая граница между ОДЗ и ОДН определяется значением показателя организованности П^ДД) = 0.7. На практике, однако, эта граница размыта. Она может плавать, сдвигаясь, как правило, к меньшим значениям показателя организованности П^ДД). В результате ОДЗ расширяется, а общии уровень оценок повышается за счет снижения уровня требовании. В более редких случаях имеет место обратная картина. За счет неоправданно высокого уровня требовании ОДЗ сужается, а общии уровень успеваемости понижается. В целом же вариабельность границы между ОДН и ОДЗ приводит к разбросу уровня обучения в традиционных системах.
Экспериментальная проверка рассмотренного подхода на модели дала положительные результаты. Так, например, на вопрос "Определите сущность метода имитационного моделирования?" был дан ответ "Сущность метода имитационного моделирования состоит в разработке программного алгоритма". Общая оценка такого ответа была "НЕУД". Значение показателя семантическои организованности ПДД) = 0.445, а синтаксическои организованности ПДД) = 0.795. В других примерах формальные и интуитивные оценки ответов также были достаточно близкими.
Итоговые оценки, выставляемые обучаемым при контроле качества знании на основе показателя организованности ответа, формируются из совокупностеи частных оценок ответов на контрольные вопросы. Для формирования таких оценок используются методики, разработанные профессором А.П.Свиридовым [7].
Литература
1. Нечаев В. В. Комплексная математическая модель абстрактнои сложнои системы. В кн.: Автоматическое управление и робототехнические системы. - М.: МИРЭА, 1982. - с. 49-54.
2. Нечаев В. В. Метод комплекснои оценки процесса обучения. Электронная промышленность, 1982, №1, с.70-72.
3. Ферстер Г. Самоорганизующиеся системы. В кн.: Самоорганизующиеся системы. - М.: Мир, 1964. - с. 5-23.
4. Эшби У Р. Введение в кибернетику. - М.: Иностранная литература, 1959. - 432 с.
5. Беспалько В. П. Основы теории педагогических систем. Проблемы и метод психолого-педагогического обеспечения технических обучающих систем. - Воронеж: ВГУ 1977. - 304 с.
6. Свиридов А. П. Статистическая теория обучения: монография. - М.: Издательство РГСУ 2009. - 576 с.
7. Свиридов А. П. Стандартизированные методы на примере контроля и диагностирования знании: монография. - М.: Издательство РГСУ 2011. - 294 с.
References
1. Nechaev V.V. Complex abstract mathematical model of a complex system. Proc.: Automatic control and robotics systems. -M.: MIREA, 1982. - p. 49-54.
2. Nechayev V.V. Method of complex evaluation of the learning process. Electronics Industry, 1982, №1, s.70-72.
3. Ferster G. Self-organizing systems. Proc.: Self-organizing systems. - M.: Mir, 1964. - p. 5-23.
4. Ashby W.R. Introduction to cybernetics. - M.: Foreign Literature, 1959. - 432 p.
5. Bespal'ko V.P. Fundamentals of the theory of educational systems. Problems and methods of psycho-pedagogical maintenance of technical training systems. - Voronezh: VSU, 1977. - 304 p.
6. Sviridov A.P. statistical learning theory: a monograph. - M.: Publishing house of Russian State Social University, 2009. - 576p.
7. Sviridov A.P. standardized methods on the example of monitoring and diagnosing of knowledge: a monograph. - M.: Publishing house of Russian State Social University, 2011. - 294 p.
Поступила 10.10.2016
Об авторах:
Богорадникова Алиса Викторовна, ассистент кафедры инструментального и прикладного программного обеспечения Московского технологического университета (МИРЭА);
Нечаев Валентин Викторович, профессор кафедры инструментального и прикладного программного обеспечения Московского технологического университета (МИРЭА), кандидат технических наук, профессор;
Панченко Виктор Михайлович, профессор кафедры инструментального и прикладного программного обеспечения Московского технологического университета (МИРЭА), кандидат технических наук, профессор;
Шмелева Дарья Викторовна, ассистент кафедры инструментального и прикладного программного обеспечения Московского технологического университета (МИРЭА).
