CC BY
46
28. Халипов В.Ф. Кратология как система наук о власти. М.: Республика, 1999. 213 с.
29. Этика: Энциклопедический словарь / под ред. Р.Г. Апресяна, А.А. Гусейнова. М.: Гарда-рики, 2001. 671 с.
30. Volkov V. Pragmastylistika textu. Kosice: Univerzita P.J. Safarika, 1991. 208 р.
КУШНИР ОЛЬГА НИКОЛАЕВНА - кандидат филологических наук, профессор кафедры документоведения, архивоведения и прикладной лингвистики, Коми республиканская академия государственной службы и управления, Россия, Сыктывкар (info17275@mail.ru).
KUSHNIR OLGA NIKOLAYEVNA - candidate of philological sciences, professor of Documentation, Archival Science and Applied Linguistics, Komi Republican Academy of State Service and Administration, Russia, Syktyvkar.
УДК 519.237
В.П. МАНЕРКИН, В.П. ЖЕЛТОВ, В.В. БОТАЛОВ, В.В. ЧЕХОВСКИЙ
МЕТОДИКА СРАВНЕНИЯ СЕМАНТИЧЕСКИХ МОДЕЛЕЙ ТЕКСТОВ ОТВЕТОВ ОБУЧАЮЩИХСЯ В ПРОГРАММНОЙ СИСТЕМЕ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ
Ключевые слова: семантические модели, тексты ответов, компьютерное тестирование, сравнение моделей.
Предложена методика сравнения семантических моделей текстов ответов обучающихся в программной системе компьютерного тестирования. Методика реализована в виде программных модулей (ПМ), дополняющих систему машинного перевода - Автоматизированный обработчик текстов (АОТ) НПО «ДИАЛИНГ» [1, 2]. Усовершенствованная ПС АОТ проверена путем введения ее в состав ПС компьютерного тестирования обучающихся. Разработанные ПМ позволяют вывести на монитор ПЭВМ автономные семантические графы ответов обучающихся и опорных ответов, подготовленных преподавателем, а также совмещенные семантические графы. При построении совмещенных семантических графов тремя цветами (или тремя типами линий) выделены совпадения и различия вершин и ребер. Анализ совпадений и различий в семантических графах ответов обучающихся и опорных ответов позволяет оценить качество выполнения тестовых заданий.
V.P. MANERKIN, P.V. ZHELTOV, V.V. BOTALOV, V.V. CHEHOVSKIY METHOD OF COMPARING SEMANTIC MODELS OF STUDENTS’ TEXT RESPONSES IN A COMPUTER TESTING SOFTWARE SYSTEM Key words: semantic models, text answers, computer testing, comparison of models.
A method for comparing the semantic models of the text of students responses in a computer testing software system. The method is implemented as software modules (PM) supplementing the machine translation system - Automated handler code (AOT), NGO «DIALING» [1, 2]. Enhanced PS AOT was tested by introducing it into the PC computer-based testing of students. A developed PM can bring autonomous and combined semantic graphs of student responses and support responses prepared by the instructors to a PC monitor. When building combined semantic graph in three colors (or with three types of lines) are identified by the similarities and differences of their vertices and edges. Quality of test items are evaluated through analysis of the similarities and differences in semantic graphs of student responses and support responses.
Усовершенствованная ПС АОТ дополнена новыми элементами и программными модулями, которые обеспечивают ей необходимую функциональность для применения в составе средств компьютерного тестирования. В частности, дополнительно разработаны словари терминов, понятий, синонимов и правил связывания структурных единиц текста предметной области, организован одновременный ввод двух сравниваемых текстов (опорного варианта ответа на контрольный вопрос, подготовленного преподавателем, и фактического ответа обучающегося), модуль построения и отображения моделей сравниваемых текстов в виде семантических графов, модуль сравнения семантических моделей, модуль расчета их информационных показателей и база данных для хранения и последующего использования опорных и фактических ответов.
Семантический граф опорного ответа на контрольный вопрос составляется преподавателем. Вершины графа соответствуют терминам предметной области и
словам общеупотребительной лексики. Связи между вершинами характеризуют типы семантических отношений, выделенные в анализируемом тексте по правилам РОСС и правилам, дополнительно разработанным в ПС АОТ. Дидактическая задача заключается в сравнении семантических моделей фактического ответа обучающегося и опорного варианта для выявления их схожести по смыслу.
Построение автономных семантических графов. Рассмотрим процесс построения автономных семантических графов опорного ответа и фактического ответа обучающегося на примере одного тестового задания. Контрольный вопрос сформулирован следующим образом: «Что включает в себя предмет военного искусства?». Опорный ответ может быть дан двумя способами. Первый способ - на основе дедуктивного подхода: «Предмет военного искусства включает закономерности, характер, принципы, формы и способы подготовки и ведения военных действий во всех масштабах и во всех сферах» (рис. 1).
СФЕРАХ МАСШТАБАХ ВЕДЕНИЯ СПОСОБЫ ФОРМЫ ПРИНЦИПЫ ХАРАКТЕР ЗАКОНОМЕРНОСТИ ПРЕДМЕТ
Рис. 1. Семантический граф опорного ответа, составленного преподавателем на основе дедуктивного подхода
Второй способ - на основе индуктивного подхода: «Закономерности, характер, принципы, формы и способы подготовки и ведения военных действий во всех масштабах и во всех сферах являются частью предмета военного искусства» (рис. 2).
СФЕРАХ МАСШТАБАХ ВЕДЕНИЯ СПОСОБЫ ФОРМЫ ПРИНЦИПЫ
ИЧЕНИЕ
ХАРАКТЕР ЗАКОНОМЕРНОСТИ ПРЕДМЕТ
|оБЛАСТЬ
Рис. 2. Семантический граф опорного ответа, составленного преподавателем на основе индуктивного подхода
С формальной точки зрения эти два ответа не строго равнозначны, но при определенных дидактических условиях, с учетом допущений их можно считать эквивалентными по смыслу. Такая эквивалентность допустима на начальном этапе изучения дисциплины, когда обучающийся слабо владеет терминологией и не в полной мере представляет взаимосвязи между дидактическими единицами. В последующем это допущение может быть снято.
Количество опорных ответов может быть увеличено также и за счет использования синонимов. Тогда, например, семантический граф, показанный на рис. 1, может быть расширен за счет добавления вершин. Ниже перечислены исходные значения вершин графа и их синонимы: «включает - содержит», «сфера - среда», «масштаб - диапазон», «ведение - реализация», «принципы - правила».
Предположим, что обучающийся ввел в тестирующую программу ответ не дословно совпадающий с опорным, но близкий по смыслу, использующий синонимы (рис. 3).
СРЕДАХ у ДИАПАЗОНАХ^ЕАЛИЗАЦИ^ ^СПОСОБЬ!^, ч ФОРМЫ ПРАВИЛА^ ^ХАРАКТЕР,. (^ЗАКОНОМЕРНОСТИ, ^ПРЕДМЕТ | признак |
ВСЕХ ДЕЙС1
область
ИСКУССТВА
ПРИЗНАК
Рис. 3. Семантический граф фактического ответа, составленного обучающимся с использованием синонимов
Следующим этапом работы ПС АОТ является построение совмещенного семантического графа на основе графов опорного и фактического ответов.
Рис. 4. Совмещенный семантический граф опорного ответа и фактического ответа обучающегося без учета синонимов
Построение совмещенных семантических графов. Построенные по правилам РОСС и АОТ совмещенные графы показывают выявленные несовпадения (см. рис. 4). Чем больше несовпадений, тем в меньшей мере обучающийся приблизился к ожидаемому от него результату - опорному ответу. Тем хуже, по всей видимости, может быть оценка обучающегося. Если исполь-
зовать строго формальные модели опорного и фактических ответов, то правильный по смыслу ответ будет классифицирован как неправильный. Следовательно, вывод о необходимости доработки ПС АОТ правомерен. Для устранения ошибок оценивания в усовершенствованной программной системе АОТ предусмотрено сопоставление с каждой вершиной и связью графа списка возможных синонимов. Тогда совмещенный граф, показанный на рис. 3, может вполне быть оцененным положительно на основании совмещения согласно рис. 5.
Рис. 5. Совмещенный семантический граф опорного ответа и фактического ответа обучающегося с учетом синонимов
Выявленные в ходе автоматизированной обработки текста эквивалентные части предложений также могут быть засчитаны как правильные без перестроения графов.
Таким образом, разработка новых программных модулей и дополнение ими ПС АОТ позволило повысить «дружественность» средств тестирования по отношению к обучающимся, по крайней мере, на начальном этапе изучения того или иного модуля. Целесообразность такого подхода иллюстрирована рис. 1-5, на которых изображены автономные и совмещенные семантические графы, которые представляют собой формальные модели ответов и используются для выставления оценок.
Литература
1. Леонтьева Н.Н. Русский общесемантический словарь (РОСС): структура, наполнение // НТИ. Сер. 2. 1997. № 12. С. 5-20.
2. Сокирко А.В. Семантические словари в автоматической обработке текста (по материалам системы ДИАЛИНГ): дис. ... канд. техн. наук. М., 2001 [Электронный ресурс]. URL: http://www.aot.ru/docs/sokirko/sokirko-candid-8.html.
МАНЕРКИН ВИКТОР ПАВЛОВИЧ - доктор военных наук, профессор, Военная академия воздушно-космической обороны, Россия, Тверь (mvptver@gmail.com).
MANERKIN VIKTOR PAVLOVICH - doctor of military sciences, professor, Military Academy of Aerospace Defense, Russia, Tver.
ЖЕЛТОВ ПАВЕЛ ВАЛЕРИАНОВИЧ - кандидат технических наук, доцент кафедры компьютерных технологий, Чувашский государственный университет, Россия, Чебоксары (tchouvachie@narod.ru).
ZHELTOV PAVEL VALERIANOVICH - candidate of technical sciences, assistant professor of Computer Technology, Chuvash State University, Russia, Cheboksary.
БОТАЛОВ ВЛАДИМИР ВАЛЕРЬЕВИЧ - аспирант, Военная академия воздушнокосмической обороны, Россия, Тверь (cpectrius@rambler.ru).
BOTALOV VLADIMIR VALERYEVICH - post-graduate student, Military Academy of Aerospace Defense, Russia, Tver.
ЧЕХОВСКИЙ ВИКТОР ВЛАДИМИРОВИЧ - аспирант, Военная академия воздушнокосмической обороны, Россия, Тверь (Zex_83@mail.ru).
CHEHOVSKIY VIKTOR VLADIMIROVICH - post-graduate student, Military Academy of Aerospace Defense, Russia, Tver.
