CC BY
21
УДК 81+159.9
РАЗРАБОТКА ПАРАМЕТРОВ КОЛИЧЕСТВЕННОЙ ОЦЕНКИ ОТВЕТОВ ТАКСОНОМИЧЕСКОГО ТИПА СТУДЕНТОВ-ТРАВМАТОЛОГОВ
© 2015 А.П.Журавлёв
Самарский государственный технический университет Самарский государственный медицинский университет
Статья поступила в редакцию 14.07.2015
Данная статья показывает, как идеографический метод Ю.Н.Караулова, расширенный с использованием некоторых элементов теории графов, может быть применён для количественной оценки знаний учащихся. В статье представлен эталонный граф, репрезентирующий лексико-семантическую структуру предметной области «Повреждения таза», а также разработаны параметры количественной оценки знаний учащихся. Указанные параметры позволяют провести когнитивно-коммуникативный анализ ответов студентов и дать адекватную оценку их знаний.
Ключевые слова: идеографическая репрезентация, эталонный граф, лексико-семантическая структура, предметная область, количественная и качественная оценка.
Введение. В последние годы в квалиметрии наметилась тенденция к развитию систем контроля знаний, основанных на анализе и оценке ответов обучаемых. Данное направление обусловлено быстрым развитием компьютерной лингвистики1. При квалиметрическом анализе выделяются когнитивные компоненты высказываний, после чего они сравниваются с неким эталоном2. Эталонная модель является основой для когнитивно-коммуникативного подхода к оценке свободных ответов студентов. В нашем случае в роли такого эталона будет выступать лексико-семантическая модель конкретной предметной области [ссылки на три статьи авт.].
° Журавлев Александр Павлович, ассистент кафедры иностранных языков, ст.лаборант лаборатории электронных учебных пособий кафедры педагогики, психологии и психолингвистики E-mail: palych32@rambler.ru
1 Андрусенко, Т.Б. Лингвистические структуры в компьютерных учебных средах. Национальная акад. наук Украины. Ин-т кибернетики им. В.М.Глушкова / Т.Б.Андрусенко. - Киев: Наукова думка, 1994. - С. 65; Krasnov, A.N. Ideographic Representation of Semantics in Taxonomic-Type Sentences: Cognitive Aspect / A.N.Kras-nov, E.A.Sloeva, V.Zhirov, A.Zhuravleov, I.Moshkov // Book of Abstracts. The 18th European Symposium on Language for Special Purposes (LSP). Special Language and Innovation in Multilingual World. Perm State University, 22 - 26 August, 2011. - P. 43; Krasnov, A.N. Cognitive Aspects of Compound Term Semantics Recognition / A.N.Krasnov, E.A.Sloeva, V.Zhirov, A.Zhuravleov, I.Moshkov // Book of Abstracts.....- P. 44.
2 Никаев, С.А. Модели и информационная система для оценки профессиональных знаний специалистов промышленного производства: автореф. дис..... канд.
техн.наук: 05.13.01 / Никаев Станислав Александрович. - Самара, 2004. - С. 7.
Такую модель мы будем рассматривать в качестве языковой картины конкретной предметной области, в рамках которой протекает коммуникация. Оптимальным методом для формального описания такой модели мы считаем модифицированный идеографический метод Ю.Н.Караулова, расширенный нами путём применения теории графов3.
Цели и задачи. Цель данного исследования -показать, как расширенный нами идеографический метод Ю.Н.Караулова может быть применён для количественной и качественной оценки знаний учащихся. Задачи исследования: 1) вывести параметры количественной оценки знаний учащихся; 2) на основе эталонной модели предметной области рассчитать общее количество составных терминов в ней; 3) установить, какое количество составных терминов в ответе учащегося считается достаточным для положительной оценки его знаний.
Материал и метод. Материалом для нашего исследования послужили 343 ответа студентов 5-го курса лечебного факультета Самарского государственного медицинского университета на вопрос о классификации повреждений таза. Все примеры ответов взяты из монографии А.Н.Кра-
3 Евстигнеев, В.А. Теория графов. (Алгоритмы обработки деревьев) / В.А.Евстигнеев, В.Н.Касьянов. - Новосибирск: ВО «Наука», Сибирская издательская фирма. 1994. - С. 98; Караулов Ю.Н. Общая и русская идеография. Ин-т. языкознания АН СССР. Отделение литературы и языка / Ю.Н.Караулов. - М.: Наука, 1976. - С. 188; Коннов, В.В. Геометрическая теория графов. / В.В.Коннов, Г.А.Клековкин, Л.П.Коннова. - М.: «Народное образование», 1999. - С. 55.
Филология
снова «Психолого-педагогические основы технологии открытого тестирования»4. В ходе исследования использованы следующие методы: 1) метод экспертных оценок имеющегося речевого материала (в качестве эксперта был приглашён кандидат медицинских наук, доцент кафедры травматологии и ортопедии); 2) тезаурус-ный метод; 3) метод когнитивной графики (графическое представление семантики предметной области с помощью идеографического метода и теории графов); 4) статистический метод.
Полученные результаты. В данной статье в качестве рабочего материала для разработки критериев количественной оценки будут использоваться составные термины, относящиеся к предметной области «Травматология. Повреждения таза». В общем и целом выбор предметной области не важен, поскольку основные принципы разработки этих критериев с одинаковым успехом смогут применяться для любой области знания. Основные принципы разработки этих критериев следующие: 1) определение общего количества языковых единиц (терминов), образующих лексико-семантическое пространство предметной области «Повреждения таза»; 2) подсчёт общего количества комбинаций этих единиц (т.е. составных терминов) с учётом сочетаемости с применением методов комбинаторики; 3) выявление необходимого количества таких составных терминов в ответе учащегося.
Для разработки параметров количественной оценки нам необходимо визуализировать лек-сико-семантическую структуру предметной области «Повреждения таза» по методу Ю.Н.Ка-раулова в виде графа. Такой граф мы будем называть эталонным. Он будет состоять из трёх субграфов, по количеству лексико-семантичес-ких групп, составляющих языковую картину данной предметной области (процесс построения этих субграфов был подробно освещён в предыдущих статьях)5.
4 Краснов, А.Н. Психолого-педагогические основы технологии открытого тестирования / А.Н.Краснов. - Самара: Изд-во Самарск. науч. центра РАН, 2005. - С. 348.
5 Журавлёв, А.П. Проблемы идеографической репрезентации семантики объектной лексико-семантической группы составного термина / А.П.Журавлёв // Известия Самарского научного центра РАН. - 2014. - Том 16. - № 2(3). - С. 671 - 677; Журавлёв, А.П. Проблемы идеографической репрезентации семантики признаковой лексико-семантической группы составного термина / А.П.Журавлёв, А.Н.Краснов, Е.А.Слоева // Известия .... -С. 678 - 683; Краснов, А.Н. Проблемы идеографической репрезентации семантики субъектной лексико-семан-тической группы составного термина / А.Н.Краснов, А.П.Журавлёв, Е.А.Слоева // Известия Самарск. науч. центра РАН. - 2013. - Том 15. - № 2(3). - С. 753 - 761.
Как следует из приведённых графов, признаковая ЛСГ представлена 30 терминами, из которых наиболее актуальными для нашего исследования являются 25 (начиная со 2-го уровня иерархии). Субъектная ЛСГ насчитывает 7 терминов на разных уровнях, а анатомическая ЛСГ -21 (из них для нас актуальны 20, начиная с 1-го уровня иерархии).
Полученная таким образом выборка лексических единиц позволяет нам посчитать общее число возможных их комбинаций (т.е. составных терминов). Вычисление основывается на основных правилах комбинаторики («и» - умножение, «или» - сложение). Центральными элементами расчёта будут лексические единицы, обозначающие виды повреждений костей: перелом (S1-1-1), переломовывих (S1-1-2) и вывих (S1-1-3). Выбор именно этих элементов в качестве центральных позволит нам реализовать механизм ограничения числа возможных комбинаций по сочетаемости. Дело в том, что не все элементы из ЛСГ {P} сочетаются со всеми элементами из ЛСГ {S}, которые, в свою очередь, сочетаются не со всеми элементами из ЛСГ {A}. Поэтому мы не можем просто перемножить количество элементов в каждой группе друг на друга; следует проявить более тонкий подход, основанный на учёте сочетаемости. Границы этой сочетаемости были установлены в ходе консультации с предметником - врачом-травматологом.
Итак, начнём с вычисления количества комбинаций (т.е. сложных терминов) с термином перелом (S1-1-1): 25(ЛСГ {P}) * 1(ЛСГ {S}) * 21(ЛСГ {A}) = 525. Как видно, с термином перелом сочетаются все элементы из признаковой и анатомической групп. Теперь перейдём к комбинациям с термином переломовывих (S1-1-2): 21(ЛСГ {P}) * 1(ЛСГ {S}) * 7(ЛСГ {A}) = 147. Здесь мы видим, что с данным видом повреждений сочетаются только 17 признаков из ЛСГ {P} и всего 1 элемент из ЛСГ {А}. В данном случае мы впервые видим, как срабатывает механизм ограничения по сочетаемости.
Осталось вычислить число комбинаций с термином вывих (S1-1-3): 17(ЛСГ {P}) * 1(ЛСГ {S}) * 1(ЛСГ {A}) = 17. Подсчитаем общее число возможных комбинаций: 525 + 147 + 17= 689. Для сравнения: общее число возможных комбинаций без учёта сочетаемости: 25(ЛСГ {P}) * 3(ЛСГ {S}) * 21(ЛСГ {A}) = 1575. Т.о., число возможных комбинаций без учёта сочетаемости примерно в 2,3 раза больше, что сильно перегрузило бы наше исследование. Конечно, никоим образом не ожидается, что студенты будут приводить в своих ответах все 689 комбинаций. Существует разница между тем объёмом знаний, которым студент владеет, и тем, который он помещает в свой ответ. Будем отталкиваться от
того, какой объём знаний должен присутствовать в ответе для получения положительной оценки знаний учащегося по данному предмету в целом. Т.о. мы сужаем границы и получаем реальные количественные параметры оценки ответа. В ходе консультации с врачом-травматологом, которые так-
Выводы. 1) Обозначенные нами параметры качественной и количественной оценки знаний учащихся в совокупности с выбранным нами способом репрезентации позволяют дать адекватную оценку этих знаний; 2) идеографическая репрезентация лексико-семантической структуры предмет-
же занимается преподаванием, было установлено, что минимальное количество комбинаций в ответе учащегося равно 5. Оптимальным же количеством считается 14, такое число комбинаций позволяет в общем охватить всю предметную область.
ной области даёт возможность обнаружить пробелы в знаниях студентов, а также позволяет выявить наиболее часто допускаемые ими ошибки. Анализ этих пробелов и ошибок поможет соответствующим образом скорректировать способ преподавания материала по данной дисциплине.
Рис. 1. Эталонный граф предметной области «Повреждения таза»
DEVELOPING PARAMETERS OF QUANTITATIVE EVALUATION OF STUDENTS'
TAXONOMIC-TYPE ANSWERS
© 2015 A.P.Zhuravleov°
Samara State Technical University Samara State Medical University
This paper represents the way the Karaulov's ideographic method (extended by application of graph theory) can be used for quantitative evaluation of students' professional knowledge. The paper shows the reference graph (which represents the lexical-semantic structure of the subject field called "Pelvis injuries") as well as parameters of quantitative evaluation of students' professional knowledge. These parameters are used for cognitive and communicative analysis and evaluation of the students' free-form answers.
Key words: ideographic representation, reference graph, lexical-semantic structure, subject field, quantitative and qualitative evaluation.
° Alexander Pavlovich Zhuravleov, assistant lecturer of the foreign languages department, senior laboratory assistant of the electronic educational aid laboratory of the pedagogy, psychology and psycholinguistics department. E-mail: palych32@rambler.ru
