CC BY
32
УДК 81+159.9
КОГНИТИВНО-КОММУНИКАТИВНЫЙ АНАЛИЗ И ОЦЕНКА СВОБОДНЫХ ОТВЕТОВ УЧАЩИХСЯ
© 2014 А.П.Журавлёв1,2,
1 Самарский государственный технический университет 2Самарский государственный медицинский университет
Статья поступила в редакцию 14.02.2014
Данная статья показывает, как идеографический метод Ю.Н.Караулова, расширенный с учётом теории графов, может быть применён для количественной и качественной оценки знаний учащихся. В статье построен эталонный граф, репрезентирующий лексико-семантическую структуру предметной области «Повреждения таза», а также разработаны параметры количественной и качественной оценки знаний учащихся. Указанные параметры позволяют провести когнитивно-коммуникативный анализ ответов студентов и дать адекватную оценку их знаний.
Ключевые слова: идеографическая репрезентация, эталонный граф, лексико-семантическая структура, предметная область, количественная и качественная оценка.
А.Н.Краснов2
Введение. В последние годы в квалиметрии наметилась тенденция к развитию систем контроля знаний, основанных на анализе и оценке свободных ответов обучаемых. Данное направление обусловлено быстрым развитием компьютерной лингвистики1. При квалиметри-ческом анализе выделяются когнитивные компоненты высказываний, после чего они сравниваются с неким эталоном2. Эталонная модель является основой для когнитивно-коммуникативного подхода к оценке свободных ответов студентов. В нашем случае в роли такого эталона будет выступать лексико-семантическая модель конкретной предметной
Журавлев Александр Павлович, ассистент кафедры иностранных языков, ст.лаборант лаборатории электронных учебных пособий кафедры педагогики, психологии и психолингвистики E-mail: palych 32@rambler. ru Краснов Александр Никодимович, кандидат медицинских наук, профессор, заведующий кафедрой педагогики, психологии и психолингвистики.
1 Андрусенко Т.Б. Лингвистические структуры в компьютерных учебных средах. Национальная академия наук Украины. Институт кибернетики им. В.М.Глушкова. - Киев: 1994. - С. 58.; Krasnov A.N., Sloeva E.A., Zhirov V., Zhuravleov A., Moshkov I. Ideographic Representation of Semantics in Taxonomic-Type Sentences: Cognitive Aspect. Book of Abstracts. The 18th European Symposium on Language for Special Purposes (LSP). Special Language and Innovation in Multilingual World. Perm State University, 22 - 26 August, 2011. - P. 43; Krasnov A.N., Sloeva E.A., Zhirov V., Zhuravleov A., Moshkov I. Cognitive Aspects of Compound Term Semantics Recognition. Book of Abstracts.....- P. 44.
2 Никаев С.А. Модели и информационная система для
оценки профессиональных знаний специалистов про-
мышленного производства: Автореф. дисс. канд. техн. наук. - Самара: 2004. - С. 5.
области3. Такую модель мы будем рассматривать в качестве языковой картины конкретной предметной области, в рамках которой протекает коммуникация. Оптимальным методом для формального описания такой модели мы считаем модифицированный идеографический метод Ю.Н.Караулова, расширенный нами путём применения теории графов4.
Цели и задачи. Цель данного исследовании - показать, как расширенный нами идеографический метод Ю.Н.Караулова может быть применён для количественной и качественной оценки знаний учащихся. Задачи исследования: 1) обозначить параметры качественной и количественной оценки знаний учащихся; 2) отобразить содержание ответа учащегося на эталонном графе предметной области «Повреждения таза»; 3) проанализировать ответ по обозначенным параметрам; 4) дать оценку ответа и, соответственно, знаний учащегося.
Материал и метод. Материалом для нашего исследования послужили 343 ответа студентов 5-го курса лечебного факультета Самарского государственного медицинского университета на вопрос о классификации повреждений таза. Все примеры ответов взяты из монографии А.Н.Краснова «Психолого-педагогические ос-
3 Слоева Е.А. Когнитивно-коммуникативный подход к описанию анатомического объекта: Автореф. дисс. ... канд. филол. наук - Ульяновск: 2007. - С. 34.
4 Евстигнеев В.А., Касьянов В.Н. Теория графов. (Алгоритмы обработки деревьев). - Новосибирск: 1994. - С. 24; Караулов Ю.Н. Общая и русская идеография. Ин-т. языкознания АН СССР. Отделение литературы и языка. М.: 1976. - С. 61; Коннов В.В., Клековкин Г.А., Коннова Л.П. Геометрическая теория графов. - М.: 1999. - С. 147.
новы технологии открытого тестирования»1. В ходе исследования использованы следующие методы: 1) метод экспертных оценок имеющегося речевого материала (в качестве эксперта был приглашён кандидат медицинских наук, доцент кафедры травматологии и ортопедии); 2) метод системного анализа; 3) тезаурусный метод; 4) метод когнитивной графики (графическое представление семантики предметной области с помощью идеографического метода и теории графов); 5) метод сравнительного анализа; 6) статистический метод.
Полученные результаты. 1. Параметры качественной и количественной оценки знаний. Когда мы говорим о качественной оценке знаний, то в первую очередь имеем в виду наличие в ответе критериев. Критерии как элементы метаязыка играют важнейшую роль в построении семантической иерархии предметной области, поскольку они формируют оппозиционные группы терминов и выстаивают гипо-гиперони-мические отношения. Их наличие либо отсутствие говорит о степени сформированности языковой картины предметной области, а также определяет наполнение ответа фактическим материалом. Последнее подразумевает, что знание метаязыковой составляющей языковой картины ПО (т.е. её семантической структуры, выстроенной на критериях) помогает учащемуся более полно воспроизвести в своём ответе её терминологическую составляющую. Иными словами, если студент знает критерии выделения оппозиционных групп терминов, то весьма маловероятно, что он перечислит состав этой группы не полностью. В этом отношении качественная оценка определённым образом пересекается с количественной. Качественная оценка ответа зависит также от того, лексические единицы какого уровня в нём используются. Дело в том, что при оценке ответа нами учитываются в основном конечные вершины графов ЛСГ, поскольку именно они дают наиболее адекватное представление о подлинном уровне владения фактической информацией. Использование элементов языка-объекта, стоящих на более высоких уровнях иерархии, также допускается, но их употребление без должной конкретизации говорит о не совсем сформированной языковой картине предметной области. Иными словами, использование таких единиц в ответе допустимо, но отрицательно влияет на оценку ответа по качественному показателю.
Наконец, третьим параметром оценки качества ответа является использование в нём терминологических или нетерминологических еди-
1 Краснов А.Н. Психолого-педагогические основы технологии открытого тестирования. - Самара: 2005. - С. 348 - 399.
ниц. Весьма часто вместо закреплённых в официальной классификации терминов студенты используют их неологические синонимы. Эти синонимы, как правило, построены студентами по терминообразовательным моделям, но всё равно остаются нетерминологическими единицами. Естественно, использование таких лексических единиц в ответе отрицательно влияет на его качество, поскольку учащийся должен выучить официально принятые термины, а не придумывать свои.
Подводя итог вышесказанному, следует отметить, что выработанные нами параметры качественной оценки имеют как преимущества, так и недостатки. С одной стороны, они позволяют адекватно оценить качество знаний; с другой стороны, они малочисленны и в силу своего обобщённого характера плохо поддаются алгоритмизации. Параметры количественной оценки, наоборот, по своей природе гораздо лучше подходят для реализации средствами программирования. Для разработки этих параметров нам необходимо визуализировать языковую картину предметной области «Повреждения таза» по методу Ю.Н.Караулова в виде графа. Такой граф мы будем называть эталонным. Он будет состоять из трёх субграфов, по количеству лексико-семантических групп, составляющих языковую картину данной предметной области (процесс построения этих субграфов был подробно освещён в предыдущих статьях). Итак, начнём с субграфа признаковой лексико-семантической группы (ЛСГ {Р}) Рис.1. Далее приведём субграф субъектной лексико-семантической группы (ЛСГ {8}). Рис.2. Третий субграф репрезентирует структуру анатомической лексико-семантической группы (ЛСГ {8}). Рис.3. Эталонный граф, объединяющий эти субграфы и репрезентирующий структуру предметной области «Повреждения таза», будет выглядеть следующим образом на рис.4. Как следует из приведённых графов, признаковая ЛСГ представлена 30 терминами, из которых наиболее актуальными для нашего исследования являются 25 (начиная со 2-го уровня иерархии). Субъектная ЛСГ насчитывает 7 терминов на разных уровнях, а анатомическая ЛСГ - 21 (из них для нас актуальны 20, начиная с 1-го уровня иерархии).
Рис. 1. Граф ЛСГ {Р}
Рис. 2. Граф ЛСГ {Б}
Рис. 3. Граф ЛСГ {А}
Рис. 4. Эталонный граф предметной области «Повреждения таза»
Полученная таким образом выборка лексиче- ных терминов). Вычисление основывается на ских единиц позволяет нам посчитать общее основных правилах комбинаторики. Централь-число возможных их комбинаций (т.е. состав- ными элементами расчёта будут лексические
единицы, обозначающие виды повреждений костей: перелом (81^1), переломовывих (81^2) и вывих (Б 1-1-з). Выбор именно этих элементов в качестве центральных позволит нам реализовать механизм ограничения числа возможных комбинаций по сочетаемости. Дело в том, что не все элементы из ЛСГ {Р} сочетаются со всеми элементами из ЛСГ {Б}, которые, в свою очередь, сочетаются не со всеми элементами из ЛСГ {А}. Поэтому мы не можем просто перемножить количество элементов в каждой группе друг на друга; следует проявить более тонкий подход, основанный на учёте сочетаемости. Границы этой сочетаемости были установлены в ходе консультации с предметником - врачом-травматологом.
Итак, начнём с вычисления количества комбинаций (т.е. сложных терминов) с термином перелом (Б1-1-1): 25(ЛСГ {Р}) * 1(ЛСГ {Б}) * 21(ЛСГ {А}) = 525.
Как видно, с термином перелом сочетаются все элементы из признаковой и анатомической групп. Теперь перейдём к комбинациям с термином переломовывих (81-1-2): 21(ЛСГ {Р}) * 1(ЛСГ {8}) * 7(ЛСГ {А}) = 147.
Здесь мы видим, что с данным видом повреждений сочетаются только 17 признаков из ЛСГ {Р} и всего 1 элемент из ЛСГ {А}. В данном случае мы впервые видим, как срабатывает механизм ограничения по сочетаемости. Осталось вычислить число комбинаций с термином вывих (81-1-3): 17(ЛСГ {Р}) * 1(ЛСГ {8}) * 1(ЛСГ {А}) = 17. Подсчитаем общее число возможных комбинаций: 525 + 147 + 17= 689.
Для сравнения: общее число возможных комбинаций без учёта сочетаемости: 25(ЛСГ {Р}) * 3(ЛСГ {8}) * 21(ЛСГ {А}) = 1575
Т.о., число возможных комбинаций без учёта сочетаемости примерно в 2,3 раза больше, что сильно перегрузило бы наше исследование. Конечно, никоим образом не ожидается, что студенты будут приводить в своих ответах все 689 комбинаций. Существует разница между тем объёмом знаний, которым студент владеет, и тем, который он помещает в свой ответ. Будем отталкиваться от того, какой объём знаний должен присутствовать в ответе для получения положительной оценки знаний учащегося по данному предмету в целом. Т.о. мы сужаем границы и получаем реальные количественные параметры оценки ответа. В ходе консультации с врачом-травматологом, которые также занимается преподаванием, было установлено, что минимальное количество комбинаций в ответе учащегося равно 5. Оптимальным же количеством считается 1 4, поскольку такое число ком-
бинаций позволяет в общем охватить всю предметную область.
Обозначив таким образом количественные и качественные параметры оценки знаний, мы можем перейти к рассмотрению конкретных ответов.
2. Когнитивно-коммуникативный анализ и оценка ответов учащихся. Пример № 1. 23.605 - 502/2 - К. Переломы таза: 1) Переломы костей таза, не образующих тазовое кольцо. 2) Переломы костей таза без нарушения целостности тазового кольца. 3) Переломы костей таза с нарушением целостности тазового кольца. 4) Перелом вертлужной впадины. 5) Перелом костей таза с повреждением тазовых органов.
Комментарии к примеру № 1: 1) переломы костей таза, не образующих тазовое кольцо -очевидно, имеется в виду переломы краёв таза (оппозиция края таза (Ащ) / тазовое кольцо (А1-1-2) из ЛСГ {А}). Однако даже при таком допущении понятие края таза не конкретизировано должным образом - условно указана только материнская вершина (А^^); 2) с нарушением / без нарушения целостности тазового кольца - видимо, подразумевается антонимическая пара признаков с сохранением / без сохранения тазового кольца (Р2-10-1 / Р2-10-2); 3) перелом вертлужной впадины - понятие «вертлужная впадина» не конкретизировано. Во-первых, не указано, какая именно вертлуж-ная впадина имеется в виду - правая или левая; во-вторых, не уточняется, о переломе какой именно части вертлужной впадины идёт речь - дна, крыши или края. В связи с этим на графе ответа нами выделена только одна вершина - промежуточная вершина вертлужные впадины (А2-2-3); 4) с повреждением тазовых органов - официальное название этого признака согласно Р.Т.К. - осложнённый №2^1). Т.о. вместо термина студент использовал нетерминологический неологизм, у которого, помимо всего прочего, нет пары-антонима (осложнённый / неосложнённый); 5) Покажем упомянутые в ответе элементы на эталонном графе предметной области «Повреждения таза»:
Рис. 5. Граф ответа из примера № 1
На основании графа составим статистику, которая поможет дать количественную и качественную оценку ответа: Статистика по примеру №1: по элементам метаязыка (качественная оценка): критерии построения классификации повреждений таза отсутствуют; по элементам языка-объекта (количественная оценка): 1) ЛСГ {Р} представлена 3 терминами из 25; 2) ЛСГ {8} представлена 1 термином из 7; 3) ЛСГ {А} представлена 2 терминами из 20. Итого: 3 * 1 * 2 = 6 комбинаций. Ответ считается удовлетворительным.
Пример № 2. 39. 607 - 504/3 - Э. Переломы таза. 1) с нарушением целостности тазового кольца; 2) без; 3) краевые переломы; 4) переломы вертлужной впадины; 5) с повреждением органов малого таза; 6) без повреждения.
Комментарии к примеру № 2: 1) с нарушением целостности тазового кольца - см. комментарии к примеру № 1, п. 2; 2) без - аналогично (Р2-10-1); 3) краевые переломы - у признака краевой (Р2-8-2) нет антонимической пары (центральный / краевой); 4) перелом верт-лужной впадины - см. комментарии к примеру № 1, п. 3; 5) с повреждением органов малого таза - отвечающий путает травматологическую классификацию с акушерско-гинекологической. Скорее всего, речь идёт (согласно Р.Т.К.) о признаках осложнённый / неосложнённый (Р2-5-1 / Р2-5-2) (оппозиционная группа, выделяемая по критерию Кр2-5 «По наличию повреждений внутренних органов»). Подобная формулировка не является ошибкой, но говорит о достаточно ограниченном представлении отвечающего об органах таза (понятие «органы таза»
включает в себя понятие «органы малого таза», т.е. оно шире). С учётом этого допущения засчитаем данный признак как осложнённый (Р2-5^). Второй элемент этой оппозиции не указан.
Статистика по примеру №2: по элементам метаязыка: критерии построения классификации повреждений таза отсутствуют; по элементам языка-объекта: 1) ЛСГ {Р} представлена 5 терминами из 25; 2) ЛСГ {5} представлена 1 термином из 7; 3) ЛСГ {А} представлена 1 термином из 20. Итого: 5 * 1 * 1 = 5 комбинаций. Ответ считается удовлетворительным.
Пример № 3. 325. 4. Ст-ев. Классификация переломов костей таза. 1) Краевые переломы. 2) Переломы без нарушения целостности тазового кольца. 3) Переломы с нарушением целостности тазового кольца. 4) Переломы верт-лужной впадины. По наличию раны. 1) открытые, 2) закрытые. По смещению. 1) со смещением, 2) без смещения. По повреждению тазовых органов. 1) с поражением тазовых органов, 2) без поражения тазовых органов. По осложнениям. 1) осложнённый, 2) не осложнённый.
Рис. 6. Граф ответа из примера № 2
Комментарии к примеру № 3: 1) в отличие от всех предыдущих, в данном ответе присутствуют критерии. Все приведённые критерии относятся к ЛСГ {Р}, но перечислены они не полностью; 2) более того, названия большинства приведённых критериев являются неологизмами, которые близки по форме к официальным названиям, но всё-таки отличны от них. Правильно указано название лишь одного критерия - «По наличию раны» (Кр2-д)- Очевидно, «По повреждению тазовых органов» следует понимать как «По наличию повреждений внутренних органов» (Кр2-5), а «По смещению» - как «По наличию смещения фрагментов» (Кр2-7). При этом элементы соответствующих этим критериям оппозиционных групп названы правильно. Очевидно, учащийся запоминал названия критериев отдельно от названий соответствующих им элементов языка-объекта; 3) по какой-то причине отвечающий дублирует критерий «По наличию повреждений внутренних органов» (Кр2-5), сначала называя его «По повреждению тазовых органов», а потом «По осложнениям». Очевидно, он воспринимает их как два разных критерия; 4) с поражением тазовых органов / без поражения тазовых органов - см. комментарий к примеру № 1, п. 4; 5) краевые переломы - см. комментарии к примеру № 2, п.3.
Статистика по примеру №3: по элементам метаязыка: 1) ЛСГ {Р} представлена 3 критериями из 12; 2) ЛСГ {8} не представлена; 3) ЛСГ {А} не представлена; по элементам языка-объекта: 1) ЛСГ {Р} представлена 9 терминами из 25; 2) ЛСГ {8} представлена 1 термином из
7; 3) ЛСГ {А} представлена 1 термином из 20. 4) Итого: 9 * 1 * 1 = 9 комбинаций. Оценка ответа - выше удовлетворительной.
В данной работе мы ограничились тремя примерами, поскольку практически все ответы, взятые из монографии А.Н.Краснова, имеют такой же вид и структуру, и расширение выборки ни на что не повлияет. Рассмотрим выявленные нами наиболее часто встречающиеся ошибки: 1) отсутствуют критерии. Иными словами, отсутствует основа для построения целостной семантической структуры предметной области с учётом гипо-гиперонимических отношений. Это, в свою очередь, оказывает негативное влияние на то, как учебный материал усваивается студентами в количественном и качественном отношении; 2) термины часто не конкретизированы. Очень часто отвечающие используют термины, стоящие на промежуточном, а не на последнем уровне иерархии. Использование гиперонима не является ошибкой, однако отрицательно влияет на оценку ответа по качественному показателю; 3) у терминов часто нет пары, т.е. не показана оппозиционная группа. Это вновь говорит о крайне низкой степени сфор-мированности языковой картины предметной области у отвечающего. Можно предположить, что знание студентом критериев выделения той или иной оппозиционной группы помогло бы ему восстановить эту группу полностью хотя бы при помощи логики; 4) неполное перечисление терминов в пределах какой-либо ЛСГ. Опять-таки, хорошее знание семантической структуры (т.е. критериев) позволило бы студенту запомнить больше терминов.
Рис. 7. Граф ответа из примера № 3
Выводы: 1) обозначенные нами параметры качественной и количественной оценки знаний учащихся в совокупности с выбранным нами способом репрезентации позволяют дать адекватную оценку этих знаний; 2) идеографическая репрезентация лексико-семантической структуры предметной области даёт возмож-
ность обнаружить пробелы в знаниях студентов, а также позволяет выявить наиболее часто допускаемые ими ошибки. Анализ этих пробелов и ошибок поможет соответствующим образом скорректировать способ преподавания материала по данной дисциплине.
COGNITIVE AND COMMUNICATIVE ANALYSIS AND EVALUATION OF STUDENTS' FREE-FORM ANSWERS
© 2014 A.P.Zhuravleov1,2,
1Samara State Technical University 2Samara State Medical University
This paper represents the way Karaulov's ideographic method (extended by application of graph theory) can be used for quantitative and qualitative evaluation of students' professional knowledge. The paper shows a reference graph (which represents the lexical-semantic structure of the subject field called «Pelvis injuries») as well as parameters of quantitative and qualitative evaluation of students' professional knowledge. These parameters are used for cognitive and communicative anaysis and evaluation of students' free-form answers. Key words: ideographic representation, reference graph, lexical-semantic structure, subject field, quantitative and qualitative evaluation.
A.N.Krasnov2"
Aleksandr Pavlovich Zhuravlyov, Assistant professor of Foreign languages department (SSTU), Senior laboratory assistant of the Electronic Educational Aid Laboratory of Pedagogy, psychology and psycholinguistics department (SSMU). E-mail: palych32@rambler.ru
Aleksandr Nikodimovich Krasnov, Doctor of Medicine, Professor, Head of Pedagogy, psychology and psycholinguistics department.
