CC BY
56
Воронин В.М., Курицин С.В., Наседкина З.А., Касатов А.П.
ПРИМЕНЕНИЕ ЛАТЕНТНОГО СЕМАНТИЧЕСКОГО АНАЛИЗА КАК НОВОГО ПОДХОДА К АВТОМАТИЗИРОВАННОй ОЦЕНКЕ СВОБОДНЫХ РАЗВЕРНУТЫХ ОТВЕТОВ
В связи c реформированием российского образования и введением обязательного тестового контроля (например, ЕГЭ [1]) в последнее время исследователи часто обращаются к теме автоматизированного контроля знаний ([2], [3], [5]). Данный вид контроля обладает относительной простотой технической реализации, высокой степенью автоматизации и минимизацией затрат времени на проведение процедуры те стирования. При этом для большинства исследований характерным является замечание О. В. Воробейчиковой [2] о том, что при компьютерном тестировании открытая форма заданий трудно реализуется, и поэтому чаще используют тесты закрытого типа. Исходя из этого факта речь, как правило, идет исключительно об использовании заданий закрытой формы, в то время как задания с открытыми ответами зачастую игнорируются в компьютерном тестировании. В данной статье мы обсудим реализацию нового метода для автоматизированной оценки заданий со свободными открытыми ответами -латентного семантического анализа.
В двух моделях программированного обучения: линейной Б. Ф. Скиннера [4] и разветвленной Н. Краудера [4] — для оценки качества усвоения учебного материала рекомендовались различные формы ответов. Скиннер пользовался конструированным ответом, а Краудер — выборочным (multiple choice). Именно выборочный тип ответа на сегодняшний день наиболее часто используют при автоматизированном контроле, поскольку его легче реализовать по сравнению с другими типами.
Считается, что автоматизированный метод контроля должен повышать надежность, обеспечивать объективность оценки. Однако использование средств автоматизации может не только не повышать качество контроля, а, наоборот, приводить к его ухудшению. В частности, по утверждению Н. Ф. Талызиной [7], необоснованное использование выборочного типа ответов привело к резкому падению качества контроля знаний: вместо контроля приемов мыслительной деятельности нередко контролировалась механическая память; вместо контроля метода решения задачи проверялся результат случайного угадывания.
Однако, задания со свободными развернутыми ответами обладают рядом достаточно важных преимуществ [6]:
1) обеспечивают большую возможность оценить овладение предметной областью (выше содержательная валидность);
2) обеспечивают большую возможность для диагностики результатов обучения и проблем в обучении;
3) вызывают больший интерес у учащихся, чем задания с выбором ответа;
4) стимулируют учебный процесс на формирование более важных учебных умений (решение задач, доказательства, обобщение, рассуждения, оценочные суждения,
аргументация и др.).
Традиционная система контрольных работ, коллоквиумов, экзаменов и т.д. основывалась на оценке развернутых ответов обучаемых. Однако автоматизированное оценивание таких ответов при компьютерном тестировании натолкнулось на огромные трудности. Имеются отдельные подходы с позиций компьютерной лингвистики, технологий искусственного интеллекта, когнитивной психологии, но ввиду ряда теоретических и технологических проблем на сегодняшний день нет решений, допускающих их широкое практическое применение.
На пути решения задачи автоматизированной оценки качества свободных развернутых ответов важным шагом является привлечение метода латентного семантического анализа (LSA). Латентный семантический анализ (LSA) ([9], [10]) -это компьютерный метод статистического извлечения значений из текста, уходящий корнями в исследования по информационному поиску (information retrieval) ([11]), но к настоящему моменту сфера его применения расширена до анализа дискурса и общих методологических проблем обучения и языка ([12], [9]). Он успешно зарекомендовал себя при моделировании целого ряда психолингвистических явлений и репрезентации знаний человека (соответствующий обзор дан в [9], [10]). Он достаточно просто может быть реализован, но требует довольно серьезных требований со стороны технической оснащенности ввиду необходимости производить огромное число вычислений.
Этот метод позволяет извлекать контекстно-зависимые значения слов при помощи статистической обработки больших наборов текстовых данных, и в его основе заложены принципы факторного анализа. Совокупность всех контекстов, в которых встречается и не встречается данное слово, задает множество обоюдных ограничений, которые позволяют определить похожесть смысловых значений слов и множеств слов между собой.
LSA анализирует частоту встречаемости слов в корпусе текстов, состоящем из нескольких тысяч документов, используя математическую технику декомпозиции сингулярных значений (SVD). Эта техника позволяет извлекать 300-500 измерений значений, что соответствует репрезентации человеческих семантических интуиций со значительной точностью. LSA создает семантическое пространство, в котором слова, предложения или целые тексты представляются как математические вектора. Угол между двумя векторами (измеряемый его косинусом) представляет полностью автоматическое измерение семантической подобности между словами или текстами, которые представляют этот вектор. Таким образом, можно посчитать семантическую подобность между парами любых слов или текстов - например, между текстом, который необходимо понять и резюме данного текста испытуемого.
Что делает LSA особенно полезным для использования, так это то, что не только отдельные слова, но и предложения, параграфы, тексты, фактически любой набор слов могут быть представлены вектором в семантическом пространстве. Вектор для ряда слов - средняя точка векторов для отдельных слов, то есть, это - своего рода среднее число. Таким образом, мы можем легко вычислить подобие предложений и целых текстов в семантическом пространстве.
Используемые для построения семантического пространства LSA тексты должны быть тщательно отобраны с целью отразить уровень общего знания человека в данной области. Размер текстов, используемых для этого, должен быть не меньше 20000 параграфов; каждый параграф должен состоять из 40-400 слов. Параграфы при этом
должны быть когерентными. Наиболее точные результаты могут быть получены при размере текстовой базы свыше 50000 параграфов.
LSA особенно успешно применяется в образовательной сфере. Во-первых, LSA может использоваться для автоматического градуирования эссе путем сравнения эссе со своего рода прототипом. Например, прототипом может быть эссе или набор эссе, написанных опытными авторами (экспертами). Степень, присвоенная эссе студента была бы функцией косинуса между данным эссе и эссе-прототипом. Более лучший метод предполагает существование ряда предградуируемых эссе. Тогда может быть вычислен косинус между новым эссе и набором предградуируемых эссе, и новому эссе может быть назначена степень, основанная на взвешенном среднем числе ее косинусов с 10 самыми близкими предградуируемыми эссе. В качестве работающей модели данного положения была разработана обучающая система «Интеллектуальный эксперт эссе» (Intelligent essay assessor, IEA), показывающая, что может градуировать эссе одинаково хорошо наряду с людьми-экспертами [13]. Для одной выборки из 2263 эссе, о которой сообщено в [13], профессиональные оценщики достигли хорошего согласия между собой в оценивании эссе (r = 0,85), но корреляция между степенями, присвоенными эссе IEA и профессиональными оценщиками, была так же высока (r = 0,85). С другой стороны, помощники преподавателей, градуирующие эссе по вводному курсу психологии, коррелировали намного хуже друг с другом и с профессорами, которые преподавали курс, так что LSA фактически выполнил это задание лучше, особенно в части его корреляции с профессорами. Кроме того, профессиональные оценщики под влиянием контекстных эффектов часто находят трудным придерживаться того же самого критерия, сортируя большое количество эссе. LSA же устраняет данную проблему.
Во-вторых, LSA может быть эффективно использован для дистанционного обучения. В данном виде обучения существует проблема адекватного выбора учебно-методической литературы обучающимися, поскольку ограничен, а иногда просто невозможен прямой контакт с преподавателем. Здесь LSA мог бы использоваться, чтобы выбрать соответствующие учебные материалы для студентов, как продемонстрировали Wolfe и др. [14]. Если косинус между эссе, написанным студентом и учебным текстом был умерен, обучение было успешно (приблизительно 40%-ое улучшение экзаменационных отметок или степеней эссе между пред- и посттестом); когда косинус был слишком низок (недостаточно фонового знания), изучение было неэффективно; когда косинус был слишком высок (недостаточно новой информации в тексте), изучение было так же неэффективно.
В-третьих, LSA был успешно внедрен в системы для оказания помощи обучающимся в написании резюме. E. Kintsch, Steinhart, Stahl, Matthews, Lamb и др.[15] разработали систему Summary Street, которая предоставляет студенту обратную связь с целью проверки написанного им резюме по одному из разделов учебника. Темы разделов касались источников энергии (уголь, энергия ветра, нефть, и т.д.), или Центральноамериканских цивилизаций (инки, майя, или ацтеки). Каждый текст был составлен из разделов, обычно 4-5, и преподаватели хотели, чтобы содержание каждого раздела было охвачено в резюме. Кроме того, преподаватели требовали, чтобы резюме имело определенную длину, между 150 и 200 словами. Студенты писали свои резюме с помощью компьютерного интерфейса, который очень походил на стандартный текстовой редактор и посылал ответы-резюме в лаборатории для анализа через сеть. Студент получал обратную связь почти немедленно. Содержание обратной связи включало
в себя множество шагов. Основанная на содержании обратная связь гарантирует, что все разделы текста раскрыты в резюме. С этой целью вычислялся косинус между резюме студента и каждым из разделов эталонного текста. Если косинус был ниже определенного порогового значения, студенту сообщалось, что этот раздел недостаточно раскрыт в резюме. Тогда студент имел возможность просмотреть соответствующий раздел текста на экране компьютера и добавить некоторый материал об этом разделе к резюме. Если порог был превышен для всех разделов, студенту сообщалось, что он теперь охватил все части текста. Так как длина резюме была ограничена во избежание обширного копирования из исходных текстов, студентам сообщалось, сколько слов они написали в данный момент, и какое из предложений может быть избыточным или несоответствующим.
В нашем исследовании [8] изучалась применимость LSA к оценке резюме нарративных и экспозиторных текстов. Полученные результаты свидетельствуют о том, что надежность LSA была выше для нарративного текста, чем для экспозиторного, с подобием между оценками экспертов-оценщиков и косинусами LSA, являющимися больше для содержания, чем для когерентности.
Резюмируя вышеизложенное можно констатировать, что LSA представляется многообещающим методом, на основе которого возможно построение высоконадежных систем автоматической оценки свободных развернутых ответов.
Литература
1. Болотов В. А., Шаулин В. Н., Шмелев А. Г. Единый экзамен как средство повышения качества образования // Высшее образование сегодня. - 2002. № 5, — С. 22-30.
2. Воробейчикова О. В. Структурированные тесты как средство контроля знаний // Информатика и образование. - 2001. - №7. - С.14-17.
3. Гершунский Б.С. Компьютеризация в сфере образования: Проблемы и перспективы. - М.: Педагогика, 1987, — 264 с.
4. Карлащук В. И. Обучающие программы. — М.: Солон-Р, 2001. — 528 с.
5. Матушанский Г. У. Проектирование педагогических тестов для контроля знаний // Информатика и образование. — 2000. — № 6. — С. 7-10.
6. Машбиц Е. И. Психолого-педагогические проблемы компьютеризации обучения. — М.: Педагогика, 1988 — 243 с.
7. Талызина Н. Ф. Теоретические основы контроля в учебном процессе. — М.: Знание, 1983, — 96 с.
8. Курицин С.В., Воронин В.М. Исследование оценки понимания нарративных и экспозиторных текстов с применением латентного семантического анализа // «Сибирский психологический журнал», 2009. № 33, С. 25-30. Томск: Изд-во Томского гос. ун-та, 2009.
9. Landauer, T. K., & Dumais, S. T. (1997). A solution to Plato's problem: The Latent Semantic Analysis theory of the acquisition, induction, and representation of knowledge. Psychological Review, 104, 211-240.
10. Landauer, T. K., Foltz, P. W., & Laham, D. (1998). Introduction to Latent Semantic Analysis. Discourse Processes, 25, 259-284.
11. Deerwester, S., Dumais, S. T., Furnas, G. W., Landauer, T. K., Harshman, R. (1991).
Indexing By Latent Semantic Analysis. Journal of the American Society For Information Science, 41, 391-407.
12. Foltz, P. W. (1996). Latent semantic analysis for text-based research. Behavior Research Methods, Instruments, & Computers, 28, 197-202.
13. Landauer, T.K., Laham, D., & Foltz, P. W. (2003). Automated scoring and annotation of essays with the Intelligent Essay Assessor. // Automated essay scoring: A cross-disciplinary perspective, Mahwah, NJ:Erlbaum.
14. Wolfe, M. B., Schreiner, M. E., Rehder, B., Laham, D., Foltz, P. W., Kintsch, W., & Landauer, T. K. (1998). Learning from text: Matching readers and text by Latent Semantic Analysis. Discourse Processes, 25, 309-336.
15. Kintsch, E., Steinhart, D., Stahl, G., Matthews, C., Lamb, R., & the LSA research Group (2000). Developing summarization skills through the use of LSA-backed feedback. Interactive Learning Environments, 8(2), 87-109.
Игебаева Ф.А.
О МЕТОДАХ ФОРМИРОВАНИЯ КОММУНИКАТИВНОй КОМПЕТЕНТНОСТИ ВЫПУСКНИКА АГРАРНОГО УНИВЕРСИТЕТА
Сегодня новые экономические и социальные условия выдвинули на первый план необходимость повышения коммуникативной компетентности. Высокая речевая культура и развитая экономика неотделимы друг от друга. А коммуникативная компетентность, как оправа для бриллианта, может помочь реализовать свои замыслы и намерения, стать преуспевающим человеком, вызывающим уважение у деловых партнеров.
Поэтому тот, кто хочет достичь успеха в деловом общении, успешно продвигаться по карьерной лестнице, должен овладеть определенными знаниями и навыками в области делового общения, поскольку речь - лучший паспорт человека. Способность передавать информацию, а потом ясно и недвусмысленно дать указания, чтобы все было правильно истолковано, может стать условием того, насколько правильно ваши коллеги поймут суть дела. От взаимопонимания будут зависеть результаты совместной работы, ее эффективность.
В настоящее время в условиях рыночной экономики ценность образования, безусловно, растет. Широкие и глубокие знания - это не только условие высокой профессиональной деятельности, но и важнейший ресурс, который в отличие от природного сырья, не исчерпывается, а приумножается. А студенческие годы - прекрасное время в получении этих знаний для дальнейшей самореализации и самосовершенствования [5].
Вместе с тем меняются и требования к личности специалиста с высшим образова-
