CC BY
38
Таким образом, полагаем, что работа преподавательского состава вузов по обозначенным здесь направлениям позволит студенту - будущему педагогу развивать профессиональные компетенции специалиста и стать востребованным на рынке труда Санкт-Петербурга, поскольку количество общеобразовательных школ, реализующих инклюзивную практику, постоянно растет и, соответственно, повышается спрос на педагога, владеющего инклюзивными технологиями и методиками, а также психологически подготовленного к реализации цели инклюзивного образовния -развитию и социализации каждого ребенка в соответствии с его индивидуальными образовательными потребностями и возможностями.
Литература
1. Алехина С. В. Инклюзивное образование для детей с ограниченными возможностями здоровья. - Современные образовательные технологии в работе с детьми, имеющими ограниченные возможности здоровья: монография / Н. В. Новикова, Л. А. Казакова, С. В. Алехина; под общ. ред. Н. В. Лалетина; Сиб. Федер. ун-т, Краснояр. гос. пед. ун-т им. В. П. Астафьева [и др.]. Красноярск, 2013. С. 71-95. Copyright: © http://www.indusive-edu.ru/peoples/1/26/.
2. Матвеева М. В. Создание полифункциональной развивающей образовательной среды для лиц с интеллектуальными нарушениями в условиях специальной (коррекционной) школы VIII вида // Вестник науки и образования: научно-методический журнал. № 1. -М., 2014., с. 62-66.
3. Приказ Министерства труда и социальной защиты Российской Федерации от 18 октября 2013 г. N 544н «Профессиональный стандарт педагог (педагогическая деятельность в дошкольном, начальном общем, основном общем, среднем общем образовании) (воспитатель, учитель)».
Arranging of teaching texts by expert evaluations Zmeeva N.
Ранжирование учебных текстов методом экспертных оценок
Змеева Н. Б.
Змеева Наталья Брониславовна / Zmeeva Natalia - кандидат педагогических наук,
старший преподаватель, кафедра французского языка, филологический факультет, Санкт-Петербургский государственный университет, г. Санкт-Петербург
Аннотация: в статье рассматривается практическое использование метода экспертных оценок для ранжирования учебных текстов на французском языке по убыванию/возрастанию меры трудности. Проведено сравнение результатов ранжирования, полученные методом анализа переводческих ошибок и экспертным методом, с использованием математико-статистического аппарата. Abstract: this article describes a practical method of expert evaluations in French teaching texts by arranging the texts in order of descending/ascending difficulty. Comparison of results of ranging, received by method of the analysis of translation mistakes and an expert method is carried out. Comparison based on mathematical-statistical principles.
Ключевые слова: текст, французский, доступность, трудность, сложность, ранжирование, переводческая ошибка, экспертная оценка, математико-статистический аппарат.
Keywords: text, French, accessibility, difficulty, complexity, arranging, translation mistake, expert evaluation, mathematical-statistical method.
Центральным компонентом системы средств обучения является учебник и тексты, содержащие языковой материал. Однако при всем многообразии учебных текстов для преподавателя их отбор остается наиболее важной проблемой. Это связано с тем, что учебный текст должен отвечать ряду требований, самым важным из которых является доступность [1, с. 40]. Доступный текст - это текст оптимальной трудности, ставящий посильные познавательные задачи перед студентом, который должен не расшифровывать, а читать текст. Однако необходимо отличать «субъективную» и «объективную» трудность текста [2, с. 102-119]. Объективную трудность (сложность) выражают формальные или семантические признаки текста, характеризующие, например, читабельность [3, с. 36]. Субъективная трудность зависит не только от сложности текста, но и от подготовленности читателя. Если сложность текста можно измерить, используя объективные компоненты, характеризующие сам текст, то субъективную трудность или трудность для читателя можно измерить только экспериментальными методами, такими как анализ переводческих ошибок, экспертные оценки и другие. Эти методы в сочетании с применением математико-статистического аппарата позволяют ранжировать тексты по убыванию/возрастанию меры трудности [5, с. 14-17]. Разработка подобных процедур необходима для подбора учебных текстов на иностранном языке, которые в последующем использовались на практических занятиях по переводу для студентов филологического факультета СПбГУ.
В данной работе рассматривается метод экспертных оценок. При этом будем опираться на оценки преподавателей-экспертов, которые, прочитав текст, оценят его трудность по десятибалльной шкале: 1 балл — очень легкий текст, 10 — очень трудный.
Напомним, что для проведения первой части эксперимента [6, с. 15] была сформирована группа из 8 студентов-информантов IV-го курса отделения теоретической, прикладной и экспериментальной лингвистики филологического факультета СПбГУ (это соответствует средней наполняемости групп при обучении иностранному языку на данном факультете). Однородность группы по уровню знаний определялась по результатам промежуточной аттестации студентов за предыдущий семестр обучения.
В ходе эксперимента на каждом занятии (2 академических часа) студентам предлагался для письменного перевода один текст. Студентам разрешалось пользоваться французско-русским словарем, при этом контролировалась самостоятельность выполнения задания. Всего эксперимент продолжался 20 академических часов. Материалом эксперимента стали 80 письменных переводов студентов, которые в дальнейшем были подвергнуты обработке.
Объем учебного текста на французском языке составлял 3500-3800 знаков. Были выбраны лингвистические тексты по следующим темам: социолингвистика, языковые контакты, проблемы билингвизма [3, с. 221-231]. Они относятся к разным функциональным стилям и жанрам: научному (подстиль: научно-популярный, жанр: учебное пособие, научная статья) - 8 текстов; официально-деловому (подстиль -законодательный; жанр - правовой документ) - 1 текст; публицистическому (подстиль: газетно-публицистический, жанр - проблемная статья) - 1 текст. Характер адресата текстов соответствует программе отделения теоретической, прикладной и экспериментальной лингвистики, поскольку студенты уже с младших курсов знакомятся с литературой по общей лингвистике на иностранных языках, развивают навыки и умения чтения текстов научного содержания, что позволяет говорить об их лингвистической компетенции в конце обучения.
Для оценивания результатов эксперимента был избран контроль умения читать на иностранном языке. В качестве средства контроля понимания, в данном случае при изучающем чтении, мы использовали письменный перевод текстов на родной язык. Основное требование к переводу - это его адекватность и эквивалентность [4, а 263-316]. Категории эквивалентности и адекватности, рассматриваемые в рамках коммуникативной ситуации, выполняют роль нормы и определяют содержание оценки. Особое внимание следует обращать на языковые средства, которые обеспечивают смысловые связи между словами, предложениями, абзацами, а также формируют развитие текста. В переводе данных элементов студенты особенно небрежны. Слова, словосочетания и предложения, вызвавшие затруднения или переданные неточно при переводе, подверглись лексическому, грамматическому, синтаксическому, стилистическому анализу, в зависимости от характера ошибки. Оценивание понимания текстов проводилось методом анализа переводческих ошибок.
Систематизируя представление о типах ошибок при письменном переводе текста с иностранного на родной язык, была разработана следующая классификация ошибок, Таблица 1.
Таблица 1. Классификация ошибок
Уровень ошибки Описание ошибки
лексико-семантический уровень использование ошибочного эквивалента
переводческая ошибка при гипо-гиперонимическом преобразовании (конкретизация, генерализация)
пропуски или добавления слов при переводе
перевод терминов, сокращений, имен собственных
грамматико-синтаксический уровнь идентификация частей речи
перевод грамматических конструкций (перевод уступительных, выделительных, ограничительных оборотов; инфинитивных, каузативных, абсолютных, пассивных конструкций)
перевод глагола (категория времени, вида, модальности и наклонения)
нарушение при переводе тема-рематической конверсии
смещение синтаксической валентности (синтаксических связей)
прагматический уровень дословное воспроизведение форм подлинника (буквализмы: лексические, фразеологические, грамматические, стилистические)
стилистический уровень ошибки узуса в родном языке
Далее был применен метод анализа переводческих ошибок, основанный на статистико-вероятностных свойствах их распределений, который позволил уменьшить влияние субъективных факторов при оценивании.
В результате проведенного эксперимента были получены 80 письменных работ студентов. Дальнейшая обработка работ включала систематизацию всех ошибок, зафиксированных в работах, согласно разработанной нами классификации, вычисление среднего количества ошибок каждого типа, допущенных в них студентами, а также среднее число ошибок каждого типа в текстах и обобщающие характеристики каждого текста.
В результате обработки было проведено ранжирование текстов по количеству ошибок, которые допустили студенты при переводе (таблица 2). Текст, имеющий ранг 1, является наиболее простым и легким для перевода, а текст, имеющий ранг 10 -наиболее сложным и трудным.
Таблица 2. Стандартизованная матрица данных
№ текста
№ ошибки 1 2 3 4 5 6 7 8 9 10
1 0,497 0,731 0,608 1,345 0,682 0,976 0,436 1,234 1,541 0,731
2 0,052 0,858 0,052 0,961 0,052 0,052 0,858 0,858 0,858 2,263
3 0,912 0,912 0,552 0,588 0,132 0,108 0,348 0,672 2,447 0,312
4 0,318 0,715 0,814 0,079 1,072 0,119 2,362 0,218 0,814 0,516
5 0,424 0,849 1,273 0,000 0,849 1,273 1,273 0,849 1,273 0,424
6 0,428 0,327 2,189 0,830 0,428 1,082 0,830 0,679 0,830 0,176
7 0,116 0,503 0,116 0,271 0,890 0,890 0,271 0,116 0,503 2,593
8 0,316 0,316 0,316 2,846 0,316 0,316 0,316 0,316 0,316 0,316
9 0,891 0,891 0,422 0,047 1,454 0,891 0,422 0,422 0,516 1,923
10 0,339 0,896 0,757 0,618 1,472 2,076 0,571 0,218 0,525 0,060
11 0,754 0,867 0,979 0,754 0,754 1,272 1,272 1,497 0,191 0,259
Суммы: 2,245 7,864 3,596 1,245 3,915 2,041 2,964 0,178 1,740 5,703
Ранг: 3 1 2 6 9 4 8 5 7 10
Для оценивания трудности текстов методом экспертных оценок, данные учебные тексты были предложены для оценивания преподавателям по французскому языку с высшим профессиональным образованием в области филологии и лингвистики. Оценки экспертов распределились следующим образом, Таблица 3.
Таблица 3. Оценки экспертов
№ текста
№ Эксперта 1 2 3 4 5 6 7 8 9 10
1 4 10 9 5 7 6 1 2 3 8
2 10 2 4 3 9 8 6 7 5 1
3 10 1 3 8 9 4 6 5 7 2
4 10 6 7 9 8 1 5 4 2 3
5 2 3 6 9 7 5 1 4 8 10
6 1 2 3 9 8 5 4 6 7 10
7 3 10 6 1 2 4 5 8 9 7
8 9 4 3 7 8 10 6 5 2 1
9 7 8 3 4 5 9 2 6 10 1
10 9 2 6 5 10 7 3 8 4 1
Подсчитаем средние значения оценок для каждого текста и назначим ранги каждому тексту в зависимости от его сложности, по мнению экспертов, Таблица 4.
№ текста
1 2 3 4 5 6 7 8 9 10
Ср. знач. 6,5 4,8 5,0 6,0 7,3 5,9 3,9 5,5 5,7 4,4
Ранг 9 3 4 8 10 7 1 5 6 2
Теперь попробуем оценить, насколько мнения экспертов были согласованы. Для этого применим математический метод и рассчитаем коэффициент конкордации Кендалла или, по-другому, коэффициент множественной ранговой корреляции по формуле:
т3 (п2 — п)
где т - число экспертов, п - число оцениваемых факторов, S - сумма квадратов разностей рангов (отклонений от среднего).
Расчет показал, что коэффициент конкордации W равен 0,11. С одной стороны (при значениях W < 0,2-0,4), это показывает слабую согласованность экспертов, с другой стороны - их нельзя уличить во взаимной договоренности и, соответственно, их оценки даны, исходя из их профессиональной компетенции. Если обратиться к опыту проведения исследований, основанных на экспертной оценке факторов, то причинами слабой согласованности мнений экспертов могут быть:
• нечеткие постановка вопросов или инструктаж экспертов;
• неправильный выбор факторов оценки;
• подбор некомпетентных для исследуемой области экспертов;
• стереотипность мышления;
• влияние внешних факторов при проведении оценки.
Для надежности сравним результаты, полученные методом анализа переводческих ошибок и экспертным методом. Для этого применим коэффициент ранговой корреляции Спирмена, который используется для выявления и оценки тесноты связи между двумя рядами сопоставляемых количественных показателей. В том случае, если ранги показателей, упорядоченных по степени возрастания или убывания, в большинстве случаев совпадают, делается вывод о наличии прямой корреляционной связи. Если ранги показателей имеют противоположную направленность, то имеет место обратная связь между показателями:
бУ й2 я = 1 —у—
п(п 2 -1)
где сумма квадратов разностей рангов, а п - число парных наблюдений.
В Таблице 5 мы свели результаты ранжирования учебных текстов, проведенные различными методами.
Таблица 5. Результаты ранжирования учебных текстов различными методами
Метод экспертных оценок Метод анализа ошибок
Текст 1 9 3
Текст 2 3 1
Текст 3 4 2
Текст 4 8 6
Текст 5 10 9
Текст 6 7 4
Текст 7 1 8
Текст 8 5 5
Текст 9 6 7
Текст 10 2 10
Применив формулу к результатам ранжировок получим коэффициент ранговой корреляции Спирмена R равным 0,04. Этот результат подтвердил наличие слабой связи между ранжированиями, проведенными разными методами.
С одной стороны, полученные результаты могут быть интерпретированы как отрицательные: мы не смогли подтвердить экспертным методом ранжирование, выполненное на основе переводческих ошибок. С другой стороны, мы еще раз показали, насколько субъективными являются методы, зависящие от человеческого фактора. Это напрямую отрицательно влияет на результат отбора учебных текстов. На практике выбор текстов часто происходит без использования какой-либо методики и основывается исключительно на субъективных оценках преподавателей. Оценить эффективность отобранных учебных текстов можно только после окончания курса обучения, проанализировав уровень знаний каждого обучающегося. Очевидно, что такой подход нельзя назвать идеальным, он содержит недостатки и, в конечном итоге, может оказать значительное негативное влияние на обучающий процесс. При этом существуют и объективные методы, которые позволяют производить отбор учебных текстов на основе свойств самого текста, например, читабельности [3, с. 93]. Такие методы позволяют повысить эффективность обучения и ускорить процесс усвоения учебного материала. И, конечно, только применение математического аппарата в исследованиях четко указывает на статистические зависимости параметров, которые не могут быть выявлены путем субъективных выводов.
Литература
1. Микк Я. А. Оптимизация сложности учебного текста. М.: Просвещение, 1981. 119 с.
2. Тулдава Ю. А. Об измерении трудности текста // Ученые записки Тартуского государственного университета. Тарту: Изд. Тартуского ун-та, Выпуск 345, 1975. С. 102-119.
3. Змеева Н. Б. Методы оптимизации отбора учебных текстов на французском языке (на основе критерия читабельности). Saarbrücken: LAP LAMBERT Academic Publishing GMbH & Co.KG, 2011. 244 с.
4. Гарбовский Н. К. Теория перевода: Учебник. Изд. 2-е. М.: Изд. Моск. ун-та, 2007. 544 с.
5. Марусенко М. А. Бессонов Б. Л., Богданова Л. М., Аникин М. А., Мясоедова Н. Е. В поисках потерянного автора: Этюды атрибуции / Под ред. М. А. Марусенко. СПб.: Филологический ф-т СПбГУ. 2001, 216 с.
6. Змеева Н. Б. Ранжирование учебных текстов методом анализа переводческих ошибок // Древняя и Новая Романия. Выпуск 1 (13). СПб: Изд-во СПбГУ, 2014. С. 15-30.
