CC BY
40
основные критерии эстетической культуры: эстетические знания, умения и навыки; эстети-ческо-оценочные представления, формирующиеся на основе эстетического восприятия и творчества; эстетическая потребность; активность в сфере творческой деятельности; потребность в реализации полученных эстетических знаний в художественной деятельности.
Важнейшим показателем уровня сформированное™ эстетической культуры является такое качество как динамичность знаний, проявляющаяся в способности включать новое знание в сформировавшуюся систему эстетических знаний и гибко перестраивать эту систему в связи с накоплением новых знаний.
Показателем сформированное™ системы оценочных представлений, эстетической культуры следует считать определенный уровень развития способности к эстетической оценочной деятельности и ряда эстетических умений, в которых эта способность реально проявляется.
Важным критерием эстетической культуры студентов, без которого процесс эсте-
тического развития становится бесполезным для духовного становления личности, является эстетическая потребность. Формирование мотивационно-потребностной сферы личности актуализирует эстетические и педагогические способности.
В этой связи процесс формирования эстетической культуры - это глубокое погружение в исторически развивающееся проблемное поле мировой художественной культуры. Поэтому процесс освоения эстетической культуры, то есть процесс художественного и эстетического развития личности будущего педагога приобретает черты твор-ческо-образовательного процесса. Будущее в российском образовании во многом будет зависеть от качества педагогической деятельности, от преподавателя, в котором сформированы эстетические и педагогические способности, его культурный уровень, физическое и нравственное здоровье, творческий потенциал.
Поступила в редакцию 2.09.2007 г.
ПРОЦЕДУРА ОБЕСПЕЧЕНИЯ НАДЕЖНОСТИ ТЕСТА В ФОРМАТЕ ЭССЕ
Д.Ю. Телешев
Teleshev D.Y. Essay test reliability assurance procedure. This paper is devoted to a problem of essay test reliability. The analytical approach is considered to increase essay test reliability, which uses more or less developed scales of criteria for estimation. Use of the scheme offered in the paper for training teachers for estimation of an essay on the basis of an analytical scale allows raising reliability of testing written speech in a format of an essay that is proved by an experiment.
В последние годы все большее место в обучении иностранным языкам занимает обучение письменной речи. Вместо вспомогательной и сугубо утилитарной роли, письменная речь сейчас рассматривается как один из равноправных видов речевой деятельности, наряду с устной речью, чтением и аудированием. Одним из форматов письменной речи, требующим от учащихся значительного уровня сформированное™ коммуникативной компетенции, является эссе. Эссе, или «развернутое письменное высказывание с элементами рассуждения», входит не только в письменную часть большинства международных экзаменов английского языка, таких как First Certificate in English (FCE),
Cambridge Certificate in Advanced English (CAE), Cambridge certificate of Proficiency in English (CPE), International English Language Testing System (IELTS), Test of English as a Foreign Language (TOEFL), Graduate Record Examination (GRE), но и в письменную часть Единого государственного экзамена (ЕГЭ). Все это объясняет постоянно растущий интерес к такой форме тестирования письменной речи, как эссе.
Вместе с тем, одним из ключевых вопросов тестирования письменной речи в формате эссе остается его надежность. Надежность тестирования в отечественной и зарубежной методике в течение нескольких десятилетий рассматривали, в основном, как «встроенную
характеристику» теста, находящуюся в зависимости от его валидности. Вместе с тем, последние исследования как отечественных (И.Л. Бим, О.Г. Поляков, И.А. Цатурова,
Р.П. Мильруд), так и зарубежных исследователей (H. G. Widdowson, L.F. Bachman, D. Douglas, J. Charney, T.J. Homburg, D. Engler, R. Huot, B. Kroll и др.) позволяют сделать вывод о том, что надежность теста является многогранным и неоднозначным понятием. Надежность представляет собой качество всего теста скорее, чем сумму качеств его отдельных компонентов, и складывается из надежности тестовых заданий и надежности оценивания. Другими словами, надежность теста письменной речи в формате эссе зависит не только от корректной формулировки задания и знакомства учащихся с данным форматом письменной речи, но также и с процедурой оценивания и подготовленностью преподавателей к оцениванию.
Большинство преподавателей оценивают эссе на основе общего впечатления (holistic/general impression evaluation). Такой метод оценивания широко применяется с середины 1960-х гг., когда он сменил оценивание на основе лексико-грамматической правильности, и заключается в выведении финальной оценки за эссе на основе таких личностно-интерпретируемых параметров оценивания, как полнота раскрытия темы, оригинальность эссе, частотность ошибок и того, насколько эти ошибки затрудняют понимание всего эссе, ит. д. Естественно, что у различных преподавателей может сложиться совершенно разное понимание того, что именно является оригинальным в конкретном эссе и насколько полно раскрыта тема (в зависимости от знакомства самого оценивающего с темой эссе), того, как сильно ошибки затрудняют понимание (в зависимости от уровня владения языком, языкового опыта и особенностей восприятия конкретного проверяющего). Таким образом, даже в случае корректной формулировки задания теста в формате эссе и хорошего знакомства студента с форматом теста и уровнем его коммуникативной компетенции при методе оценивания, основанном на общем впечатлении, надежность оценивания в значительной степени зависит от личностных особенностей преподавателя и, следовательно, не может быть высокой.
Одним из альтернативных способов оценивания уровня сформированное™ письменной речевой компетенции является оценивание посредством языкового портфолио (L. Hamp-Lyons, W. Condon, Belanoff, Elbow, P. Belanoff, M. Dickson). Однако этот способ оценивания, основанный на анализе большого количества произведений письменной речи конкретного студента, не применим к однократному оцениванию эссе.
Подходом к оцениванию, максимально повышающим надежность тестирования письменной речи в формате эссе, представляется аналитический подход, в котором для измерения используются более или менее детально разработанные шкалы критериев [1]. В рамках аналитического подхода эссе оценивается по ряду основных критериев (например, по полноте решения коммуникативной задачи, организации текста, стилистической, лексической и грамматической правильности, орфографии и пунктуации) и по каждому из критериев на основе шкалы оценивания может быть вычислен итоговый балл. Таким образом, каждый из оцениваемых параметров эссе находит количественное выражение, что сводит к минимуму влияние личностной интерпретации этих параметров проверяющими, позволяет унифицировать и стандартизировать оценку вне зависимости от личности преподавателя и существенно повышает надежность теста письменной речи в формате эссе.
На пути применения аналитического подхода к оцениванию эссе стоит значительная проблема. Несмотря на высокую степень зависимости оценки, основанной на общем впечатлении, от личности и языкового опыта преподавателя и ее низкой надежности, такое оценивание не требует специальной подготовки. Преподавателю достаточно быть знакомым с требованиями программы, государственного образовательного стандарта и методикой обучения курса. Оценивание же на основе аналитической шкалы, несмотря на высокую надежность, требует специальной подготовки преподавателей, в рамках которой они учатся верно интерпретировать шкалу, определять количественные показатели параметров оценивания и их соответствие уровням сформированное™ коммуникативной компетенции.
Таблица 1
Схема подготовки преподавателей к обеспечению надежности оценивания результатов тестирования письменной речи в формате эссе
Этап Традиционное содержание Предлагаемое содержание
1. Предварительный этап Создать академическое дискурсивное сообщество, знакомство с лингводидактическими особенностями эссе
2. Установочное совещание Добиться единого понимания критериев оценивания и уровневых дескрипторов Добиться единого понимания критериев оценивания на основе лингводидактических особенностей эссе, обсудить уровневые дескрипторы
3. Согласовательное совещание Обсудить разницу между аналитической и холистической шкалами оценивания. Оценить образец эссе, сравнить оценку с эталонной и оценкой других экспертов в группе, обсудить различия Обсудить разницу между аналитической и холистической шкалами оценивания. Оценить образец эссе по одному из критериев (критерий 1), сравнить оценку с эталонной и оценкой других экспертов в группе, обсудить различия
4. Согласовательное совещание Оценить образец эссе, сравнить оценку с эталонной и оценкой других экспертов в группе, обсудить различия Оценить образец эссе по одному из критериев (критерий 2), сравнить оценку с эталонной и оценкой других экспертов в группе, обсудить различия
Повтор пунктов 3 и 4 в необходимом количестве По всем критериям одновременно Оценивать образцы эссе в соответствии с критериями (по отдельности)
Итоговое согласовательное совещание Определить надежность тестирования эссе в группе (совпадение оценок у экспертов, межэкспертная надежность) Определить надежность тестирования эссе, вычислить коэффициент межэкспертной надежности (в группе) и индивидуальной надежности каждого эксперта (повторная оценка предыдущих образцов эссе)
Общепринятым способом подготовки преподавателей к оцениванию результатов тестирования письменной речи в формате эссе на основе аналитической шкалы является экстенсивный курс в формате согласовательных совещаний. В ходе таких совещаний преподаватели традиционно анализируют примеры эссе и учатся оценивать их на основе аналитической шкалы с тем, чтобы свести к минимуму расхождения в баллах.
На наш взгляд, в таком способе подготовки преподавателей заложено серьезное нарушение одного из основополагающих принципов дидактики - от простого к сложному. Преподавателям приходится сразу учиться оценивать все эссе целиком, работая одновременно со всеми параметрами и критериями в рамках аналитической шкалы, что неизбежно создает сложности и может привести к ошибкам в ходе оценивания и, следовательно, к снижению надежности оценки. Мы предлагаем подготовку экспертов распределить на этапы, содержание которых будет обусловлено параметрами оценивания. На каждом из этапов определенный параметр оценивания и соответствующие критерии будут являться ведущими, и внутри каждого из этапов обучение будет строиться по следую-
щей схеме: ознакомление с параметром и критериями оценивания ^ обучение идентификации данного параметра в эссе ^ обучение оцениванию эссе с учетом данного параметра по предлагаемым в шкале критериям.
Последовательность параметров и, соответственно, этапов обучения определим в соответствии с последовательностью этапов обучения написанию эссе, предложенными А.В. Конобеевым на основе лингводидактических характеристик дискурса эссе.
Предлагаемая нами схема подготовки преподавателей и ее отличия от традиционной подготовки наглядно показаны в табл. 1.Использование предлагаемой схемы для подготовки преподавателей к оцениванию эссе на основе аналитической шкалы позволяет повысить надежность тестирования письменной речи в формате эссе, что подтверждается полученными нами опытными данными.
1. Поляков О.Г. Тестирование по английскому языку как иностранному. Тамбов, 1999.
Поступила в редакцию 2.09.2007 г.
