CC BY
1207
УДК 37.014:001.8
Т. В. Третьякова
ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ, ИХ РОЛЬ В ОЦЕНИВАНИИ КАЧЕСТВА ОБРАЗОВАНИЯ
Рассмотрены функции педагогических измерений в оценивании и управлении качеством образования. Обоснована роль педагогических измерений в оценивании качества образования, приведено научное обоснование использования бипарадигмальной методологии оценивания качества образования. Приведены результаты практической апробации педагогических измерений в системе образования Республики Саха (Якутия).
Ключевые слова: качество образования, оценивание, функция, педагогические измерения, бипарадигмальная методология, измерители, показатели.
T. V Tretyakova
Pedagogical dimensions, their role in education quality estimation
The functions of pedagogical dimensions in estimation and management of the education quality are observed. The role of pedagogical dimensions in education quality estimation is proved; scientific substantiation of the use of the biparadigm methodology of education quality estimation is presented. The results of practical approbation of pedagogical dimensions in the system of education in the Republic of Sakha (Yakutia) are given.
Key words: education quality, estimation, function, pedagogical dimensions, biparadigm methodology, measurers, indicators.
Педагогические измерения применяются в системе образования многопланово. Их основной целью является получение и предоставление объективной информации о фактическом уровне учебных достижений. Объективная информация может обеспечить последующую результативную деятельность по коррекции образовательной ситуации, индивидуализации обучения, принятию управленческих решений, способствующих повышению качества образования, планированию повышения квалификации педагогов и реальному повышению качества образования.
Мы считаем, что существует ряд важных факторов, способствующих актуализации педагогических измерений в современной образовательной системе:
• интенсификация реформирования на всех уровнях системы образования и необходимость соответствующего систематического анализа изменений в системе образования на основе объективных результатов измерений;
• диверсификация образования, проявляющаяся в расширении объема содержания образования в условиях научно-технической революции конца XX - начала XXI вв., во введении новых методов обучения и информатизации на всех уровнях системы
ТРЕТЬЯКОВА Татьяна Васильевна - д. п. н., руководитель Департамента по надзору и контролю Министерства образования Республики Саха (Якутия).
E-mail: TV_Tretyakova@mail.ru
образования, в развитии механизмов управления и требующая систематизации, конкретизации оценочных действий в разных педагогических ситуациях;
• индивидуализация образования, выраженная в вариативности программ, индивидуальных курсов обучения, многочисленных контрольно-обучающих программ, что, в свою очередь, требует создания разных средств контроля и оценки, находящихся в содержательном единстве с требованиями ГОСов;
• интернационализация образования, обеспечивающая общее образовательное пространство, сохранение единства фундаментальных российских стандартов и национальных традиционных требований к образованию.
На протяжении последних десятилетий формировались подходы к оцениванию качества образования. В конце XX - начале XXI вв. сложился научнопрактический подход, который представляет собой соединение теоретико-методологических исследований проблемы качества с возможностями теории педагогических измерений [1, 2]. В роли критерия принимаются требования государственных образовательных стандартов, определенные для каждого уровня и каждой ступени общего образования.
До сих пор не решена проблема формулирования требований стандартов в практически измеримой форме. В государственных образовательных стандартах нового поколения, которые постепенно вводятся в систему общего и профессионального образования,
реализуется компетентностный подход к трактовке качества образования. Компетентность включает в себя усвоенные знания, умения, навыки, а также предполагает эффективное использование их в реальных ситуациях. Компетентность отражает современные тенденции в понимании качества результатов образовательного процесса и выражается в готовности к решению реальных проблемных ситуаций в ходе обучения или после него [3, 4]. При реализации и обосновании компетентностного подхода в образовании измерения должны охватывать ключевые параметры (компетентности). Проблемой является то, что ключевые компетентности носят общепредметный характер и трудно поддаются измерению. Простейшие навыки, необходимые для повседневной жизни, относящиеся к ключевым
компетенциям, таким как умение считать деньги,
заполнять документы, поддаются измерениям.
Так, функциональная грамотность определяется
в международных сравнительных исследованиях PISA и TIMSS [5, 2]. Однако в большинстве случаев компетентность не поддается измерениям.
Таким образом, основная проблема оценивания качества образования заключается в развитии
методологических основ педагогических измерений, повышении точности измерений, создании методов интерпретации результатов измерения,
совершенствовании методов шкалирования полученных данных.
Важность, на наш взгляд, представляют вопросы концептуально-методологического обоснования измерений в управлении качеством образования,
методологические подходы к измерению качества учебных достижений и применения их результатов. Несмотря на необходимость и важность количественных показателей при оценивании качества учебных достижений, нельзя использовать их как абсолютные критерии вне качественной интерпретации. Мы считаем, что для объективной оценки уровня учебных достижений и использования их в управлении качеством образования в образовательном процессе необходимо привлечение смешанной методологии
педагогических измерений, экспертных суждений и разнообразных оценочных средств. Решение этих вопросов может быть рассмотрено во введенной В. И. Звонниковым [1, 6] бипарадигмальной методологии оценивания качества образования, развитие которой связано с повышением интереса к творческим аспектам подготовки учащихся, необходимостью структурирования разнообразных методов при использовании смешанной методологии измерений, возрастанием роли педагогических измерений в управлении качеством образования и расширением технологических возможностей компьютера. При использовании бипарадигмальных методов в
качестве средств оценивания выступают не только стандартизованные тесты, но и совокупность методов и средств измерения. Вместо единственного источника информации - результатов стандартизованного тестирования появлялись многочисленные источники данных, сочетающие различные средства измерения. Полученные материалы подвергаются последующей качественной интерпретации и только после этого используются в управлении образованием.
Примером использования смешанных моделей измерения является появление и практическая апробация технологии ЕГЭ в России. Объединение в едином контрольно-измерительном материале закрытых тестов с выбором ответа, открытых тестов с программированным верным ответом, заданий со свободно конструируемым ответом является новым подходом в отечественной практике педагогических измерений. Репрезентативность экспериментальной выборки, социальная ориентированность на получение дальнейшего образования, включение больших социальных слоев населения в процессы единого государственного экзамена обеспечили массовую апробацию и быстрое внедрение новой методологии измерения в педагогическую практику.
Практика ЕГЭ создала прецедент массового использования в России бипарадигмальной методологии, позволяющей сочетать количественные результаты тестирования с качественными экспертными оценками при аттестации подготовки школьников, приеме в вузы, аттестации школ и педагогических кадров. Возможные сочетания количественных и качественных подходов, используемых в педагогических измерениях, можно представить в следующих обобщенных схемах [1, 5]:
- качественные измерения - количественная интерпретация - результаты. Примером применения этой схемы является наиболее распространенное в практике оценивание устных ответов учащихся учителем, выражаемое в количественной шкале (школьные оценки). Аналогичный пример: количественная интерпретация количественных результатов в заданиях со свободным ответом ЕГЭ. В случае сочетания смешанных методов в измерении возможен такой дизайн исследования: анкетирование предваряет тестирование и на основе обобщенных данных выводится результат. Практически такая последовательность действий производится при конкурсном отборе, дифференциации учащихся по уровню знаний;
- количественные измерения - качественная интерпретация - результаты. Это также наиболее часто используемая схема, когда статистика количественных данных подвергается педагогическому анализу, качественной интерпретации. Это наиболее привлекательный дизайн педагогических измерений,
когда результаты используются для управления качеством образования, для предположения выводов и прогнозов в долгосрочной перспективе;
- качественные методы - результаты - количественные методы. Вариант назван параллельным дизайном: качественные данные оцениваются, перекладываются в метрическую шкалу и подвергаются количественному анализу.
Эффективность работы по оцениванию качества учебных достижений зависит от того, насколько операционализированы показатели качества, представлены в виде стандартов, критериев и показателей, поддающихся измерению или экспертному заключению. Поскольку «качество» есть сложное многоаспектное понятие, его изучение в каждом конкретном случае нужно строить путем формирования одномерных составляющих, подчиняющихся стандартизации, непосредственному измерению. Единый концептуальный подход должен основываться на смешанных методах измерения, единой системе оценки качества, охватывающей единые стандарты, инструментарии и технологии измерения, образовательный процесс, деятельность и результаты учебного процесса.
Системное использование современной методологии педагогических измерений для оценки качества образования, управления им на разных уровнях региональной системы образования возможно при наличии специально созданных условий: региональной структуры, занимающейся педагогическими измерениями на разных уровнях системы образования; профессионально подготовленных кадров (тестологов, экспертов, аналитиков, управленцев); создания информационно-технологических баз и т. д., то есть при наличии сформированной региональной системы оценки качества образования.
Мы предлагаем функционально-структурную модель системы оценки качества образования Республики Саха (Якутия) [6, 7, 8]. Модель имеет три уровня в соответствии с образовательной практикой: региона, муниципалитета и образовательного учреждения (рис.).
В определенной степени эта модель является теоретической, поскольку в реальной образовательной ситуации возникают проблемы, связанные с сертификацией, валидностью тестовых материалов и результатами измерений, а процедуры эвалюации, обеспечивающие надежность и объективность результатов, не разработаны на должном уровне. Эти проблемы порождают трудности в организации и проведении психолого-педагогических измерений, в сопоставимости и анализе результатов, малодоступности и дороговизне компьютерного программного продукта, используемого при анализе результатов педагогических измерений. Проведенная нами работа дала возможность оценить объективность результатов
ЕГЭ, сравнить статистические данные на уровне муниципалитетов, групп районов, выделенных по территориальным, национальным признакам, определить конкретные задания и темы, которые представили трудность для учащихся, выявить зависимость результатов от социальных условий, в которых проживает семья, от профессионализма, национальной принадлежности педагогов и т. д.
В рамках научного исследования мы применили аппарат теории ГЯТ для оценивания результатов ЕГЭ выпускников Республики Саха (Якутия) 2009 года. Нашей задачей был не только анализ результатов и использование его в практической деятельности образовательных учреждений и управляющих структур, программа позволила выявить систематические ошибки в заданиях ЕГЭ, обусловленные территориальными и национальными особенностями республики. Они подлежат удалению из теста, поскольку не имеют отношения к измеряемой переменной и дают преимущество одним группам испытуемых по отношению к другим при использовании тестов в системе оценки качества образования региона с национальными и территориальными особенностями [9, 6]. К этим особенностям мы отнесли обучение учащихся по программам национальных школ в социальных условиях национального села, а также удаленность места проживания от центра республики, отсутствие сетевых коммуникаций. В целом, необходимо признать, что влияние этих факторов на выполнение заданий оказалось несущественным.
Мы апробировали методику, основанную на аппарате линейного иерархического анализа (^М). Была поставлена задача выявить влияние различных факторов с иерархической структурой на качество учебных достижений выпускников школ Республики Саха (Якутия), оценки которых были получены на ЕГЭ в 2009 году. Применение аппарата ^М потребовало предварительной работы по анализу демографических, школьных и ученических факторов. Дисперсионный анализ ANOVA показал различные результаты оценки статистической значимости при проверке гипотезы о наличии влияния данных факторов на результаты ЕГЭ. Результаты дисперсионного анализа ANOVA, проведенного для выборок выпускников школ Якутии, сформированных по признаку принадлежности к национальной или русскоязычной школе, не показали значимых различий ни по математике, ни по русскому языку. Второй фактор, связанный с национальным составом учительского коллектива, по которому проводился дисперсионный анализ, показал значимые различия в результатах ЕГЭ и по математике, и по русскому языку.
Применение модели НЬМ показало, что уровень полного среднего образования выпускников школ
Рис. Функционально-структурная модель системы оценки качества образования в Республике Саха (Якутия)
Якутии, в целом, соответствует общероссийскому уровню. Полученные результаты о влиянии школьных факторов на качество подготовки выпускников школ Якутии показывают большую однородность по математике, чем по русскому языку.
Третье направление разработки методического обеспечения региональной системы оценки качества образования было связано со шкалированием данных педагогических измерений с целью повышения их интерпретируемости. Проведенное сравнительное исследование позволило сформулировать общие подходы к шкалированию результатов выпускников в условиях сопоставимости данных педагогических измерений [10, 6].
Проведение подобного рода анализа в разных регионах, имеющих отличительные особенности, влияющие на общие результаты измерений в педагогической практике, способствует получению объективной оценки качества образования. Аналитические материалы должны быть учтены при формировании измерительных материалов Федеральным институтом педагогических измерений, использованы при создании контрольно-измерительных материалов ЕГЭ.
Практические рекомендации по созданию региональной системы оценки качества образования
в Якутии с учетом региональных особенностей призваны способствовать совершенствованию системы контроля и оценки. В целом они позволят повысить объективность и обоснованность оценок учебных достижений учащихся, получить всестороннюю, полную и достоверную информацию о состоянии системы регионального образования; создать систему многоуровневого мониторинга качества образования в регионе, установить проблемы в обучении на основе анализа соответствия образовательных программ и образовательных технологий требованиям образовательных стандартов и норм; внедрить процедуры независимой оценки учебных достижений, в том числе единого государственного экзамена; прогнозировать с высокой достоверностью развитие региональной системы образования.
Л и т е р а т у р а
1. Звонников В. И. Измерения и качество образования. - М., Логос, 2006. - 313 с.
2. Конкурентоспособна ли наша школа? // Между-
народные исследования как индикатор качества школьного образования: Сб. мат. научно-практич. конф. М.,
2004. - 312 с.
3. Звонников В. И., Челышкова М. Б. Научное обеспече-
ние эксперимента по введению единого государственного экзамена // Высшее образование сегодня. - 2002. - № 6. -С. 276.
4. Зимняя И. А. Социально-профессиональная компе-
тентность как целостный результат профессионального образования // Актуальные проблемы качества образования и пути их решения в контексте европейских и мировых тенденций: Материалы Всероссийской конференции.
Кн. 2. - Уфа, М.: Исследовательский центр проблем качества подготовки специалистов, 1999.
5. Основные результаты международного исследования образовательных достижений учащихся РВА-2003. Отчет Национального фонда подготовки кадров / Под ред. Г. С. Ковалевой. - М., 2004.
6. Третьякова Т. В. Теория и методология построения региональных оценочных систем (на материалах Республики Саха (Якутия)). - Якутск, 2010. - 346 с.
7. Ефремова Н. Ф. Модель региональной системы оценки качества образования Единый государственный экзамен. Сб. статей / Под ред. В. А. Болотова, С. 64-69.
8. Третьякова Т. В. Некоторые подходы к организации внутришкольной системы повышения качества обучения школьников // Развитие тестовых технологий в России. Федеральный Центр тестирования «IX Всероссийская научнометодическая конференция». Тезисы докладов. - М., 2007. -С. 91-93.
9. Третьякова Т. В. Измерение качества образования посредством единых государственных экзаменов // Этнос. Образование. Личность, - № 8. - Институт повышения квалификации работников образования им. С. Н. Донского II // Якутск, 2007. - С. 39-41.
10. Звонников В. И., Челышкова М. Б. Зарубежный опыт создания систем оценки качества образования. Материалы межрег. сов. М., 2007. - С. 101-115.
