CC BY
514
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 116
УДК 37.014.5; 371.263
МОДЕЛЬ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ МОНИТОРИНГОВЫХ ИССЛЕДОВАНИЙ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА ОБУЧЕНИЯ И ОБЕСПЕЧЕНИЯ ЭФФЕКТИВНОГО УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНЫМИ
СИСТЕМАМИ
Вальдман И.А., к.п.н., доцент, Институт образования НИУ ВШЭ,
E-mail: iavaldman@gmal.com, Москва, Россия,
Аннотация: В статье обсуждается модель использования результатов национального мониторинга учебных достижений для повышения качества обучения и обеспечения эффективного управления образовательными системами. Рассматриваются следующие элементы модели: пользователи результатов оценки, информационные потребности, информационные продукты, стратегия распространения информации, условия использования результатов.
Ключевые слова: мониторинг учебных достижений, национальная оценка, оценка качества образования, тестирование, использование результатов оценки
THE MODEL OF USING RESULTS OF MONITORING STUDIES TO IMPROVE THE QUALITY OF EDUCATION AND THE EFFECTIVENESS OF EDUCATIONAL
SYSTEMS MANAGEMENT.
Valdman I.A., PhD, Ass.prof., Institute of education of HSE,
E-mail: iavaldman@gmal.com, Moscow, Russia
Abstract. The article examines the model of utilization results of national assessment of learning outcomes to improve the quality of education and the effectiveness of educational systems management. In the article discusses specific elements of the model: users of assessment results, information needs, information products, .dissemination strategy, terms of utilization assessment results.
Keywords: monitoring of learning achievements, national assessment, assessment of quality of education, testing, utilization of assessment results.
Во многих странах мира достаточно давно существует практика организации и проведения национальных мониторингов качества школьного образования. Поскольку введение мониторингов обучения и социализации является одним из приоритетных направления развития общероссийской системы оценки качества образования, зафиксированной в ряде государственных документов и программ, то представляется целесообразным использование передового международного опыта для проектирования и проведении мониторингов качества образования.
Проведённый нами анализ международного опыта (см. работы (см. [5, 6, 7, 8])) позволяет предложить описание модели использования результатов мониторинговых
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 117
исследований для повышения качества обучения и обеспечения эффективного управления образовательными системами. Предлагаемая модель, разработанная в ходе научного исследования по теми «Методологические основы использования результатов мониторинговых исследований образовательных достижений школьников в целях обеспечения эффективного управления образовательными системами», включает в себя следующие элементы:
• Пользователи результатов национальных мониторингов обучения,
• Информационные потребности и направления использования результатов для каждой группы пользователей,
• Информационные продукты, разрабатываемые на основании результатов оценки,
• Стратегия распространения информация о результатах оценки,
• Условия использования результатов.
Все эти элементы являются взаимосвязанными и должны рассматриваться комплексно, что позволит повысить непосредственное влияние мониторинговых оценочных процедур на выработку и реализацию образовательной политики по повышению качества образования. Рассмотрим далее каждый из указанных элементов модели
Направления и возможности использования результатов мониторинговых исследований
Один из ключевых вопросов при проведении оценки учебных достижений учащихся - это вопрос о том, каким образом могут быть использованы результаты различных программ оценки для повышения качества деятельности образовательной системы и улучшения результатов обучения школьников.
Способы использования данных программ оценки многочисленны и разнообразны. Они могут быть разделены на две категории: использование для принятий решений о поддержке конкретных учащихся и использование для принятий управленческих решений на разных уровнях систем образования - от конкретной школы до федерального министерства образования.
В первом случае речь идёт о способах использования, которые ориентированы на принятие решений, имеющих прямое влияние на человека. Эти способы могут быть разделены на две группы:
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 118
1. корректировка образовательного процесса - данные используются для диагностики проблем в обучении конкретных школьников и определения мер по их преодолению, а также для планирования индивидуальных образовательных траекторий;
2. выявление уровня освоения образовательной программы.
Во втором случае речь идёт о способах, которые не имеют непосредственного отношения к решениям относительно конкретного человека, но имеют влияние на решения относительно образовательных учреждений и их систем. Такие способы использования данных могут быть классифицированы в зависимости от объекта оценки следующим образом.
1. Оценка деятельности образовательного учреждения. Здесь данные используются по двум основным направлениям: 1) аккредитация образовательного учреждения и проведение различных контрольных и надзорных мероприятий; 2) проектирование шага развития школы - каковы ближайшие задачи работы школы и каким образом надо двигаться дальше.
2. Оценка образовательных систем. Данные также могут использоваться в двух аспектах - для осуществления процедур контроля за работой системы образования (муниципальной или региональной) и для разработки образовательной политики и программ действий на разных уровнях образования.
При определении возможностей использования результатов международных и национальных мониторингов качества образования для управления качеством образования необходимо учитывать передовой международный опыт и приоритеты развития системы образования России, зафиксированные в ключевых нормативных документах.
Закон «Об образовании в Российской Федерации» отмечает, что управление системой образования включает в себя проведение мониторинга в системе образования (статья 89, часть). Под мониторингом в законе понимается «систематическое стандартизированное наблюдение за состоянием образования и динамикой изменений его результатов, условиями осуществления образовательной деятельности, контингентом обучающихся, учебными и внеучебными достижениями обучающихся, профессиональными достижениями выпускников организаций, осуществляющих образовательную деятельность, состоянием сети организаций, осуществляющих образовательную деятельность» (статья Закона №97, часть 3).
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 119
Еосударственная программа Российской Федерации "Развитие образования" на 2013-2020 годы определяет приоритетные задачи в сфере оценки качества образования, среди которых непосредственное отношение к проведению международных и национальных мониторингов качества образования имеют следующие:
• формирование и развитие единого образовательного пространства на основе целостной и сбалансированной системы процедур и механизмов оценки качества образования, реализуемых на федеральном и региональном уровнях;
• обеспечение соответствия международным стандартам качества контрольноизмерительных материалов и технологий обеспечения безопасности экзаменов высокой значимости;
• создание системы мониторингов качества образовательных результатов и факторов, на них влияющих, включая многолетние исследования образовательных, трудовых, жизненных траекторий детей и молодежи;
• обеспечение максимально возможной прозрачности и доступности информации о системе образования, о качестве работы отдельных организаций;
• создание системы сбора и анализа информации об индивидуальных образовательных достижениях, обеспечивающих как выбор образовательных услуг их потребителями, так и корректировку содержания и технологий образования;
• интеграция России в международное пространство оценки качества образования через участие в международных обследованиях качества образования, через углубленный анализ их результатов и совместные исследования;
• создание с участием общественности независимой системы оценки качества работы образовательных организаций и введение публичных рейтингов их деятельности.
Таким образом, нормативно задана необходимость проведения мониторингов обучения.
Выделим возможности использования результатов для национальных мониторингов качества образования.
Международные мониторинги.
Возрастающий интерес стран к участию в международных сравнительных исследованиях обусловлен следующими причинами.
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 120
1. Высокое научное и техническое качество проводимых исследований и вследствие этого высокое доверие к их результатам. Страны используют результаты международных исследований для реформирования системы образования.
2. Во многих странах больше доверия к международным исследованиям, чем к национальным.
3. Результаты исследований помогают понять систему образования в стране в сравнении с другими странами.
4. Международные исследования способствуют обеспечению качества проведения национальных исследований в области образования.
5. В рамках международных исследований наиболее эффективно отрабатываются новые методики и технологии в области оценки качества образования
Следует указать важные направления повышения эффективности использования результатов международных исследованиях качества общего образования в России.
• Комплексное использование результатов проводимых международных исследований для принятия управленческих решений.
• Проведение параллельно с международными исследованиями общероссийских мониторинговых исследований на тех же выборках учащихся.
• Планирование и проведение в рамках международных исследований дополнительных обследований отдельных групп школ или учащихся.
• Проведение углубленного (вторичного) анализа результатов международных сопоставительных исследований для принятия управленческих решений и совершенствования преподавания.
Кроме того, другими важнейшими возможностями использования результатов международных исследования качества образования, которые Россия систематически реализует, являются реформирование содержания образования и создание федеральных государственных образовательных стандартов нового поколения (ФЕОС), изменение программ подготовки учителей, обучение специалистов по ОКО и повышение культуры педагогических измерений
Национальные мониторинги.
Национальные мониторинги проводятся для получения ответов на один или несколько из следующих вопросов ([10]):
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 121
• Насколько эффективно учащиеся овладевают знаниями и навыками в системе образования (с учетом целей образовательного стандарта и учебного плана, задачи подготовки к самостоятельной жизни и т.п.)?
• Есть ли признаки, указывающие на определенные успехи и пробелы в овладении знаниями и навыками?
• Обнаруживают ли низкую успеваемость те или иные подгруппы внутри генеральной совокупности? Например, существует ли разрыв в показателях успеваемости между мальчиками и девочками, между учащимися в городах и в сельской местности, между представителями разных языковых или этнических групп, между учащимися в разных регионах страны?
• Какие факторы определяют успеваемость? В какой степени успеваемость зависит от внешних условий обучения (ресурсы школы, подготовленность и квалификация учителя, категория и тип школы), социально-экономического положения семьи и ближайшего социального окружения?
• Меняются ли показатели успеваемости со временем? Этот вопрос может представлять особый интерес тогда, когда система образования находится в состоянии реформирования. Для ответа на него необходимо, чтобы оценка обеспечила сопоставимые данные по разным временным периодам.
Пользователи данных программ оценки учебных достижений, их информационные потребности и направления использования результатов
Пользователи и их техническая компетентность
Потенциальные пользователи данных оценки многочисленны и необычайно разнообразны в их способности делать выводы на основе сложных статистических данных. С. Мюррей ([17]) использует следующую классификацию:
■ опытные пользователи высокой квалификации, которые способны проводить многоуровневый и многовариативный статистический анализ;
■ пользователи средней квалификации, которые способны проводить начальный сравнительный и описательный статистический анализ;
■ пользователи с базовой квалификацией, которые обладают начальными знаниями в области анализа результатов и используют данные из опубликованных отчётов для создания новых информационных продуктов;
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 122
■ обычные пользователи, не имеющие специальной подготовки, которые используют выводы и заключения, извлечённые из опубликованных источников;
■ неподготовленные пользователи, которые используют только стилизованные факты, извлечённые из опубликованных источников.
Мы будем пользоваться более простым разделением на три основные группы: А -пользователи опытные и средней квалификации, В - пользователи с базовой квалификацией, С - неподготовленные пользователи.
Все эти категории необходимо учитывать, понимая, что информационные продукты, созданные при проведении программы оценки, должны быть ориентированы на каждую из этих целевых групп.
Информационные потребности ключевых групп пользователей
Рассмотрим, кто является основными потребителями информации о результатах оценки, каковы их потребности, и какова их техническая компетентность (способность понимания статистической информации).
Учащиеся нуждаются в информации, отражающей их личный прогресс, учебные достижения и неудачи. Они, как правило, имеют очень ограниченную подготовку в области статистики, но хотели бы понимать и разбираться в этой информации.
Учителя нуждаются в информации, чтобы судить о прогрессе конкретных учащихся и корректировать процесс обучения. При этом им нужна не столько статистика, сколько интерпретация - не рейтинг учащихся по средним баллам, а информация, какое предметное содержание было не в полной мере освоено учениками. В условиях отсутствия специализированной подготовки, учителя, как правило, не имеют хороших навыков в использовании статистической информации. Многие из них не имеют мотивации для систематического получения и использования статистической информации.
Родители нуждаются в информации, чтобы следить за прогрессом собственных детей, решать, необходимо ли вмешиваться в деятельность школы или в процесс обучения своего ребёнка. Потребность в такой информации резко усиливается в ситуации возможности выбора школы. Большинство родителей имеют очень ограниченные статистические навыки, но высокую мотивацию понимать и разбираться в этой информации.
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 123
Представители общественности нуждаются в информации, чтобы судить, обеспечивает ли образовательная система достижение значимых для них социальных, образовательных и экономических целей и делает ли она это результативно и эффективно. Большинство представителей этой группы имеют очень ограниченные статистические навыки, незначительный интерес к деталям и нюансам - они хотят и нуждаются в наборе стилизованных фактов о результатах работы системы образования.
Администраторы системы образования (администраторы образования муниципального, регионального и национального уровней, администрация школ и руководители методических объединений) на различных уровнях нуждаются в информации о достижениях учащихся в конкретных образовательных областях и о достижениях специфических групп учащихся (этнические меньшинства, мигранты, дети с ограниченными возможностями и т.п.) для корректировки учебного плана, для определения целей подготовки учителей, разработки программ изменений в образовательных учреждениях или их объединениях, демонстрации достижений родителям, вышестоящему начальству и аргументирования необходимости выделения дополнительных ресурсов1. Эти специалисты, как правило, признают необходимость использования статистических данных, но имеют мало времени и квалификации для самостоятельного проведения начального анализа.
Профессиональные союзы, представляющие коллективные интересы учителей и руководителей образовательных учреждений, нуждаются в информации для защиты интересов своих членов. Они могут быть агентами влияния как за, так и против каких-либо изменений. Они имеют доступ к знаниям и экспертному потенциалу в области статистики, а также высокие стимулы использовать информацию для поддержки своих позиций.
Преподаватели образовательных организаций, проводящих подготовку и повышение квалификации учителей, нуждаются в информации о результатах использования на практике современных подходов подготовки учителей, учебного плана и преподавания. Как правило, часть из них (далеко не все) обладает статистическими знаниями, необходимыми для использования данных оценки учебных достижений.
1
Ещё одним важным направлением использования данных оценки, которое интересует администраторов, является учёт результатов учебных достижений при оценке эффективности работы школ. Такого рода анализ требует учёта различных дополнительных факторов. Обсуждение данного вопроса мы оставляем за рамками данной статьи.
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 124
Исследователи заинтересованы в получении всех возможных первичных данных о результатах оценки для проведения теоретических и прикладных исследований. Данная категория специалистов обладает высокой квалификацией в области статистического анализа и имеет высокую мотивацию к использованию информации о результатах программ оценки.
Общественные лидеры, включая политиков местного уровня, нуждаются в информации, чтобы оценить, производит ли школьная система результаты, необходимые обществу для достижения его социальных, культурных и экономических целей. Большинство общественных лидеров имеют очень ограниченные навыки количественного анализа.
Неправительственные организации нуждаются в информации для отслеживания тенденций в образовательных результатах и для доказательства необходимости институциональных и политических изменений в обществе. Представители этих организаций имеют различный уровень навыков для работы со статистическими данными.
Практика ведущих зарубежных стран показывает, что важными пользователями результатов оценки являются высокопоставленные государственные чиновники. Скотт Мюррей ([17]) даёт следующую характеристику данной группы пользователей.
Государственные деятели и руководители различных министерств и органов исполнительной власти нуждаются в информации для нескольких целей:
Руководители министерства труда нуждаются в информации, чтобы понимать качество подготовки специалистов и на этой основе делать оценку потребностей в подготовке кадров для рынка труда.
Руководители министерства культуры нуждаются в информации, чтобы понимать позиции языковых и культурных меньшинств при использовании как официального языка, так и языка меньшинств.
Руководители министерства здравоохранения нуждаются в информации, чтобы понимать взаимосвязь получаемых навыков и здоровья населения.
Руководители министерства социального развития нуждаются в информации, чтобы понимать роль, которую играют знания и навыки в преодолении социального неравенства в экономических, образовательных, социальных и других результатах.
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 125
Как правило, руководители этих ведомств не имеют ни высоких навыков проведения количественного анализа, ни интереса делать такой анализ самим. Обычно они хотят иметь стилизованную информацию, подготовленную их собственными специалистами.
Средства массовой информации - печатные и телевидение, прежде всего, - играют центральную роль в распространении результатов любых программ оценки обучения, поскольку они позволяют донести информацию до большого числа пользователей. Поэтому следует очень скрупулёзно и внимательно прорабатывать стратегии взаимодействия со СМИ и использования их потенциала. Представители СМИ не имеют достаточной подготовки по интерпретации статистических данных и нуждаются в стилизованной информации, содержащей ясные выводы и оценку ситуации.
Учитывая приведённую выше классификацию пользователей по группам их технической квалификации, следует констатировать, что основная масса пользователей не обладает сколько-нибудь значимой подготовкой в области интерпретации результатов оценки учебных достижений. Поэтому организаторам программы оценки необходимо взять на себя выполнение этой важной задачи и обеспечить подготовку информационных продуктов, ориентированных на разные целевые группы.
Информационные продукты, разрабатываемые на основании результатов оценки
Информационные ресурсы
В ходе подготовки и проведения программы оценки учебных достижений формируется набор различных информационных ресурсов, на основе которых готовятся информационные продукты для разных групп пользователей. Этот набор, как правило, включает следующие ресурсы:
• концепция программы оценки (идеология оценки, её цели и предназначение);
• характеристика (фрэйм) теста, которая создаётся для формирования дизайна программы оценки;
• банк заданий, которые создаются для оценки умений и навыков учащихся (как правило, банк заданий является закрытым для внешнего пользователя ресурсом, так как входящие в него задания используются при проведении оценки и не могут быть опубликованы);
• базы данных с результатами оценки;
• характеристика выборки участников тестирования;
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 126
• данные о взаимосвязи достижений школьников и контекстных характеристик;
• примеры заданий и описание основных ошибок для отдельных заданий (содержательный анализ выполнения заданий);
• техническая документация и фактические материалы (руководства, протоколы проведения и т.п.).
Каждый из указанных ресурсов может использоваться различными способами. Ниже дадим примеры того, как некоторые из этих ресурсов могут быть преобразованы в информационные продукты.
Пример 1. Характеристика теста.
Характеристика (фрэйм) теста представляет собой научно обоснованное описание для проведения оценки и, как правило, включает ключевые аспекты дизайна теста: цели теста; содержание материала, отобранного для оценки; факторы, определяющие сложность теста; диапазон трудности, который будет охвачен тестом; время выполнения теста; сочетание типов заданий, которые будут включены в тест; система оценки и др.
В России при проведении ЕЕЭ используется в качестве характеристики теста следующий набор материалов: спецификация контрольных измерительных материалов, кодификатор содержания и кодификатор требований к уровню подготовки, а также демо-версия теста.
Соответствующие информационные продукты
1. Печатное/электронное издание с описанием характеристики теста, которое делается публично доступным до выпуска результатов оценки. Ранняя публикация описания теста направлена на предотвращение критики, связанной с прозрачностью программы оценки.
2. Презентации. Везде, где только это возможно, должны быть сделаны презентации для ключевых групп с целью демонстрации открытости процесса разработки программы оценки и её научной полноты.
3. Рецензии. Необходимо позаботиться о получении экспертных рецензий на спецификацию. Авторитетные мнения могут помочь противостоять любой отрицательной реакции на результаты оценки после публикации данных.
Пример 2. Содержательный анализ выполнения заданий теста.
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 127
Крайне важная информация для совершенствования преподавания может быть получена через изучение типовых ошибок при выполнении заданий теста. Такого рода анализ может служить для определения того, какая часть учебной программы должна стать предметом пристального внимания учителей, и где процесс преподавания нуждается в корректировке. Кроме того, данная информация полезна авторам учебнометодической литературы.
Соответствующие информационные продукты
Этот тип анализа обычно имеет форму специализированных отчётов, которые рассматривают подмножество заданий теста по конкретным аспектам содержания учебной программы. Такой анализ требует комбинации статистического анализа и глубокого понимания учебной программы и практики преподавания.
Е1римером описания результатов и основных ошибок при выполнении заданий ЕЕЭ может служить ежегодный Аналитический отчёт о результатах ЕЕЭ по конкретному предмету (см. сайт Федерального института педагогических измерений).
Содержание набора информационных продуктов конкретной программы оценки зависит от целей оценки, ожидаемых вариантов использования результатов, имеющихся в распоряжении организаторов финансовых ресурсов.
Особого внимания заслуживает опыт Чили по распространению информации по итогам проведения национальной программы оценки качества образования SIMCE (Sistema de Mediciyn de la Calidad de la Educaciyn).
Данная программа действует в стране с 1998 года, законодательно закреплена в законе об образовании и координируется Министерством образования Чили. SIMCE включает стандартизированные тесты по математике, испанскому языку и естественным наукам, в которых участвуют все учащиеся 4, 8 и 10 классов.
Стратегия распространения информация о результатах оценки
Создание информационных продуктов - это только часть процесса, гарантирующего, что результаты программы оценки достигнут желаемой аудитории. Другим важным направлением работы является разработка и реализация эффективной стратегии распространения информации {англ. - dissemination strategy), которая в большей степени имеет дело не с тем, какие продукты должны быть подготовлены, а с тем, кто и как эти продукты донесёт до представителей целевых групп.
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 128
В основе стратегии распространения лежит понимание того, какими способами информация о результатах оценки должна доводиться до конкретных целевых групп. В качестве примера приведём возможные формы информирования представителей некоторых из таких групп.
Таблица 1. Возможные способы информирования целевых групп.
Целевые группы Возможные способы информирования
Родители • Индивидуальные результаты учащегося в сравнении с результатами по классу, школе и в целом по популяции программы оценки (если такая информация доступна). • Отчёт по школе в сравнение с результатами школ из своего кластера, муниципалитета и региона. • Буклет для родителей с основными результатами всех участников программы оценки и советами по оказанию помощи своим детям в обучении. • Раздел в публичном докладе школы, содержащий информацию о результатах участия школы в программе оценки. • Он-лайн база данных, позволяющая конструировать необходимые информационные запросы и представлять данные в табличном и графическом видах.
Учителя • Специализированный отчёт программы оценки по предмету или области содержания, подлежащей оценке (например, естественно-научная грамотность) с указанием результатов, основных ошибок и типов заданий, выполнение которых вызвало наибольшую трудность у учащихся. • Отчёт по школе в сравнении с результатами школ из своего кластера, муниципалитета и региона. • Педагогические советы, на которых представляются результаты оценки. • Методические семинары, проводимые представителями методических служб и систем повышения квалификации по разбору основных ошибок при выполнении теста.
Администратор ы и управленцы Руководители национальных и региональных органов управления образованием • Краткая аналитическая записка с результатами оценки (2-3 страницы без технических подробностей). • Презентации с наглядными примечаниями и комментариями. • Брифинги (совещания), на которых организаторы программы оценки представят основные результаты и объяснят, какие вопросы могут быть заданы руководителям со стороны прессы и широкой общественности. • Резюме итогового отчёта программы оценки. Администрация школы • Итоговый отчёт (национальный или региональный). • Отчёт по школе в сравнении с результатами школ из своего кластера, муниципалитета и региона. • Семинары и совещания, проводимые учредителем и муниципальными методическими службами для обсуждения результатов школ.
Представители общественности, Общественные лидеры • Сообщения в СМИ (печатных, электронных, телевидение, радио). • Целевая информации о назначении и результатах программы оценки, размещённая на сайте организации, отвечающей за её проведение. Требует использования языка изложения без специальных технических терминов и интерпретации результатов.
СМИ • Пресс-релиз с основными результатами программы оценки. • Материалы для прессы, содержащие ответы на наиболее важные для СМИ вопросы. Например, Кто проводил программу оценки? Почему она проводилось? Когда она была проведено? Что оценивалось? Каковы были основные результаты? Почему они важны? Какова стоимость программы? • Пресс-конференции и брифинги с участием прессы • Интервью ключевых специалистов и руководителей.
Исследователи • Итоговый отчёт.
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 129
• Первичные данные с результатами оценки и контекстной информацией (если таковая собиралась).
• Он-лайн база данных, позволяющая конструировать необходимые
информационные запросы и представлять данные в табличном и графическом видах._______________________________________________________________
В завершении остановимся на нескольких вопросах, которым следует уделять особое внимание при проведении программы оценки и представлении её результатов.
Адресность информации.
Зачастую можно видеть, что организаторы программы оценки сообщают не о тех проблемах, которые волнуют целевую аудиторию. Для преодоления такой ситуации целесообразно проведение фокус-групп с представителями профессиональных объединений или общественности. Это поможет понять, какая информация и в каком виде будет востребована конкретными адресатами.
Использование релевантных информационных источников.
Информирование должно строиться на использовании релевантных для конкретной группы адресатов информационных источников. Недопустима ситуация, когда итоговый отчёт публикуется лишь в печатном виде или размещается на сайте, который мало известен и редко посещается пользователями. Например, для донесения результатов оценки до педагогов следует обратить внимание на сайты, ориентированные именно на эту группу (такие, как ресурсы «Открытый класс» и т.п.), и предметные приложения к профессиональным печатным изданиям.
Доступная интерпретация результатов.
При сообщении результатов надо стараться избегать узко специальной терминологии, необходимо представлять данные на языке, понятном адресатам. Также желательно использовать инструменты визуализации информации - различные графики и диаграммы.
Особо важным моментом работы с информацией является представление результатов оценки в динамике и объяснение, что значит изменение тех или иных динамических показателей.
Своевременная реакция на возникшие проблемы.
В ходе проведения оценки нужно обеспечивать систематическое информирование целевых групп. Особенно важными периодами информирования являются запуск программы оценки и её завершение. В первом случае необходимо объявить цели и задачи проведения теста, а во втором - сообщить о его результатах и возникших сбоях и нарушениях.
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 130
Доверие к результатам оценки зависит от того, насколько оперативно и убедительно команда, ответственная за оценку, может реагировать на возникающие проблемы и критические замечания.
Опыт организации Единого государственного экзамена в России показывает, что весьма полезным инструментом обратной связи является интерактивный форум на официальном сайте, в котором оперативно давались ответы на поступившие негативные мнения и разъяснялась ситуация с возникшими нарушениями при проведении экзамена.
Реагирование в режиме реального времени предполагает наличие механизма, при помощи которого можно отследить реакции на результаты тестирования. Организаторы программы оценки фактически должны иметь систему мониторинга для наблюдения за реакцией на представленные данные со стороны широкой общественности.
Мониторинг общественного мнения может быть осуществлён одним из двух способов. Первый из них - наём специализированной компании, проводящей медиамониторинг ключевых СМИ. Другой вариант - определение в команде сотрудника, в функционал которого будет включена задача по отслеживанию этой информации.
Такая информация должна рассматриваться и обсуждаться систематически и регулярно - наиболее часто в период публикации результатов оценки. В команде по проведению оценки необходимо иметь конкретного специалиста, который будет управлять всей этой деятельностью.
Отметим, что обеспечение максимального влияния результатов оценки на образовательную политику зависит от трёх ключевых элементов, которыми должна обладать квалифицированная команда, отвечающая за организацию и проведение программы учебных достижений школьников:
• знание пользователей результатов программ оценки и их информационных потребностей;
• наличие информационных продуктов, способных удовлетворить
существующие информационные потребности различных групп пользователей;
• понимание, какие способы распространения информационных продуктов следует использовать.
Условия использования результатов оценки
Используя результаты проведённого научного исследования ([9]), сформулируем условия, которые, как показывает международный и российский опыт, необходимо использовать на национальном и региональном уровнях для построения
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 131
сбалансированной и эффективной системы оценки качества образования, а также для управления качеством образования.
Условие 1. Применение оценочных процедур по непосредственному назначению.
При оценке результатов обучения школьников и результатов деятельности образовательных организаций и систем необходимо деятельности образовательных организаций и систем необходимо применять только те оценочные процедуры, которые позволяют получать данные в соответствии с конкретными целями. Повторяя сказанное выше, отметим, что для целей сертификации и селекции должны использоваться государственные экзамены, для оценки деятельности образовательных организаций и систем - мониторинговые исследования, для сопровождения педагогического процесса и поддержки процесса обучения - оценивание на уровне класса. Опыт России при проведении ЕЕЭ имеет случаи неправомерного использования его результатов по использованию результатов - для оценки деятельности педагогов, руководителей и образовательных систем.
Условие 2. Учёт разнообразных образовательных достижений учащихся.
При оценке деятельности образовательных организаций и систем необходимо опираться на различные данные, использование которых в совокупности позволяет получать целостную и полную информацию результатах обучения школьников. Это важнейшая задача, она требует использования на практике самых разных «измерительных» процедур. Процедуры оценки должны быть ориентированы на более широкие образовательные результаты, нежели знания в рамках учебных дисциплин (компетентности, здоровье, гражданская позиция, умение позитивно взаимодействовать с другими, самоуважение, забота об окружающей среде и др.) Стандартизированное тестирование - всего лишь один из используемых подходов для определения качества обучения. Также необходимо использовать и другие методы - портфолио, самооценка, экспертные оценки, социологические опросы ит.п.
Федеральный государственный образовательный стандарт (Россия) ориентирован на развитие трёх видов образовательных результатов: предметных, метапредметных, личностных.
Министерство образования Сингапура приняло в 2010 году документ «Компетенции для 21 века» (www.moe.gov.sg). Он фиксирует следующие важнейшие компоненты результатов образования для жизни в современном обществе: базовые ценности; социальные и эмоциональные компетенции; компетенции для 21 века, которые включают:
• критическое мышление и изобритательность,
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 132
• гражданскую грамотность, глобальную информированность и кросс-культурную компетентность,
• информационно-коммуникационную компетентность.
Условие 3. Сбалансированность оценочных процедур в национальной системе оценки качества образования.
Эта задача должна реализовываться через минимизацию использования измерений с высокими ставками (государственные экзамены) для оценки качества образования.
Еосударственные экзамены должны занимать важное, но не главное место в национальной/региональной системе оценки качества образования. Если необходимо оценить результаты обучения и при этом понять, чему научила детей школа (увидеть вклад школы), то для такой оценки неправомерно использовать измерения «с высокими ставками». За высокими баллами могут стоять внешкольные факторы - например, репетиторство, а также могут включаться «криминальные» механизмы повышения результатов теста - нарушения и фальсификации при проведении тестирования. Для получения целостной и неискажённой картины качества образования необходимо вводить инструменты оценки с низкими ставками, прежде всего мониторинги учебных достижений.
Условие 4. Оценка достижений в динамике.
Международный опыт показывает, что для справедливой оценки результатов обучения необходимо не только ориентироваться на результаты, показанные учениками в определённый момент времени, но и учитывать динамику их изменений на протяжении нескольких циклов оценки. Здесь главный вопрос - обеспечивает ли учитель и школа прирост в образовательных достижениях ученика, его индивидуальный прогресс? Использование модели «индивидуального прогресса» при оценке результатов обучения школьников и деятельности образовательных учреждений требует введения в практику инструментов, позволяющих проводить регулярную оценку и фиксировать складывающихся тенденций. Для этих целей этих целей предназначены внутриклассное оценивание и мониторинги учебных достижений.
В качестве иллюстрации выше сказанного обратимся к опыту Австралии. В этой стране с 2008 года проводится национальный мониторинг NAPLAN (National Assessment Program - Literacy and Numeracy) грамотности по английскому языку и математических навыков школьников, который проводится ежегодно для всех учащихся 3, 5, 7 и 9-го годов обучения ([6]).
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 133
В мониторинге NAPLAN используется шкала, которая по каждой области оценки представляет систему уровней. Данная шкала, содержащая единую систему уровней и объединяющая четыре временных среза, позволяет зафиксировать индивидуальный прогресс и обеспечить его измерение на практике. В модели NAPLAN индивидуальный прогресс - это переход с одного уровня достижений на другой, более высокий при каждом последующем измерении.
Условие 5. Корректное сопоставление результатов оценки.
Подчеркнём, что учёт дополнительной к результатам теста информации позволяет лучше понимать и интерпретировать данные оценки, определять факторы, оказывающие значимое влияние на образовательные результаты, а также разрабатывать адресные меры по преодолению проблем в обучении на разных уровнях системы образования - от учителя и школы до страны.
Имеют место две группы факторов - образовательные, находящиеся в сфере влияния системы образования, и необразовательные, которые не могут быть изменены за счёт действий образовательных ведомств и организаций. К первой группе можно отнести уровень квалификации педагогов, содержание учебных программ, качество учебной литературы, применяемые методы обучения, материально-техническое оснащение школ и т.п. Ко второй относятся такие характеристики как пол школьников, их принадлежность к конкретным этническим или религиозным группам, родной язык, социально-экономический статус (СЭС) семьи и территории расположения школы.
Многочисленные исследования показывают, что результаты обучения зависят не только от организации образовательного процесса в школе, но и от социально-экономического статуса семьи. СЭС характеризуется набором разнообразных параметров, среди которых значимое место занимают доход, трудовая занятость и уровень образования родителей. Очевидно, что школа с большим количеством детей из семей с низким СЭС не сможет демонстрировать результаты, сопоставимые с теми, которые показывают образовательные учреждения, обучающие детей из благополучных семей. Учёт социально-экономического статуса семьи при анализе результатов школ, показанных в национальном тесте, позволяет обеспечить справедливое сравнение результатов школ за счёт построения кластеров «статистически подобных» образовательных учреждений. В рассматриваемых примерах буду представлены подходы учёта СЭС семьи при анализе данных национального мониторинга.
При анализе деятельности школ по итогам проведения той или иной оценочной процедуры необходимо обеспечивать корректное сопоставление результатов, избегая
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 134
упрощённых выводов и решений. Очевидно, что школа с большим количеством детей из семей с низким социально-экономическим статусом не сможет демонстрировать результаты, сопоставимые с теми, которые показывают образовательные учреждения, обучающие детей из благополучных семей. Справедливое сравнение должно основываться на кластерном анализе данных, когда школы группируются по ряду схожих характеристик (тип школы, её расположение, социально-экономический статус семьи, доля учеников с неродным языком обучения, доступность учреждений доп. образования и культуры и др.). При оценке деятельности школ необходимо отказаться от линейного рейтинга и перейти к кластерному сравнению результатов и анализу факторов, лежащих в основе низких результатов ([3]).
Общая схема оценки деятельности школ представляет собой цикл следующей последовательных действий.
1) Проведение оценочной процедуры.
2) Кластерный анализ результатов (по группам школ, находящихся в схожих условиях).
3) Выявление «слабых» школ, демонстрирующих низкие результаты.
4) Проведения анализа факторов, обусловливающих низкие результаты.
5) Выработка и реализация мер поддержки.
При реализации данного принципа важно изучать опыт зарубежных стран, многие из которых имеют многолетний опыт проведения кластерного анализа и выделения групп статистически подобных образовательных учреждений (например, Англия, Шотландия, Австралия).
Ещё раз обратимся к опыту Австралии. В целях представления результатов национального мониторинга NAPLAN по группам школ со статистически сходным контингентом учащихся специально разработан Индекс местных социально-образовательных условий (Index of Community Socio-Educational Advantage - ICSEA).
Цель использования данного индекса - обеспечить честное и прозрачное сравнение результатов обучения школьников в конкретных школах с учётом факторов, оказывающих влияние на эти результаты ([6]).
Индекс учитывает следующие параметры:
• количество учащихся в школе;
• данные по занятости и образованию родителей учеников;
• социально-экономические характеристики места проживания учеников;
• местонахождение школы (столица, регион либо удалённая территория);
• доля учеников из семей, где английский язык не является родным;
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 135
• доля учеников - представителей коренного населения страны.
Условие 6. Учёт дополнительных данных при принятии управленческих решений по итогам оценки.
Крайне важно, чтобы при проведении процедур «с высокими ставками», такими как государственные экзамены, оценка эффективности работы школы, оценка качества работы учителя, управленческие выводы о качестве образования делались не только на основе результатов педагогических измерений.
Невозможно принимать «сложные» решения на основании данных одного вида. Необходимо учитывать и другие источники данных - статистика, самооценка, портфолио, мнения потребителей образовательных услуг, результаты различных внешних оценок и т.п. Такой подход позволит принимать сбалансированные решения и избегать однобокого взгляда на работу образовательного учреждения. Результаты тестирования являются важной, но далеко не единственной частью информационного портрета школы.
Для иллюстрации сказанного рассмотрим ситуацию с выбором школьником профиля обучения в старшей школе. При принятии решения по этому поводу школе и семье необходимо ориентироваться на разные данные. Среди них:
• мотивация и желание школьника обучатся по выбираемому профилю;
• результаты обучения по «профильным» предметам за предыдущие год;
• результаты участия в олимпиадах и конкурсах;
• результаты ЕИА-9.
В ряде зарубежных стран имеется заслуживающий внимания и изучения опыт сравнения результатов работы школ с учётом факторов ([3]).
Например, в Шотландии при оценке и сравнении результатов деятельности школ учитывается ряд важных показателей, характеризующих особенности контингента школьников и расположения школы. К ним, например, относятся такие показатели: число детей из семей с низким уровнем дохода (данный показатель определяется по числу школьников, имеющих бесплатные завтраки); число детей из семей, где английский не является родным (дети из семей мигрантов). Чем больше таких детей в школе, тем больший повышающий коэффициент получает образовательное учреждение в сравнении со школой, где число таких учеников минимально.
Условие 7. Ориентация на информационные потребности групп пользователей результатов оценки.
Эффективные системы оценки качества образования предоставляют информацию надлежащего качества и в необходимом количестве для того, чтобы удовлетворить
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 136
информационные потребности всех заинтересованных групп и тех, кто принимает решения с целью повышения качества обучения учащихся.
Обеспечение максимального влияния результатов оценки на образовательную политику зависит от трёх ключевых условий, которые необходимо учитывать при проведении программы учебных достижений школьников ([2]):
1) знание пользователей результатов программ оценки и их информационных потребностей;
2) наличие информационных продуктов, способных удовлетворить существующие информационные потребности различных групп пользователей;
3) понимание, какие способы распространения информационных продуктов следует использовать.
Передовой международный и российский опыт говорит о том, что умение интерпретировать результаты оценки качества образования и доводить их до представителей заинтересованных сторон является неотъемлемой частью любой программы оценки учебных достижений.
Учёт данных условий на практике требует высокой технической квалификации управленцев и специалистов по оценке качества образования, больших временных затрат на их апробацию и отработку. Но без их учёта данных невозможно обеспечить эффективное управление качеством образования на разных уровнях образовательной системы - от школьного класса до системы образования страны.
Заключение
В заключении выделим следующие факторы и практические решения, которые повышают эффективность использования результатов национальных мониторинговых исследований качества образования для управления образовательными системами.
• Оценочная шкала, содержащая единую систему уровней и объединяющая четыре временных среза, позволяет зафиксировать индивидуальный прогресс учащегося и обеспечить его измерение на практике.
• Проведение национального мониторинга на основе выборки не позволяет превращать мониторинг в процедуру оценки с высокими ставками и не даёт возможности оценки и рейтингования отдельных школ.
• Учёт социально-эконмического статуса учащихся школ и ряда других контекстных факторов позволяет проводить справедливое сравнение результатов. Для этого используется кластерный подход, при котором результаты оценки представляются по группам школ, имеющих статистически схожие характеристики.
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 137
• Вовлечение учителей в процесс оценки (разработка заданий, обсуждение содержания оценки по предметам, участие в проверке работ, знакомство с результатами тестирования и т.п.) даёт возможность педагогам использовать полученные знания в своей работе, что влияет на повышение качества обучения.
• Ориентация на различные группы пользователей при распространении результатов за счёт подготовки целевых (ориентированных на конкретную аудиторию) информационных продуктов. Особую роль играет наличие он-лайн сервисов и инструментов, что позволяет получать данные под специфические запросы самых разных пользователей.
• Проведение дополнительных углублённых исследований для выяснения причин недостаточных результатов и интерпретации обнаруженных фактов и тенденций.
• Выявление групп школ с низкими результатами для оказания им целевой поддержке посредством реализации целевых программ.
• Подготовка рекомендаций для разработки и корректировки образовательных стандартов, разработки учебной литературы и повышения квалификации педагогических кадров.
Список литературы
1. Болотов В.А., Вальдман И.А. Виды и назначение программ оценки результатов обучения школьников. //Педагогика. №8, 2013.
2. Болотов В.А., Вальдман И.А. Информирование различных целевых групп как условие эффективного использования результатов оценки учебных достижения школьников. [Электронный ресурс] / В.А. Болотов, И.А. Вальдман // Проблемы современного образования. - 2012. - №6.
3. Болотов В.А., Вальдман И.А. Условия эффективного использования результатов оценки образовательных достижений школьников. //Педагогика. №6, 2012.
4. Вальдман И.А. Мониторинговые исследования качества образования: опыт Австралии. //Журнал руководителя управления образованием. №4, 2013.
5. Вальдман И.А. Особенности организации мониторингов учебных достижений в странах мира: национальная оценка прогресса в образовании в США. [Электронный ресурс] / И.А. Вальдман // Проблемы современного образования. - 2014. - № 5.
6. Вальдман И.А. Особенности организации мониторингов учебных достижений в странах мира: национальная программа оценки NAPLAN в Австралии. [Электронный ресурс] / И.А. Вальдман // Проблемы современного образования. - 2013. - № 2. - С. 5-18.
УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ: ТЕОРИЯ И ПРАКТИКА" 2015 №1 (17) 138
7. Вальдман И. А. Особенности организации мониторингов учебных достижений в странах мира: национальная программа оценки SIMCE в Чили. / И.А. Вальдман // Проблемы современного образования. - 2013. - №5.
8. Вальдман И.А. Основные уроки национальной программы оценки SIMCE в Чили. //Качество образования в Евразии. №2, 2014, стр. 31-44.
9. Вальдман И.А [Электронный ресурс]: Подходы к управлению качеством образования на основе использования процедур оценки образовательных достижений учащихся. //Управление образованием: теория и практика»/ФЕНУ ИУО РАО. 2013. - № 4, с.53-66.
10. Ерини В., Кэллаган Т., Мюррей С. Использование результатов национальной оценки учебных достижений. // Серия «Национальная оценка учебных достижений», Книга 5. - Всемирный банк, 2011.
11. Еосударственная программа Российской Федерации "Развитие образования" на 2013-2020 годы. Распоряжение Правительства РФ №2148-р от 22 ноября 2012 года.
12. Кларк М. Что является наиболее важным в системах оценки достижений учащихся: основные ориентиры. - Всемирный банк, 2012.
13. Поливанова К.Н. Национальные и международные программы оценки качества образования: учеб, пособие. - М.: Логос, 2010.
14. Рамирес, Мария Хосе. 2012. «Распространение и использование информации о результатах оценки достижений учащихся в Чили». Публикация №3 по теме SABER-оценка достижений учащихся. Всемирный банк, г. Вашингтон.
15. Bandeira de Mello, V. (2011), Mapping State Proficiency Standards Onto the NAEP Scales: Variation and Change in State Standards for Reading and Mathematics, 2005-2009. National Center for Education Statistics, Institute of Education Sciences, U.S. Department of Education, Washington, DC.
16. Bandeira de Mello, V., Blankenship, C., and McLaughlin, D.H. (2009). Mapping State Proficiency Standards Onto NAEP Scales: 2005-2007. National Center for Education Statistics, Institute of Education Sciences, U.S. Department of Education. Washington, DC.
17. Murray, T.S. (2004) Achieving Maximum Impact: A Guide for Managers of National assessment Systems, Statistics Canada, Ottawa.
18. Jaeger, R. M. 1998. Reporting the Results of the National Assessment of Educational Progress.
19. National Center for Education Statistics (2013). The Nation’s Report Card: A First Look: 2013 Mathematics and Reading. Institute of Education Sciences, U.S. Department of Education, Washington, D.C.
