CC BY
98
► ИННОВАЦИОННЫЕ ТЕХНОЛОГИИ
ИНФОРМИРОВАНИЕ РАЗЛИЧНЫХ ЦЕЛЕВЫХ ГРУПП КАК УСЛОВИЕ ЭФФЕКТИВНОГО ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЯ ШКОЛЬНИКОВ1
PROVIDING INFORMATION ТО DIFFERENT TARGET GROUPS AS A CONDITION OF EFFECTIVE UTILIZATION OFTHE RESULTS OF ACADEMIC ACHIEVEMENT ASSESSMENT
Болотов B.A.
Вице-президент Российской академии образования, академик РАО, доктор педагогических наук, профессор E-mail: [email protected]
Bolotov V.A.
Vice President of the Russian Academy of Education, Academician ofthe Russian Academy of Education, Doctor of Sciences (Education), Professor.
E-mail: [email protected]
Вальдман И.А.
Заведующий лабораторией мониторинга в образовании Института управления образованием РАО, кандидат педагогических наук
E-mail: [email protected]
Valdman I.A.
Head ofthe Laboratory ofMonitoringof Education ofthe Institute of Education Management of the Russian Academy of Education, Candidate of Sciences (Education). E-mail: [email protected]
Аннотация. В рамках данной статьи обсуждается Annotation. The article discusses the problems проблематика информирования различных associated with informing different target
целевых групп О результатах оценки качества groups about the results of the education
образования, включая такие вопросы, как quality assessment process. The range of
Описание раЗЛИЧНЫХ групп пользователей problems includes characterization of different
1 Данная статья подготовлена на основе учебных материалов Российского тренингового центра ИУО РАО, разработанных авторами при проведении курсов «Использование результатов оценки учебных достижений школьников и результатов мониторинговых исследований для выработки управленческих решений на разных уровнях системы образования» (22-25 ноября 2011 г.), «Ключевые аспекты построения эффективной системы оценки качества образования и использования результатов оценки учебных достижений школьников» (27-30 марта 2012 г.), «Система оценки качества и образовательная политика: ключевые проблемы и направления развития» (27-30 июня 2012 г.). http://www.rtc-edu.ru
данных оценки, их информационных потребностей, описание различных видов информационных ресурсов и продуктов, стратегия распространения информации при работе с результатами оценочных процедур.
Ключевые слова: информационная политика, оценка качества образования, учебные достижения, информационные потребности, процедура оценки качества, интерпретация результатов оценки, использование результатов оценки, информационные продукты, диссеминационная стратегия.
Введение
Формирование системы оценки качества образования (ОКО) является одним из ключевых приоритетов развития образования многих стран мира. Создание системы ОКО призвано обеспечить обучающихся и их родителей, педагогические коллективы школ и преподавателей учреждений профессионального образования, органы управления образованием всех уровней, институты гражданского общества, работодателей надежной информацией о состоянии и развитии системы образования на разных уровнях.
В этой статье мы, следуя М. Кларк [6], под системами оценивания понимаем следующие три вида оценочных мероприятий:
• оценивание в -классе (формирующее оценивание) для получения информации с целью совершенствования процессов преподавания и учебы конкретных школьников и их групп;
• экзамены для принятия решений в отношении продвижения внутри системы образования конкретного учащегося (например, аттестация или решение об отборе на другую ступень образования);
• крупномасштабные исследования для мониторинга и предоставления актуальной для руководителей и педагогов информации об уровнях образовательных достижений обучаемых, изменениях в этих уровнях и влияющих на них факторах.
Все указанные программы оценки действительно обеспечивают повышение качества образования, но только если используются для принятия адекватных и адресных решений, помогают учителям улучшить их педагогическую практику и вооружают родителей знаниями о том, насколько хорошо учатся их дети.
groups of users that have access to the assessment results, their informational needs, description of differenttypes of information resources and products, and strategies, associated with assessment-result information disclosure.
Keywords: information policy, education quality assessment, academic achievement, informational needs, qualityassessment procedures, interpretation of assessment results, utilization of assessment results, information products, dissemination strategy.
В связи с этим авторами статьи обсуждается вопрос - Каким образом обеспечить максимально эффективное использование результатов оценки учебных достижении всеми заинтересованными сторонами?
Использование результатов программ оценки зависит от ряда факторов [2]. К наиболее значимым среди них следует отнести доверие к результатам оценивания со стороны общественности и профессионального сообщества и наличие разнообразных информационных продуктов, ориентированных на удовлетворение информационных потребностей различных целевых групп.
Доверие к результатам зависит от:
• признания качества научного обеспечения оценочной процедуры, в том числе согласия с методологией оценивания и выбором инструментария, гарантирующего возможность оценивать желаемые образовательные результаты;
• открытости и прозрачности процесса проведения оценки, правил и процедур, регламентирующих реализацию программы оценки.
Признание результатов очень сильно зависит от того, удаётся ли организаторам программы оценки учитывать и держать в фокусе интересы тех людей и организаций, которые требовательно и критически относятся к проведению измерений учебных достижений. Нельзя не признать, что оценивание - это довольно «сильный» инструмент управления, который создаёт и победителей, и проигравших. Всегда есть те, кто находится наверху списка результатов (рейтинга) и кто его замыкает. Учителя и руководители школ, находящихся в конце списка, получают стимулы для действий, которые позволяют им избежать возможных негативных последствий (наказаний) по итогам оценки. Наиболее распространенное защитное действие - это упрёк в необъективности оценивания и оценщиков. В свою очередь, это может повлечь отказ от участия в конкретной программе оценки, фальсификацию данных и т.п. В результате доверие к программам оценки может быть подорвано.
Другой значимый фактор связан с работой по созданию информационных продуктов2, которые разрабатываются командой организаторов программы оценки для удовлетворения информационных потребностей широкого спектра пользователей как до, так и после завершения процедуры.
И ещё одно важное условие использования результатов заключается в том, что результаты оценочной процедуры нуждаются в преобразовании из их начальной, технической формы (понятной только группе узких специалистов) в формат, доступный для широкого круга технически не подготовленных пользователей.
В рамках данной статьи будет обсуждаться (прежде всего, на основе передового зарубежного опыта) проблематика информирования различных целевых групп о результа-
2 Под информационными продуктами авторы понимают информационные материалы, которые готовятся исходя из целей оценивания и на основании результатов оценки, и ориентированы на конкретные группы пользователей. К ним можно отнести национальный отчёт, специализированные отчёты (по предметам, по группе учащихся и т.п.), характеристику (фрэйм) теста, он-лайн банк заданий, аналитическую записку для министра образования, информационный буклет для родителей и т.п.
тах оценки качества образования, включая такие вопросы, как описание различных групп пользователей данных оценки, их информационных потребностей, описание различных видов информационных ресурсов и продуктов, стратегия распространения информационных продуктов при работе с результатами оценочных процедур.
Авторы считают, что статья будет полезна всем, кто связан с работами и проектами по созданию и обеспечению функционирования системы оценки качества образования.
Группы пользователей данных программ оценки учебных достижений
Пользователи и их техническая компетентность
Потенциальные пользователи данных оценки многочисленны и необычайно разнообразны, в их способности делать выводы на основе сложных статистических данных. С. Мюррей [9] использует следующую классификацию:
• опытные пользователи высокой квалификации, которые способны проводить многоуровневый и многовариативный статистический анализ;
• пользователи средней квалификации, которые способны проводить начальный сравнительный и описательный статистический анализ;
• пользователи с базовой квалификацией, которые обладают начальными знаниями в области анализа результатов и используют данные из опубликованных отчётов для создания новых информационных продуктов;
• обычные пользователи, не имеющие специальной подготовки, которые используют выводы и заключения, извлечённые из опубликованных источников;
• неподготовленные пользователи, которые используют только стилизованные факты, извлечённые из опубликованных источников.
Мы будем пользоваться более простым разделением на три основные группы: А -пользователи опытные и средней квалификации, В - пользователи с базовой квалификацией, С - неподготовленные пользователи.
Все эти категории необходимо учитывать, понимая, что информационные продукты, созданные при проведении программы оценки, должны быть ориентированы на каждую из этих целевых групп.
Информационные потребности ключевых групп пользователей
Рассмотрим, кто является основными потребителями информации о результатах оценки, каковы их потребности, и какова их техническая компетентность (способность понимания статистической информации)3.
3 Предлагаемый список пользователей подготовлен по итогам обсуждения презентации Скотта Мюррея (директор компании ОаЬаА^еПпс., Канада) участниками курса Российского тренингового центра «Использование результатов оценки учебных достижений школьников и результатов мониторинговых исследований для выработки управленческих решений на разных уровнях системы образования» (Москва, 22-25 ноября 2011 г.).
Учащиеся нуждаются в информации, отражающей их личный прогресс, учебные достижения и неудачи. Они, как правило, имеют очень ограниченную подготовку в области статистики, но хотели бы понимать и разбираться в этой информации.
Учителя нуждаются в информации, чтобы судить о прогрессе конкретных учащихся и корректировать процесс обучения. При этом им нужна не столько статистика, сколько интерпретация - не рейтинг учащихся по средним баллам, а информация, какое предметное содержание было не в полной мере освоено учениками. В условиях отсутствия специализированной подготовки, учителя, как правило, не имеют хороших навыков в использовании статистической информации. Многие из них не имеют мотивации для систематического получения и использования статистической информации.
Родители нуждаются в информации, чтобы следить за прогрессом собственных детей, решать, необходимо ли вмешиваться в деятельность школы или в процесс обучения своего ребёнка. Потребность в такой информации резко усиливается в ситуации возможности выбора школы. Большинство родителей имеют очень ограниченные статистические навыки, но высокую мотивацию понимать и разбираться в этой информации.
Представители общественности нуждаются в информации, чтобы судить, обеспечивает ли образовательная система достижение значимых для них социальных, образовательных и экономических целей и делает ли она это результативно и эффективно. Большинство представителей этой группы имеют очень ограниченные статистические навыки, незначительный интерес к деталям и нюансам - они хотят и нуждаются в наборе стилизованных фактов о результатах работы системы образования.
Администраторы системы образования (администраторы образования муниципального, регионального и национального уровней, администрация школ и руководители методических объединений) на различных уровнях нуждаются в информации о достижениях учащихся в конкретных образовательных областях и о достижениях специфических групп учащихся (этнические меньшинства, мигранты, дети с ограниченными возможностями и т.п.) для корректировки учебного плана, для определения целей подготовки учителей, разработки программ изменений в образовательных учреждениях или их объединениях, демонстрации достижений родителям, вышестоящему начальству и аргументирования необходимости выделения дополнительных ресурсов4. Эти специалисты, как правило, признают необходимость использования статистических данных, но имеют мало времени и квалификации для самостоятельного проведения начального анализа.
Профессиональные союзы, представляющие коллективные интересы учителей и руководителей образовательных учреждений, нуждаются в информации для защиты интересов своих членов. Они могут быть агентами влияния как за, так и против
4 Ещё одним важным направлением использования данных оценки, которое интересует администраторов, является учёт результатов учебных достижений при оценке эффективности работы школ. Такого рода анализ требует учёта различных дополнительных факторов. Обсуждение данного вопроса мы оставляем за рамками данной статьи.
каких-либо изменений. Они имеют доступ к знаниям и экспертному потенциалу в области статистики, а также высокие стимулы использовать информацию для поддержки своих позиций.
Преподаватели образовательных организации, проводящих подготовку и повышение квалификации учителей, нуждаются в информации о результатах использования на практике современных подходов подготовки учителей, учебного плана и преподавания. Как правило, часть из них (далеко не все) обладают статистическими знаниями, необходимыми для использования данных оценки учебных достижений.
Исследователи заинтересованы в получении всех возможных первичных данных о результатах оценки для проведения теоретических и прикладных исследований. Данная категория специалистов обладает высокой квалификацией в области статистического анализа и имеет высокую мотивацию к использованию информации о результатах программ оценки.
Общественные лидеры, включая политиков местного уровня, нуждаются в информации, чтобы оценить, производит ли школьная система результаты, необходимые обществу для достижения его социальных, культурных и экономических целей. Большинство общественных лидеров имеют очень ограниченные навыки количественного анализа.
Неправительственные организации нуждаются в информации для отслеживания тенденций в образовательных результатах и для доказательства необходимости институциональных и политических изменений в обществе. Представители этих организаций имеют различный уровень навыков для работы со статистическими данными.
Практика ведущих зарубежных стран показывает, что важными пользователями результатов оценки являются высокопоставленные государственные чиновники. Скотт Мюррей [9] даёт следующую характеристику данной группы пользователей.
Государственные деятели и руководители различных министерств и органов исполнительной власти нуждаются в информации для нескольких целей:
• Руководители Министерства труда нуждаются в информации, чтобы понимать качество подготовки специалистов и на этой основе делать оценку потребностей в подготовке кадров для рынка труда.
• Руководители Министерства культуры нуждаются в информации, чтобы понимать позиции языковых и культурных меньшинств при использовании как официального языка, так и языка меньшинств.
• Руководители Министерства здравоохранения нуждаются в информации, чтобы понимать взаимосвязь получаемых навыков и здоровья населения.
• Руководители Министерства социального развития нуждаются в информации, чтобы понимать роль, которую играют знания и навыки в преодолении социального неравенства в экономических, образовательных, социальных и других результатах.
Как правило, руководители этих ведомств не имеют ни высоких навыков проведения количественного анализа, ни интереса делать такой анализ самим. Обычно они хотят иметь стилизованную информацию, подготовленную их собственными специалистами.
Средства массовой информации - печатные и телевидение, прежде всего, - играют центральную роль в распространении результатов любых программ оценки обучения, поскольку они позволяют донести информацию до большого числа пользователей. Поэтому следует очень скрупулёзно и внимательно прорабатывать стратегии взаимодействия со СМИ и использования их потенциала. Представители СМИ не имеют достаточной подготовки по интерпретации статистических данных и нуждаются в стилизованной информации, содержащей ясные выводы и оценку ситуации.
Учитывая приведённую выше классификацию пользователей по группам их технической квалификации, можно видеть (см. таблицу), что основная масса пользователей не обладает сколько-нибудь значимой подготовкой в области интерпретации результатов оценки учебных достижений. Поэтому организаторам программы оценки необходимо взять на себя выполнение этой важной задачи и обеспечить подготовку информационных продуктов, ориентированных на разные целевые группы.
С Учащиеся В Профессиональные союзы
с Учителя С Общественные лидеры
с Родители В Представители системы подготовки и ПК учителей
с Представители общественности С Государственные деятели и руководители
в Администраторы и управленцы С СМИ
А Исследователи
Сторонники и оппоненты программы оценки
Как уже отмечалось, программы оценки обладают способностью порождать победителей и проигравших. В итоге различные группы пользователей будут предрасположены поддерживать программу оценки или поступать ровно наоборот, в зависимости от того, как они воспринимают её результаты.
Основываясь на предрасположенности по отношению к данным оценки, можно выделить три категории пользователей:
• те, кто являются сторонниками (твёрдо уверены в пользе данных оценки или верят в полезность данных оценки);
• те, кто держат нейтралитет или пока сомневаются относительно пользы данных оценки;
• те, кто находятся в активной оппозиции, т.к. не верят в пользу данных оценки или выступают заведомо против любого внешнего оценивания.
При этом очень важно помнить, что «сомневающиеся» пользователи могут иметь самые разные основания для своих сомнений. Одни вполне оправданно могут считать, что проведение оценки отвлекает, зачастую, скудные ресурсы от преподавания или дру-
гих, более важных образовательных задач. Другие могут видеть, что результаты оценки используются, прежде всего, в административных целях как средство надзора и контроля и, как следствие, работают не на заявленные в программе оценки цели. Часть «сомневающихся» опасаются, что публикация результатов оценки может привести к утрате позитивного имиджа региона, школы или учителя и повлечь серьёзные репутационные риски. Во всех этих случаях отношение к оценочным процедурам будет, как минимум, весьма осторожное.
С точки зрения информирования и распространения результатов, команда, проводящая оценку, должна преследовать следующие цели:
• сохранять доверие тех пользователей, кто изначально поддерживает проведение программы оценки;
• завоёвывать поддержку дополнительных пользователей, кто может занимать нейтральную позицию или быть в умеренной оппозиции;
• не оставлять без внимания мнения и суждения явных оппонентов, используя сбалансированные и нейтральные формулировки во всех публикациях и выступлениях, связанных с программой оценки.
Информационные продукты
Информационные -ресурсы
В ходе подготовки и проведения программы оценки учебных достижений формируется набор различных информационных ресурсов, на основе которых готовятся информационные продукты для разных групп пользователей. Этот набор, как правило, включает следующие ресурсы:
• концепция программы оценки (идеология оценки, её цели и предназначение);
• характеристика (фрэйм) теста, которая создаётся для формирования дизайна программы оценки;
• банк заданий, которые создаются для оценки умений и навыков учащихся5;
• базы данных с результатами оценки;
• характеристика выборки участников тестирования;
• данные о взаимосвязи достижений школьников и контекстных характеристик;
• примеры заданий и описание основных ошибок для отдельных заданий (содержательный анализ выполнения заданий);
• техническая документация и фактические материалы (руководства, протоколы проведения и т.п.).
Каждый из указанных ресурсов может использоваться различными способами. Ниже дадим примеры того, как некоторые из этих ресурсов могут быть преобразованы в информационные продукты.
5 Как правило, банк заданий является закрытым для внешнего пользователя ресурсом, так как входящие в него задания используются при проведении оценки и не могут быть опубликованы.
Пример 1. Характеристика теста.
Характеристика (фрэйм) теста представляет собой научно обоснованное описание для проведения оценки и, как правило, включает ключевые аспекты дизайна теста: цели теста; содержание материала, отобранного для оценки; факторы, определяющие сложность теста; диапазон трудности, который будет охвачен тестом; время выполнения теста; сочетание типов заданий, которые будут включены в тест; система оценки и др.
В России при проведении ЕГЭ используется в качестве характеристики теста следующий набор материалов: спецификация контрольных измерительных материалов, кодификатор содержания и кодификатор требований к уровню подготовки, а также демо-версия теста.
Соответствующие информационные продукты
1. Печатное/электронное издание с описанием характеристики теста, которое делается публично доступным до выпуска результатов оценки. Ранняя публикация описания теста направлена на предотвращение критики, связанной с прозрачностью программы оценки.
2. Презентации. Везде, где только это возможно, должны быть сделаны презентации для ключевых групп с целью демонстрации открытости процесса разработки программы оценки и её научной полноты.
3. Рецензии. Необходимо позаботиться о получении экспертных рецензий на спецификацию. Авторитетные мнения могут помочь противостоять любой отрицательной реакции на результаты оценки после публикации данных.
Пример 2. Содержательный анализ выполнения заданий теста.
Крайне важная информация для совершенствования преподавания может быть получена через изучение типовых ошибок при выполнении заданий теста. Такого рода анализ может служить для определения того, какая часть учебной программы должна стать предметом пристального внимания учителей, и где процесс преподавания нуждается в корректировке. Кроме того, данная информация полезна авторам учебно-методической литературы.
Соответствующие информационные продукты
Этот тип анализа обычно имеет форму специализированных отчётов, которые рассматривают подмножество заданий теста по конкретным аспектам содержания учебной программы. Такой анализ требует комбинации статистического анализа и глубокого понимания учебной программы и практики преподавания.
Примером описания результатов и основных ошибок при выполнении заданий ЕГЭ может служить ежегодный Аналитический отчёт о результатах ЕГЭ по конкретному предмету6.
6 См. сайт Федерального института педагогических измерений http://www.fipi.ru/view/sections/138/ docs/
Содержание набора информационных продуктов конкретной программы оценки зависит от целей оценки, ожидаемых вариантов использования результатов, имеющихся в распоряжении организаторов финансовых ресурсов.
Пример 3. Мониторинг учебных достижений учащихся начальной школы в России.
В рамках федерального проекта по созданию и апробации инструментария мониторинга учебных достижений учащихся начальной школы7 разрабатывается следующий набор информационных продуктов.
1. Региональный отчёт по итогам оценки.
Региональный отчёт является наиболее полным и всесторонним из всех информационных продуктов, которые могут быть подготовлены на основе данных оценки.
2.. Резюме отчёта.
В резюме (краткой версии) отчёта излагается краткая характеристика оценочной процедуры и основные результаты и выводы.
3. Специализированный отчёт (по предмету, группе учащихся).
Специализированный отчёт представляет результаты по конкретным областям знаний (по учебному предмету или метапредметные результаты) или по группам учащихся (мальчики и девочки, сельские школьники и т.п.).
4. Отчёт о результатах оценки по школе.
Отчёт по школе готовится для обсуждения успехов и проблем, выявленных в ходе оценки качества образования.
5. Информационный буклет для родителей.
Информационный бюллетень - короткий информационный продукт, представляющий общую информацию о программе оценки и ориентированный на целевую группу - родителей учащихся начальной школы.
6. Пресс-релиз для СМИ [4].
Пресс-релиз - сообщение для прессы, подготовленное для журналистов и редакторов СМИ и рассказывающее о значимом событии, мероприятии или ином информационном поводе.
Особого внимания заслуживает опыт Чили по распространению информации по итогам проведения национальной программы оценки качества образования SIMCE (Sistemade Mediciyndela Calidaddela Educaciyn).
Данная программа действует в стране с 1998 года, законодательно закреплена в законе об образовании и координируется Министерством образования Чили. SIMCE включает стандартизированные тесты по математике, испанскому языку и естественным наукам, в которых участвуют все учащиеся 4,8и 10 классов.
7 Проект «Доработка, апробация и внедрение инструментария и процедур оценки качества начального общего образования в соответствии с Федеральными государственными образовательными стандартами» (2011-2013 гг.). Исполнитель ФГНу Институт стратегических исследований в образовании РАО.
Пример 4. Представление информации в национальном мониторинге Чили.
Программа включает следующий набор информационных продуктов, которые используются для достижения трёх главных целей SIMCE: поддержка процесса обучения, мониторинг реализации образовательной политики и обеспечение подотчётности системы образования перед обществом [10].
1. Руководство по проведению оценки (с 1988 г.)
2. Школьный отчёт (с 1988 г.)
3. Национальный отчёт (с 2006 г.)
4. Приложение к газете (с 1995 г.)
5. Отчёт для родителей (с 2005 г.)
6. Он-лайн банк заданий (с 2007 г.)
7. Комплект материалов для прессы (с 2006 г.)
8. Файлы данных (с 2005 г.)
9. Инструментарий анализа данных (с 2007 г.)
10. Гео-информационная система (с 2010 г.), которая основана на картах Google и представляет средние баллы теста каждой школы по каждому предмету.
11. Вебсайт www.simce.cl (с 2001 г.).
Каждый из указанных продуктов имеет краткое описание, которое содержит цели выпуска данного продукта, его целевую группу, содержание и механизмы распространения.
Образец краткого описания приложения к газете.
Цели: Обеспечение подотчётности школ.
Целевая группа: Родители, широкая общественность.
Содержание:
(a) Средние баллы школ и средние балы по предметам и классам.
(b) Разница между средним баллом школ и 1) средними баллами предыдущей оценки, 2) средним по стране, 3) средними баллами школ из той же социально-экономической группы.
Механизмы: Публикуется в национальных и региональных газетах. Обычно эта информация распространяется вместе с рейтингами школ.
Разработка стратегии распространения информации
Создание информационных продуктов - это только часть процесса, гарантирующего, что результаты программы оценки достигнут желаемой аудитории. Другим важным направлением работы является разработка и реализация эффективной стратегии распространения информации (англ. - disseminationstrategy), которая в большей степени имеет дело не с тем, какие продукты должны быть подготовлены, а с тем, кто и как эти продукты донесёт до представителей целевых групп.
В основе стратегии распространения лежит понимание того, какими способами информация о результатах оценки должна доводиться до конкретных целевых групп. В каче-
стве примера приведём возможные формы информирования представителей некоторых из таких групп.
В завершении остановимся на нескольких чувствительных вопросах, которым следует уделять особое внимание при проведении программы оценки и представлении её результатов. С точки зрения авторов необходимо учитывать следующие моменты.
Адресность информации
Зачастую можно видеть, что организаторы программы оценки сообщают не о тех проблемах, которые волнуют целевую аудиторию. Для преодоления такой ситуации целесообразно проведение фокус-групп с представителями профессиональных объединений или общественности. Это поможет понять, какая информация и в каком виде будет востребована конкретными адресатами.
Таблица 1
Возможные способы информирования целевых групп.
Целевые группы Возможные способы информирования
Родители • Индивидуальные результаты учащегося в сравнении с результатами по классу, школе и в целом по популяции программы оценки (если такая информация доступна). • Отчёт по школе в сравнении с результатами школ из своего кластера, муниципалитета и региона. • Буклет для родителей с основными результатами всех участников программы оценки и советами по оказанию помощи своим детям в обучении. • Раздел в публичном докладе школы, содержащий информацию о результатах участия школы в программе оценки. • Он-лайн база данных, позволяющая конструировать необходимые информационные запросы и представлять данные в табличном и графическом видах.
Учителя • Специализированный отчёт программы оценки по предмету или области содержания, подлежащей оценке (например, естественнонаучная грамотность) с указанием результатов, основных ошибок и типов заданий, выполнение которых вызвало наибольшую трудность у учащихся. • Отчёт по школе в сравнении с результатами школ из своего кластера, муниципалитета и региона. • Педагогические советы, на которых представляются результаты оценки. • Методические семинары, проводимые представителями методических служб и систем повышения квалификации по разбору основных ошибок при выполнении теста.
Целевые группы Возможные способы информирования
Администраторы и управленцы • Руководители национальных и региональных органов управления образованием • Краткая аналитическая записка с результатами оценки (2-3 страницы без технических подробностей). • Презентации с наглядными примечаниями и комментариями. • Брифинги (совещания), на которых организаторы программы оценки представят основные результаты и объяснят, какие вопросы могут быть заданы руководителям со стороны прессы и широкой общественности. • Резюме итогового отчёта программы оценки. • Администрация школы • Итоговый отчёт (национальный или региональный). • Отчёт по школе в сравнении с результатами школ из своего кластера, муниципалитета и региона. • Семинары и совещания, проводимые учредителем и муниципальными методическими службами для обсуждения результатов школ.
Представители общественности, Общественные лидеры • Сообщения в СМИ (печатных, электронных, телевидение, радио). • Целевая информация о назначении и результатах программы оценки, размещённая на сайте организации, отвечающей за её проведение. Требует использования языка изложения без специальных технических терминов и интерпретации результатов.
СМИ • Пресс-релиз с основными результатами программы оценки. • Материалы для прессы, содержащие ответы на наиболее важные для СМИ вопросы. Например, Кто проводил программу оценки? Почему она проводилась? Когда она была проведена? Что оценивалось? Каковы были основные результаты? Почему они важны? Какова стоимость программы? • Пресс-конференции и брифинги с участием прессы • Интервью ключевых специалистов и руководителей.
Исследователи • Итоговый отчёт. • Первичные данные с результатами оценки и контекстной информацией (если таковая собиралась). • Он-лайн база данных, позволяющая конструировать необходимые информационные запросы и представлять данные в табличном и графическом видах.
Использование релевантных информационных источников
Информирование должно строиться на использовании релевантных для конкретной группы адресатов информационных источников. Недопустима ситуация, когда итоговый отчёт публикуется лишь в печатном виде или размещается на сайте, который мало известен и редко посещается пользователями. Например, для донесения результатов оценки до педагогов следует обратить внимание на сайты, ориентированные именно на эту группу (такие, как ресурсы «Открытый класс» и т.п.), и предметные приложения к профессиональным печатным изданиям.
Доступная интерпретация -результатов
При сообщении результатов надо стараться избегать узко специальной терминологии, необходимо представлять данные на языке, понятном адресатам. Также желательно использовать инструменты визуализации информации - различные графики и диаграммы.
Особо важным моментом работы с информацией является представление результатов оценки в динамике и объяснение, что значит изменение тех или иных динамических показателей.
Своевременная -реакция на возникшие проблемы
В ходе проведения оценки нужно обеспечивать систематическое информирование целевых групп. Особенно важными периодами информирования являются запуск программы оценки и её завершение. В первом случае необходимо объявить цели и задачи проведения теста, а во втором - сообщить о его результатах и возникших сбоях и нарушениях.
Доверие к результатам оценки зависит от того, насколько оперативно и убедительно команда, ответственная за оценку, может реагировать на возникающие проблемы и критические замечания.
Опыт организации Единого государственного экзамена в России показывает, что весьма полезным инструментом обратной связи является интерактивный форум на официальном сайте, в котором оперативно давались ответы на поступившие негативные мнения и разъяснялась ситуация с возникшими нарушениями при проведении экзамена.
Реагирование в режиме реального времени предполагает наличие механизма, при помощи которого можно отследить реакции на результаты тестирования. Организаторы программы оценки фактически должны иметь систему мониторинга для наблюдения за реакцией на представленные данные со стороны широкой общественности.
Мониторинг общественного мнения может быть осуществлён одним из двух способов. Первый из них - наём специализированной компании, проводящей медиа-мониторинг ключевых СМИ. Другой вариант - определение в команде сотрудника, в функционал которого будет включена задача по отслеживанию этой информации.
Такая информация должна рассматриваться и обсуждаться систематически и регулярно - наиболее часто в период публикации результатов оценки. В команде по проведе-
нию оценки необходимо иметь конкретного специалиста, который будет управлять всей этой деятельностью.
Заключение
Подводя итоги, отметим, что обеспечение максимального влияния результатов оценки на образовательную политику зависит от трёх ключевых элементов, которыми должна обладать квалифицированная команда, отвечающая за организацию и проведение программы учебных достижений школьников:
1. знание пользователей результатов программ оценки и их информационных потребностей;
2. наличие информационных продуктов, способных удовлетворить существующие информационные потребности различных групп пользователей;
3. понимание, какие способы распространения информационных продуктов следует использовать.
Передовой международный и российский опыт говорит о том, что умение проводить взвешенную информационную политику, интерпретировать результаты оценки качества образования и доводить их до представителей заинтересованных сторон является неотъемлемой частью любой программы оценки учебных достижений. От этого зависит её успех или неудача.
Список литературы:
1. Болотов, В. А. ЕГЭ доказал свою жизнеспособность / В. А. Болотов // Учительская газета. - 2012. - № 23.
2. Болотов, В. А. Как обеспечить эффективное использование результатов оценки образовательных достижений школьников / В. А. Болотов, И. А. Вальдман // Образовательная политика. - 2012. - № 1(57). - С. 36-42.
3. Болотов, В. А. Российская система оценки качества образования: чему мы научились за 10 лет? / В. А. Болотов, И. А. Вальдман, Г. С. Ковалёва // Тенденции развития образования: проблемы управления и оценки качества образования. Материалы VIII Международной научно-практической конференции. - М.: Университетская книга, 2012. - С. 22-31.
4. Вальдман, И. А. Пресс-релиз для СМИ по итогам проведения программы оценки учебных достижений школьников. Рекомендации по подготовке и распространению / И. А. Вальдман // Управление образованием: теория и практика. -2012. - Вып. 2.
5. Келлаганн, Т. Использование результатов национальной оценки учебныхдо-стижений / Томас Келлаганн, Винсент Грини, Т. СкоттМюррей ; пер. с англ. С. В. Фирсовой; под. ред. В. И. Звонникова - М.: Логос, 2011.
6. Кларк, М. Что является наиболее важным в системах оценки достижений учащихся: основные ориентиры. - М.: Всемирный банк, 2012.
7. Clarke, Marguerite. 2012. «What Matters Most for Student Assessment Systems: A Framework Paper.» SABER-Student Assessment Working Paper № 1. World Bank, Washington, DC.
8. Ministries of education and the media: close encounters - mixed emotions / ed. by GudmundHernes, in collaboration with Michaela Martin and Estelle Zadra. Policy Forum № 14, UNESCO, 2003.
9. Murray, T. S. (2004) Achieving Maximum Impact: A Guide for Managers of National assessment Systems, Statistics Canada, Ottawa.
10. Ramirez, Maria-Jose. 2012. «Disseminating and Using Student Assessment Information in Chile.» SABER-Student Assessment Working Paper № 3. World Bank, Washington, DC.
Интернет-журнал «Проблемы современного образования» 2012, № 6
