CC BY
473
РЕГИОНАЛЬНЫЙ ОПЫТ ФОРМИРОВАНИЯ ФУНКЦИОНАЛЬНОЙ ГРАМОТНОСТИ
УДК 373
Л. А. Рябинина
Заместитель директора Центра оценки качества образования, г. Красноярск E-mail: ryabinina@ coko24.ru
LyubovA. Ryabinina
Deputy Director of the Centre for Quality Assessment in Education, Krasnoyarsk, Russia
ш
Т. Ю. Чабан
Начальник отдела мониторинга качества образования Центра оценки качества образования, г. Красноярск E-mail: chaban@coko24.ru
Tatyana Yu. Chaban
Head of Education Quality Monitoring Department, Centre for Quality Assessment in Education, Krasnoyarsk, Russia
МОНИТОРИНГ ЧИТАТЕЛЬСКОЙ ГРАМОТНОСТИ: РЕГИОНАЛЬНЫЙ ОПЫТ
В статье описан восьмилетний опыт Красноярского края в оценке читательской грамотности учеников начальной и основной школы, включая подходы к разработке инструментария и способы получения достоверных данных о положении дел в образовательной системе. Подробно рассматриваются вопросы информирования разных категорий потребителей о его результатах и основные направления работы с этими результатами, в том числе по итогам мониторинга функциональной грамотности, в котором участвовал регион.
Ключевые слова: функциональная грамотность, оценка читательской грамотности в начальной и основной школе.
Оценка читательской грамотности как оценка-поддержка
Оценка читательской грамотности школьников в региональной системе оценки качества образования в Красноярском крае появилась в 2011 году. Тогда для выпускников 4-х классов впервые была составлена работа по общеучебным умениям, где оценивалось понимание двух текстов — информационного и литературного — на одну и ту же тему.
С введением ФГОС НОО появились диагностические работы по чтению научно-популяр-
Как цитировать статью: Рябинина Л. А., Чабан Т. Ю. Мониторинг читательской грамотности: региональный опыт // Отечественная и зарубежная педагогика. 2019. Т. 1, № 4 (61). С. 236-247.
ного и художественного текста в 1-м, 2-м и 3-м классе, а место итоговой работы в 4-м классе заняла краевая диагностическая работа по читательской грамотности (КДР4), в основу которой положена модель, разработанная специалистами Института стратегии развития образования Российской академии образования (далее — ИСРО РАО) под руководством Г. С. Ковалевой. В КДР4 ученик работает с несколькими информационными текстами, связанными общей темой.
Два года назад к ней добавилась краевая диагностическая работа по читательской грамотности для 6-го класса (КДР6), прототипом которой стали материалы для оценки метапредметных результатов в 5-9 классе, разработанные командой Г. С. Ковалевой. Каждый вариант КДР6 содержит четыре блока, соответствующих разным предметным областям: математике, русскому языку, естествознанию и общественным наукам. Блок включает текст или тексты объемом до 500 слов и семь заданий к ним.
Все измерительные материалы проходят апробацию на представительной выборке, экспертизу содержательной валидности и статистический анализ качества заданий с расчетом всех основных показателей в классической теории тестирования (надежность теста, стандартная ошибка измерения, трудность и дискриминативная способность каждого задания и т.п.). Для выравнивания непараллельных вариантов используется современная теория тестирования. Результаты КДР4 и КДР6 предоставляются по каждому ученику, классу, муниципальному образованию и, естественно, по региону в целом.
Так выглядят элементы региональной системы оценки читательских умений. Но дальше возникают два ключевых вопроса. Первый — как в условиях ограниченных ресурсов региона получить данные, которым можно верить? И второй — как добиться того, чтобы за оценкой, которая сама по себе ничего не улучшает, следовали существенные изменения ситуации в области читательской грамотности в крае?
Второй вопрос важнейший, поэтому начнем с него. Ради чего проводится региональная оценка и что она представляет собой по сути: форму контроля, в основании которого лежит недоверие к учителю и школе, или форму поддержки развития школы, ориентированную на прямых участников образовательного процесса — учителей, учеников и их родителей, и обеспечивающую школы и учителей «новыми средствами оценки достижений целей образования, новыми средствами
диалога с внешкольным сообществом»? [3, с. 19]
Процедуры региональной системы оценки качества образования в Красноярском крае спроектированы как оценка-поддержка, что зафиксировано в Концепции региональной системы оценки качества начального общего образования в Красноярском крае [2]. В ситуации поддерживающего оценивания основная задача органов управления образованием — «обеспечение школ и педагогов разнообразными методиками и действенными инструментами оценки результатов образовательной деятельности, позволяющими принимать адресные решения относительно поддержки в обучении конкретного ребенка и проектировать шаг развития образовательного учреждения. Иначе говоря, в этом случае важными являются не сами результаты деятельности, которые демонстрируют школы и отдельные учащиеся, а наличие у образовательных учреждений культурных инструментов, позволяющих проектировать свой шаг развития. К таким процедурам могут быть отнесены формирующее оценивание, мониторинги, самооценка, самоанализ, самоконтроль и самопроверка» [1, с. 44].
Введение оценки-поддержки означает запрет на региональном уровне:
- на рейтингование школ и муниципальных образовательных систем по результатам краевых оценочных процедур;
- на сравнение результатов школ и классов без учета условий, в которых работают педагог и школа (чтобы избежать прямого ранжирования по среднему баллу или доле достигших базового уровня);
- на использование результатов краевых оценочных процедур для оценки деятельности школ и органов местного самоуправления, осуществляющих управление в сфере образования.
Нужно признать, сказанное не означает, что учитель и школа не будут оцениваться и рейтинговаться внутришкольной или муниципальной образовательной системой, которые могут быть построены на иных принципах управления. В условиях школы или малого города даже простое оглашение результатов классов и учителей, показавших «высокие» и «низкие» результаты, может носить «санкционный» характер. В этом контексте основная задача оценки-поддержки — дать ясное представление о целях, а главное — о средствах изменения ситуации к лучшему, которое базируется прежде всего на понимании целей, предмета оценки, основных проблем и подходов к работе с результатами.
Проблема достоверности данных
Достоверные данные — это ключевой фактор, влияющий на использование результатов оценки для принятия управленческих решений. Но, как показывает опыт, добиться полной объективности на всех уровнях региональной образовательной системы при существующих ресурсах невозможно. Поэтому был сформулирован принцип: объективность результатов на каждом уровне обеспечивает тот, кому они нужны для того, чтобы развиваться. Учителей, школы, муниципалитеты приходится последовательно и методично убеждать в том, что объективная оценка и использование ее данных для преодоления существующих проблем позволяет качественно изменить образование детей. А для того чтобы получать достоверные данные о положении дел в региональной образовательной системе, введена оценка «двойного назначения».
По модели квотной выборки формируется контролируемая представительная выборка объемом 3% от генеральной совокупности (для разных параллелей это 900-950 человек). В классах, включенных в выборку, диагностическая работа проводится на несколько дней раньше общекраевой процедуры либо одновременно с ней, тестируются все ученики. Контрольно-измерительные материалы (далее — КИМ) при этом доставляются представителями Центра оценки качества образования (далее — ЦОКО), эти же представители в качестве независимых наблюдателей присутствуют в каждой аудитории и передают выполненные учениками работы для проверки в региональную экспертную комиссию, члены которой проходят предварительное обучение в рамках семинара по интерпретации и кодированию ответов учащихся. Каждую работу проверяют не менее двух экспертов. В случае расхождения выставленных экспертами баллов хотя бы по одному заданию это задание перепроверяется третьим экспертом. Репрезентативность выборки по таким стратам, как тип школы и тип населенного пункта, дает возможность распространить выводы, полученные при анализе результатов на выборке, на всю генеральную совокупность четвероклассников или шестиклассников Красноярского края.
Остальные школы получают КИМ и рекомендации по оцениванию в виде защищенных паролем архивов по электронной почте. Шифр к измерительным материалам направляется накануне проведения работы, чтобы их можно было спокойно напечатать, шифр к рекомен-
дациям по оцениванию — в день проведения, после окончания процедуры. При этом сценарии работы проверяются муниципальными или школьными комиссиями (способ проверки выбирает орган местного самоуправления). Данные проверки вносятся в электронные формы и направляются для обработки в ЦОКО.
Линии анализа результатов
На основе полученных на представительной выборке данных ЦОКО строит качественную шкалу уровней читательской грамотности (иначе: освоения метапредметных умений, связанных со смысловым чтением и работой с информацией). Подходы к определению уровней ориентированы на модель оценки, разработанную Российской академией образования, в которой выделяется четыре уровня: повышенный, базовый, пониженный и недостаточный для дальнейшего обучения. По итогам каждой работы с учетом статистики выполнения заданий разными группами учеников уровни содержательно описываются, например:
Пониженный уровень (ученик набрал 37-44 балла по 100-балльной шкале
Ученик умеет:
- находить информацию, сформулированную явно, если она не разрозненна;
t- формулировать простые выводы с опорой на явную информацию;
- применять информацию из текста для знакомых жизненных ситуаций.
Помимо трудностей, которые демонстрируют и ученики с более высокими уровнями достижений, для детей этой группы характерно фрагментарное понимание текста. Они испытывают проблемы
- при работе с разрозненной информацией и информацией в знаковой форме;
- при обработке, при любом преобразовании информации (например, при необходимости выделить главные условия).
Перевод в 5-балльную школу отметок этих уровней не предполагается.
При этом школы, не вошедшие в выборку, могут сравнить свои результаты с данными по краю, полученными с соблюдением требований к процедуре и проверке, и сделать соответствующие выводы. Постепенно школы или управленцы на муниципальном уровне начинают задаваться вопросом: наши показатели слишком высоки, правдивы ли они? Что в организации процедуры или проверки стоит изменить? Как мотивировать учителя посмотреть на ситуацию «как она есть»?
Кратко охарактеризуем основные линии анализа результатов. Первая линия базируется на следующих показателях:
1) доля учеников, освоивших метапредметные умения, связанные со смысловым чтением и работой с информацией, на повышенном и базовом уровне, а также на уровнях ниже базового: пониженном и недостаточном для дальнейшего обучения;
2) процент выполнения каждого задания и успешность выполнения работы в целом;
3) освоение каждой из трех основных групп читательских умений (общее понимание текста, ориентация в тексте; глубокое и детальное понимание содержания и формы текста; использование информации из текста для различных целей).
Вторая линия анализа связана с учетом контекстных данных. Для оценки результатов с учетом социально-экономического контекста, в котором работает учитель и школа в целом, собираются данные, характеризующие социально-экономические факторы, которые могут влиять на образовательные результаты, например процент учащихся:
• из многодетных семей;
• из семей, где только один из родителей имеет высшее образование;
• из семей, где оба родителя имеют высшее образование;
• для которых русский не является родным языком;
• состоящих на внутришкольном учете и т.п.
Кроме того, учитывается тип населенного пункта, в котором учится школьник, так как с каждым типом населенного пункта связаны свои образовательные ресурсы, своя образовательная среда и тип образовательной организации (является ли она гимназией, лицеем, школой с углубленным изучением отдельных предметов или обычной школой), поскольку даже после отмены дополнительного финансирования школ с особым статусом это различие продолжает оказывать влияние
на образовательные результаты.
Методом регрессионного анализа выявляется набор факторов, влияющих на результаты оценочных процедур, определяется характер и сила их связи и рассчитывается индекс образовательных условий, показывающий положение класса среди всех классов региона и муниципалитета (см. Рис. 1). Такой подход позволяет, с одной стороны, выявить факторы риска и наиболее уязвимые группы учеников, на которые нужно обратить особое внимание при обучении, а с другой — дать информацию для более адекватной и справедливой оценки работы школ и педагогов.
На Рисунке 1 приведен пример диаграммы, показывающей результаты класса в сравнении с другими классами региона с учетом индекса образовательных условий. Средний тестовый балл в работе по читательской грамотности в этом классе ниже среднего. Но на диаграмме видно, что и условия, в которых работают педагоги, там одни из самых сложных. И в этих непростых условиях класс показывает результаты выше статистически ожидаемых (сплошная линия):
Результаты КДР4 по читательской грамотности 2019 1400120401 класс
0.5 0.6 0.7
иедекс образовательных условий
Рисунок 1. Результаты класса в КДР4 2019 года с учетом индекса образовательных условий
Аналогичные диаграммы строятся для каждой школы
и муниципалитета.
Анализ результатов позволяет составить представление о качестве читательских умений учеников начальной и основной школы, направлений необходимой поддержки и сформулировать задачи на ближайший учебный год.
Адресное информирование о результатах оценки
Региональная оценка качества образования должна строиться как эффективная система. А один из главных критериев ее эффективности —качественная информация для заинтересованных пользователей и тех, кто принимает управленческие решения. Именно поэтому разработка информационных продуктов (их содержание, форма) опирается на изучение информационных потребностей разных групп пользователей. Например, учителям нужно знать, какие умения читательской грамотности сформированы или не сформированы у их учеников, чтобы корректировать методы обучения, при этом они не читают длинных текстов и достаточно равнодушны к статистике. Поэтому отчет для учителей делается коротким (не более 5-7 страниц с инфо-графикой). Он включает описание уровней читательской грамотности (чем уже владеет ученик, а что предстоит формировать), описание типичных ошибок и затруднений учеников и их причин, с которыми учителя могут работать. В отчете формулируются основные задачи на следующий год. В следующем году для оценки динамики в работу вводятся задания на эти умения, чтобы можно было увидеть, удалось ли что-нибудь изменить. Анализ этих изменений тоже становится частью отчета для учителя.
В качестве примера приведем фрагмент отчета 2019 г.:
Помимо общих задач, над которыми необходимо работать при обучении пониманию текста на протяжении всей начальной и основной школы (использовать при работе с текстом средства, освоенные на разных предметах, развивать межпредметные связи; переформулировать вопрос и сообщения текста, письменно выражать свои мысли) выделялся ряд конкретных читательских умений, которые оказались «дефицитными» в прошлом году: - осознанно выбирать информацию, проверяя себя по тексту;
- преобразовывать информацию, записывая ответ в нужной форме (в нужном числе, падеже и т.д.);
- обобщать в одной фразе фрагменты информации, данные в разных предложениях, в разных частях текста;
- находить в тексте синонимы и синонимические ряды;
- видеть в тексте информацию, которую можно преобразовать с помощью простейших математических вычислений.
Посмотрим, что показали результаты этого года.
Умение находить в тексте синонимы для незнакомых слов Фрагмент текста (вариант 2): ...Больше всего среди коллекционеров ценятся марки, выпущенные малым тиражом: чем меньше количество выпущенных марок, тем дороже они стоят.
Задание 13. Каким словом из текста можно заменить слово «тираж»? Выпиши это слово.
Не справились 72%
Комментарий: Задание на поиск синонима, помогающего понять в тексте незнакомое слово, оказалось одним из самых трудных в работе. Автор текста для детей и подростков понимает, что многие слова могут быть для них непонятны, и дает средства помощи: пояснения или знакомые синонимы.
Здесь ответ — «количество» — находится в том же предложении, что и слово «тираж», но большинство учеников выписывали совсем другие слова: «марка», «искусство», «размер», «состав» и т.п., хотя ни одно из этих слов нельзя подставить в текст вместо слова «тираж» без потери или изменения смысла.
В прошлом году с подобным заданием не справились 70% участников работы, в этом году — 72%.
Информационные потребности родителей существенно отличаются от учительских: родителям важно понимать, что это за оценка, потому что в их собственном школьном опыте ничего подобного не было; есть ли прогресс в обучении ребенка; надо ли вмешиваться в этот процесс, помогать, поэтому информационный лист для родителей носит характер «просвещения»: что такое читательская грамотность, как она оценивается, что такое «интерпретация» или «общая ориентация
в тексте» и что могут делать родители для развития читательской грамотности ребенка.
Таким образом, для разных потребителей (участников) оценки содержание, форма и объем информационных материалов будут разными: краткий отчет для широкого круга пользователей, муниципальный отчет (для муниципальных органов управления образования), статистика для образовательных организаций (администрация ОО), информация для учителей и родителей. В каждом отчете (объемом от 1 до 15 страниц) информация представлена с учетом потребностей потенциальных пользователей.
Информационные ресурсы отправляются адресатам и размещаются на сайте КГКСУ «ЦОКО». По итогам оценки проводятся вебинары для педагогов начальной и основной школы (на основе данных анализа работы по читательской грамотности), эти вопросы обсуждаются в рамках августовского педсовета в Красноярске и муниципальных образованиях края.
Использование результатов
Самым трудной задачей в развитии региональной системы оценки стало формирование культуры работы с результатами оценки (в том числе оценки читательской грамотности).
Само понятие «читательская грамотность» приживалось трудно, потому что педагоги вкладывают в него привычное содержание, сопротивляются новому: «Почему не проверяется техника чтения?», «Это тест по географии. Какое отношение имеет карта к читательской грамотности?» и т.п.
Учителям сложно осваивать умения, связанные с анализом данных, и на понятном языке представлять результаты оценки ученикам и родителям. Рабочая группа, в которую вошли специалисты ЦОКО, учителя и психологи, разработала методические материалы, описывающие подходы к оценке, анализу и использованию ее результатов. Учитывая специфику адресата (учитель), весь цикл — от получения результатов до внесения изменений в рабочую программу — в них был описан на примере одного «модельного» класса.
Следующим «поддерживающим» действием стала разработка курсов повышения квалификации и стажировочных площадок для школьных команд. На них учителя учатся «читать» и интерпретиро-
вать данные диагностики, обсуждать полученные результаты с учениками и родителями, сравнивать достижения в динамике и строить индивидуальную образовательную траекторию ученика. Особенно эффективными оказались стажировочные площадки, потому что там учителя непосредственно включаются в процесс анализа результатов и работы с ними (подготовка и проведение уроков, внеклассных мероприятий, особые методики анализа урока) в той образовательной организации, где они стажируются.
Работа с результатами широко обсуждается на семинарах, конференции «Практики развития», в рамках ежегодного «Педагогического марафона», на котором один из дней посвящен читательской грамотности. Специальные семинары по читательской грамотности проводятся для школ с низкими результатами, работающими в сложных условиях.
И наконец, оценка читательской грамотности учителей стала одним из ключевых испытаний в краевом конкурсе «Учитель года». К нему привыкли, его ждут, с материалами прошлых лет работают на муниципальных этапах конкурса.
Вектор развития
Появление в российской системе оценки образовательных результатов мониторинга функциональной грамотности, открывающего современные подходы к измерениям результатов нового типа, на наш взгляд, меняет вектор развития региональных систем оценки. В Красноярском крае уже проводится краевая диагностическая работа по естественнонаучной грамотности в 8-м классе, на 2020 г. запланирована разработка модели и инструментария для региональной оценки математической грамотности для семиклассников. Изменяется и инструментарий для оценки читательской грамотности в основной школе: акцент смещается в сторону множественных и несплошных текстов, в структуре работы выделяется особая группа умений, связанная с оценкой формы и содержания текста, в том числе с оценкой достоверности представленной информации или ее потенциальных источников. В крае планируется отбирать и обучать группы разработчиков материалов для формирования разных направлений функциональной грамотности. Открывается огромное поле абсолютно новых задач, которые регион может решать в сотрудничестве с ведущими отечественными командами разработчиков.
Литература
1. Болотов В. А., Вальдман И. А. Условия использования оценки учебных достижений школьников // Проблемы современного образования. 2012. № 4. С. 41-51 [Электронный ресурс]. URL: http//www.pmedu.ru (дата обращения: 28.06.2019).
2. Концепция региональной системы оценки качества начального общего образования в Красноярском крае // Красноярский ЦОКО [Электронный ресурс]. URL: http://cok.cross-edu.ru/ wp-content/uploads/2015/09/PCOKO-HOO.pdf (дата обращения: 28.06.2019).
3. Фрумин И. Д. Две идеологии в управлении образованием: между контролем и поддержкой (на примере вопроса об оценке качества образования) // Политика, основанная на знании: опыт Англии и Шотландии / под ред. И. А. Вальдмана. М.: Университетская книга, 2006. 308 с.
MONITORING OF READING LITERACY: REGIONAL EXPERIENCE The article describes the eight-year experience of the Krasnoyarsk region in assessing the reader's literacy of primary and secondary school students, including approaches to the development of tools and methods for obtaining reliable data on the situation in the educational system. The issues of informing about the results of different categories of consumers and the main directions of work with the results, including the results of functional literacy monitoring, in which the region participated, are considered in detail.
Keywords: functional literacy, assessment of reading literacy in primary and secondary school.
References
• Bolotov V. A., Val'dman I. A. Usloviya ispol'zovaniya ocenki uchebnyh dostizhenij shkol'nikov // Problemy sovremennogo obrazovaniya. 2012. № 4. S. 41-51 [Elektronnyj resurs]. URL: http//www. pmedu.ru (data obrashcheniya: 28.06.2019). [In Rus].
• Frumin I. D. Dve ideologii v upravlenii obrazovaniem: mezhdu kontrolem i podderzhkoj (na primere voprosa ob ocenke kachestva obrazovaniya) // Politika, osnovannaya na znanii: opyt Anglii i Shotlandii / pod red. I. A. Val'dmana. M.: Universitetskaya kniga, 2006. 308 s. [In Rus].
• Koncepciya regional'noj sistemy ocenki kachestva nachal'nogo obshchego obrazovaniya v Krasnoyarskom krae // Krasnoyarskij COKO [Elektronnyj resurs]. URL: http://cok.cross-edu.ru/wp-content/uploads/2015/09/RSOKO-NOO.pdf (data obrashcheniya: 28.06.2019). [In Rus].
