CC BY
53
ВОПРОСЫ МЕТОДОЛОГИИ И ТЕОРИИ В ОБЛАСТИ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ
УДК 37:001.89
РАЗРАБОТКА ОЦЕНОЧНОГО ИНСТРУМЕНТАРИЯ РЕГИОНАЛЬНЫХ ИССЛЕДОВАНИЙ КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ ПРАКТИКИ МЕЖДУНАРОДНЫХ ИССЛЕДОВАНИЙ
М.Ю. Школьникова, О.А. Черепанова, Т.В. Якубовская, Ю.В. Денисова
В статье раскрывается актуальность разра- числу которых относят креативность (творчес-
ботки оценочного инструментария для прове- кое мышление), критическое мышление,
дения мониторинга качества образования, навыки общения, социальные навыки. По
методический потенциал разработки оценоч- словам руководителя Рособрнадзора Сергея
ного инструментария региональных исследо- Кравцова, «классическим формам школьного
ваний качества образования; рассматривается образования предстоит серьезная трансформа-
содержательный ресурс методологии оценки ция, которая затронет и Россию. Системе
качества общего образования на основе прак- образования будущего важно успешно справ-
тики формирования измерительных материа- ляться с формированием гибких компетенций
лов международных исследований. ^оА^ЫШ), но эту задачу невозможно решить в
отрыве от базового образования» [1]. Значи-
Ключевые слова: единая система оценки мость softskills актуализировал в своем
качества образования, методология оценки выступлении руководитель Департамента по
качества общего образования, оценочные образованию и навыкам Организации эконо-
процедуры, предметные и метапредметные мического сотрудничества и развития (ОЭСР)
планируемые результаты, базовые навыки и Андреас Шляйхер на V Международной
гибкие компетенции, оценочный инструмен- конференции «Школьное образование 21 века:
тарий. формирование и оценка гибких компетенций»,
организованной Рособрнадзором, Федераль-
В настоящее время в России сформирована ным институтом оценки качества образования
система оценки качества образования на (ФИОКО). По его словам, приобре-
федеральном уровне, включающая целый тают совершенно новое значение в контексте
комплекс мероприятий оценки и исследования сегодняшнего дня, именно они будут на повес-
качества образования. Единая система оценки тке обучения и оценки в будущем» [6]. Гибкие
качества образования, включающая в себя компетенции оценить гораздо сложнее, но это -
процедуры международного и федерального очень важная задача, так как такая оценка
уровней, способствует развитию единого поможет повысить эффективность образова-
образовательного пространства в России и в тельного процесса.
регионах страны. Однако, одним из самых Действительно, российское образование
дискуссионных и трудоемких вопросов остает- сталкивается с современными вызовами,
ся вопрос оценивания уровня метапредметных обусловленными высокими темпами развития
и личностных результатов обучающихся. технологий. В связи с этим возникает необхо-
Традиционные многолетние практики оцени- димость ориентироваться на международные
вания, наработанные в отечественной системе форматы оценки качества образования, на
образования, нацелены на оценку предметных международные сравнительные исследования,
результатов, предметных компетенций. Все результаты которых позволяют выявить
большую роль в меняющемся мире и в системе особенности подготовки российских школьни-
образования будущего начинают играть так ков, выявить плюсы и минусы российской
называемые гибкие компетенции ^оА^ЫШ), к системы образования. Международные иссле-
дования показывают, что российские школьники могут испытывать затруднения с применением знаний в реальных или незнакомых ситуациях при решении практических задач
[5].
При этом сопоставление российских и международных подходов к оценке качества образовательных результатов обучающихся в рамках разработки критериев оценки качества общего образования показало также, что выход на новый качественный уровень невозможен без повышения эффективности решения таких традиционных задач образования, «как обеспечение освоения базового образовательного минимума в соответствии с действующими федеральными государственными образовательными стандартами» [3].
Навыки XXI века, выявляемые в ряде исследований качества образования, должны содержать и базовые (функциональные) навыки обучающихся, включая читательскую, математическую, естественнонаучную грамотность, но также и гибкие компетенции (критическое мышление, поиск решения в условиях заданной жизненной ситуации и другие).
Такой подход, отражающий сопоставимость оценки качества общего образования в России и практике международных исследований качества образования, был сформулирован в положениях методологии оценки качества общего образования в общеобразовательных организациях на основе практики международных исследований качества подготовки обучающихся (далее - Методология) [3]. Содержательные принципы оценки качества общего образования, представленные в Методологии, выступают основанием для разработки инструментария по оцениванию степени соответствия подготовки обучающихся их потребностям. Одним из основных принципов Методологии оценки качества общего образования, является ориентация на федеральный государственный образовательный стандарт (далее - ФГОС). Система общего образования в Российской Федерации строится на основе российских образовательных стандартов,
устанавливающих, в том числе, требования к результатам освоения основной образовательной программы. Таким образом, при разработке оценочного инструментария на основе практики международных исследований качества подготовки обучающихся необходимо проведение анализа действующих ФГОС с целью сопоставления их со стандартами (в части объектов оценивания) различных международных сравнительных исследований» [3]. Таким инструментарием на федеральном уровне выступают измерительные материалы единого государственного экзамена и основного государственного экзамена, а также всероссийских проверочных работ.
В условиях региональной системы оценки качества образования (далее - РСОКО) задачи по разработке инструментария находят отражение в процедурах регионального мониторинга качества образования [4]. С 2016 года в школах Челябинской области ведется работа по оцениванию уровня достижения метапред-метных результатов обучающимися начального и основного уровней общего образования. В частности, ежегодно проводится региональное исследование качества образования в 4-х классах в форме комплексной работы, а также с 2018 года стало традиционным исследование качества образования в 7-х классах в форме индивидуального проекта. В основу проведения указанных региональных исследований были положены требования ФГОС начального общего и основного общего образования к оцениванию метапредметных результатов, включающих универсальные учебные действия (регулятивные, познавательные, коммуникативные).
В 2019 г. в соответствии с новыми задачами, заявленными в методологии оценки качества общего образования на основе практики международных исследований качества образования [3], нацеленными на оценивание гибких компетенций, Министерством образования и науки Челябинской области была инициирована работа по разработке инструментария по оценке метапредметных результатов обучающихся на уровне основного общего
образования в 10-х классах. Разработка модели данной диагностической работы осуществлялась с учетом поставленной задачи соотнесения действующих ФГОС со стандартами международных сравнительных исследований, в частности с кодификатором международного сопоставительного исследования качества образования, в рамках которого оцениваются знания и навыки учащихся школ в возрасте 15-ти лет - Международной программы по оценке образовательных достижений учащихся PISA (Programme for International Student Assessment) [5].
При этом отбор проверяемых метапредмет-ных результатов обучающихся 10-х классов определялся в соответствии с региональными подходами к разработке контрольных измерительных материалов и отражал преемственность в оценивании уровня достижения метап-
редметных результатов обучающихся, оцениваемых в двух других региональных оценочных процедурах - в комплексной работе в 4-х классах и в индивидуальном проекте в 7-х классах.
На основании проведенного анализа стандартов международного сравнительного исследования РКА-2015 и действующего ФГОС основного общего образования были определены разделы программы развития универсальных учебных действий (далее -УУД), проверяемые с помощью диагностической работы по направлениям: поиск и извлечение информации, интеграция и интерпретация информации, осмысление и оценивание информации, а также выделен ряд УУД в части оценивания читательской грамотности обучающихся (таблица 1).
Таблица 1
Перечень проверяемых метапредметных планируемых результатов (в соответствии с ФГОС основного общего образования)
Раздел ФГОС ООО Проверяемый результат (УУД)
M. 1. Поиск и извлечение информации умение осуществлять поиск дополнительной информации в справочной литературе, сети Интернет для решения различных учебных задач
умение проводить атрибуцию письменного источника (определять его авторство, время и место создания, события, явления, процессы, о которых идет речь)
умение анализировать текст с точки зрения его темы, цели создания, основной мысли, основной и дополнительной информации
умение анализировать позицию автора документа и участников событий (процессов), описываемых в источнике
умение отвечать на вопросы по содержанию источника и составлять на его основе план, таблицу, схему
умение выделять явную и скрытую информацию в прочитанном тексте
умение применять различные виды цитирования
М.2. Интеграция и интерпретация информации умение искать информацию по заданной теме в различных ее адаптированных источниках (материалы СМИ, учебный текст, фото- и видеоизображения, диаграммы, графики)
умение соотносить содержание нескольких источников информации
умение формулировать в письменной форме тему и главную мысль текста
умение формулировать вопросы по содержанию текста и ответы на них
умение передавать содержание текста: подробно, сжато и выборочно
умение информационной переработки прочитанного текста: составление плана текста (простого, сложного; назывного, вопросного, тезисного) с целью дальнейшего воспроизведения содержания текста в письменной форме
Раздел ФГОС ООО
Проверяемый результат (УУД)
умение сопоставлять информацию, представленную на схеме, с другими источниками информации, соотносить ее с собственным! знаниями и личным социальным опытом, делать выводы
М.З.
Осмысление и
оценивание
информации
умение делать вывод на основе сравнения
умение определять и объяснять с опорой на фактический материал свое отношение к событиям, достижениям и личностям
умение использовать письменные дискуссионных точек зрення
источники при аргументации
умение оценивать речевые высказывания с точки зрення их эффективности, понимания основных причин коммуникативных неудач и объяснение их
умение оценивать чужую речь с точки зрення точного, уместного и выразительного словоупотребления
умение анализировать позицию автора документа и участников событий (процессов)
умение давать собственную аргументированную оценку прочитанному и оформлять ее в письменных высказываниях разных жанров, создавать развернутые высказывания аналитического и интерпретирующего характера
Структура диагностической работы была сориентирована на структуру инструментария международного сравнительного исследования РКА-2015 и формировалась с учетом региональных подходов к разработке инструментария [2]. В частности, региональная диагностическая работа в 10-х классах содержала составной текст и внетекстовую информацию. По описанию диагностических работ РКА-2015 составной текст представлял собой два или несколько текстов, которые были созданы независимо друг от друга и имеют независимый смысл. Они сопоставлялись для конкретного случая или не были связаны друг с другом для целей оценивания, взаимосвязь между текстами была неочевидной. Кроме того, использовалась несплошная внетекстовая информация в табличном формате: список, таблица, диаграмма или объявление.
В работе использовался прием «ситуации». Это могла быть личная ситуация для поддержки и развития личных отношений между людьми и тогда могли использоваться тексты-биографии, тексты-письма, а в цифровом формате вноситься смс-сообщения, блоги дневникового типа. При использовании общес-
твенной ситуации категория текстов должна была включать официальные документы и информацию об общественных событиях. В эти тексты могли быть включены блоги в виде форума, новостные веб-сайты и общественные заметки, как в интернете, так и в печатных изданиях. Возможно использование учебной или деловой ситуации. В таких случаях примерами текстов соответственно могли являться учебники и электронные интерактивные программы для учебной ситуации или задания, которые включали в себя выполнение какого-то безотлагательного дела для деловой ситуации. В представляемой работе была использована общественная ситуация. Содержание текстов и таблиц имело профессионально-ориентированный характер и знакомило обучающихся с возможностями интерактивной цифровой платформы для профориентации российских школьников «ПРОЕКТОРИЯ».
Диагностическая работа включала 21 задание к тексту на каждый тип умения. Задания различались формой и уровнем сложности. Все задания компетентностно-ориентированного типа и сформулированы таким образом, чтобы
обучающиеся могли продемонстрировать способность выполнять задания по разным инструкциям: выбор правильного ответа из нескольких вариантов - 12 заданий, множественный выбор - 4 задания, установление последовательности - 2 задания, установление соответствия - 3 задания. Были использованы различные задачи, в которых обучающимся предлагалось сформулировать верные ответы разными способами. В работе 15 заданий базового уровня (оцениваются в 1 балл) и 6 заданий повышенного уровня (оцениваются в 2 балла): максимальное количество баллов - 27.
Модели заданий, используемые в диагностической работе, рассчитаны на применение бланковой машиночитаемой технологии и возможности автоматизированной проверки. Эта особенность работы также была сориентирована на особенности проведения работ международных исследований.
Таким образом, проведенная работа по разработке инструментария оценивания метап-редметных планируемых результатов на уровне основного общего образования у обучающихся 10-х классов позволила провести соответствующее исследование и получить более полную информацию о продвижении обучающихся в освоении читательской грамотности.
Учитывая, что разработка проводилась в соответствии с методологией и критериями, на основе практики международных сравнительных исследований качества образования и опыта проведения массовых оценочных процедур в Российской Федерации, общеобразовательным организациям Челябинской области были предоставлены новые возможности мониторинга качества подготовки обучающихся.
Список литературы
1. Кравцов С.С. Оценка гибких компетенций как системы оценки качества образования в России: текущее состояние и перспективы / С.С. Кравцов// Материалы V Международной конференции «Школьное образование 21 века: формирование и оценка гибких компетенций» -URL: http://obrnadzor.gov.ru/common/upload/
1 ._S ._S ._Kravtsov_Otsenka_russkiy_variant. pptx (дата обращения 17.10.2019)
2. Оценка качества образовательных результатов: технология разработки контрольных измерительных материалов: методические рекомендации по разработке контрольных измерительных материалов (КИМ) для проведения региональных оценочных процедур для руководителей и педагогических работников общеобразовательных организаций / А.А. Барабас, М.Ю. Школьникова, Ю.Ю. Баранова [и др.] - Челябинск: РЦОКИО, 2019. -64 с.
3. Об утверждении Методологии и критериев оценки качества общего образования в общеобразовательных организациях на основе практики международных исследований качества подготовки обучающихся: приказ Министерства просвещения Российской Федерации; Федеральной служба по надзору в сфере образования и науки от 6 мая 2019 года № 590/219 - URL: https://rcokio.ru/files/upload/ okor/prikazrron219_590.pdf (дата обращения 17.10.2019)
4. Об утверждении Концепции региональной системы оценки качества образования Челябинской области : приказ Министерства образования и науки Челябинской области от 14.12.2016 г. № 01/3525 - URL: https://rcokio.ru/documents/regionalnye-doku menty-1/ob-utverzMenii-kontseptsii-regionalnoj-sistemy-otsenki-kachestva-obra (дата обращения 17.10.2019)
5. Результаты международного исследования PISA 2015 (краткий отчет на русском языке) -URL: https://www.fioco.ru/Media/Default/Docu ments/%D0%9 C%D0%A 1%D0%9 8/Rep ort_PIS A2015.pdf (дата обращения 17.10.2019)
6. Шляйхер А. Образование мирового уровня. Как выстроить школьную систему XXI века?/ А. Шляйхер. - М.: Национальное образование, 2019. - 328 с.
References
1. Kravtsov S.S. Otsenka gibkih kompetentsiy kak sistemy otsenki kachestva obrazovaniya v Rossii: tekushchee sostoyanie i perspektivy /
S.S. Kravtsov// Materialy V Mezhdunarodnoy konferentsii «SHkol'noe obrazovanie 21 veka: formirovanie i otsenka gibkih kompetentsiy» - URL: http ://obrnadzor.gov.ru/ common/upload/1 ._S ._S._ Kravtsov_Otsenka_russkiy_variant.pptx (data obrashcheniya 17.10.2019)
2. Otsenka kachestva obrazovatel'nyh rezul'tatov: tekhnologiya razrabotki kontrol'nyh izmeritel'nyh materialov: metodicheskie rekomendatsii po razrabotke kontrol'nyh izmeritel'nyh materialov (KIM) dlya provedeniya regional'nyh otsenochnyh protsedur dlya rukovoditeley i pedagogicheskih rabotnikov obshcheobrazovatel'nyh organizatsiy / A.A. Barabas, M.Yu. Shkol'nikova, Yu.Yu. Baranova [i dr.] - Chelyabinsk: RTSOKIO, 2019. - 64 s.
3. Ob utverzhdenii Metodologii i kriteriev otsenki kachestva obshchego obrazovaniya v obshcheobrazovatel'nyh organizatsiyah na osnove praktiki mezhdunarodnyh issledovaniy kachestva podgotovki obuchayushchihsya: prikaz Ministerstva prosveshcheniya Rossiyskoy Federatsii; Federal'noy sluzhba po nadzoru v sfere obrazovaniya i nauki ot 6 maya 2019 goda N 590/219 - URL: https://rcokio.ru/files/upload/okor/prikazrron219_5 90.pdf (data obrashcheniya 17.10.2019)
4. Ob utverzhdenii Kontseptsii regional'noy sistemy otsenki kachestva obrazovaniya Chelyabinskoy oblasti : prikaz Ministerstva obrazovaniya i nauki Chelyabinskoy oblasti ot 14.12.2016 g. № 01/3525 - URL: https://rcokio.ru/documents/regionalnye-dokumen ty-1/ob-utverzhdenii-kontseptsii-regionalnoj-sistemy-otsenki-kachestva-obra (data obrashcheniya 17.10.2019)
5. Rezul'taty mezhdunarodnogo issledovaniya PISA 2015 (kratkiy otchet na russkom yazyke) -URL: https://www.fioco.ru/Media/Default/Docu ments/%D0%9C%D0%A1%D0%98/Report_PISA 2015.pdf (data obrashcheniya 17.10.2019)
6. Shlyayher A. Obrazovanie mirovogo urovnya. Kak vystroit' shkol'nuyu sistemu XXI veka?/ A. Shlyayher. - M.: Natsional'noe obrazovanie, 2019. - 328 s.
ник управления оценки качества образования ГБУ ДПО «Региональный центр оценки качества и информатизации образования», г. Челябинск
Черепанова Ольга Александровна -
кандидат педагогических наук, методист отдела обеспечения оценки качества образовательных результатов ГБУ ДПО «Региональный центр оценки качества и информатизации образования», Челябинская обл., г. Челябинск
Якубовская Татьяна Владимировна -начальник отдела обеспечения оценки качества образовательных результатов ГБУ ДПО «Региональный центр оценки качества и информатизации образования», г. Челябинск
Денисова Юлия Владимировна - начальник лаборатории организационно-методического сопровождения отдела обеспечения оценки качества образовательных результатов ГБУ ДПО «Региональный центр оценки качества и информатизации образования», г. Челябинск
Information about authors Shkolnikova M.Yu. - Head of Administration of Education Quality Assessment, Regional Center for Quality Assessment and Informatization of Education, Chelyabinsk
Cherepanova O.A. - Methodologist of the Laboratory of Organizational and Methodological Support of the Department of Ensuring Quality Assessment of Educational Outcomes, Regional Center for Quality Assessment and Informatization of Education, Chelyabinsk
Yakubovskaya T.V. - Head of the Department Ensuring Quality Assessment of Educational Outcomes, Regional Center for Quality Assessment and Informatization of Education, Chelyabinsk
Denisova Yu.V. - Head of the Laboratory of Organizational and Methodological Support of the Department of Ensuring Quality Assessment of Educational Outcomes, Regional Center for Quality Assessment and Informatization of Education, Chelyabinsk
Сведения об авторах Школьникова Марина Юрьевна - началь-
