CC BY
68
УДК 371.261
ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ ТЕХНОЛОГИИ ИНТЕРПРЕТАЦИИ РЕЗУЛЬТАТОВ ДИАГНОСТИКИ УРОВНЯ ИНДИВИДУАЛЬНЫХ ДОСТИЖЕНИЙ ОБУЧАЮЩИХСЯ В ПРАКТИКЕ РАБОТЫ ШКОЛЫ
О.А. Черепанова, И. С. Захарова
В статье рассматриваются актуальные возможности использования технологии интерпретации результатов обучающихся. Представлены этапы интерпретации и возможности школы для совершенствования качества образования при использовании технологии интерпретации результатов процедур оценки качества образовательных результатов обучающихся в рамках внешнего оценивания. Приведены примеры отбора информации для анализа, выявления причин и факторов, влияющих на качество образования. Представлены варианты управленческих решений по итогам интерпретации результатов.
Ключевые слова: единая система оценки качества образования, технология интерпретации результатов, оценочные процедуры, предметные и метапредметные планируемые результаты, уровни управленческих решений.
Единая система оценки качества образования (ЕСОКО), включающая в себя исследования качества образования международного и федерального уровней, способствует развитию единого образовательного пространства в России и в регионах страны, формированию механизмов получения достоверной и содержательной информации о состоянии различных уровней системы образования, и на основе этого - совершенствованию качества образования в целом. Эти задачи ЕСОКО вновь прозвучали в Государственной программе «Развитие образования Российской Федерации» на 2018-2025 годы [4]. На региональном уровне в условиях региональной системы оценки качества образования (РСОКО) задачи федеральной программы находят продолжение в процедурах регионального мониторинга качества образования.
Важно понимать, что именно результаты
внешних оценочных процедур являются существенной основой для совершенствования управления качеством образования в каждой школе, включая корректировку содержания основных образовательных программ и условий их реализации, совершенствование методической работы, технологий и методик обучения, в целях улучшения результатов обучающихся. При этом практика проведения оценочных процедур последних лет показывает, что у руководителей и педагогов школы часто возникают затруднения в выборе способов эффективного использования накапливаемых значительных объемов статистической и аналитической информации по результатам внешних исследований. Зачастую возникают вопросы, связанные с тем, как интерпретировать результаты различных внешних оценочных процедур для управления качеством образования в образовательной организации, какие управленческие решения и на каком уровне влияют на повышение качества образования в школе, на кого должна быть ориентирована информация о результатах.
В данной статье авторы предлагают рассмотреть интерпретацию результатов различных внешних исследований как управляемый процесс, который может осуществляться по единому алгоритму и быть встроенным во внутреннюю систему оценки качества образования школы (ВСОКО). Технология интерпретации как процесса управления качеством образования была предложена в методических рекомендациях «Как использовать результаты внутрирегиональных процедур оценки качества образования в управлении качеством образования в общеобразовательной организации», подготовленных в ГБУ ДПО «Региональный центр оценки качества и информатизации образования» для педагогов и руководителей общеобразовательных организаций. В данных методичес-
ких рекомендациях интерпретация рассматривается как «процесс количественной и качественной обработки данных, полученных в ходе осуществления оценочных процессов, на основе их анализа, систематизации и оценки с целью определения их значимости и полезности, а также выявления основных тенденций и формулировки выводов для обеспечения управления качеством образования» [3].
Представленное определение данного понятия позволяет характеризовать технологию интерпретации результатов как процесс в соответствии с определенными этапами и уровнями принятия управленческих решений. В данной публикации нами рассматриваются возможности школы при использовании технологии интерпретации результатов процедур оценки качества образовательных результатов обучающихся в рамках внешнего оценивания. Технология интерпретации касается сопоставимости результатов различных оценочных процедур. К таким процедурам относятся различные исследования федерального и регионального уровней, среди которых всероссийские проверочные работы (ВПР), региональные исследования качества образования (РИКО), а также государственная итоговая аттестация выпускников по образовательным программам основного общего образования (ОГЭ) и среднего общего образования (ЕГЭ).
Основной целью данных исследований является получение достоверной и содержательной информации об индивидуальных результатах обучающихся на разных уровнях образования, о результатах введения федеральных государственных образовательных стандартов общего образования на уровне общеобразовательной организации для выявления успехов или затруднений у различных групп обучающихся, определения задач по совершенствованию методов и приёмов в работе педагогов при организации урочной и внеурочной деятельности.
Челябинская область традиционно принимает участие во всех оценочных процедурах в рамках единой системы оценки качества образования, а также проводит региональный мониторинг качества образования в форме диагностики уровня достижения
предметных планируемых результатов (областная контрольная работа для обучающихся 10-х классов), метапредметных планируемых результатов (комплексная работа для обучающихся 4-х классов и индивидуальный проект для обучающихся 7-х классов). Общее число оценочных процедур, в которых приняли участие обучающиеся общеобразовательных организаций Челябинской области в 2017/2018 учебном году составило 34 (без учета оценочных процедур государственной итоговой аттестации).
Важно, чтобы для всех участников образовательных отношений в школе: учителей, обучающихся и их родителей, администрации школы - результаты данных процедур служили источником информации для самоанализа и объективной оценки продвижения школьников в освоении содержания образования, но важно также при этом не «утонуть» в объемных массивах получаемой информации.
Здесь целесообразно обратиться к технологии интерпретации результатов, которая предполагает несколько этапов. Мы предлагаем рассмотреть потенциал заявленной технологии при интерпретации предметных результатов по учебному предмету «Русский язык» и метапредметных результатов обучающихся в рамках внешних исследований, проводимых в Челябинской области. В данной публикации в качестве примера будут использованы материалы исследований с так называемыми «низкими» ставками [1] - ВПР и РИКО, не включая информацию по итогам государственной итоговой аттестации.
Первый этап технологии интерпретации предполагает отбор источников статистической и аналитической информации по результатам внешних процедур оценки качества образования. На данном этапе важно аккумулировать «информационное поле», отобрать необходимую и достаточную информацию из достоверных источников. Такими источниками в 2017/2018 учебном году выступают:
статистические отчеты о результатах ВПР по русскому языку, которые общеобразовательная организация получает из личного кабинета школы в информационной системе
ВПР.СтатГрад (https://vpr.statgrad.org/);_
61
информационно-аналитические справки Министерства образования и науки Челябинской области по итогам исследований в рамках регионального мониторинга качества образования;
сборники ГБУ ДПО РЦОКИО статистических и аналитических материалов «Исследования качества образования в образовательной системе Челябинской области» [2] (за 2017/2018, 2016/2017 и 2015/2016 учебные годы).
Далее, на втором этапе технологии интерпретации результатов, производится анализ, систематизация и оценка значимости и полезности данных, представленных в отобранных источниках. Здесь важно учитывать нацеленность интерпретации на учет разнообразных достижений
обучающихся. Необходимо опираться на различные данные, использование которых в совокупности позволяет получить целостную и полную информацию о результатах обучения школьников. В данной работе мы отобрали материалы о результатах обучающихся в целом по Челябинской области, представляющие
Результаты обучающихся в ВПР по
значимость и полезность в целях установления динамики качества предметных результатов обучающихся по русскому языку при переходе с уровня начального общего образования (ВПР в 4-х классах) на уровень основного общего образования (ВПР в 5-х классах), с учетом оценки уровня достижения метапредметных планируемых результатов (комплексная работа в 4-х классах).
Для целостного представления информации нами осуществлена, например, выборка по результатам ВПР и РИКО не только за 2017/2018 учебный год, но также за 2016/2017 учебный год. Кроме того, выборочно представлены компоненты спецификации проверочной работы по русскому языку (ВПР) и спецификации региональной комплексной работы (РИКО) с перечнем проверяемых элементов содержания, умений и действий обучающихся.
Так, в таблице 1 представлена информация о результатах обучающихся 4-х и 5-х классов в ВПР по учебному предмету «Русский язык» за два учебных года.
Таблица 1
учебному предмету «Русский язык»
Класс (учебный год) Распределение групп баллов при переводе в отметку, в %
«2» «3» «4» «5»
4 (2017 год) 2.7 18.4 47.9 31
4 (2018 год) 3.3 22.1 48.4 26.1
5 (2017 год) 16.5 43.0 30.7 9.9
5 (2018 год) 16.7 44.5 30.6 8.2
Из представленной информации видно, что качество результатов ВПР по русскому языку по параллелям сохраняется: в 4-х классах доля обучающихся, написавших работу на отметку «2», составляет 2.7% (в 2017 году) и 3.3% (в 2018 году), в 5-х классах доля обучающихся, написавших работу на отметку «5», составляет 9.9% (в 2017 году) и 8.2% (в 2017 году). Видно также сохранение долей обучающихся, выполнивших работу на отметки «3» и «4».
При этом качество результатов от 4-ого к 5-му классу очевидно снижается: доля обучающихся, написавших работу в 4-м классе в 2017 году на отметку «2», составляет 2.7%,
доля этих же обучающихся, уже будучи пятиклассниками в 2018 году, написавших работу на отметку «2», составляет 16.7%, увеличивается почти в два раза и доля обучающихся, написавших работу на отметку «3». Далее мы наблюдаем значительное снижение доли обучающихся, написавших работу на отметку «5»: в 4-м классе в 2017 году доля таких обучающихся составляла 31.0%, доля этих же обучающихся, уже будучи пятиклассниками в 2018 году, написавших работу на отметку «5», ниже почти в четыре раза и составляет 8.2%. Некоторое снижение качества наблюдается и у пятиклассников, написавших работу на отметку «4»._
Более наглядно динамика качества резуль- 4-ого к 5-му классу показана на графике (ри-татов по русскому языку у обучающихся от сунок 1).
Рис. 1. Динамика распределения результатов обучающихся по учебному предмету
«Русский язык» от 4-го к 5-му классу
Далее, в целях выявления причин и факторов, влияющих на качество образования по русскому языку, нами предлагается рассмотреть еще один ресурс для интерпретации результатов - результаты выполнения РИКО в форме комплексной работы в 4-х классах. Здесь значимым для анализа и интерпрета-
ции будет являться сопоставимость результатов проверяемых элементов содержания, умений и действий обучающихся, которые представлены в спецификации диагностических работ ВПР и комплексной работы в 4-х классах (таблица 2).
Таблица 2
Результаты выполнения заданий ВПР по русскому языку и комплексной работы в 4-х классах в 2017/2018 учебном году
Наименование элементов содержания, умений и действий обучающихся РИКО (комплексная работа) ВПР
Поиск информации и понимание прочитанного 70,11 % 58 % (задание 6)
Оценка информации 70,14 % 71 % (задание 8)
Преобразование и интерпретация информации 52,15 % 42 % (задание 15)
Исходя из представленной в таблице 2 информации видно, что при выполнении заданий по предмету «Русский язык» в рамках ВПР обучающимся не удалось в полной мере применить универсальные учебные действия (УУД). Результат выполнения таких заданий оказался ниже, чем при выполнении заданий комплексной работы, не нацеленных на
конкретный учебный предмет. Следовательно, одной из причин снижения качества предметных результатов можно рассматривать недостаточную сформированность у обучающихся УУД, нацеленных, например, на применение полученных знаний в различных ситуациях. Значит, учителям необходимо чаще создавать на уроках учебно-прак-
тические ситуации, требующие применения метапредметных УУД.
Кроме того, для выявления причин и факторов, влияющих на качество образования, в технологии интерпретации следует, например, рассмотреть сопоставимость уровня
сформированности метапредметных планируемых результатов одних и тех же обучающихся в 4-х классах (РИКО - комплексная работа в 2015 году) и 7-х классах (РИКО -индивидуальный проект в 2018 году) (таблица 3).
Таблица 3
Результаты уровня сформированности метапредметных планируемых результатов
обучающихся в 4-х и 7-х классах
Наименование УУД 4 класс РИКО (комплексная работа)4 класс Наименование УУД 7 класс РИКО (индивидуальный проект) 7 класс
Поиск информации и понимание прочитанного: находить в тексте сведения и факты, заданные в явном виде или представленную иным способом 73,25 % Целенаправленно искать и использовать информационные ресурсы, необходимые для решения учебных и практических задач с помощью средств ИКТ 72,18 %
Преобразование и интерпретация информации: сопоставлять и обобщать содержащуюся в разных частях текста информацию, устанавливать простые связи 71,74 % Переводить сложную по составу (многоаспектную) информацию их графического или формализованного (символьного) представления в текстовое и наоборот 68,43 %
Оценка информации: в процессе работы с одним или несколькими источниками выявлять достоверность (или недостоверность) информации 86,39 % Оценивать продукт своей деятельности по заданным и /или самостоятельно определенным критериям в соответствии с целью деятельности 81,74 %
Представленные результаты выполнения комплексной работы в 4-м классе позволяют оценить степень сформированности у обучающихся обобщенного умения учиться, а результаты выполнения индивидуального проекта в 7-м классе, позволяют оценить готовность обучающихся уже самостоятельно осваивать содержание образования. В целом, по результатам представленных двух исследований можно, например, констатировать положительную динамику формирования УУД, связанных с целенаправленным поиском и использованием информационных
ресурсов, а также с умениями оценивать продукт своей деятельности.
Однако выявились также некоторые затруднения обучающихся в работе по преобразованию и интерпретации информации.
Таким образом, сопоставимость результатов выполнения заданий разных исследований, нацеленных на оценивание идентичных объектов, дает возможность выявить качество достижения планируемых результатов обучающимися и динамику освоения ими содержания образования на разных уровнях обучения.
Третий этап технологии интерпретации направлен на определение причин, объяснение тенденций и формулировку выводов по результатам проведенного анализа результатов различных исследований. На этом этапе особенно важно выявить причины и факторы, повлиявшие на положительную и отрицательную динамику качества полученных результатов и определить возможности преодоления последних. В предлагаемом варианте интерпретации результатов могут быть названы, например, следующие причины сниженного качества результатов:
существенная разница в предметной подготовке между обучающимися по группам баллов «4» и «5» и обучающимися по группам баллов «3» и «2» указывает на недостаточность дифференцированного подхода в организации учителем процесса обучения на уроке: учителю необходимо иметь реальные представления об уровне подготовки каждого обучающегося и ставить перед ним ту цель, которую он может реализовать;
затруднения обучающихся при выполнении заданий по развитию речи проецируются через недостаточный уровень сформирован-ности универсальных учебных действий, направленных на умение устанавливать простые связи, не показанные в тексте напрямую, для этого находить в тексте несколько примеров, доказывающих приведенное утверждение и для формулирования собственного высказывания;
значительное расхождение результатов промежуточной аттестации по отдельным предметам с результатами ВПР свидетельствует о недостаточной объективности оценивания знаний учащихся, либо о недостаточном владении учителями принятыми нормами оценивания.
Выявлены также сведения, демонстрирующие положительную динамику формирова-
Уровни принятия и направления
ния УУД, что тоже может служить ресурсом для принятия содержательных управленческих решений по продолжению работы в данном направлении.
В данной публикации авторами приведены лишь примеры возможных формулировок выявленных причин для описания характеризуемого этапа интерпретации. При недостаточном уровне достижения планируемых результатов следует обратить внимание на типичные ошибки, возможные причины их возникновения и пути их исправления. Анализ полученных результатов, выявленные причины снижения качества индивидуальных результатов дают возможность выстроить индивидуальный маршрут обучения и развития обучающихся.
Наконец, четвёртый этап технологии интерпретации - принятие управленческих решений, направленных на распространение в общеобразовательной организации позитивной практики, на совершенствование условий образовательного процесса; совершенствование содержания образования (корректировку основных образовательных программ); совершенствование методической работы и внутриорганизационного повышения квалификации; совершенствование технологий и методик обучения и оценивания.
Данный этап предполагает, что управленческие решения будут приняты не только на уровне администрации, но и на уровне профессиональных объединений педагогов, на уровне отдельного педагога. Согласованность таких решений будет являться важнейшим фактором их эффективности.
В таблице 4 представлены примерные управленческие решения в общеобразовательной организации по устранению выявленных негативных тенденций в результате анализа ВПР по русскому языку и РИКО (комплексная работа).
Таблица 4
управленческих решений в школе
Уровни принятия управленческих решений Направления управленческих решений
Уровень образовательной организации (администрации и органов государственно-общественного управления общеоб- -корректировка основных общеобразовательных программ начального и основного образования в части, формируемой школой по направлению преемственности по уровням образования
Уровни принятия управленческих решений Направления управленческих решений
разовательной организацией) -на основе выявленных затруднений корректировка методической темы работы школы (при необходимости) -анализ и корректировка (при необходимости) методического обеспечения реализации рабочих программ по учебному предмету «Русский язык» -включение в план работы школы курсов повышения квалификации по ППК «Оценочная деятельность педагога в условиях реализации ФГОС и профессиональных стандартов» и обеспечение участие педагогических работников школы (по выявленным затруднениям)
Уровень профессиональных объединений педагогов -корректировка направлений тем самообразования педагогов -оценка эффективности различных форм методической работы в школе (конференции, семинары, открытые уроки, мастер-классы)
Уровень педагога -анализ типичных ошибок, их причин и возможных путей устранения -использование дифференцированных форм и методов работы с группами обучающихся с разным уровнем подготовки - освоение и применение актуальных способов оценивания индивидуальных достижений обучающихся с целью повышения объективности оценивания
Таким образом, последовательное использование представленной в данной статье технологии интерпретации результатов внешних исследований позволяет выстроить целостную траекторию совершенствования качества образования посредством использования результатов федеральных и региональных оценочных процедур.
Данные процедуры позволяют оценить уровень достижения планируемых результатов по отдельным предметам и выявить уровень сформированности универсальных учебных действий. Ориентация при анализе не только на результаты, показанные обучающимися в определенный момент времени, но и учет динамики их изменений на протяжении нескольких циклов оценки позволит управлять качеством образования каждого отдельного обучающегося и выстраивать эффективную систему оценки качества образования в школе в целом.
Список литературы
1. Вальдман, И. А. Модель использования результатов мониторинговых исследований
для повышения качества обучения и обеспечения эффективного управления образовательными системами [сетевое издание] / И. А. Вальдман // Управление образованием: теория и практика - 2015. - № 1(17). - С. 116139.
2. Исследования качества образования в образовательной системе Челябинской области в 2017/2018 учебном году [Текст]: сборник материалов по итогам проведения исследований / М. Ю. Школьникова, О. А. Черепанова, Я. А. Белогубец [и др.].- Челябинск: РЦОКИО, 2018- 237 с.
3. Как использовать результаты внутрирегиональных процедур оценки качества образования в общеобразовательной организации: методические рекомендации для руководителей общеобразовательных организаций по интерпретации результатов процедур внутрирегионального анализа оценки качества общего образования [Текст] / А. А. Ба-рабас, М. Ю. Школьникова, Я. А. Белогубец [и др.] - Челябинск: РЦОКИО, 2017- 60 с.
4. Постановление Правительства Российской Федерации от 26 декабря 2017 г. № 1642
Об утверждении государственной программы Российской Федерации «Развитие образования» на 2018-2025 годы [Электронный ресурс]. - Режим доступа: http://www.garant.ru/products/ipo/prime/doc/7 1748426/ (дата обращения 14.10.2018 г.)
References
1. Val'dman, I. A. Model' ispol'zovaniya rezul'tatov monitoringovykh issledovaniy dlya povysheniya kachestva obucheniya i obespecheniya effektivnogo upravleniya obrazovatel'nymi sistemami [setevoe izdanie] / I. A. Val'dman // Upravlenie obrazovaniem: teoriya i praktika - 2015. - № 1(17). - S. 116139.
2. Issledovaniya kachestva obrazovaniya v obrazovatel'noy sisteme CHelyabinskoy oblasti v 2017/2018 uchebnom godu [Tekst]: sbornik materialov po itogam provedeniya issledovaniy / M. YU. SHkol'nikova, O. A. CHerepanova, YA. A. Belogubets [i dr.].- CHelyabinsk: RTSOKIO, 2018- 237 s.
3. Kak ispol'zovat' rezul'taty vnutriregion-al'nykh protsedur otsenki kachestva obrazovaniya v obshcheobrazovatel'noy organi-zatsii: metodicheskie rekomendatsii dlya rukovoditeley obshcheobrazovatel'nykh organi-zatsiy po interpretatsii rezul'tatov protsedur vnu-triregional'nogo analiza otsenki kachestva ob-shchego obrazovaniya [Tekst] / A. A. Barabas, M. YU. SHkol'nikova, YA. A. Belogubets [i dr.] - CHelyabinsk: RTSOKIO, 2017- 60 s.
4. Postanovlenie Pravitel'stva Rossiyskoy Federatsii ot 26 dekabrya 2017 g. № 1642 Ob
utverzhdenii gosudarstvennoy programmy Rossiyskoy Federatsii «Razvitie obrazovaniya» na 2018-2015 gody [Elektronnyy resurs]. - Rezhim dostupa: http://www.garant.ru/prod-
ucts/ipo/prime/doc/71748426/ (data obrash-cheniya 14.10.2018 g.)
Сведения об авторах Черепанова Ольга Александровна - кандидат педагогических наук, начальник отдела обеспечения оценки качества образовательных результатов, ГБУ ДПО «Региональный центр оценки качества и информатизации образования», г. Челябинск
Захарова Ирина Сергеевна - методист организационно-методической лаборатории отдела обеспечения оценки качества образовательных результатов, ГБУ ДПО «Региональный центр оценки качества и информатизации образования», г Челябинск
Information about the authors Cherepanova O. A. - Candidate of Pedagogical Sciences, Head of the Department «Ensur-ing the quality assessment of educational out-comes», Regional Center for Quality Assessment and Informatization of Education, Chelyabinsk
Zakharova I. S. - Methodologist of laboratory of organizational and metodological support of the Department «Ensuring the quality assessment of educational outcomes», Regional Center for Quality Assessment and Informatization of Education, Chelyabinsk
