CC BY
101
ЭФФЕКТИВНЫЕ ПРАКТИКИ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ
УДК 372.8
АКТУАЛЬНЫЕ ПРОБЛЕМЫ ОБЪЕКТИВНОСТИ ОЦЕНИВАНИЯ ОЛИМПИАДНЫХ РАБОТ УЧАСТНИКОВ ВСЕРОССИЙСКОЙ ОЛИМПИАДЫ ШКОЛЬНИКОВ И ПУТИ ИХ ПРЕОДОЛЕНИЯ
Д.И. Никитин, В.В. Николаева, Е.И. Соколова
В статье рассматривается проблема повы- процедур оценки качества образования, а шения объективности оценивания результатов также на объективизацию оценки образова-всероссийской олимпиады школьников на тельных результатов, которые учитываются в муниципальном этапе. На примере учебного региональной политике в сфере оценки качес-предмета «Обществознание» проведен срав- тва образования. Повышение объективности нительный анализ результативности участия оценки образовательных результатов может призеров и победителей муниципального и быть достигнуто только в результате согласо-регионального этапов. Названы вероятные ванных действий на всех уровнях управления причины сложившейся ситуации, а также пути образованием: федеральном, региональном, решения проблемы. муниципальном, а также на уровне образова-
тельных организаций [3].
Ключевые слова: единая система оценки Обеспечение объективности, прозрачности качества образования, региональная система и достоверности образовательных результатов оценки качества образования, оценочные в рамках всероссийской олимпиады школьни-процедуры, всероссийская олимпиада школьни- ков (далее - ВсОШ, олимпиада) - одно из ков, учебный предмет «Обществознание». главных направлений совершенствования и
развития региональной системы оценки
В условиях повышения эффективности качества образования. системы оценки качества образования в Количественное и качественное участие региональной системе образования с 2018 года обучающихся во всех этапах олимпиады постоянно актуализируются и совершенству- является показателем, демонстрирующим ются подходы к экспертной деятельности, как уровень сформированности системы работы с к значимому компоненту единой системы одаренными и мотивированными детьми в оценки качества образования. регионе, эффективность данной системы,
До недавнего времени актуальной пробле- готовность педагогических работников к мой считалась «недостаточная целостность и взаимодействию с такой категорией школьни-сбалансированность системы процедур и ков [1].
механизмов оценки качества образования, Статистическая информация о фактическом реализуемых на федеральном, региональном и участии обучающихся в школьном, муници-муниципальном уровнях системы образова- пальном и региональном этапах олимпиады ния, что не позволяет обеспечить формирова- представлена в таблице 1. ние и развитие единого образовательного пространства» [5].
Однако в настоящее время на всех уровнях управления образованием принимаются меры, направленные на формирование единых методик и инструментов оценивания, на согласованность действий при проведении
Таблица 1
Участие обучающихся Челябинской области во всероссийской олимпиаде школьников
Учебный год Количество участников Динамика количества участников (%) Количество победителей н призеров Динамика количества победителей и призеров (%) Качество участия обучающихся (%)
Школьный этап
2017/2018 395 663 100,00 87 944 100,00 22,23
2018/2019 386 319 97,64 80 471 91,50 20,83
2019/2020 354 292 89,54 81 010 92,12 22,87
Муниципальный этап
2017/2018 43 942 100,00 10 193 100,00 23,20
2018/2019 39 837 90,66 8014 78,62 20,12
2019/2020 38 490 87,59 7 784 76,37 20,22
Региональный этап
2017/2018 2 989 100,00 657 100,00 21,98
2018/2019 2 776 92,87 646 98,33 23,27
2019/2020 2 804 93,81 887 135,01 31,63
Статистические данные показывают, что на школьном и муниципальном этапах продолжается сокращение фактического числа участников. Прирост призовых мест на региональном этапе ВсОШ в 2019/2020 учебном году обусловлен изменением квоты победителей и призеров, утвержденной приказом Министерства образования и науки № 01/4 от 09.01.2020 г. [2]. Несмотря на незначительные изменения количества участников каждого этапа, можно говорить о некой стабильности результатов. Однако отсутствие качественного прироста на школьном и муниципальном уровнях может свидетельствовать о том, что на уровне образовательной организации и
муниципалитета олимпиада продолжает восприниматься как вариативная оценочная процедура, участие в которой зависит от факта наличия одаренного и мотивированного ребенка [1].
Анализ качественного участия обучающихся в муниципальном и региональном этапах ВсОШ показывает, что основным требованием к созданию объективной системы оценивания результатов ВсОШ остается формирование единых условий организации и проведения всех процедур олимпиады на территории Челябинской области от школьного до регионального этапов, а также формирование единого подхода к оцениванию олимпиадных работ членами жюри (экспертами) на школьном и муниципальном уровнях.
Наиболее проблемными с точки зрения объективизации результатов являются школьный и муниципальный этапы олимпиады. Показателем необъективности экспертного оценивания результатов участников данных этапов служит в первую очередь несоответствие результатов обучающихся на муниципальном и региональном этапах: высокие рейтинговые баллы на муниципальном этапе и низкий результат данных участников на региональном этапе.
В качестве примера рассмотрим результаты олимпиады 2019/2020 учебного года по общеобразовательному предмету
«Обществознание», традиционно
находящемуся среди «лидеров» по числу участников. Всего в региональном этапе всероссийской олимпиады школьников по обществознанию в текущем учебном году приняли участие 215 обучающихся: из них 70 участников из 9 класса, 63 - 10 класса, 82 -11 класса.
На наш взгляд, сравнение результатов муниципального и регионального этапов уместно: подготовка комплектов заданий происходит на основании методических рекомендаций, разработанных центральной предметно-методической комиссией. В содержание заданий муниципального и регионального этапов включен учебный материал по всем содержательным линиям курса: философия, культурология, социология,
экономика, политология, право. Логические задачи проверяют общенаучные компетенции участников. Данный подход позволяет говорить о преемственности содержания заданий двух этапов.
Интегрированный характер учебного предмета «Обществознание» создает определённые сложности при разработке критериев оценивания и в работе жюри. В рамках государственной итоговой аттестации отбор содержания предметного материала регламентируется Федеральными
государственными образовательными
стандартами, подходы к решению ориентированы на определенный алгоритм с целью выхода на однозначный ответ. Поэтому критерии оценивания работ выпускников отличаются установлением жестких рамок, ориентацией на заданный алгоритм. Это и понятно: оценка креативности мышления выпускников и творческого подхода к решению нестандартных проблем не является целью единого государственного экзамена.
В рамках предметных олимпиад школьников отдельные задания, например, социальный проект, критический анализ текста, дают участникам максимальную свободу в выражении собственных мыслей. Однако это же создает трудности для работы членов жюри по проверке олимпиадных заданий: с одной стороны, такого рода творческие задания не предполагают проверки по алгоритму, по
критериям в жестко определенных рамках (и это требует от педагога проявления высокого уровня профессиональной компетентности), с другой - для жюри любого этапа олимпиады появляется возможность (искушение) для собственной трактовки критериев оценивания заданий с развернутым ответом, что в итоге является одной из причин указанной нами проблемы - проблемы необъективности экспертного оценивания результатов участников олимпиад.
Рассмотрим результативность участия 20 лидеров муниципального этапа для каждого класса в региональном этапе. Участники, попавшие в данную выборку, получили более 70% от максимального количества баллов на муниципальном этапе, что должно свидетельствовать о высоком уровне их обществоведческой подготовки. Так ли это? Что показывает анализ результатов регионального этапа?
Выделим четыре уровня результативности на региональном этапе:
высокий уровень - 25 % лучших результатов; средний уровень - промежуток от 50% до 75% лучших результатов;
уровень ниже среднего - промежуток от 25% до 50% лучших результатов;
низкий уровень - 25% худших результатов. Полученные результаты для наглядности представим в виде таблицы 2.
Таблица 2
Результативность участия 20 лидеров муниципального этапа в региональном этапе
Уровень результативности
Класс Высокий Средний Ниже среднего Низкий
9 6 чел. 6 чел. 6 чел. 2 чел.
60% участников 40% участников
10 5 чел. 7 чел. 6 чел. 2 чел.
60% участников 40% участников
11 9 чел. 3 чел. 3 чел. 5 чел.
60% участников 40% участников
При объективном оценивании ответов муниципального этапа доля участников выборки, показавших высокий и средний уровни результативности, должна значительно превышать полученные 60%. Однако результаты выборки говорят о другом: 40%
обучающихся 9-11 классов показали результат «низкий» или «ниже среднего». Особенно остро проблема наблюдается в 11 классах, где низкие результаты получили сразу 5 человек, или четверть выборки, хотя преемственность содержания заданий муниципального и
регионального этапов, единый для всех подход к организации и проведению процедур регионального этапа (одна площадка проведения, одна комиссия - предметное жюри; единые подходы к проверке по критериям, разработанным центральной предметно-методической комиссией),
казалось бы, максимально способствуют повторению успеха, достигнутого на муниципальном этапе. Также в случае несогласия с оценкой работы участник может обосновать свою позицию на апелляции. Так, в период проведения регионального этапа ВсОШ по обществознанию в 2019-2020 учебном году из 33 апелляций (несогласие с выставленными баллами) апелляционной комиссией было удовлетворено 22 (67%). Отдельное внимание стоит обратить на то, что после публикации проходных баллов на региональный этап у школьников имеется время на усиленную подготовку к региональному этапу; этот период необходимо эффективно использовать в рамках внеурочной деятельности, индивидуальных консультаций с педагогами-наставниками, индивидуального образовательного маршрута, выстроенного с учетом возможностей образовательных ресурсов
общеобразовательной организации,
муниципалитета, педагогических кадров как школы, так и высших учебных заведений, образовательных ресурсов сети Интернет; очно-заочной подготовки олимпиадного резерва по учебным предметам, действующей в Челябинской области.
В ходе анализа результативности участия 20 лидеров муниципального этапа в региональном этапе также выделились 3 муниципалитета (Чебаркульский
муниципальный район, Миасский и Челябинский городские округа), у представителей которых разница в результатах между муниципальным и региональным турами выражена наиболее ярко. Учитывая отсутствие жалоб на процедуру проведения муниципального этапа, мы исключаем возможность «списывания» из числа факторов, приведших к такому результату.
Таким образом, учитывая результаты анализа участников регионального этапа ВсОШ по обществознанию, представленные в таблице 2, можно сформулировать ряд проблем, связанных с объективностью оценивания работ обучающихся на
муниципальном этапе олимпиад в целом:
недостаточный уровень сформированности оценочной компетенции членов жюри -экспертов, выражающийся в неготовности работать по заданным критериям, разработанным региональной предметно-методической комиссией;
профессиональная некомпетентность
экспертов при оценивании олимпиадных работ, заключающаяся в незнании отдельных разделов предмета, например, заданий по праву, расчетных задач по экономике;
необъективность при оценивании олимпиадных работ (говоря словами А.С. Грибоедова, «ну как не порадеть родному человечку!» - и наоборот...);
несформированность системы подготовки обучающихся к региональному этапу олимпиады.
Безусловно, оценивание олимпиадных заданий требует высокого уровня компетентности со стороны жюри. Проверка ответов регионального этапа осуществляется с учетом специализации членов жюри: задачи по экономике проверяются экспертами с экономическим образованием, по праву - с юридическим и т.д. Привлечение к работе в качестве экспертов профессорско-преподавательского состава высших учебных заведений также способствует объективизации оценивания.
Конечно, на уровне муниципалитетов такая возможность зачастую отсутствует, однако существует механизм, позволяющий содействовать решению данной проблемы. Речь идёт об обратной связи с председателем региональной предметно-методической
комиссии, ответственным за разработку комплектов заданий муниципального этапа. Всегда есть возможность оперативно получить консультацию по содержанию заданий и критериев оценивания, решить спорные ситуации, случающиеся в ходе оценивания работ. К сожалению, в текущем учебном году ни один председатель жюри муниципального этапа данной возможностью не воспользовалось.
Нам понятна мотивация муниципальных жюри - увеличить число собственных представителей на региональном этапе. Однако данный подход противоречит задачам, стоящим перед системой общего образования Челябинской области. Количество участников регионального этапа ограничено, поэтому
крайне вероятна ситуация, когда ученик с необъективно высоко оцененной работой займёт место более подготовленного участника. При этом шанс повторения высокого результата будет заведомо ниже, что отрицательно скажется на общей результативности регионального этапа.
Из опыта подготовки участников к выполнению олимпиадных заданий отметим ещё один возникающий «побочный эффект»: ученик, получивший необоснованно высокий балл, не может объективно оценить имеющиеся у него пробелы в знаниях и снижает требовательность к себе при самоподготовке. В условиях, когда Федеральными государственными
образовательными стандартами на изучение, например, обществознания отводится один час в неделю в основной школе (6-9 классы) и 2 часа в неделю в старшей школе (10-11 классы), именно самоподготовка является базой для успешного участия в региональном и заключительном этапах олимпиады.
Наиболее очевидным путём повышения объективности оценивания является анализ муниципальными жюри результатов участия призеров и победителей в региональном этапе олимпиады. Этому также способствует сложившаяся в области практика публикации работ, критериев и развернутых протоколов оценивания на сайте ГБУ ДПО «Региональный центр оценки качества и информатизации образования» (далее - ГБУ ДПО РЦОКИО). Имеются все возможности для сравнения выполнения заданий по отдельным содержательным линиям: экономике, праву, социологии и т.д. В результате анализа жюри может пересмотреть имеющиеся подходы к оцениванию работ участников.
Вопросы оценивания олимпиадных заданий также должны рассматриваться в рамках системы повышения квалификации экспертов. Целесообразной выглядит разработка специальной программы курсов повышения квалификации объемом 24 или 36 часов, аналогичной программам обучения экспертов государственной итоговой аттестации.
Кроме того, при решении проблем, связанных с формированием
профессиональной, в том числе и оценочной, компетенции педагогов, необходимо использовать потенциал регионального сетевого экспертного сообщества,
актуальность формирования которого определяется потребностью в
совершенствовании профессиональных
компетентностей экспертов в части оценки качества образования. Информацию о деятельности экспертного сообщества, об эффективных практиках в сфере оценки качества образования можно найти на виртуальной информационно-методической площадке сайта ГБУ ДПО РЦОКИО. [4]
Ещё одним вариантом решения проблемы является проведение вебинара с председателями жюри в день проведения муниципального этапа, это позволит своевременно обсудить тонкости оценивания разработанных комплектов заданий. Имеющаяся в распоряжении регионального оператора техническая инфраструктура позволяет осуществить данное мероприятие.
Таким образом, важным условием эффективной системы оценки качества образования является применение
комплексного анализа результатов оценочных процедур, позволяющих интерпретировать данные результаты и на их основании принимать эффективные управленческие решения.
Список литературы
1. Николаева В.В. О результатах участия школьников Челябинской области во всероссийской олимпиаде в 2018/2019 учебном году / В.В. Николаева, А.А. Пастухова, Е.И. Соколова, М.Ю. Школьникова // Научно-методическое обеспечение оценки качества образования. -2019. - № 3 (8). - С. 40-46.
2. О внесении изменений в приказы Министерства образования и науки Челябинской области от 22.07.2014 N° 01/2282, от 30.07.2014 № 01/2357 : приказ Министерства образования и науки Челябинской области от 9 января 2020 г. № 01/4 - URL: https://rcokio.ru/files/upload/olimp/vse-ros/prikaz_01-4.pdf. (дата обращения : 05.04.2020)
3. О направлении рекомендаций по повышению объективности оценки образовательных результатов : письмо Федеральной службы по надзору в сфере образования и науки от 16.03.2018 г. № 05-71 -URL: http://www.consultant.ru/cons/cgi/online. cgi?req=doc&base=EXP&n=684854#09960671
120037965. (дата обращения : 10.04.2020)
4. Об утверждении Концепции регионального сетевого экспертного сообщества в сфере оценки качества образования и Дорожной карты по ее реализации на 2018-2020 гг. : приказ Министерства образования и науки Челябинской области от 24 декабря 2018 г. № 03/3758 - URL: https://rcokio.ru/files/upload/ reg_conc/koncepciya_rses.pdf. (дата обращения : 05.04.2020)
5. Оценка качества образовательных результатов: порядок проведения оценочных процедур: методические рекомендации для специалистов органов местного самоуправления, осуществляющих управление в сфере образования, руководителей и педагогических работников общеобразовательных организаций, осуществляющих проведение процедур внутрирегионального анализа оценки качества общего образования / под ред. Е.А. Коузовой, Е.А. Тюриной - Челябинск: РЦОКИО, 2017. -53 с.
References
1. Nikolaeva V.V. O rezul'tatakh uchastiya shkol'nikov Chelyabinskoy oblasti vo vserossiyskoy olimpiade v 2018/2019 uchebnom godu / V.V. Nikolaeva, A.A. Pastukhova, E.I. Sokolova, M.Yu. Shkol'nikova // Nauchno-metodicheskoe obespechenie otsenki kachestva obrazovaniya. - 2019. - № 3 (8). - S. 40-46.
2. O vnesenii izmeneniy v prikazy Ministerstva obrazovaniya i nauki Chelyabinskoy oblasti ot 22.07.2014 № 01/2282, ot 30.07.2014 № 01/2357 : prikaz Ministerstva obrazovaniya i nauki Chelyabinskoy oblasti ot 9 yanvarya 2020 g. № 01/4 - URL: https://rcokio.ru/files/upload/olimp/ vseros/prikaz_01-4.pdf. (data obrashcheniya : 05.04.2020)
3. O napravlenii rekomendatsiy po povysheniyu ob"ektivnosti otsenki obrazovatel'nykh rezul'tatov : pis'mo Federal'noy sluzhby po nadzoru v sfere obrazovaniya i nauki ot 16.03.2018 g. № 05-71 -URL: http://www.consultant.ru/cons/cgi/online. cgi?req=doc&base=EXP&n=684854#09960671 120037965. (data obrashcheniya : 10.04.2020)
4. Ob utverzhdenii Kontseptsii regional'nogo setevogo ekspertnogo soobshchestva v sfere otsenki kachestva obrazovaniya i Dorozhnoy karty po ee realizatsii na 2018-2020 gg. : prikaz Ministerstva obrazovaniya i nauki Chelyabinskoy oblasti ot 24 dekabrya 2018 g. № 03/3758 - URL:
https://rcokio.ru/files/upload/reg_conc/koncepciy a_rses.pdf. (data obrashcheniya : 05.04.2020)
5. Otsenka kachestva obrazovatel'nykh rezul'tatov: poryadok provedeniya otsenochnykh protsedur: metodicheskie rekomendatsii dlya spetsialistov organov mestnogo samoupravleniya, osushchestvlyayushchikh upravlenie v sfere obrazovaniya, rukovoditeley i pedagogicheskikh rabotnikov obshcheobrazovatel'nykh
organizatsiy, osushchestvlyayushchikh
provedenie protsedur vnutriregional'nogo analiza otsenki kachestva obshchego obrazovaniya / pod red. E.A. Kouzovoy, E.A. Tyurinoy -Chelyabinsk: RTsOKIO, 2017. - 53 s.
Сведения об авторах
Никитин Дмитрий Игоревич
заведующий лабораторией организации разработки проектов и маркетинга ГБУ ДПО «Челябинский институт переподготовки и повышения квалификации работников образования», г. Челябинск
Николаева Владислава Валериевна -Почетный работник общего образования РФ, начальник отдела сопровождения
мероприятий с одаренными детьми ГБУ ДПО «Региональный центр оценки качества и информатизации образования», г. Челябинск
Соколова Екатерина Игоревна - методист отдела сопровождения мероприятий с одаренными детьми ГБУ ДПО «Региональный центр оценки качества и информатизации образования», г. Челябинск
Information about authors Nikitin D.I. - laboratory chief of the development organization of projects and marketing in the teacher resource centre of innovation development, Chelyabinsk Institute of Retraining and Improvement of Professional Skill of Educators, Chelyabinsk
Nikolaeva V.V. - Head of the Department of Supporting Events for Gifted Children, Regional Center for Quality Assessment and Informatization of Education, Chelyabinsk
Sokolova E.I. - Methodologist of the Department of Supporting Events for Gifted Children, Regional Center for Quality Assessment and Informatization of Education, Chelyabinsk
