CC BY
74I |i I i|i ill |М м |ii 1111 t 2 3
-Ii i IIIIII I Ii I I I I I I I I
Основные подходы к анализу результатов национальных исследований качества образования
Кравцов
Сергей Сергеевич
доктор педагогических наук,
руководитель Федеральной службы по надзору
в сфере образования и науки Российской Федерации
Музаев
Анзор Ахмедович
кандидат технических наук, заместитель руководителя Федеральной службы по надзору в сфере образования и науки Российской Федерации, [email protected]
Ключевые слова: национальные исследования качества образования (НИКО), мониторинг оценки качества образования, оценочные процедуры, контекстные данные, анализ результатов.
Национальные исследования качества образования (НИКО) — это общероссийская программа по оценке качества общего образования, целью которой является развитие единого образовательного пространства в Российской Федерации и совершенствование общероссийской системы оценки качества образования.1 Реализация программы НИКО, которая начата по инициативе Рособрнад-зора в 2014 г., предполагает решение следующих задач:
■ планомерная реализация поручений Президента Российской Федерации и программных документов Правительства Российской Федерации в части, касающейся качества образования;
■ выявление трудностей, связанных с внедрением федеральных государственных образовательных стандартов основного и среднего общего образования (далее ФГОС);
■ совершенствование механизмов получения достоверной и содержательной информации о состоянии различных уровней и подсистем системы образования в условиях перехода основного и среднего общего образования на требования ФГОС;
■ содействие процессам стандартизации оценочных процедур в сфере образования;
■ совершенствование информационно-аналитической и методологической базы для принятия эффективных управленческих решений по развитию системы образования в Российской Федерации.
Наиболее эффективно указанные задачи могут быть решены путем проведения регулярных исследований качества образования, предполагающих сбор и анализ широкого спектра данных о состоянии региональных и муниципаль-
1 Проект концепции национальных исследований качества образования (НИКО).- URL: https://www.
eduniko.ru/--c20b5
ных систем образования.2 Поэтому программа НИКО предусматривает проведение регулярных исследований качества образования по отдельным учебным предметам, на конкретных уровнях общего образования, каждое из которых представляет собой отдельный проект в рамках общей программы. В рамках каждого проекта:
■ проводятся диагностические работы по отдельным учебным предметам или группам учебных предметов,
■ происходит сбор широкого спектра контекстных данных, непосредственно характеризующих процесс обучения в образовательных организациях,
■ проводится анкетирование участников исследования (обучающихся, учителей, руководителей ОО).
Следует отметить, что НИКО не предусматривает исследования влияния социально-экономического статуса семей обучающихся и иных факторов, относящихся непосредственно к семьям обучающихся.
Каждый проект НИКО реализуется на основе единой для всех участников организационно-технологической схемы. При этом могут использоваться как технология машиночитаемых бланков ответов, так и технологии компьютерного тестирования (например, в НИКО по информатике и иностранным языкам). Диагностические работы выполняются участниками исследований в присутствии организаторов и независимых наблюдателей, что позволяет говорить о НИКО как о независимой процедуре оценки учебных достижений.
Каждый из проектов, реализуемых в рамках программы НИКО, является выборочным исследованием и организован таким образом, что полученные результаты позволяют судить не только о ряде аспектов качества подготовки непосредственных участников исследования, но и выявить показатели качества образования более широкой совокупности обучающихся, а именно:
■ генеральной совокупности обучающихся соответствующих классов образовательных организаций всей Российской Федерации;
■ совокупности обучающихся из группы субъектов Российской Федерации, имеющих
2 Кравцов С.С. Основные направления развития общероссийской системы оценки качества образования // Педагогические измерения. - 2016. - № 2. - С. 10-16.
схожие параметры с точки зрения формирования выборки.
Это возможно, поскольку исследования в рамках НИКО проводятся на выборке участников, являющейся репрезентативной как в масштабах Российской Федерации, так и в масштабах группы субъектов Российской Федерации. Причем объединение различных групп, внутри которых достигается репрезентативность, в целом совпадает со всем списком субъектов Российской Федерации.
Например, для проведения исследования качества образования в области иностранных языков в 5 и 8 классах школ Российской Федерации использовалась репрезентативная выборка обучающихся, численностью около 35 тыс. человек из не менее 50 субъектов Российской Федерации, из не менее чем 400 образовательных организаций. Для построения выборки использовалась модель случайной стратифицированной выборки с частичным квотированием по федеральным округам, видам и типам школ.
Выделение групп субъектов Российской Федерации при проведении исследования качества образования в сфере иностранных языков проводилось с использованием следующих критериев:
■ массовость сдачи ОГЭ по иностранному языку в регионе, оцениваемая по доле выбравших иностранный язык для сдачи в 9-м классе;
■ уровень знания иностранного языка, оцениваемый по доле успешно сдавших ЕГЭ по иностранному языку.
При этом косвенно учитывались такие показатели, как уровень знания иностранного языка, оцениваемый по доле успешно сдавших ОГЭ по иностранному языку, массовость сдачи ЕГЭ по иностранному языку, а также уровень экономического развития (ВРП на душу населения). В каждом кластере регионы для включения в выборку были отобраны случайным образом. В отобранных регионах для выбора образовательных организаций использовалась модель случайной стратифицированной выборки с частичным квотированием по федеральным округам с учетом структуры систем образования регионов.
Для проведения НИКО формируются измерительные материалы для диагностики предметных результатов. Поскольку исследование проводится на представительной выборке и с учетом всех процедур независимо-
го контроля, то по результатам исследования можно формировать банки заданий, которые состоят из заданий с хорошими статистическими данными и могут использоваться для проведения промежуточной аттестации. Банки заданий НИКО по тем предметам и классам, исследования по которым проводились в предыдущие периоды, публикуются на официальном сайте https://www.eduniko.ru/.
Этот массив заданий впоследствии используется для формирования ядра вариантов Всероссийских проверочных работ (ВПР).3 Надежные статистические данные, полученные в рамках НИКО, позволяют оценить достоверность результатов ВПР. (Как известно, ВПР рассчитаны на проведение внутри образовательной организации без привлечения внешних независимых наблюдателей.) Такой подход к формированию измерительных материалов НИКО и ВПР позволяет не только обеспечить ОО качественными работами для промежуточной аттестации обучающихся, но и повысить ответственность школы за надежность и достоверность результатов ВПР.4
Методология проведения НИКО позволяет осуществлять анализ результатов по следующим направлениям:
■ анализ результатов выполнения заданий диагностической работы по проверяемым элементам содержания и проверяемым умениям;
■ определение характеристик групп участников с различным уровнем подготовки;
■ сопоставление результатов анкетирования участников с их уровнем учебной подготовки по итогам выполнения диагностической работы;
■ сопоставление контекстных данных об образовательной организации и участниках, собранных в процессе проведения исследований, с результатами выполнения заданий диагностической работы.
Все эти направления анализа проводится как по всей совокупности участников исследования, так и по группам субъектов Россий-
3 Кравцов С.С., Музаев A.A. Роль всероссийских проверочных работ в системах контроля качества образования в Российской Федерации // Отечественная и зарубежная педагогика. - 2017. - Т. 1, №5 (43). - С. 96 -111.
4 Лях Ю.А, Музаев A.A. Всероссийские проверочные работы: результаты хорошие, но не объективные // Вестник Костромского государственного университета имени H.A. Некрасова. - 2016. - Том 22 - С. 13-19 - Изд.: КГУ им. H.A. Некрасова (Кострома)
ской Федерации (стратам), выделенным в процессе формирования выборки образовательных организаций для участия в исследовании.
В качестве примеров анализа результатов выполнения заданий и определения характеристик групп участников с разным уровнем подготовки приведем основные результаты исследования качества биологического образования, проведённое в октябре 2017 года.
Участниками НИКО по биологии в 2017 году стали 26 316 обучающихся 10 классов из образовательных организаций 82 субъектов РФ, выбранные по специальной методике таким образом, чтобы они достоверно представляли всю совокупность обучающихся 10-х классов России.
Материалы, по которым осуществлялось исследование, готовились в строгом соответствии с ключевыми целями и задачами изучения биологии. Важно было выяснить, насколько у обучающихся, начинающих обучение на уровне среднего общего биологического образования, сформированы представления о научной картине мира, понимание взаимопроникновения, взаимосвязи и взаимозависимости современных естественных наук, их влиянии на окружающую среду, экономическую, технологическую, социальную и этическую сферы деятельности человека; развиты ли у десятиклассников умения анализировать, оценивать, проверять на достоверность и обобщать научную биологическую информацию, приобретены ли ими навыки безопасной работы во время проектно-исследовательской и экспериментальной деятельности, при использовании лабораторного оборудования.
Содержание, структура и сроки проведения НИКО по биологии позволяют говорить о полноценном объективном изучении состояния биологического образования в РФ на момент перехода обучающихся с уровня основного на уровень среднего общего образования.
В диагностической работе НИКО по биологии были представлены задания по всем разделам предметной образовательной программы. При этом акцент был сделан на выявление уровня сформированности умений, важных для продолжения обучения на уровне среднего общего биологического образования.
Общие результаты, полученные в ходе НИКО по биологии, выявили низкий уровень биологической подготовки обучающихся, начинающих обучение на уровне среднего
общего образования. В частности, результат ниже 24 первичных баллов при максимально достижимом результате в 47 баллов показали более 70% (больше 2/3) участников исследования, а максимальный балл, набранный участниками исследования, составил 43 балла. Средний первичный балл, набранный участниками исследования, составил около 20 баллов (19,8), что никак не может быть признано удовлетворительным результатом. По сути, биологическое образование в России получило отметку «2».
Картину дополняет тот факт, что 15% участников показали результат 12 первичных баллов и ниже. Это означает, что каждый седьмой учащийся, оканчивающий основную школу, имеет низкий уровень биологического образования и не способен эффективно продолжать обучение на уровне среднего общего образования без дополнительной помощи.
Можно констатировать, что биологическое образование в РФ испытывает очевидные трудности в достижении целей, определённых в федеральном компоненте государственного образовательного стандарта основного общего образования. Поэтому важно выяснить причины выявленных трудностей для их последующего преодоления и построения эффективной и рациональной системы биологического образования в условиях перехода на ФГОС.
Анализ успешности выполнения участниками НИКО по биологии отдельных заданий диагностической работы показал, что меньше всего трудностей обучающиеся испытали при выполнении заданий, в которых необходимо было показать сформированность умений распознавать и описывать на рисунках (фотографиях) организмы и их связи между собой и окружающей средой, а также находить в научно-популярном тексте, в соответствии с заданием необходимую биологическую информацию о живых организмах.
Опосредовано это указывает на то, что основным методом обучения биологии по-прежнему остаётся объяснительно-иллюстративный метод, основанный на работе с текстом параграфа учебника и его иллюстрациями. Подтверждением высказанного служит низкий уровень выполнения заданий, в которых информация предлагалась в виде схемы с большим числом обозначений, используя которые, следовало выполнить задание. Подобные задания практически не встречаются
в рекомендованных учебниках и другой методической литературе.
Отвечая на практико-ориентированное задание, около половины участников НИКО смогли назвать способ размножения наиболее распространенных огородных растений, а лишь 29% — объяснить преимущество использования того или иного способа посадки и выращивания огородных растений. Определить по изображению биологического процесса свойство живых существ удалось в среднем 20% десятиклассников, а вид энергии, которая обеспечивает протекание жизнедеятельности, смогли менее 30% участников НИКО. Возможная причина столь низкого результата — недостаточная интеграция биологических и физических знаний в процессе изучения учебных предметов естественно научного цикла.
Извлечь представленную в явном виде информацию и объяснить ее смогли 43% участников, а обобщить информацию и объяснить выявленные закономерности удалось только 24% десятиклассников. С анализом изображенных биологических объектов участники справились по-разному. Так, отметить рисунок, на котором изображена одна из тканей, смогли 60% участников исследования, а назвать изображенный органоид клетки лишь 20,7%.
Участники НИКО показали слабое умение выявлять и объяснять биологические закономерности: только 21,2% десятиклассников объяснили связь особенностей строения живой ткани с ее функцией. Спрогнозировать развитие биологического процесса на основе предложенной информации удалось 41% участников НИКО, а объяснить механизмы антропогенного воздействия на природные объекты — 22% десятиклассников.
Неоднозначными оказались результаты задания на анализ биоценозов (лес, поле, болото и др.). Так, соотнести названия пяти живых организмов с их изображениями и подписать соответствующие изображения смогли 84,6% участников. Соответственно 15% десятиклассников не смогли различить изображения змеи, ящерицы, птицы, растения. Составить пищевую цепь из указанных в задании пяти организмов удалось 65% участников НИКО, определить конкретный элемент пищевой цепи — 47,3%. С прогнозированием последствий изменения одного из элементов экосистемы успешно справились 60,7% деся-
тиклассников. С анализом графической информации о свойствах рассматриваемых живых организмов успешно справились 46,5% участников НИКО.
Проанализировать короткий текст биологического содержания и отобрать в нем информацию по заданному вопросу смогли только 62,5% десятиклассников. Выявить определенные закономерности на основе четырех текстовых описаний птиц удалось всего 46,5% участников НИКО.
Задания на умение моделировать процессы в организме человека на основе предложенной схемы оказалось наиболее сложным. Лишь 5% десятиклассников смогли показать движение лекарства, инъекционно введенного в организм человека. Только 38% участников НИКО правильно определили последовательность этапов оказания первой доврачебной медицинской помощи. Умение классифицировать инфекционные и неинфекционные заболевания продемонстрировали 42% десятиклассников, примерно этот же процент участников показал понимание природы конкретных заболеваний человека.
Первичные баллы, полученные участниками НИКО по биологии за выполнение диагностической работы, позволили выделить четыре группы обучающихся по полученным результатам.
Первую группу (0,66% от общего числа участников НИКО) составили обучающиеся, показавшие высокий уровень биологической подготовки и справившиеся с заданиями диагностической работы на общую сумму не менее 37 баллов. Их результаты соответствуют оценке «отлично» или отметке «5».
Учащиеся этой группы освоили почти все проверяемые требования. Единственное задание, которое оказалось слишком сложным для этой группы участников, — это задание, в котором требовалось продемонстрировать способность использовать биологические знания для решения практической задачи. Затруднения вызвали задания на объяснение биологических закономерностей на основе табличных данных (сформулировать закономерность способны более 80% участников с отличной подготовкой, а объяснить ее — только 38,6%). Лишь эта группа участников справилась с заданием на описание по схеме кровеносной системы пути лекарства от места введения до пораженного органа.
Во вторую группу были включены обучающиеся, которые набрали по её итогам от 26 до 36 баллов, то есть показали повышенный уровень биологической подготовки. Их результаты соответствуют оценке «хорошо» или отметке «4».
Учащиеся, получившие отметку «4», продемонстрировали стабильное владение материалом, но не все задания выполнены этой категорией участников выше границы уровня освоения. Кроме заданий, вызвавших затруднения и у «отличников», для этой группы средний процент выполнения равен менее 50% для заданий, проверяющих умения применять биологические знания в реальной жизни, описывать и объяснять биологические явления. Но при этом нужно отметить, что «хорошисты» демонстрируют биологические знания, могут анализировать рисунки, табличные данные, графики и диаграммы, работают с биологическими текстами.
Третья группа включала в себя участников НИКО по биологии, которые по его итогам набрали от 13 до 25 баллов, показав, таким образом, базовый уровень готовности к продолжению получения биологического образования на уровне среднего общего образования. Их результаты соответствуют оценке «удовлетворительно» или отметке «3».
Учащиеся, получившие отметку «3», продемонстрировали нестабильное владение материалом. От группы участников, получивших отметку «4», эта категория участников отличается меньшим объемом биологических знаний и более низкой способностью анализировать и объяснять биологические закономерности. учащиеся, относящиеся к этой группе, могут распознать организмы по изображениям, составить пищевую цепь и объяснить, каким образом изменится количество организмов одной группы при изменении численности другой группы.
Если рассмотреть результаты самых больших по численности групп учащихся (получившие отметки «3» и «4»), то можно сделать вывод, что участвующие в исследовании десятиклассники в основной массе не знают приемы оказания первой помощи даже на уровне знания инструкций.
Четвёртую группу составили обучающиеся, показавшие низкий уровень готовности к продолжению биологического образования. Они набрали 12 первичных баллов и менее. Учащиеся, получившие отметку «2», не про-
14
демонстрировали владение материалом на уровне базовой подготовки. Единственное задание, с которым они справились, — это задание, в котором требовалось определить организм по его изображению.
Следующим направлением анализа является сопоставление контекстных данных об образовательной организации и участниках, собранных в процессе проведения исследований, с результатами выполнения заданий диагностической работы. В качестве примера приведем перечень контекстных данных, для которых анализировались связь с результатами исследования в рамках НИКО по ОБЖ:
■ расположение образовательной организации;
■ квалификационная категория учителя;
■ пол учителя ОБЖ;
■ педагогический стаж учителя;
■ гендерные различия в результатах;
■ школьные отметки;
■ количество часов на изучение предмета;
■ процент учащихся в классе, для которых русский язык не является родным.
Для каждой категории вычисляется средний балл НИКО и определяется наличие или отсутствие статистически значимых различий в результатах. На основании этих данных делается вывод о влиянии данного фактора на успешность обучения или об отсутствии такого влияния.
Например, в исследовании по ОБЖ такой анализ показал следующее.
■ Предметные результаты различаются у учеников, обучающихся у учителей, имеющих квалификационную категорию и не имеющих ее. Результаты по ОБЖ не зависят от того, какую именно квалификационную категорию имеют учителя.
■ Связь результатов НИКО школьников с педагогическим стажем их учителей обнаруживалась на всех этапах исследований, за исключением НИКО по основам безопасности жизнедеятельности и по иностранным языкам.
■ Результаты НИКО по основам безопасности жизнедеятельности девушек выше, чем юношей. Не исключено, что на такой результат повлияла большая природная осторожность девушек и больший риск в поведении юношей.
■ При одинаковых школьных отметках по ОБЖ у участников НИКО результаты выше у
тех из них, у кого выше отметки по русскому языку либо по математике
■ Неожиданным стал тот факт, что результаты участников НИКО 8 класса, изучавших основы безопасности жизнедеятельности в 7 классе, ниже результатов тех, кто не изучал этого предмета. Полученные результаты свидетельствуют о том, что выполнение заданий по ОБЖ больше связано с общими процессами социализации школьников, их личными качествами и опытом, предпочтениями, кругозором и т.п., чем с обучением по предмету.
В процессе каждого исследования участники заполняют анкету, направленную на выявление их учебных и внеучебных интересов, а также характера занятости вне школы. Результаты анкетирования позволяют установить связи между результатами диагностических работ НИКО и ответами участников на вопросы анкеты. Например, в исследовании по иностранным языкам анкеты участников содержали вопросы, затрагивающие следующие темы: занятия, которые нравятся участникам НИКО, желание обсуждать на уроках интересные темы, участвовать в дискуссиях, желание читать книги, круг чтения, чтение книг на иностранном языке, обучение в специализированных классах по изучению иностранного языка, участие в олимпиадах, занятия в системе дополнительного образования, выбор профессии. Вот примеры отдельных результатов, полученных при анализе анкетирования.
■ Результаты НИКО по иностранным языкам показывают, что участники, которым нравится обсуждать на уроках интересные вопросы и участвовать в дискуссиях, начиная с 8 класса, имеют более высокие предметные результаты. От 5 класса к 8 интерес к обсуждению интересных вопросов на уроках, к участию в дискуссиях постепенно увеличивается. Вероятно, следует активнее вовлекать обучающихся в такую деятельность на уроках, по мере их взросления.
■ Большинство обучающихся специализированных классов подтвердили существенно более высокий уровень владения иностранными языками. Участники олимпиад по иностранным языкам показали более высокие предметные результаты в рамках НИКО по всем трем языкам. В 8 классе наблюдается большее выраженное преимущество результатов участников олимпиад по иностранным языкам.
■ Результаты НИКО по иностранным языкам пяти- и восьмиклассников, занимающихся в системе дополнительного образования, выше соответствующих результатов тех, кто в этой системе не занимается. Это общая тенденция по английскому, немецкому и французскому языкам.
■ Характер использования иностранного языка изменяется от 5 класса к 8. Наиболее существенные изменения связаны с ростом доли школьников, пользующихся иностранным языком для общения, просмотра фильмов на языке оригинала, и уменьшением доли тех, кто пользуется языком для чтения книг и журналов, для общения в поездках.
Проведение анализа каждого из мероприятий НИКО по всем описанным выше четырем направлениям позволяет делать обоснованные рекомендации для совершенствования качества обучения учебному предмету в системе общего образования. На федеральном уровне эти рекомендации касаются совершен-
ствования документов, регламентирующих содержание образования, внесения изменений в учебно-методические комплекты, рекомендованные для использования в образовательных организациях, разработку недостающего методического сопровождения по предмету. На региональном уровне — это, прежде всего, рекомендации по совершенствованию системы дополнительного профессионального образования учителей, направленного на комплексное повышение их профессиональных компетенций, а также совершенствование материально-технического оснащения, необходимого для обучения данному предмету. На уровне образовательных организаций — это внедрение новых практик изучения предмета, как в части тех тем и содержательных элементов, по которым в рамках исследования зафиксированы учебные дефициты обучающихся, так и в части организации дифференцированного обучения предмету с учетом тех характеристик, которые были получены в исследовании для групп обучающихся с разным уровнем учебной подготовки.
* * *
