CC BY
28
УДК 371.261 : 004
А. Б. Плужник, И. Г. Широкова, Е. В. Лаврентьева,
К. С. Коржук, В. В. Орешкова
Формирование внутришкольной системы оценки подготовки
обучающихся для основного общего образования с использованием автоматизированной системы измерений
В статье описываются результаты выполненной педагогическим коллективом школы № 253 опытно-экспериментальной работы по созданию средств педагогических измерений, их апробации и вводом в автоматизированную систему измерений (АСИ) для выпускников 9-х классов по предметам естественнонаучного цикла, общественным наукам и информатике. Разработанные средства педагогических измерений можно рассматривать как компонент внутришкольной системы мониторинга качества образования.
The work of the teaching staff of school № 253 is described in the article this experimental work is on creation of means of pedagogical testing, their testing and introduction in the automated measurement system for the students of the 9-th form on sciences subjects, social sciences and informational technologies. The worked out means of pedagogical testing can be considered as a component of the inside school system of monitoring of education quality.
Ключевые слова: Мониторинг качества образования, кодификатор предметной области, коэффициент грамотности, эталоны предметных областей, шкалирование, стандартизация, средство измерения (тест), автоматизированная система педагогических измерений.
Key words: Monitoring of education quality, codificator of the subject spheres, the compe-tence coefficient, the standarts of subject spheres, scaling, standartization, test, automated system of pedagogical testing.
Проверка и оценка знаний - одна из важнейших проблем системы образования любого уровня. В современной школьной практике уделяется особое внимание тестированию как одному из наиболее технологичных методов педагогической диагностики. Возможность его автоматизации позволяет обеспечить массовость и оперативность контроля, достоверность и надёжность полученных результатов педагогических измерений, что особенно актуально в условиях нарастающей информатизации общества.
Школа № 253 Приморского района Санкт-Петербурга в течение нескольких лет участвует в сетевом эксперименте по созданию районной системы независимой оценки качества образования (СНОКО).
© Плужник А. Б., Широкова И. Г., Лаврентьева Е. В., Коржук К. С., Орешкова В. В., 2017
Независимая оценка - это получение сведений об образовательной деятельности, качестве подготовки обучающихся и реализации образовательных программ.
Необходимость независимой оценки качества образования закреплена и обоснована принятием соответствующих нормативно-правовых актов, регламентирующих деятельность образовательных учреждений в данной области: ст. 95 Федерального закона от 29 декабря 2012 г. № 273; ст. 6 Федерального закона от 21.07.2014 г. № 256 - ФЗ «О внесении изменений в отдельные акты Российской Федерации по вопросам проведения независимой оценки качества оказания услуг организациями в сфере культуры, социального обслуживания, охраны здоровья и образования».
СНОКО включает в себя два направления:
1) независимую оценку качества подготовки учащихся в предметных областях знаний; 2) независимую оценку качества и эффективности педагогической деятельности работников отрасли образования.
В данной статье представлен инновационный продукт, полученный педагогическим коллективом школы № 253 в процессе создания средств педагогических измерений, их апробации и вводом в АСИ для выпускников 9-х классов по предметам естественно-научного цикла, общественным наукам и информатике. Разработанные средства педагогических измерений можно рассматривать как компонент внутришкольной системы мониторинга качества образования.
Мониторинг - это система специально организованных исследований и измерений, сбора, обработки, хранения и распространения информации о состоянии образовательной системы или отдельных её элементов.
Мониторинг качества образования исследует три направления:
1. Качество образовательных результатов; предметные результаты обучения; метапредметные; личностные результаты; достижения обучающихся в конкурсах, соревнованиях, олимпиадах; удовлетворённость родителей качеством образовательных результатов.
2. Качество реализации образовательного процесса: основные образовательные программы (соответствие требованиям ФГОС и контингенту обучающихся); дополнительные образовательные программы (соответствие запросам родителей и обучающихся); реализация учебных планов и рабочих программ (соответствие ФГОС); качество уроков и индивидуальной работы с обучающимися; качество внеурочной деятельности.
3. Качество условий, обеспечивающих образовательный процесс: материально-техническое обеспечение; информационно-развивающая среда; кадровое обеспечение (включая повышение квалификации, аттестацию, инновационную и научно-методическую деятельность педагогов); работа коллегиального органа управления школой - педагогического совета, развитие ученического самоуправления, вовлечение родительской общественности в образовательный процесс школы; документооборот и нормативно-правовое обеспечение (включая программу развития школы).
Так как предметные результаты обучения составляют основу оценки образовательных результатов, остановимся на них более подробно. В процессе формирования системы внутришкольного мониторинга был решён
комплекс задач, связанных с проблемами педагогических измерений: определён объект измерения; согласованы принципы, методы и методика измерения; выбрано средство измерения; оценена достоверность полученных результатов.
Объект измерения - грамотность обучающихся в соответствующей предметной области, определяемая как «одно из свойств интеллекта, количественной мерой которого является объём усвоенных им научных понятий в виде соответствующей системы связанных между собой ЗУН» [2]. Являясь общей характеристикой в качественном отношении для человека, грамотность в количественном отношении индивидуальна. Объём ЗУН и время, затраченное на их формирование, конечны для каждого отдельного этапа образования, поэтому грамотность можно измерить. Методика измерения коэффициента грамотности обучающихся в соответствующей предметной области описана ранее [7, с. 165].
Предметом нашего исследования стал коэффициент грамотности обучающихся по предметам естественно-научного цикла (химии, биологии, физике), общественным наукам (истории России и обществознанию) и информатике.
При проведении измерений коэффициента предметной грамотности используется метод сравнения его с эталонной мерой, представляющей собой систему содержательных элементов указанной выше предметной области, которая подлежит обязательному усвоению на ступени основного общего образования в соответствии с учебной программой и ФГОС.
Эталонная мера может быть представлена в виде таблицы - кодификатора, где определены подсистемы (блоки) элементов содержания соответствующей предметной области, а также структурные элементы содержания, входящие в блок. Предметные кодификаторы представлены в работах [5, с. 34-37; 6, с. 37-40].
Следует отметить, что в зависимости от целей измерения каждый отдельный элемент содержания может рассматриваться либо как отдельная система (в этом случае можно проводить промежуточное тестирование), либо как компонент целостной системы (если нужно провести итоговое тестирование по всему курсу учебной дисциплины). В ходе ОЭР было проведено тестирование обучающихся в указанных предметных областях знаний как промежуточное (за первое полугодие), так и итоговое (за весь учебный год). В данной статье обсуждаются результаты итогового онлайн-тестирования выпускников 9-х классов по предметам естественно-научного цикла и информатике.
Метод измерения - это метод тестирования, приобретающий в современной практике особое значение как один из наиболее технологичных методов педагогической диагностики, который можно автоматизировать. Автоматизация позволяет обеспечить массовость контроля, надёжность и достоверность полученных результатов педагогического измерения. Кроме того, при тестировании обеспечиваются равные условия для испы-
туемых, что позволяет объективно сравнивать их достижения. Объективность заключается в отсутствии вмешательства человека в процесс оценивания результата обучения учащихся, оценивается не сам учащийся, а уровень его знаний.
Цель измерения - определение области «незнания» обучающегося в соответствующей предметной области знания. Научной основой работы является метрологический подход к проведению объективных педагогических измерений, позволяющий сопоставлять результаты измерений. Методика исследования качества средств измерений, исходя из особенностей построения АСИ, приведена в работах С.А. Бояшовой [2; 3]. Средство педагогического измерения - тест. Точность измерений строится на основе шкалирования - сравнения коэффициента грамотности с эталонной мерой.
Кодификатор по учебным предметам «Химия» и «Биология» включает по семь блоков, 30 заданий по химии, 33 - по биологии; «Физика» - пять блоков, 27 заданий; по восемь блоков по общественным наукам, 31 задание по истории России и 30 заданий по обществознанию; 5 блоков и 19 заданий по информатике.
За каждое верно решённое задание учащийся получает 1 балл, за неверно выполненное задание - 0 баллов. На решение всех заданий по каждому из предметов испытуемым отводится 45 минут.
Все задания в указанных предметных областях отобраны из содержания учебных программ школьных предметов базового уровня в соответствии с УМК: «Химия. 9 класс» О.С. Габриелян, «Биология. 5-9 классы» В.В. Пасечник, В.В. Латюшин, Г.Г. Швецов, «Физика. 9 класс» А.В. Пёрыш-кин, Е.М. Гутник, «История России. XX - начало XXI века» А.А. Данилов и др., «Обществознание. 9 класс» Л.Н. Боголюбов и др., «Информатика и ИКТ. 9 класс» Л.Л. Босова и Н.Д. Угринович.
Для оценки уровня сформированных знаний, умений и навыков, приобретённых обучающимися, в содержание тестов включены задания для проверки основных понятий и соответствующих им терминов, которые составляют основу учебных программ. Основные понятия образуют группы (системы) понятий, которыми должен оперировать обучающийся.
Отобранные задания размещены в системе теста в соответствии с принципом упорядочения элементов в определённую форму, которая является способом организации и существования содержания.
Тестовые задания в блоках представлены в разных формах: задания закрытого типа; задания на соответствие (восстановление соответствия); задания на восстановление последовательности; задания открытого типа.
Учебные элементы, включённые в тест в соответствии с кодификатором, рассматриваются как система, организованная с целью передачи (преподавание) и усвоения учащимися (учение) общественно значимых знаний, умений, навыков в конкретной научной области.
Кодификатор - основа построения первичного числового эталона соответствующей предметной области высшего класса точности (первичный). Последующие эталоны (с меньшей степенью валидности) строятся по принципу уменьшения числа структурных элементов в первичном эталоне на единицу (табл. 1).
Таблица 1
Эталоны предметных областей (9 класс, базовый уровень)
Эталоны Предметные области, блоки Всего элементов
Химия
1 2 3 4 5 6 7
Первичный 4 6 3 4 4 4 5 30
1 класса 3 5 2 3 3 3 4 23
2 класса 2 4 1 2 2 2 3 16
3 класса 1 3 0 1 1 1 2 9
4 класса 0 2 0 0 0 0 1 3
Биология
Первичный 4 5 5 6 5 4 4 33
1 класса 3 4 4 5 4 3 3 26
2 класса 2 3 3 4 3 2 2 19
3 класса 1 2 2 3 2 1 1 12
4 класса 0 1 1 2 1 0 0 5
эизика
Первичный 7 6 5 4 5 27
1 класса 6 5 4 3 4 22
2 класса 5 4 3 2 3 17
3 класса 4 3 2 1 2 12
4 класса 3 2 1 0 1 7
История
Первичный 4 7 4 4 3 3 3 3 31
1 класса 3 6 3 3 2 2 2 2 23
2 класса 2 5 2 2 1 1 1 1 15
3 класса 1 4 1 1 0 0 0 0 7
Обществознание
Первичный 3 4 4 4 3 4 5 3 30
1 класса 2 3 3 3 2 3 4 2 22
2 класса 1 2 2 2 1 2 3 1 14
3 класса 0 1 1 1 0 1 2 0 6
Информатика
Первичный 5 4 4 3 3 19
1 класса 4 3 3 2 2 14
2 класса 3 2 2 1 1 9
3 класса 2 1 1 0 0 4
Эталон 4-го класса является непригодным вследствие потери блоков элементов содержания, определённых в кодификаторе. На основании эталонов в соответствующей предметной области проводится шкалирование и стандартизация оценки (табл. 2):
Таблица 2
Шкалирование и стандартизация оценки в предметных областях
Эталоны Ср. значение коэффициента предметной грамотности Оценочные интервалы 5-балльная шкала 100-балльная шкала
1 2 3 4 5
Химия
Высший 1 1-0,77 5 100-77
Первый 0,76 0,76-0,52 4 76-52
Второй 0,51 0,51-0,28 3 51-28
Третий 0,27 0,27-0,09 2 27-9
Биология
Высший 1 1-0,79 5 100-79
Первый 0,78 0,78-0,58 4 78-58
Второй 0,57 0,57-0,36 3 57-36
Третий 0,35 0,35-0,14 2 35-14
Физика
Высший 1 1-0,82 5 100-82
Первый 0,81 0,81-0,63 4 81-63
Второй 0,62 0,62-0,43 3 62-43
Третий 0,42 0,42-0,24 2 42-24
История России
Высший 1 1-0,73 5 100-73
Первый 0,72 0,72-0,45 4 72-45
Второй 0,44 0,44-0,18 3 44-18
Третий 0,17 0,17-0 2 17-0
Обществознание
Высший 1 1-0,74 5 100-74
Первый 0,73 0,73-0,46 4 73-46
Второй 0,45 0,45-0,19 3 45-19
Третий 0,18 0,18-0 2 18-0
Информатика и ИКТ
Высший 1 1-0,73 5 100-73
Первый 0,72 0,72-0,45 4 72-45
Второй 0,44 0,44-0,18 3 44-18
Третий 0,18 0,18-0 2 18-0
Данные для предметной области Физика приведены на рис. 1-4 и в табл. 3:
Рис. 1. Выполнение заданий по блокам в предметной области Физика
В соответствии с рис. 1 хуже всего испытуемые справились с заданиями блока 4 «Электромагнитные явления», лучше всего - с заданиями блока 5 «Квантовые явления». Этот же вывод подтверждают данные табл. 3, где приведено распределение тестовых баллов по блокам в предметной области Физика.
Таблица 3
Распределение тестовых баллов по блокам в предметной области «Физика»
1 блок 2 блок 3 блок 4 блок 5 блок
Всего заданий 7 6 5 4 5
Средний показатель выполнения заданий 5,04 4,29 3,67 2,38 3,79
Распределение коэффициентов физической грамотности по блокам представлено на рис. 2.
Распределение коэффициентов физической
1 грамотности по блокам
0.8 0.6 0.4 0.2 0
■ К Л
Блок1 Блок2 БлокЗ Блок4 Блок5
■ Коэффициент грамотности 0,7 0.7 0,7 0,6 0.8
Рис. 2. Распределение коэффициентов физической грамотности
Как показывают данные рис. 2, результаты коэффициентов физической грамотности обучающихся по блокам коррелируют с данными рис. 1 и табл. 3.
Оценки, полученные испытуемыми в предметной области Физика по 100- и 5-балльной шкалам, приведены на рис. 3, 4:
Оценка по 100-балльной шкале
150
100
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Рис. 3. Оценка испытуемых в предметной области Физика
Оценка по 5-балльной шкале
6
123456789 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Рис. 4. Оценка испытуемых в предметной области Физика
Среднее распределение баллов испытуемых по 100-балльной шкале в предметной области Физика составляет 70,4, по 5-балльной шкале - 3,8.
Результаты тестирования опПпэ испытуемых для предметной области Химия приведены на рис. 5-8 и табл. 4.
Таблица 4
Распределение тестовых баллов по блокам в предметной области «Химия»
1 блок 2 блок 3 блок 4 блок 5 блок 6 блок 7 блок
Всего заданий 4 6 4 4 4 4 5
Ср. показатель выполнения заданий 3,79 4,79 2,17 3,38 3,17 3,33 3,83
Выполнение заданий по блокам
8
6 4 2 0
■ 1ь
Блок 1
Блок 2
Блок 3
Блок 4 Блок 5 Блок 6 Блок 7
Всего заданий
Средний показатель выполнения заданий
3,79
4,79
2,17
3,38
3,17
3,33
3,83
Рис. 5. Выполнение заданий по блокам в предметной области Химия
Данные, приведенные на рис. 5. показывают, что хуже всего испытуемые справились с заданиями блока 3 «Металлы главных подгрупп», лучше всего - с заданиями
блоков 1 «Введение. Общая характеристика химических элементов» и 2 «Общая характеристика металлов». Этот же вывод подтверждает распределение тестовых баллов по блокам (табл. 4).
Распределение коэффициентов химической грамотности по блокам представлено на рис. 6.
Распределение коэффициентов химической грамотности по
блокам
^ППППППП
Блок1
Блок7
Коэффициент грамотности
0,95
0,8
0,72
0,84
0,79
0,83
0,77
Рис. 6. Распределение коэффициентов химической грамотности
Согласно рис. 6, наименьший коэффициент химической грамотности испытуемые продемонстрировали при выполнении заданий блока 3, что коррелирует с данными рис. 5 и табл. 4.
На рис. 7 и 8 представлены оценки обучающихся в предметной области Химия по 100-балльной и 5-балльной шкалам.
1 г>г> Оценка по 100-балльной шкале
Й0
80
00 40 1 1 1
40 20
20 п
0 123450789 10 11 12 13 14 15 10 17 18 19 20 21 22 23 24
Рис. 7. Оценка испытуемых в предметной области Химия
Оценка по 5-балльной шкале
4 2 0
1 1 t t
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 123450789 10 11 12 13 14 15 10 17 18 19 20 21 22 23 24
Рис. 8. Оценка испытуемых в предметной области Химия
Среднее распределение баллов испытуемых по 100-балльной шкале в предметной области Химия составляет 81,49, по 5-балльной шкале -4,46.
Результаты онлайн-тестирования учащихся в предметной области Биология приведены на рис. 9-12 и в табл. 5.
Таблица 5
Распределение тестовых баллов по блокам в предметной области «Биология»
1 блок 2 блок 3 блок 4 блок 5 блок 6 блок 7 блок
Всего заданий 4 5 5 7 4 4 4
Ср. показатель выполнения заданий 2,5 2,7 2,7 4,3 2,3 3,0 2,3
8 6 4 2 0
Блок 1 Блок 2 Блок 3 Блок 4 Блок 5 Блок 6 Блок 7
■ Всего заданий 4 5 5 7 4 4 4
■ Средний показатель выполнения заданий 2,5 2,7 2,7 4,3 2,3 3,0 2,3
Рис. 9. Выполнение заданий по блокам в предметной области Биология
В соответствии с рис. 9 наименьший результат испытуемые показали при выполнении заданий блоков 5 «Популяционно-видовой уровень», 2 «Молекулярный уровень» и 3 «Клеточный уровень», что коррелирует с данными табл. 5, характеризующей распределение тестовых баллов по блокам в предметной области Биология.
Распределение коэффициентов биологической грамотности по блокам представлено на рис. 10, согласно которой наименьший коэффициент биологической грамотности испытуемые продемонстрировали при выполнении заданий вышеуказанных блоков 2, 3 и 5, что соотносится с данными рис. 9 и табл. 5.
Распределение коэффициентов биологической грамотности по блокам
1,00
0,50 ■ ■ ■ ■ Щ
0,00 ■ ■ ■ ■ ■ ■
Блок1 Блок2 Блок3 Блок4 Блок5 Блок6 Блок7
□ Коэффициент грамотности 0,63 0,55 0,54 0,62 0,56 0,75 0,58
Рис. 10. Распределение коэффициентов биологической грамотности
Оценки, полученные испытуемыми в предметной области Биология по 100- и 5-балльной шкалам, приведены на рис. 11, 12:
100 80 00 40 20 0
I
123450789 10 11 12 13 14 15 10 17 18 19 20 21 22 23 24
Рис. 11. Оценка испытуемых в предметной области Биология
Среднее распределение баллов испытуемых по 100-балльной шкале в предметной области Биология составляет 60,3, по 5-балльной шкале - 3,1.
Оценка по 5-балльной шкале
0
123450789 10 11 12 13 14 15 10 17 18 19 20 21 22 23 24
Рис. 12. Оценка испытуемых в предметной области Биология
Экспериментальные данные, полученные при онлайн-тестировании учащихся 9-х классов для предметной области Информатика и ИКТ, представлены на рис. 13-16 и в табл. 6:
Таблица 6
Распределение тестовых баллов в предметной области «<Информатика»
1 блок 2 блок 3 блок 4 блок 5 блок
Всего заданий 5 4 4 3 3
Средний показатель выполнения заданий 4,58 2,38 3,46 2,46 2,63
и 5 4 3 2 1 0
ш Ш ш ш
Блок 1 Блок 2 Блок 3 Блок 4 Блок 5
■ Всего заданий 5 4 4 3 3
■ Средний показатель выполнения заданий 4,6 2,4 3,5 2,5 2,6
Рис. 13. Выполнение заданий по блокам в предметной области Информатика и ИКТ
Из рис. 13 следует, что наименьший результат обучающиеся показали при выполнении заданий блока 2 «Кодирование информации», наилучший результат - при выполнении заданий блока 1 «Системы счисления». Это же подтверждают данные табл. 6.
Распределение коэффициентов грамотности по блокам в предметной области Информатика представлено на рис. 14.
Распределение коэффициентов грамотности по информатике
по блокам
0,80 0,60 0,40 0,20 0,00 _ -
Блок1 Блок2 Блок3 Блок4 Блок5
□ Коэффициент грамотности 0,92 0,59 0,86 0,82 0,88
Рис. 14. Распределение коэффициентов грамотности по блокам
На рис. 14 показано, что наименьший коэффициент грамотности у обучающихся по блоку 2, наибольший - по блоку 1. В целом следует отметить, что испытуемые достаточно хорошо справились с тестовыми заданиями всех блоков.
Оценки, полученные испытуемыми в предметной области Информатика по 100- и 5-балльной шкалам, приведены на рис. 15, 16.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 192021 2223 24
Рис. 15. Оценка испытуемых в предметной области Информатика
Среднее распределение баллов испытуемых по 100-балльной шкале в предметной области Информатика составляет 81,38, по 5-балльной шкале - 4,54.
£ Оценка по 5-балльной шкале
4 2 0
1 г 1 г
123456789 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Рис. 16. Оценка испытуемых в предметной области Информатика
Результаты тестирования опПпе по блокам с указанием тестовых баллов и среднего значения коэффициента грамотности в предметной области представляются испытуемому и учителю в виде таблиц и диаграмм с целью устранения допущенных ошибок. Например, для предметной области Информатика.
1, сиспш омсппми II, Колючими« и1могмлцин иг. пгашш «и1н1ы [ IV. Комшлотг р и 1 V. Основы« 1 1ШГИЧ1СКЛ« атг/гА 1 кпнагунт юыкл 1 /рккоп | ш'огглимигшкш» |
результат: 1 0.9 0.75 1 || ¡85
пв Ваша оионкя соотвстст
Рис. 17. Таблица с результатами тестирования для испытуемого
Рис. 18. Диаграмма с результатами тестирования для испытуемого
Таким образом, для проверки уровня сформированности системы связанных между собой знаний, умений и навыков различного качества, уровня и сложности у обучающихся 9-х классов была разработана система измерения, являющаяся основой независимой оценки качества образования, которая включает: кодификатор содержания указанных предметных областей; модели тестов; эталонные шкалы измерения; методики обработки данных и анализа полученных результатов.
Эта система позволяет каждому учителю-предметнику выявить структурные элементы содержания, которые не усвоены учащимся в процессе учения, определить область его «незнания» и построить индивидуальную программу коррекции в соответствующей предметной области, тем самым повысить эффективность и качество реализации учебной программы или ФГОС.
Список литературы
1. Апробация автоматизированной системы оценки качества подготовки учащихся по учебным предметам (начальная школа). 2 этап: учеб.-метод. описание / под общ. ред. С.А. Бояшовой. - СПб.: ЦПКС «ИМЦ» Приморского р-на. - 2015. - 48 с.
2. Бояшова С.А. Теоретические основы построения автоматизированной системы сертификации работников отрасли образования: автореф. дис. ... д-ра техн. наук. -СПб., 2010.
3. Методика педагогического измерения грамотности школьника в предметных областях научных знаний. Ч. 1: учеб.-метод. описание / под общ. ред. С.А. Бояшовой. -СПб.: ЦПКС «ИМЦ» Приморского р-на, 2015. - 28 с.
4. Методика педагогического измерения грамотности выпускников начальной школы в предметной области «Литературное чтение»: метод. разработка / под общ. ред. А.Б. Плужник; отв. ред. доц. И.Г. Широкова. - СПб.: ЦПКС «ИМЦ» Приморского р-на, 2016. - 35 с.
5. Педагогические измерения в системе оценки качества подготовки учащихся 9-х классов по общественным наукам (истории России и обществознанию) и информатике: метод. разработка / под общ. ред. А.Б. Плужник; отв. ред. доц. И.Г. Широкова. - СПб.: ЦПКС «ИМЦ» Приморского р-на, 2017. - 40 с.
6. Разработка средств педагогических измерений (тестов) для автоматизированной системы измерений по предметам естественнонаучного цикла (основная школа): метод. рекомендации / под общ. ред. А.Б. Плужник. - СПб., 2017. - 44 с.
7. Широкова И.Г., Лаврентьева Е.В. Система оценки качества подготовки выпускников основной школы по предметам естественнонаучного цикла (химия, биология) // материалы междунар. науч. конф. «XX Юбилейные Царскосельские чтения». - СПб.: ЛГУ им. А.С Пушкина. - 2016. - Т. II. - С. 163-168.
