CC BY
27
УДК 37
ИСПОЛЬЗОВАНИЕ РЕСУРСОВ ЦЕНТРА ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ ТОМСКОЙ ОБЛАСТИ ДЛЯ СОЗДАНИЯ ЭЛЕМЕНТОВ РЕГИОНАЛЬНОЙ СИСТЕМЫ КАЧЕСТВА ОБРАЗОВАНИЯ
Илюхин Б.В., Центр оценки качества образования Томской области, Томск, Россия E-mail: [email protected]
Горлов П.И., к.п.н., Центр оценки качества образования Томской области, Томск, Россия E-mail: [email protected]
Аннотация. Представлен опыт Центра оценки качества образования Томской области по построению региональной системы качества образования.
Ключевые слова: Томская область, оценка образовательных систем, система качества образования
THE USE OF THE RESOURCES OF THE CENTER OF EDUCATION QUALITY ASSESSMENT OF THE TOMSK REGION FOR CREATION REGIONAL SYSTEM
OF EDUCATION QUALITY
Ilyhin B.V. Tomsk regional centre for quality assurance in education. Tomsk. Russia E-mail: [email protected]
Gorlov P.I., PhD., Tomsk regional centre for quality assurance in education. Tomsk. Russia Россия E-mail: [email protected]
Annotation Presented experience of the Center of education quality assessment of the Tomsk region for building a regional system of educational quality.
Keywords: Tomsk region, the evaluation of education systems, the system of the quality of education
За последние несколько лет в России стремительно начали создаваться региональные Центры оценки качества образования (ЦОКО). Как правило, в их задачи включается сопровождения проведения государственных итоговых аттестаций и иных процедур оценки качества образования. Не являлся исключением и ЦОКО Томской области, созданный в 2002 году. Согласно «Положению о региональной системе оценки качества образования в Томской области», основной целью формирования региональной системы оценки качества (РСОКО) является «...удовлетворение потребностей субъектов образовательной деятельности и потребителей образовательных услуг в получении объективной информации о результатах образовательной деятельности, о состоянии и развитии системы общего образования Томской области».
Однако, существуют определенные проблемы с качеством и с количеством предоставляемой Центром информации. К сожалению, за последние несколько лет лишь единицы Субъектов Федерации при построении РСОКО имеют возможность получения достоверных оценок уровня обученности детей, отличных от ЕГЭ или ГИА=9.
Несколько слов о граничных условиях нашей деятельности.
Примеры международного опыта и не только говорят о бессмысленности тотального контроля знаний как цели системы. Мы пришли к выводу о необходимости использования педагогических измерений исключительно с целью совершенствования процессов преподавания предмета. Не измерение с целью рейтингования, а оценка с целью коррекции. Региональные мониторинговые исследования уровня обученности для нас не инструмент контроля, а инструмент совершенствования системы.
Основная идея нашей работы состоит в выявлении пробелов в знаниях школьников не в результате итоговой аттестации, а в ходе входного или рубежного контроля в школе с возможностью внесения корректив в учебный процесс школы не апостериорно (по итоговому результату), а непосредственно по получении результата промежуточной оценки.
Для проведения любого качественного исследования уровня обученности необходимо решение следующих задач:
• Разработка качественных измерительных материалов;
• Разработка и внедрение современной технологии сбора, обработки и хранения данных, не отягощающей дополнительными существенными усилиями учителя и завуча
• Разработка и внедрение механизмов обеспечения достоверности (доверия к результатам)
• Поиск методик анализа полученной информации, отработка рекомендаций и определение граничных условий по использованию результатов.
Разработка измерительных материалов для региональных исследований, внутришкольного контроля.
Сегодня не измеряет что-либо где-либо только очень ленивый субъект Федерации. Вопрос только - чем?
За последние годы разработка измерительных материалов для оценки уровня обученности в России превратилась из некоторой забавы в достаточно понятную науку. Федеральный институт педагогических измерений (ФИПИ), внедрив передовой международный опыт, использовав наработки отечественных ученых (Ю.М. Нейман, В.С. Аванесов, Г.С. Ковалева, А.О. Татур и др.) создал технологию, позволяющую создавать вполне валидные измерители для ЕГЭ и ГИА. Не случайно, последние годы вопросов к содержанию контрольно-измерительных материалов ЕГЭ ни в прессе, ни у общественности уже не возникает. К сожалению, практика применения качественных измерительных материалов крайне тяжело внедряется на местах. Для массового производства таких измерителей (например для внутришкольного мониторинга)
необходимо большое количество людей, компетентных не только в своих предметах, но и обладающих знаниями в области разработки тестов (педагогических измерений).
В этом направлении за последние три года нами была проделана значительная работа по совершенствованию разрабатываемых измерительных материалов (ИМ):
• Созданы творческие рабочие группы по обсуждению и анализу содержания разрабатываемых измерителей. Проведено обучение членов рабочих групп основам педагогических измерений.
• Внедрена технология разработки и комплексной экспертизы ИМ, аналогичная технологии ФИПИ. Технология предусматривает троекратную содержательную, двукратную тестологическую экспертизы и многое другое. Планируется введение межрегиональной экспертизы.
• Ежегодно создаются ИМ (более 50 комплектов по 2 варианта), не зависящие от учебников для входного и рубежного контроля в 4-10 классах.
• Созданы и ведут работу рабочие группы по разработке ИМ компетентностного характера.
Разработка ИМ - крайне серьезное дело. Себестоимость разработки одного варианта составляет на сегодня более 12 000 рублей и занимает более полугода. Не зря недавно появилось разъясняющее письмо Л.Н. Глебовой, от 23.08.2011 №10-383 ... «... К разработке измерительных материалов необходимо привлекать лиц (организации), имеющих необходимый опыт разработки и экспертизы материалов в области педагогических измерений». В данном документе речь идет видимо о ФИПИ, но, тем не менее, в ЦОКО ТОИПКРО из 15 сотрудников 8 имеют дополнительное к высшему образование и квалификацию - «тестолог, специалист в области педагогических измерений». На этом фоне крайне любопытно смотрятся отдельные попытки разработки измерительных материалов для исследования уровня обученности проводимые зачастую даже на уровне школ.
Рисков при разработке тестов и тестовых заданий очень много, но главный -крайне низкая культура профессионального сообщества в области педагогических измерений. Считанные единицы методистов (не говоря об учителях) знают истинное значение слов кодификатор и спецификация измерительной работы.
Технологии массовых оценочных процедур контроля.
Как только речь заходит о технологиях организации массовых процедур оценивания возникает значительное количество технологических и технических нюансов. Под массовыми процедурами здесь понимается проводимая по единым
измерителям и правилам их применения процедура оценивания с общим количеством участников от 30-50 человек. Под это определение попадают региональные мониторинговые исследования, внутришкольный мониторинг, оценивание в рамках процедур контроля качества, часть процедуры аккредитации школ, внутриклассный рубежный контроль, испытания на соответствие занимаемой должности педагогически работников и пр. Существуют серьезные технологические отличия организации различного рода процедур оценивания. Например, технологии бланочного тестирования, используемые для итоговой аттестации школьников, малоприемлемы для организации внутришкольного контроля. Также неэффективным представляется использование стандартных типов бланочного тестирования для изучения уровня обученности младших школьников, из-за их неготовности многократно переключать внимание с бланка задания на бланк ответов и т.д. За последние несколько лет нами внедрен широкий спектр технологий проведения оценочных мероприятий, программных продуктов для автоматизации обработки их результатов, как собственной разработки, так и сторонних производителей.
Это программные продукты и аппаратные средства:
• автоматизации внутришкольного контроля - информационная система (ИС) «Портфолио»;
• автоматизации подготовки обработки результатов массовых оценочных мероприятий автоматизированная информационная система (АИС) «Экзамен», ИС «Репетитор», ИС «Мониторинг»;
• автоматизации проведения квалификационных испытаний педагогических кадров - «РгоЬе1е81.аттестация»;
• сравнительного анализа данных различных оценочных мероприятий -АИС «Аналитика»;
• автоматизации ввода результатов различных оценочных мероприятий без использования методов бланочного и компьютерного тестирования - аппаратные средства контроля «Символ-тест» и многие другие.
Сегодня с уверенностью можно утверждать, что имеющиеся в нашем распоряжении программные продукты и аппаратные средства контроля позволяют перекрыть весь спектр запросов различных групп пользователей на автоматизацию проведения любых оценочных мероприятий - от единичных до массовых.
Принципиальным отличием нашего подхода к автоматизации этих процессов является не просто ввод и проверка ответов испытуемых, а получение детальной картины их уровня обученности. Для этого, каждое тестовое задание имеет привязку к элементам кодификаторов содержания и требований каждой отдельной дисциплины
(предмета). Результатом каждого оценочного мероприятия является процент выполнения заданий по каждому элементу кодификатора (содержания, требований). Дополнительно, в качестве характеристики испытуемого, мы получаем логит его уровня подготовленности. В совокупности это позволяет выявить проблемные зоны (темы, умения), над которыми необходимо детально и конкретно работать.
Понимая, что организация такого рода оценочных мероприятий, обработка их результатов в конечном итоге (если не считать дорогостоящие процедуры «с высокими ставками») ляжет на школу, т.е. на завуча, учителя - главной своей задачей в этом направлении мы видим разработку технологий проведения, методов сбора и хранения информации для внутришкольного мониторинга. В области технологий педагогических измерений наш центр и вся область одна из безусловных лидеров в стране.
ИС «Портфолио» внедрена более чем в 100 образовательных учреждениях области. Только в 2010-2011 учебном году через оценочные мероприятия с ее использованием прошло более 19 000 человек, в октябре 2011 года - более 13 000 человек. ИС «Мониторинг» используется в трех Субъектах Федерации, и только за 2011 календарный год с ее использованием обработаны результаты более 300 000 тестов. К сожалению, до сих пор основным предметом нашей деятельности является оценка уровня обученности.
Механизмы обеспечения достоверности результатов.
Любой нормальный педагогический коллектив будет сопротивляться процедуре оценки, подозревая в ней возможные негативные последствия. Вопрос использования результатов мониторинга для распределения средств - крайне опасный вопрос. Очевидно, что как только мониторинг превратится в процедуру с «высоким ставками» его результаты сразу станут таким «как надо».
Если на ЕГЭ в ряде Субъектов Федерации (в том числе и в Томской области) удается обеспечить достоверность, о других процедурах этого, к сожалению, сказать нельзя. В Томской области технологически процедуры проведения ЕГЭ и ГИА-9 в новой форме весьма похожи. Работы с открытыми ответами участников этих процедур проверяются анонимно и независимыми экспертами. Обе процедуры проводятся с использованием машиночитаемых бланков ответов. Задания для обеих процедур разрабатываются ФИПИ. Разница лишь в том, что ЕГЭ проводится с участием большого количества привлеченных в качестве руководителей пунктов проведения экзаменов и организаторов работников вузов области, а ГИА-9 в новой форме проводится территориальными (муниципальными) комиссиями. Эта разница порождает неожиданные эффекты.
Таблица 1
рус 11 рус 9 рус 9 матем 11 матем 9 матем 9
Муниципалитет % "2" %"2" % "5" % "2" % "2" % "5"
Г 0,9 14,7 10,0 8,8 17,3 12,0
город С 0,2 3,6 21,7 1,6 8,2 25,7
город Д 3,9 4,0 16,4 4,4 2,0 19,4
город В 1,2 7,7 20,6 5,2 13,9 22,6
ТОМ 1 1,5 11,4 19,2 2,6 13,5 15,5
город О 2,4 4,8 18,8 2,0 3,8 14,5
Ж 1,2 7,3 14,7 4,8 18,0 7,2
ТОМ 2 1,3 2,7 33,6 11,4 20,2 24,8
К 0,0 11,6 8,1 0,0 29,9 8,0
Л 0,3 1,6 22,7 5,5 0,8 23,9
М 0,0 23,1 6,0 0,0 8,2 12,7
Среднее по области: 1,4 7,4 18,7 4,5 11,4 19,9
В таблице 1 представлены сравнительные результаты ЕГЭ и ГИА-9 в некоторых муниципалитетах области.
Обращает на себя внимание отрицательная корреляция между количеством неудовлетворительных оценок по математике ЕГЭ и ГИА-9. Интересны город Д и города В и С. На ГИА- 9 по математике в городах В и С двоек - 13,9 и 8,9 % соответственно, в городе Д - двоек почти нет - 2%. Но на ЕГЭ ситуация меняется -1,6% в городе С и 4,4% в городе Д. В муниципалитете Л картина ярче - 0,8 % «двоечников» в 9 классе, и 5,5% в 11 соответственно.
И все же некоторые элементы механизмов контроля достоверности результатов в нашем распоряжении есть. Весной 2011 года в одном из муниципалитетов, комитетом по надзору в сфере образования Томской области, при активной поддержке ЦОКО был проведен внешний контроль качества, или «чистый контрольный срез». Для организации и проведения его были задействованы студенты одного из вузов. ИМ были разработаны по спецификации регионального мониторинга, поэтому полученные результаты можно соотносить с мероприятиями региональных мониторинговых исследований. На рис.1 представлены результаты четырех оценочных мероприятий, проводившихся в разное время у одних и тех же школьников данного муниципалитета - мониторинг в середине 9 класса, проводившийся в школах самостоятельно, ГИА-9 в новой форме, проводившаяся муниципальными (т.е. формально «внешними») комиссиями, мониторинг 10 класса, также проводившийся самими школами в начале учебного года, и упомянутый контрольный срез - конец того же учебного года. Светло серым и темно серым показаны соответственно процент
выполнения заданий базового и повышенного уровня. Выделенные отметки под стрелками - среднерегиональные показатели.
В среднем по муниципалитету картина неявная и неоднородная. Настораживает некоторое снижение уровня обученности по итогам обучения в 10 классе. Но региональные показатели падают сильнее, и этот показатель говорит, скорее, о более высоком уровне сложности заданий весной. Зато интересно посмотреть на отдельные школы (рис.2,3). Подобная картина повторяется почти по всем предметам, по которым был проведен внешний контроль уровня обученности. И если по первому образовательному учреждению особых вопросов не возникает (результаты стабильно выше среднеобластных, в том числе на мероприятиях внешнего контроля), то к Сельской СОШ № 2 (рис.3) их достаточно много.
Рисунок 1. Результаты оценочных мероприятий школьников 9-10 классов по математике в одном из муниципалитетов области.
Седует отметить, что изначально данные оценочные мероприятия проводились исключительно с целью выявления общей картины обученности по области, а также для получения среднеобластного показателя, который потом использовался для аккредитации образовательных учреждений, причем на уровне знака (выше или ниже среднеобластного).
2009-2010 2009-2010 2010-2011 2010-2011 (9 классы) (10 классы). (10 классы)
осень весна
Рисунок 2. Результаты оценочных мероприятий школьников 9-10 классов по математике в одной из школ (сельская СОШ №1)
Как же получается, что дети, показывающие на мероприятиях регионального мониторинга, которые проводит школа «сама для себя», отличные результаты, затем, при проведении внешнего контроля скатываются не на несколько процентов, а в несколько раз. Гипотеза возможной причины проста и банальна. Мысль - «а вдруг за плохие результаты нас накажут?» заложена в нашем сознании еще с советских времен.
100 90" 80" 70" 60" 50" 40" 30" 20" 10" 0
96
ТТ11Р1ЛРГиЛ110 TTI.III.TP ТТЛТЛОООТРТТТТ
□ Базовый уровень
□ Повышенны уровень
мониторинг ГИА -9 м°ниг°ринг Контроль 2009-2010 2009-2010 2010-2011 (10 2010-2011 (10 (9 классы) классы осень) классы), весна
Рисунок 3. Результаты оценочных мероприятий школьников 9-10 классов по математике в одной из школ (сельская СОШ №2)
Таким образом, остро встает вопрос о доверии к результатам различного рода оценочных мероприятий, особенно тех, которые проводятся в образовательном учреждении самостоятельно.
Методики анализа полученной информации.
В таких условиях анализ полученной информации становится весьма затруднен, ввиду высокой степени «зашумленности» результатов.
Для очистки полученной информации используются несколько приемов.
1. Использование результатов, полученных различными способами -педагогических измерений, статистической информации, и пр.
2. Использование математических методов выявления статистически недостоверных результатов.
3. Снижение уровня психологического давления на исполнителей.
При анализе, нас, прежде всего, интересует, как было описано выше, степень обученности школьника не вообще, а по отдельным элементам содержания дисциплины или по отдельным элементам кодификатора требований. Механизмы анализа, применяемые в настоящий момент предполагают тестологический анализ по результатам одного оценочного мероприятия с выдачей соответствующих пояснений и рекомендаций. Также существует возможность отследить по результатам нескольких оценочных мероприятий показатели усвоения отдельных пунктов кодификатора в динамике.
Совершенствование механизмов РСОКО по использованию результатов оценки, на наш взгляд должно строиться на следующих направлениях.
- Формирующее оценивание;
- Внутриклассное оценивание;
- Корректирующие методики;
- Оценка качества образовательных программ
Выводы:
1. Несмотря на определенные успехи в области создания инструментария и технологий педагогических измерений, в России нет сформировавшейся культуры педагогических измерений. Такая культура должна создаваться и должна быть массовой. Одним из основных условий ее формирования должна стать просветительская деятельность в этой области - массовое обучение методикам, технологиям и проч.
2. Основой системы оценки качества образования должна являться не внешняя, а внутренняя оценка (внутриклассное оценивание, внутришкольный мониторинг).
3. На первый взгляд, вывод может показаться парадоксальным, но для создания СИСТЕМЫ оценки качества образования на уровне образовательного учреждения (муниципалитета) необходимо в течение первых лет НЕ использовать механизмы рейтингования, финансирования или премирования по результатам оценочных мероприятий (средним баллам ЕГЭ и проч.).
