CC BY
29ИСПОЛЬЗОВАНИЕ РЕСУРСОВ ЦЕНТРА ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ ТОМСКОЙ ОБЛАСТИ ДЛЯ СОЗДАНИЯ ЭЛЕМЕНТОВ РЕГИОНАЛЬНОЙ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ
ГОРЛОВ ПАВЕЛ ИВАНОВИЧ, ведущий научный сотрудник Томского областного института повышения квалификации и переподготовки работников образования.
E-mail: gpi@ege.tomsk.ru
Томск, Российская Федерация
ИЛЮХИН БОРИС ВАЛЕНТИНОВИЧ, заведующий Центром мониторинга и оценки качества образования Томского областного института повышения квалификации и переподготовки работников образования.
E-mail: bvi@ege.tomsk.ru
Томск, Российская Федерация
АННОТАЦИЯ. В статье освещаются проблемы получения достоверных оценок уровня обученности детей в регионе, получения объективной информации о результатах образовательной деятельности и ее анализа. Представлены конкретный опыт становления регионального центра оценки качества образования и идея использования потенциала этой специализированной организации для развития региональной системы оценки качества образования в Томской области. Рассмотрены задачи, подлежащие решению для реализации региональной системы оценки качества образования, и проблемы, возникающие входе их решения. Также представлены инструменты, разработанные для автоматизации процессов обработки и анализа информации. Большое внимание уделяется вопросам обеспечения своевременной и достоверной информацией представителей органов управления с применением современных технологий.
КЛЮЧЕВЫЕ СЛОВА: образование, мониторинг, измерительные материалы, технологии обработки информации, обеспечение достоверности результатов.
APPLICATION OF RESOURCES OF TOMSK REGION EDUCATION QUALITY ESTIMATION CENTRE TO CREATE THE REGIONAL EDUCATION QUALITY ESTIMATION SYSTEM ELEMENTS
PAVEL GORLOV, Senior researcher of Tomsk regional institute of professional development and retraining ofeducational specialists.
E-mail: gpi@ege.tomsk.ru
Tomsk, Russian Federation
BORIS ILYUKHIN, Head of the Center for Education Monitoring and Quality Assessment, Tomsk regional institute of professional development and retraining of educational specialists.
E-mail: bvi@ege.tomsk.ru
Tomsk, Russian Federation
ABSTRACT. This paper covers the problems of getting the objective estimation of the pupils' educational level within region, acquisition and analyzing the objective information about the educational work results. Was introduced the specific experience of the Tomsk region education quality estimation centre establishment and the idea of using this organization potential for forming the regional education quality estimation system in the Tomsk region. The problems to solve for regional education quality estimation system realization and difficulties appeared in the process of problems solving are considered. Also the instruments developed for automation of information gathering and analyzing were introduced. Special attention given to aspects of the providing the governance with actual and reliable information using advanced technologies.
KEYWORDS: education, monitoring, educational tests, information processing technologies, investigation results reliability.
Активное формирование региональных центров оценки качества образования (ЦОКО) является одним из наиболее значимых системных изменений в сфере общего образования России, мотивированных внедрением единого государственного экзамена (ЕГЭ). В настоящее время такие функциональные структуры созданы во всех субъектах Российской Федерации. Практика организационно-правового оформления этих центров характеризуется весьма широким разнообразием, отражающим не только территориально-национальные различия в построении региональных образовательных систем, но и сложившиеся традиции в управлении образованием. В Алтайском и Хабаровском краях, в Новосибирской и Тамбовской областях, городе Москве и ряде других регионов такие центры созданы в статусе самостоятельных организаций, наделенных широкими полномочиями по различным направлениям контрольно-лицензионной и аттестационной деятельности в сфере управления образованием. Эти организации обеспечивают не только проведение государственной аттестации выпускников общеобразовательных учреждений, ной внедрение новых подходов в практику контроля качества образования.
В других субъектах региональные центры оценки качества образования являются, как правило, структурными подразделениями университетов или региональных учреждений повышения квалификации и переподготовки работников образования. Как и в предыдущих случаях, эти функциональные структуры ориентированы на решение задач, связанных с информационным и организационно-технологическим обеспечением практики проведения ЕГЭ и других форм государственной аттестации обучающихся.
Вместе с тем в рамках этих моделей функционирования региональных ЦОКО сложились несколько другие, существенно выходящие за границы задач административного контроля подходы к участию в тех или иных процедурах мониторинга и оценки качества образования. Особенности статусного оформления таких ЦОКО, в частности их «непосредственная принадлежность» к образовательным организациям, открывают хорошие возможности в использовании потенциала соответствующих вузов и региональных учреждений дополнительного профессионального образования работников образования для создания научно-методических ресурсов, необходимых для качественного обновления и развития практики мониторинговых исследований в сфере общего образования.
Прежде всего речь идет о создании принципиально нового методического инструментария региональных мониторинговых исследований, необходимость которого обусловлена стремительным развитием видового разнообразия образовательных практик и внедрением государственных образовательных стандартов нового поколения. Существенно возрастает актуальность и тех научно-методических ресурсов, которые связаны с апробацией и внедрением новых, стандартизированных на уровне региона форм мониторинга образовательных достижений и показателей
социализации обучающихся. Сохраняется острота и тех проблем, которые обусловлены дефицитом научно-методических ресурсов в сфере подготовки и переподготовки учителей по различным аспектам педагогических измерений.
Высокая актуальность и значимость этих вопросов была проявлена на всех этапах становления ЦОКО Томской области, созданного в 2002 году на основе некоммерческого партнерства томских университетов, а с 2007 года и по настоящее время являющегося структурным подразделением регионального института повышения квалификации и переподготовки работников образования (ТОИПКРО). Важно отметить, что в Томской области практическая работа по моделированию задач и предмета деятельности ЦОКО, а также по выбору оптимальной стратегии его развития всегда осуществлялась в рамках представлений о ключевой роли этой функциональной структуры в институционализации всех базовых элементов региональной системы оценки качества образования (РСОКО).
В рамках именно такой стратегии с 2008 года формировались приоритетные направления деятельности ЦОКО Томской области. Основное внимание специалистов центра было сфокусировано на вопросах ресурсного обеспечения региональной системы мониторинговых исследований, прежде всего в целях кардинального обновления и повышения эффективности системы информационного обеспечения управления развитием образования на региональном и субрегиональных уровнях.
Значительные эффекты в разработке модели информационной подсистемы РСОКО и практике ее использования были обеспечены в 20082010 гг. в рамках участия Томской области в реализации масштабного проекта по комплексной модернизации образования в России. В рамках этого проекта были успешно реализованы следующие мероприятия:
• внедрены условия стандартизации регионального мониторинга качества общеобразовательной подготовки обучающихся 2-11-х классов по 13 предметам инвариантной части базисного учебного плана школ области;
• впервые были апробированы условия мониторинга и общественной экспертизы целевых программ и проектов развития образования, реализуемых на областном и муниципальном уровнях, а также программ развития образовательных учреждений;
• актуализировались процессы формирования информационной базы, необходимой для применения компетентностного подхода к оценке образовательных достижений обучающихся, образовательных программ и результатовдеятельности общеобразовательных учреждений;
• массовый характер приобрела практика моделирования внутришколь-ных систем оценки качества образования, включая разработку информа-
ционных баз данных о показателях качества образования, используемых для внедрения стимулирующих систем оплаты педагогического труда;
• реализованы новые подходы к статистической обработке и представлению результатов ЕГЭ и результатов региональных мониторинговых исследований, в том числе и для использования данных о показателях качества в рамках конкурсных механизмов ресурсной поддержки образовательных учреждений и учителей, внедряющих инновационные образовательные программы:
• разработана и апробирована система показателей и индикаторов для управления качеством образования на региональном уровне;
• получила развитие практика подготовки и представления общественности ежегодных публичных докладов о результатах деятельности обще-образовательныхучреждений и органов управления образованием.
Именно на данном этапе начинает активно формироваться методология системного подхода к созданию функционально полного комплекса условий, необходимых для дальнейшего развития региональной системы оценки качества образования в Томской области. На основе этой методологии начинает формироваться и принципиально новая стратегия модернизации системы информационного обеспечения управления образованием с четко выраженной приоритетной ориентацией этой системы на знания и компетенции, востребованные в долгосрочной перспективе, в том числе и с учетом региональной специфики инновационного развития Томской области на периоддо 2020 года.
Четко выраженная направленность этих работ на удовлетворение потребностей субъектов образовательной деятельности и потребителей
образовательных услуг в получении объективной информации о результатах образовательной деятельности, о состоянии и развитии системы общего образования Томской области получила нормативное закрепление на уровне региональной законодательной базы. На этом этапе становления РСОКО в Томской области качественно видоизменилась и направленность мониторинговых исследований. Сущность этих изменений может трактоваться как переход от тотального контроля знаний и формализованных показателей рейтингования образовательных учреждений к широкому внедрению новых форм мониторинга учебной и социальной успешности обучающихся в целях совершенствования и оперативной коррекции образовательного процесса, в том числе детальной коррекции на уровне совместной деятельности учителя и ученика.
Нам представляется, что региональные мониторинговые исследования уровней обученности, компетентности и показателей социализации школьников должны стать, прежде всего, инструментом совершенствования образовательной деятельности, а не только выполнять функции контроля [1]. Основная идея такого подхода состоит в накоплении и систематизации информации о навыках и компетенциях
школьников, в выявлении пробелов в знаниях не в результате итоговой аттестации, а в ходе текущего и рубежного контроля. В данном случае принципиальное значение имеет не только выбор адекватных технологий мониторинговых исследований, но и использование релевантных методов персонифицированной и статистической обработки результатов: эти инструменты оценки качества образования должны позволять своевременно вносить соответствующие коррективы в учебный процесс школы не апостериорно (по итоговому результату), а непосредственно по получении результата промежуточной оценки.
Проведение любого исследования уровня обученности в конкретной школе сопряжено с решением следующих основных задач:
• подготовка качественных измерительных материалов, отвечающих задачам диагностического исследования,
• разработка, апробация и внедрение технологичной модели сбора, обработки и хранения данных, не отягощающей дополнительными существенными усилиями и самого учителя, и администраторов школы, и внешних экспертов,
• разработка и внедрение механизмов обеспечения достоверности результатов и выводов, полученных в ходе диагностического исследования (доверие к результатам),
• формирование адекватной методики анализа и интерпретации полученной информации, определение граничных условий по использованию результатов исследования, выработка рекомендаций по совершенствованию (корректировке) образовательной деятельности.
В условиях устойчивого расширения практики ежегодных мониторинговых исследований, в которых в 2012-2013 учебном году участвовали практически все общеобразовательные учреждения Томской области, сотрудниками ЦОКО накоплен позитивный опыт практически по всем вышеуказанным задачам.
РАЗРАБОТКА ИЗМЕРИТЕЛЬНЫХ МАТЕРИАЛОВ ДЛЯ
РЕГИОНАЛЬНЫХ ИССЛЕДОВАНИЙ, ВНУТРИШКОЛЬНОГО КОНТРОЛЯ
За последние годы в России заметно вырос уровень научного обоснования работ, связанных с конструированием измерительных материалов для различных форм диагностики и оценки образовательных достижений обучающихся и качества образовательной деятельности. В частности, этот тезис подтверждается достаточно продуктивным опытом сотрудничества Федерального института педагогических измерений (ФИПИ), сотрудников Российской академии образования, отдельных университетов и региональных учреждений дополнительного (профессионального) образования работников образования в части создания и внедрения контрольно-измерительных материалов для проведения
ЕГЭ, государственной итоговой аттестации выпускников основной ступени школы (ГИА 9). В настоящее время есть основания утверждать, что в России разработана и широко применяется мобильно обновляющаяся технология создания валидных измерителей для ЕГЭ и ГИА 9. И отнюдь не случайно в последние годы принципиальных вопросов к содержанию контрольно-измерительных материалов ЕГЭ ни в прессе, ни у общественности уже не возникает.
В Томской области, как и ряде других субъектов Российской Федерации, получает развитие и практика разработки эксклюзивных измерительных материалов, предусмотренных для использования в рамках стандартизированных мониторинговых исследований регионального значения. Однако опыт создания региональных качественных измерительных материалов существенно отстает от реальных потребностей учителей, школ и органов управления образованием в организации мониторинговых исследований знаний и компетенций обучающихся. Для массового производства таких измерителей, в том числе для внутриш-кольного мониторинга, необходимо большое количество специалистов, компетентных не только в своих предметах, но и обладающих знаниями в области разработки тестов и проведения педагогических измерений. Нужно добавить, что работа по созданию тестовых материалов сопряжена и со значительными финансовыми расходами, которые, как правило, не вписываются в структуру бюджетных расходов школ, муниципальных и региональных бюджетов.
Нам представляется, что эффективная разработка качественных тестовых материалов для диагностики текущих образовательных достижений обучающихся в регионах (в том числе по запросам региональных органов управления образованием и отдельных школ) может быть обеспечена только на основе сотрудничества специализированных федеральных и региональных организаций. В этом убеждает и стихийный, практически не регулируемый характер рынка тестовых материалов, формирующийся в России. Как правило, имеющиеся в свободной продаже тестовые материалы ориентированы на подготовку обучающихся к аттестационным процедурам, и в значительно меньшей степени они оказываются пригодными для тех мониторинговых исследований, которые проводятся в целях оценки качества преподавания, оценки эффективности внедряемых новшеств и соответствующей корректировки образовательной деятельности.
Примером такого плодотворного сотрудничества является совместная деятельность Центра оценки качества образования Томской области и ФИПИ по разработке валидных измерителей уровня обученности. В этом направлении за последние несколько лет в Томской области проведена следующая работа по усовершенствованию разрабатываемых измерительных материалов (ИМ):
• кардинально обновлены кодификаторы структуры содержания региональных тестовых материалов на основе широкого использования методических разработок ФИПИ;
• при поддержке сотрудников ФИПИ внедрена технология разработки и комплексной экспертизы ИМ, аналогичная технологии ФИПИ. Технология предусматривает троекратную содержательную, двукратную тестологическую экспертизы и многое другое. Используется межрегиональная экспертиза, проводится выборочная апробация в образовательных учреждениях других субъектов РФ;
• разработана и внедрена целевая образовательная программа подготовки специалистов по основам и проблематике педагогических измерений (для разработчиков тестовых материалов, рецензентов, экспертов, организаторов мониторинговых исследований);
• сформировались новые формы профессионального взаимодействия учителей, методистов и преподавателей томских вузов — ассоциации педагогов-предметников, обеспечивающие разработку измерительных материалов, публичный характер обсуждения и экспертизы содержания измерительных материалов;
• созданы и с 2010 года действуют рабочие группы по разработке ИМ компетентностного характера.
Общее руководство и организационные основы этой разноплановой творческой деятельности обеспечивают 15 штатных сотрудников ЦОКО (9 специалистов центра имеют квалификацию «тестолог, специалист в области педагогических измерений»). В результате на базе ЦОКО ежегодно создается более 50 комплектов новых многовариантных измерительных материалов для диагностики качества общеобразовательной подготовки школьников 4-10-х классов по 12 общеобразовательным предметам.
ТЕХНОЛОГИИ МАССОВЫХ ОЦЕНОЧНЫХ ПРОЦЕДУР КОНТРОЛЯ
Под массовыми процедурами мы понимаем проводимые по единым измерителям и правилам их применения процедуры оценивания с общим количеством участников не менее 30-50 человек. Под это определение попадают региональные мониторинговые исследования, внутришкольный мониторинг, оценивание в рамках процедур контроля качества, отдельные процедуры аккредитации школ, внутрикласс-ный рубежный контроль, отдельные процедуры аттестации учителей на соответствие занимаемой должности, а также и другие оценочные процедуры.
Понятно, что многообразие этих оценочных процедур объясняется не только широким перечнем педагогических и управленческих задач, которые могут решаться на основе их применения. Для развития многофункциональной практики мониторинговых исследований важно учитывать и технологические аспекты. Например, технологии бланочного тестирования, используемые для итоговой аттестации школьников, оказываются неэффективными для практики внутришкольного контроля. Также неэффективным представляется использование стандартных типов бланочного тестирования для изучения уровня обученности младших школьников из-за их неготовности многократно переключать внимание с бланка задания на бланк ответов.
Уделяя достаточно много внимания технологическим аспектам и особенностям проведения оценочных мероприятий, специалисты ЦОКО Томской области в течение нескольких лет обеспечили внедрение широкого спектра технологических новшеств, в том числе программных продуктов, для автоматизации обработки результатов мониторинговых исследований. Речь идет не только о разработке собственных технологий, но и об адаптации отечественного и зарубежного опыта технологического обеспечения мониторинговых исследований к региональной спецификеТомской области.
В частности, в настоящее время в региональной системе общего образования Томской области достаточно широко используются следующие программные продукты и аппаратные средства:
• информационная система (ИС) «Портфолио», обеспечивающая автоматизацию практики внутришкольного контроля знаний и навыков обучающихся;
• функционально полный набор информационных систем (АИС «Экзамен», ИС «Репетитор», ИС «Мониторинг») для автоматизации процедур подготовки, проведения и обработки результатов массовых оценочных мероприятий, которые могут проводиться не только на региональном и муниципальном уровнях, но и непосредственно в самом образовательном учреждении;
• информационная система «РгоЬе1е51.аттестация», которая используется в системе аттестации педагогических кадров на этапах проведения квалификационных испытаний;
• информационная система АИС «Аналитика», применяемая для статистической обработки и проведения сравнительного анализа результатов различных оценочных мероприятий;
• аппаратные средства контроля «Символ-тест», используемые практически во всех школах Томской области для автоматизации ввода результатов различных оценочных мероприятий (без использования методов бланочного и компьютерного тестирования).
Сегодня суверенностью можно утверждать, что указанные выше и многие другие имеющиеся в нашем распоряжении программные продукты и аппаратные средства позволяют перекрыть весь спектр запросов различных групп пользователей на автоматизацию проведения любых оценочных мероприятий, от единичных до массовых.
Ведущим принципом нашего подхода к автоматизации этих процессов является их направленность, с одной стороны, на детализацию картины индивидуальных достижений обучающихся, а с другой — на выявление статистически достоверных признаков, отражающих особенности условий образовательной деятельности и выявляющих проблемные зоны в совместной деятельности учителя и ученика.
Востребованность и эффективность именно такого подхода к техноло-гизации оценочных процедур достаточно убедительно подтверждается в практике школ, активно сотрудничающих с ЦОКО по вопросам создания внутришкольных систем оценки качества образования. К настоящему времени ИС «Портфолио» внедрена более чем в 100 образовательных учреждениях области. Только в 2010-2011 учебном году через оценочные мероприятия с ее использованием прошло более 19 000 человек, в 2011-2012 учебном году — более 24 000 человек. ИС «Мониторинг» используется в трех субъектах РФ, и только за 2012 календарный год с ее использованием обработаны результаты более 300 000 тестов.
Эти и многие другие показатели и результаты дают основания предполагать, что по уровню технологического обеспечения региональной практики мониторинговых исследований Томская область входит в лидирующую группу субъектов Российской Федерации.
К приоритетным направлениям ресурсного обеспечения региональной системы оценки качества образования относятся и конкретные направления деятельности ЦОКО по обеспечению достоверности результатов мониторинговых исследований и их интерпретации с учетом конкретных информационных потребностей органов управления образованием, работников образования, родительской общественности и всех других заинтересованных лиц.
В настоящее время эта работа проводится совместно Департаментом общего образования Томской области и ЦОКО при поддержке Федерального государственного научного учреждения «Институт управления образованием» Российской академии образования. Организационной основой этих работ является соглашение, заключенное на период до 2016 года, о совместной реализации экспериментального исследования по теме «Развитие региональной системы мониторинговых исследований в целях информационного обеспечения управления образованием на различных его уровнях».
В рамках программы эксперимента предусматриваются задачи по интеграции механизмов образовательной статистики с новыми информацион-
ными базами данных, формируемыми на основе мониторинговых исследований, в том числе и исследований социологического характера [2]. В целом эта программа ориентирована на существенное повышение культуры педагогических измерений и в практике работы школ, и в практике управления образованием, и в практике методического обеспечения инновационной деятельности в сфере образования.
Важный аспект программы — проявление и нормативное закрепление управленческого заказа на мониторинговые исследования и соответствующая модернизация информационной базы управления образованием в условиях высокой нестабильности образовательных процессов. При этом особое внимание в ходе эксперимента будет уделяться специфике конкретного заказа общеобразовательных учреждений, ориентированных на расширенное внедрение моделей внутришкольного, внутриклассного и внутригруппового оценивания текущих и рубежных результатов образовательной деятельности.
СПИСОК ЛИТЕРАТУРЫ
1) Болотов, В.А. Условия использования результатов оценки учебных достижений школьников / В. А. Болотов, И. А. Вальдман. — Проблемы современного образования: электронный журнал [Электронный ресурс].— 2012. — № 4.— Режим доступа: http://www.pmedu.ru, свободный.
2) Учёт контекстной информации при оценке качества работы школы / М. А. Пинская, С. Г. Косарецкий, Н. С. Крутий // Народное образование. — 2012,- №5.-С. 31-35.
3) Государственная программа Российской Федерации «Развитие образования» на 2013-2020 годы: приложение к распоряжению Правительства РФ от 22.11. 2012 № 2148-р // СПС «Консультант» [Электронный ресурс]. — Режимдоступа: http://www.consultant.ru.
ЕВРАЗИЙСКАЯ АССОЦИАЦИЯ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ
Е А О К О
