CC BY
27
УДК 371.27; 37.014
СОВЕРШЕНСТВОВАНИЕ ОРГАНИЗАЦИИ ПРОЦЕДУР ВНЕШНЕЙ ОЦЕНКИ ДЕЯТЕЛЬНОСТИ ОБЩЕОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЙ В СООТВЕТСТВИИ С ТРЕБОВАНИЯМИ ПРОГРАММНЫХ ФЕДЕРАЛЬНЫХ ДОКУМЕНТОВ ПО ВОПРОСАМ МОДЕРНИЗАЦИИ СФЕРЫ
ОБРАЗОВАНИЯ. ЧАСТЬ 2.
Климин С.В., к.п.н., ФГНУ «Институт управления образованием РАО», Москва. Россия Email: [email protected]
Аннотация. Актуальность определения научно-методических оснований для совершенствования организации процедур внешней оценки деятельности учреждений общего образования обусловлена современными общественными потребностями в модернизации образовательной сферы, отраженными в программных федеральных документах по модернизации сферы образования. В статье анализируются условия, при которых эта оценка станет независимой оценкой развития компетенций и способностей в школе.
Ключевые слова: учреждения общего образования, внешняя оценка деятельности, организация процедур оценки, модернизация сферы образования, программные федеральные документы
ORGANIZATION IMPROVEMENT OF AN EXTERNAL ASSESSMENT
OF ACTIVITY OF SCHOOLS ACCORDING TO REQUIREMENTS OF DIRECTING FEDERAL DOCUMENTS CONCERNING EDUCATION
MODERNIZATION. PART 2.
Klimin S.V., Ph.D., FSSI "Institute of Management Education" RAE, Moscow. Russia E:mail: [email protected]
Abstract. Modern public needs for modernization of education cause relevance of the finding of the fundamental scientific bases for an improvement of organization of estimated procedures when carrying out an external assessment of activity of establishments of the general education. These needs are reflected in directing federal documents concerning education modernization. In the article conditions under which this assessment becomes an independent assessment of development of competences and abilities at school are analyzed. Keywords: establishments of the general education, external assessment of activity, organization of estimated procedures, modernization of the educational sphere, directing federal documents.
2. Условия совершенствования методического обеспечения внешней оценки качества в целом образовательной деятельности учреждений общего образования.
Проведенный нами анализ федеральных нормативных документов, научно-педагогической литературы по вопросам процедур внешней оценки деятельности учреждений общего образования, а также анализ опыта работы передовых, ориентированных на разработку и внедрение соответствующих инноваций, научных
коллективов и органов управления образованием в области научно-методического обеспечения процедур внешней оценки деятельности данных учреждений (данный опыт отражен в ряде работ, в частности, см. в прилагаемом списке литературы: С.В.Климин с соавт., 1996, 2004-2009; методические рекомендации по вопросам экспертизы деятельности учреждений общего образования, утвержденные аккредитационной коллегией Федеральной службы по надзору в сфере образования и науки от 9.11.2006), позволили определить следующие наиболее принципиальные требования, которым должны удовлетворять организационно-методические системы оценки (технологии оценки) деятельности учреждений общего образования:
1) применение таких систем должно обеспечивать возможность проведения массовой оценки качества деятельности учреждений общего образования (с целью государственной и общественной аккредитации образовательных учреждений различных типов и видов, государственного контроля качества образования в форме плановых проверок работы данных учреждений, их внешнего мониторинга и независимого педагогического аудита);
2) применение данных систем должно обеспечивать достоверность (объективность и точность) оценки;
3) их применение должно обеспечивать необходимую и, одновременно, минимально достаточную для принятия соответствующих всесторонне взвешенных решений полноту данных оценки;
4) применение таких систем должно обеспечивать минимизацию финансовых и временных затрат на проведение экспертиз и подготовки итоговых документов;
5) применение таких систем не должно требовать использования специальных технических средств того уровня сложности, который не является общедоступным сегодня в сфере общего образования.
Анализ указанных источников и применение специальных методов исследования (квалиметрическое обоснование содержания - показателей и методических средств оценки качества деятельности учреждений общего образования; конструирование основ систем организации оценки качества их деятельности; экспериментальная апробация образцов показателей, методических средств и основ систем организации этой оценки) также позволили установить, что особенности эффективных средств оценки определяются их соответствием содержанию оценки и выполнением следующих условий:
1) соответствие тpебованиям соответствующих ноpмативно-пpавовых документов;
2) соответствие научно-методическим требованиям к средствам объективной и точной оценки (диагностики) содержания и результатов человеческой деятельности (методикам оценки, их системам, поддерживающим их компьютерным и иным средствам);
3) соответствие требованиям практики применения данных средств.
Особенности эффективных средств такой формы внешней оценки, как
мониторинг качества деятельности УОО, определяются также видами мониторинга, обусловливающими специфику методического обеспечения и процедурную организацию оценки:
а) мониторинг как обобщающий анализ результатов аттестаций учащихся различных видов;
б) мониторинг как обобщающий анализ данных, собранных по итогам аккредитационной оценки образовательных учреждений (оценка характеристик качества подготовки, определяемых государственными образовательными стандартами, но наиболее достоверно оцениваемыми в отношении не каждого отдельного учащегося, а их группы в целом: в частности, осознанность и прочность усвоения учебного материала, обеспечение формирования общеучебных умений, навыков по применению знаний и др.);
в) "собственно мониторинг" (оценка характеристик, выходящих за пределы прерогатив государственной аккредитации образовательных учреждений, но имеющих социально важное значение и находящихся под существенным влиянием образовательной деятельности: обеспечение освоения учащимися, в соответствии с содержанием образовательных программ, основных обобщенных социально-нравственных, общеинтеллектуальных и общекультурных понятий на эмоциональном и деятельностном уровне формирования системы отношений личности к социально значимым ценностям, обеспечение сформированности у учащихся основных компонентов общих способностей, а также определенных специальных способностей -в соответствии с профилем конкретного образовательного учреждения).
При определении требований к эффективным методическим средствам внешней оценки качества деятельности УОО также необходимо обратить внимание на то, что, в отличие от большинства других стран с уровнем развития системы образования, аналогичным нашему, в России до сих пор в основном оценка формирования тех или иных новообразований личности учащихся все еще базируется на личных мнениях, выводах конкретных преподавателей.
Говоря научным языком, в нашей педагогической практике обычно используются "традиционные методы оценки": наблюдение, беседа, изучение документации и продуктов деятельности, педагогический консилиум, экспертная оценка. Перечисленные методы, лежащие в основе "традиционного экзамена", можно отнести к субъективным, т.к. они базируются на личных оценках одного или нескольких человек. Эти методы позволяют гибко подходить к оценке достижений ученика, его развития в ходе учебно-воспитательного процесса, учитывать влияние на них различных факторов, но оценка с помощью данных методов чревата именно субъективизмом.
При этом субъективные методы не всегда эффективны с точки .зрения затрат времени и ресурсов, так как зачастую для точного определения действительных знаний учащегося и его умений по их практическому применению большинству педагогов требуется немало душевных сил и много месяцев "проб и ошибок".
Однако современной наукой разработаны и объективные методы оценки развития личности. Их главное достоинство - в обеспечении именно объективности оценки. Игнорирование этих методов, ограничение оценивания методами субъективными не дает достаточно достоверной картины состояния развития учащихся, так как результаты, получаемые в этом случае, основываются лишь на личных оценках педагогов, следовательно, неизбежно носят печать субъективности. Изменить такое положение может помочь правильное использование объективных методов оценки. Суть этих методов сводится к тому, что всем учащимся предлагаются схожие наборы заданий (тестируемые находятся в равных условиях), при этом задания научно обоснованы и апробированы в отношении их способности точно оценивать соответствующие параметры.
В случае, когда методики оценки (например, тесты) тщательно научно отработаны - до такой степени, что можно установить точность оценивания в процентах (эта точность должна быть, в зависимости от преследуемых задач оценивания, не менее 70-90 %), говорят об " измерении" свойств психики.
1. Субъективные методы: наблюдение, экспертная оценка, беседа, анализ документации и продуктов деятельности (личных дел, медкарт, дневников, сочинений и т.п.), анкетирование. Их объективность несколько повышается при четкой, целенаправленной систематической работе, объективной фиксации информации в протоколе обследования.
2. Объективные методы (тесты в широком смысле).
В своем профессиональном значении, используемом специалистами, занимающимися разработкой методик оценки личности и человеческой деятельности, тест - это средство объективной и количественно точной оценки конкретных параметров (личности, человеческой деятельности и т.п.), состоящее из ряда компонентов.
Компонентами теста в таком его понимании являются:
1) инструкция по выполнению теста оцениваемым лицом;
2) стимульный материал - в широком смысле (вопросы, утверждения, задания, которые оцениваемому лицу предлагается выполнить);
3) "ключи" обработки результатов оценки (алгоритм подсчета результата по каждому параметру оценки в зависимости от определенных ответов или определенного выполнения заданий оцениваемым лицом);
4) схема интерпретации результатов оценки (алгоритм анализа обработанных результатов в соответствии с их социальной нормой, "весовым" коэффициентом каждого параметра, формированием необходимых практических выводов и рекомендаций);
5) норма оценки для каждого параметра (устанавливается с помощью специальных методов анализа соответствующих экспериментальных данных);
6)"весовой" коэффициент для каждого параметра (значимость параметра в оцениваемой деятельности в целом);
7) данные стандартизации (специальные - психометрические - характеристики качества теста, установленные по итогам проверки теста, основными из таких характеристик являются валидность и надежность).
Обобщая требования к эффективным методическим средствам объективной оценки образовательной деятельности целостного образовательного учреждения, в рамках настоящего исследования удалось определить следующие основные требования к методическому обеспечению внешней оценки качества деятельности УОО.
К основным принципам разработки и использования измерительных материалов как в образовании в целом, так и в области независимого, внешнего оценивания качества работы общеобразовательных учреждений, целесообразно, по данным проведенного нами анализа соответствующих источников, отнести следующие принципы:
- необходимость учета общеупотребимых сегодня в науке характеристик качества "измерителей", основные из которых называются "валидностью" и "надежностью". Валидность "измерителя" - это его способность оценивать именно то
свойство психики, для которого он используется. Надежность - это способность "измерителя" количественно точно оценивать соответствующее свойство;
- необходимость учета того, что каждый тест (или другой контрольный измерительный материал) проверяется на определенной группе людей ("выборке"), следовательно, ориентирован на ее "аналоги".
- необходимость комплексного подхода к оценке результата "измерения", поскольку данный результат - следствие взаимодействия среды (школы, семьи и других общественных институтов) с характером, знаниями, способностями, мотивациями и состоянием учащегося в данный конкретный момент.
К основным правилам, которые необходимо соблюдать при разработке и использовании измерительных материалов как в образовании в целом, так и в области независимого, внешнего оценивания качества работы общеобразовательных учреждений, следует отнести следующие правила:
- для получения наиболее достоверных выводов по итогам оценки необходимо разумное дополнение информации, полученной с помощью объективных методов оценки, информацией, получаемой с помощью научно обоснованных субъективных методов оценки;
- только корректное, уважительное отношение к оцениваемому лицу гарантирует от превышения допустимой погрешности измерения.
Проведенный нами анализ в отношении решения вопросов процедуры оценки ("как оценивать") с учетом рассмотренных требований к методическому обеспечению внешней оценки качества деятельности УОО показал, что в практике уже существуют апробированные средства оценки (методики, программное обеспечение и др.) и алгоритмы их применения, которые обеспечивают достаточно валидную и надежную оценку указанных в предыдущем разделе показателей качества деятельности учреждений общего образования, отражающих результативность обеспечения этой деятельностью личностного развития обучающихся.
Как один из примеров в этом отношении может быть приведен опыт нашего научного коллектива (руководитель - С.В. Климин): в первую очередь в данном отношении целесообразно использовать опыт коллектива по созданию технологий аттестационной и аккредитационной оценки, обеспечивающих всестороннюю и объективную оценку содержания и результатов обучения и воспитания в ОУ - с помощью одной из таких технологий ("КАС ДОУ - Аттестация (Новая версия)") в период с 1997 г. по 2010 г. обеспечена массовая аккредитация школ, гимназий и лицеев в более чем 30 субъектах РФ.
В связи с обсуждающимися сегодня возможностями использования КИМов ЕГЭ для проведения государственной аккредитации образовательных учреждений нами проведено сравнение возможностей полного обследования уровня обученности выпускников общеобразовательных учреждений при их государственной аккредитации либо с помощью тестовых заданий ЕГЭ и его данных в 100-балльной шкале, либо с помощью специализированных тестовых заданий (специально разработанных для аккредитационной экспертизы качества подготовки выпускников). Данное сравнение показало следующее.
Построение обследования общеобразовательных учреждений (далее - ОУ) при их аккредитации на основе тестовых заданий ЕГЭ возможно было бы только в случае четкого указания степени соответствия разных заданий КИМов ЕГЭ по каждому учебному предмету Обязательному минимуму содержания среднего (полного) общего образования, поскольку задачей государственной аккредитации ОУ является установление соответствия подготовки выпускников требованиям только госстандарта Как показывают полученные в результате проведенного анализа выводы, содержание многих заданий ЕГЭ в различной степени выходит за пределы Обязательного минимума содержания среднего (полного) общего образования. Это обусловлено различием задач ЕГЭ и аккредитации ОУ: в отличие от указанной выше задачи государственной аккредитации ОУ, основной задачей КИМов ЕГЭ является сравнение выпускников между собой по уровню их подготовки -вследствие направленности заданий ЕГЭ не только на итоговую аттестацию выпускников III ступени, но и на отбор для поступления в вузы. В связи с этим, а также в связи с направленностью КИМов ЕГЭ именно на индивидуальную оценку критерием качества заданий ЕГЭ является в том числе выровненность заданий каждой части теста ("А", "В", "С") по статистической трудности (в отличие от этого, основным критерием качества заданий оценки целых образовательных учреждений является полное соответствие и ограничивание содержания этих заданий рамками Обязательного минимума содержания образования соответствующей ступени).
Поскольку перед разработчиками заданий ЕГЭ стоят задачи, принципиально отличающиеся от задач оценки при аккредитации ОУ, в отношении данных заданий проведенный анализ позволил получить следующие основные выводы, актуальные для вопроса изучения возможности использования этих заданий при проведении аккредитации:
1) указанные выше особенности КИМов ЕГЭ, проанализированные в аспекте задач государственной аккредитации ОУ, делают абсолютно необходимым сохранение
такого инструмента аккредитационной экспертизы, как специальное тестирование ОУ с целью аккредитации ОУ;
2) вследствие же множественности таких особенностей, затрудняющих использование заданий ЕГЭ для полного обеспечения оценки уровня обученности при экспертизе качества подготовки выпускников с целью государственной аккредитации ОУ, целесообразна не столько переработка заданий ЕГЭ для целей аккредитации, сколько разработка заданий специально для аккредитационной экспертизы.
3. Условия совершенствования организационных систем внешней оценки деятельности учреждений общего образования в соответствии с современными задачами модернизации образовательной сферы.
Для того чтобы обеспечить качество (точность, информационные полноту и
значимость) внешней оценки образовательной деятельности УОО, помимо соблюдения вышеуказанных профессиональных требований к содержанию и средствам оценки, необходимо обеспечить также соблюдение нормативно-методических требований к организационно-ресурсным условиям эффективного проведения данной оценки.
Для того, чтобы раскрыть основные позиции в вопросе, которому посвящен данный раздел, вероятно, достаточно удобным будет приведение главных требований к структурно-функциональной организации и необходимому ресурсному и иному обеспечению органов проведения оценки (ОПО) и потребителей итогов оценки, например, аккредитационных комиссий (АК). Данные требования определены на основе анализа совокупности государственных нормативных документов применительно к практике использования указанной выше технологии.
Структурно-функциональная организация ОПО, равно как и АК, должна включать и государственную, и общественную составляющие. Государственная составляющая определяется тем, что ОПО должны быть независимыми от органов управления образованием, но - государственными, т.е. должны являться подразделениями органов государственной власти. Общественная составляющая определяется формированием АК из представителей как государства, так и общественности. ОПО и АК должны подразделяться на три уровня - федерации, субъектов РФ и органов местного самоуправления.
Касаясь вопроса о взаимодействии ОПО и АК с другими заинтересованными организациями, в ограниченных пределах настоящей работы остается лишь обратить внимание на следующие выводы, полученные нами в результате анализа практики государственной аккредитации и мониторинга ОУ в России, в том числе - практики применения указанной выше технологии.
Для реального разворачивания в России качественно осуществляемых и проводимых в массовом порядке форм внешней оценки качества деятельности УОО невозможно обойтись без того, чтобы было зафиксировано разделение функций, с одной стороны, организаций, отвечающих за весь цикл оценки, т.е. - ОПО и АК, и, с другой стороны - научных коллективов, разрабатывающих методическое обеспечение оценки, поскольку в противном случае ОПО и АК должны будут, вопреки реальным возможностям, попытаться стать научно-учебными институтами, к тому же -собравшими у себя лучших специалистов из разных институтов системы Минобрнауки России и РАО, работающих в различных областях образовательной диагностики и принадлежащих к разным научным школам - с тем, чтобы государственная проверка целой сети образовательных учреждений не стала зависимой от какого-либо одного научного течения, с которым многие другие будут обязательно в чем-то не согласны.
При этом необходимо добавить: бесспорно, что научно-методические вопросы такой оценки должны решаться с обязательным активным участием специалистов в области диагностики результатов деятельности образовательных учреждений (или в смежных областях образовательной диагностики), в соответствии с принятой в стране и за рубежом практикой, имеющих определенное количество публикаций и являющихся непосредственными авторами определенного количества диагностических средств. Непосредственное проведение оценки может осуществляться только теми специалистами, которые, как минимум, прошли специальное повышение квалификации, что является очевидным с точки зрения обеспечения корректности использования соответствующих диагностических средств.
Кроме этого, при ОПО должен существовать какой-либо компактный специализированный научно-методический орган (например, Центр), пользующийся правом контроля корректности применения соответствующих технологий.
Список литературы
1. Климин С.В., Летягин А.А., Куликова Т.Г. Организация мониторинга воспитательного процесса в образовательных учреждениях: оценка результатов воспитательного компонента образовательной деятельности (методические рекомендации) / Под ред. С.В. Климина. - М., 2004
2. Климин С.В. Содержание и методы объективной оценки формирования социальной компетентности в воспитании школьников-подростков // Мир психологии, № 3, 2008
3. Климин С.В. Проблемная ситуация в оценке результатов учебно-воспитательного процесса // Сб. науч. трудов ГосНИИ семьи и воспитания РАО, 2003
