CC BY
17
УДК 371.26; 37.012
НАУЧНО-ТЕОРЕТИЧЕСКИЕ ОСНОВЫ СОВЕРШЕНСТВОВАНИЯ МЕТОДОВ И ТЕХНОЛОГИЙ ВНЕШНЕЙ ОЦЕНКИ КАЧЕСТВА РАБОТЫ УЧРЕЖДЕНИЙ ОБЩЕГО ОБРАЗОВАНИЯ В СООТВЕТСТВИИ С ТРЕБОВАНИЯМИ ФГОС
Климин С.В., к.п.н., Институт управления образованием РАО, Москва. Россия Email: [email protected]
Аннотация. В статье обоснованы оптимальные для различных видов внешней оценки качества работы учреждений общего образования методы организации и проведения этой оценки. Описан подход к совершенствованию методов этой оценки, в соответствии с которым главным условием такого совершенствования является использование специальных технологий оценки - систем методического обеспечения оценки. Определены требования к этим технологиям как средствам объективной, комплексной и автоматизированной оценки деятельности школ.
Ключевые слова: методы организации и проведения оценки, технология оценки, информационная эффективность, качество оценки, валидность и надежность тестов, объективная оценка, стандартизация тестов, ФГОС.
IMPROVEMENT OF METHODS AND TECHNOLOGIES OF AN EXTERNAL ASSESSMENT OF QUALITY OF WORK ESTABLISHMENTS OF THE GENERAL EDUCATION ACCORDING TO REQUIREMENTS OF THE FEDERAL STATE EDUCATIONAL STANDARDS (FSES): SCIENTIFIC-THEORETICAL BASES.
Klimin S.V., Ph.D., Institute of management education of RAE, Moscow. Russia E:mail: [email protected]
Abstract. In the article are proved optimum for different types of the external assessment of quality of work of establishments of the general education methods of the organization and carrying out this assessment. This article describes the approach to improvement of methods of this assessment according to which the main condition of such improvement is use of special technologies of an assessment - systems of methodical providing the assessment. Requirements to these technologies as to means of the objective, complex and automated assessment of activity of schools are defined.
Keywords: methods of the organization and carrying out assessment, technology of an assessment, information efficiency, quality of an assessment, validity and reliability of tests, objective assessment, standardization of tests, FSES.
Описанное в статье автора в предыдущем номере журнала новое, соответствующее современным общественным потребностям, выраженным в федеральных нормативных документах в области общего образования, содержание (система показателей и критериев) внешней оценки качества работы учреждений общего образования (учреждений, реализующих общеобразовательные программы различных уровней и направленностей, далее - ОУ) требует создания отвечающего задаче объективного, точного, практически эффективного оценивания данного содержания методического обеспечения этой оценки (оптимальных методов организации и проведения внешней оценки деятельности ОУ в рамках различных ее
видов - государственной и общественной аккредитации ОУ различных типов, государственного контроля качества образования в форме плановых проверок работы данных учреждений, их внешнего мониторинга и независимого педагогического аудита - а также реализующих эти методы образцов конкретных методик оценки).
В соответствии с этим, в рамках выполненного нами (С.В. Климин, А.А. Летягин, Т.Г. Климина) исследования, проведенного в Институте управления образованием РАО в 2012 г., в первую очередь решалась задача научно-теоретического обоснования таких методов. Проведенный исходя из этого анализ нормативных документов и научно-педагогической литературы по теме исследования, опыта работы научных коллективов и органов управления образованием в исследуемой области (в том числе - опыта оптимизации процедур внешней оценки качества деятельности ОУ с помощью автоматизированной технологии комплексной и объективной оценки, материалы которой рекомендованы решением Аккредитационной коллегии Рособрнадзора от 9. 11. 2006. для проведении аккредитационных экспертиз органами управления образованием, основанной на компонентах технологии "КАС ДОУ -Аттестация (Новая Версия)", разработанной межрегиональным научным коллективом под руководством С.В. Климина), сопровожденный квалиметрическим обоснованием методических средств оценки качества деятельности общеобразовательных организаций и экспериментальной апробацией этих методических средств, позволили получить следующие выводы по данной проблеме.
В результате проведенного исследования в качестве ключевой научно-методической основы для совершенствования методического обеспечения указанной оценки в данном исследовании обоснована необходимость удовлетворения следующих требований к совокупности методов и реализующих их конкретных методик оценки - с тем, чтобы обеспечить прочную научную основу для широкого применения в сфере образования усовершенствованных эффективных систем методического обеспечения (технологий) внешней оценки качества деятельности ОУ в современных условиях (см.: С.В. Климин с соавт., 1996, 2004-2009; а также методические рекомендации по вопросам экспертизы деятельности учреждений общего образования, утвержденные аккредитационной коллегией Рособрнадзора от 9.11.2006): их применение (в рамках процедур государственной и общественной аккредитации ОУ различных типов, контроля качества образования в форме плановых проверок работы данных учреждений, их внешнего мониторинга и независимого педагогического аудита) должно обеспечивать решение «проблемы массовой внешней оценки качества деятельности учреждений общего образования», т.е. обеспечивать:
1) необходимую и, одновременно, минимально достаточную для принятия соответствующих всесторонне взвешенных решений полноту данных оценки (что обеспечивается возможностью оценивать с помощью названного методического обеспечения оценивания всех показателей и критериев, отражающих новое, соответствующее современным общественным потребностям, выраженным в федеральных нормативных документах в области общего образования, содержание внешней оценки качества работы общеобразовательных организаций);
2) достоверность (объективность и точность) данной оценки;
3) возможность проведения массовой оценки качества деятельности ОУ с минимизацией финансовых и временных затрат на проведение экспертиз и подготовки итоговых документов (что выдвигает, в свою очередь, требование обеспечения существенно повышенного, по сравнению с имеющейся практикой оценки качества работы ОУ, «информационного КПД» оценки, осуществляемой с помощью соответствующего методического обеспечения);
4) корректную (полностью соответствующую своему назначению) реализуемость соответствующих средств (методик, средств организационного и информационно-компьютерного обеспечения применения методик) оценки в имеющейся сегодня реальной практике кадрового и иного оснащения различных видов внешней оценки качества деятельности ОУ, а именно:
а) применимость в этой практике данных средств, в первую очередь -практическую возможность не требовать использования специальных технических средств того уровня сложности, который не является общедоступным сегодня в сфере общего образования, и возможность, не снижая качество проведения оценки на всех ее этапах от организации оценки до анализа ее результатов, не предъявлять к работникам, организующим и проводящим оценку на практике, требования к их квалификации в области сложных специальных умений (умения психологически квалифицированно интерпретировать результаты обследования учащихся и другие т.п. умения);
б) практическую применимость данных оценки органом, проводящим оценку, для принятия всесторонне взвешенных решений по итогам проведения оценки, а также - образовательным учреждением и его учредителем для объективного выявления приоритетных направлений совершенствования деятельности образовательного учреждения.
Как показал проведенный нами анализ, решение названной проблемы определяется, в первую очередь, одновременным выполнением следующих трех условий:
1) максимально возможная алгоритмизированность и, следовательно, автоматизированность процедур оценки;
2) максимально возможная системная взаимосвязанность элементов в технологии как в целостной системе оценки (в частности, взаимосвязанность используемых методик объективной оценки по их содержательным направленностям, что является основой для реализации принципа максимально возможного «информационного КПД» оценки);
3) полное соответствие используемых методик объективной оценки, а также оцениваемых с их помощью критериев, основным «нормативным» - общепринятым (независимо от применяемых теорий измерения) в профессиональном сообществе специалистов в области психометрии (области научного знания об объективных личностных оценках - измерениях) - требованиям к качеству используемых методик оценки (основными из которых являются, учитывая специфику объекта оценки -целостное ОУ или его целостная часть, содержательная валидность и надежность названных методик).
При этом проведенный в ходе нашего исследования анализ названного выше опыта регионов позволил установить отсутствие исключений из правила, суть которого заключается в том, что с помощью «традиционных» средств и подходов к внешней оценке качества работы ОУ (основанных на субъективных методах оценки - различных видах прямой оценки характеристик данного качества экспертами как конкретными лицами-«оценщиками», на ограничивании содержания и, следовательно, методов объективной оценки оценкой только частнопредметных знаний и на игнорировании либо малом использовании средств автоматизации), без использования наукоемких автоматизированных технологий объективной и комплексной оценки, успешно прошедших компетентную экспертизу на федеральном уровне и обеспечивающих оперативный учет особенностей и потребностей системы образования конкретного региона, не представляется возможным обеспечить эффективное решение «проблемы массовой внешней оценки качества деятельности учреждений общего образования», т. е. обеспечить проведение этой оценки в отношении большого количества ОУ в сжатые сроки, с обеспечением необходимого качества оценки (получение валидной, надежной и практически применимой информации по широкому кругу значимых критериев), при ограниченности ресурсов (финансовых, материально-технических, кадровых) для осуществления такой оценки в большинстве регионов России.
Учитывая постулированную совокупностью соответствующих федеральных нормативных документов (в частности, Национальной образовательной инициативой «Наша новая школа», Национальной образовательной инициативой «Наша новая школа», утвержденной Правительством Российской Федерации Государственной программой Российской Федерации «Развитие образования» на 2013-2020 годы и др.) необходимость совершенствования оценки качества работы ОУ на основе развития механизмов, в первую очередь, независимой оценки, приоритетными на современном этапе развития внешней оценки этого качества выступают такие методы организации, научно-методического обеспечения и информационно-методического сопровождения оценки, которые предполагают проведение уполномоченным региональным органом или подведомственной ему организацией внешней оценки качества деятельности ОУ с привлечением к ее научно-методическому обеспечению, на основе договоров, специализированных компетентных научных учреждений или компетентных общественно-профессиональных ассоциаций, являющихся административно независимыми от данного органа.
В применении к государственной аккредитации ОУ это соответствует нормам, установленным для обеспечения именно независимости аккредитационной оценки -в соответствии с п. 2.2.3. ("Независимость") действующего Постановления Госстандарта России «Об утверждении "Общих правил по проведению аккредитации в Российской Федерации"».
Форма и процедура обследования деятельности ОУ и анализа его результатов определяются применяемой для этого технологией оценки. Такая технология должна отвечать, как показывает анализ опыта проведения контроля качества деятельности ОУ в регионах РФ и на федеральном уровне, ряду следующих основных требований (примером в данном отношении также служит указанная выше технология, далее - Технология). Она должна определяться составом перечня
критериев оценки ОУ определенного типа с учетом направленности реализуемых программ (например, общеобразовательных школ), т.е. перечнем параметров оценки (формулировок, описывающих содержание каждого конкретного критерия).
Технология (система измерителей, процедур и средств организационно-технического обеспечения оценки и анализа ее результатов) основана на приоритетном использовании методов достоверной (объективной и точной) оценки комплекса показателей и входящих в их состав критериев, проводимой с помощью прошедших соответствующие процедуры стандартизации и компетентной экспертизы специализированных тестовых заданий (измерителей), информационно-компьютерных
средств обеспечения сбора, обработки и анализа данных обследования, организационных (инструктивно-методических) средств и процедур, объединенных в систему и предназначенную, в том числе, для массовой внешней оценки (того или иного вида) качества работы ОУ с использованием наличных ресурсов органа, осуществляющего данную оценку, в установленные нормативными актами для проведения такой оценки или (если такие сроки для данного вида оценки не установлены) в максимально сжатые сроки, с обеспечением комплексности (полноты и значимости) информации, получаемой по итогам оценки. Конкретные измерители (тесты, стандартизированные анкеты) как средства оценивания и являющиеся частью процедур их применения средства анализа результатов оценки, проводимой с помощью этих измерителей (включая те, которые реализованы с применением компьютерных программ), в соответствии с этим следует относить к
частным методикам, являющимся неотъемлемыми частями целостной технологии.
При организации внешней оценки деятельности ОУ органами ее проведения необходимо (независимо от наличия, отсутствия или степени автоматизированности формы реализации используемой технологии оценки) руководствоваться следующими требованиями к процедуре оценки, определяемой средствами (включая тестовые задания) и способами (особенностями процедурных действий, выраженных в их установленном алгоритме) проведения оценки (в качестве примера реализации данных требований на практике также может рассматриваться указанная выше Технология) -специализированные тестовые задания и стандартизированные анкеты, утверждаемые (рекомендуемые) органом управления или контроля соответствующего уровня, должны соответствовать следующим основным психометрическим требованиям, учитывающим специфику объекта оценки (целостное образовательное учреждение или его целостная часть - ступень образования, возрастная параллель, др.).
1. Процедура должна определяться комплексом средств оценки (методик оценки, компьютерных программ обработки данных, инструктивных и сопроводительных материалов) и документально зафиксированным алгоритмом применения данного комплекса штатными и привлеченными работниками органа или учреждения, проводящего оценку.
2. Данный комплекс и данный алгоритм должны быть унифицированными (в основном постоянными в течение учебного года и лишь частично изменяемыми с учетом особенностей программ, реализуемых данным конкретным ОУ).
3. Должна соблюдаться четкость отделения элементов средств оценки (вопросов анкет, заданий тестов и т.п.) от формулировок критериев оценки, получение данных по которым обеспечивается с помощью указанных средств.
4. Должно быть осуществлено четкое разделение (с соответствующим описанием) процедуры оценки на следующие компоненты: субъекты оценки (кто проводит оценку по данному показателю), объект оценки (кто или что подвергается оценке), предмет оценки (какие составные части объекта оцениваются), способ оценки (каков методический характер оценочных действий), средство оценки (конкретная методика оценивания (или ее часть) по каждому критерию оценки).
5. Процедура оценки должна иметь своей целью оценивание всего комплекса значимых для установленного вида внешней оценки качества деятельности ОУ характеристик содержания и/или условий и/или результатов образовательной деятельности именно ОУ в целом либо соответствующей задачам конкретного вида оценки той или иной целостной части ОУ (ступени общего образования, возрастной параллели, целостной группы «проблемных учащихся» определенного возраста и т.п.).
6. Совокупность средств оценки должна характеризоваться своей системной взаимосвязанностью, обеспечивающей объединение данных средств в единый комплекс (технологию оценки как целостную систему) с целью создания необходимых научно-методических условий для получения достаточного объема значимой информации с минимумом затрат времени, ресурсов и для обеспечения объективности анализа данных при подготовке по итогам оценки заключения и рекомендаций по совершенствованию деятельности ОУ.
7. Должно реально обеспечиваться проведение внешней оценки установленного вида, одновременно, в отношении большого (определяемого массовостью оценки) количества ОУ, в сжатые сроки, при имеющемся объеме ресурсов (кадровых, финансовых, материально-технических, информационно-методических) и при сохранении качества получаемой в ходе оценки информации, которое определяется следующими характеристиками: 1) достоверность информации (максимально возможная объективность - независимость информации от мнений конкретных лиц-«оценщиков», количественная или вербальная точность информации и соответствие ее состава декларированным содержательным формулировкам критериев оценки, что, в свою очередь, обусловлено, прежде всего, надежностью и содержательной валидностью применяемых стандартизированных методик оценки); 2) полнота значимой для установленного вида внешней оценки информации, достаточная для обоснованного принятия соответствующих решений по итогам проведения оценки
уполномоченным органом или комиссией (коллегией); 3) практическая применимость информации органом, проводящим оценку и самим образовательным учреждением.
8. Параметры «цены» затрат времени и сил ОУ на участие во внешних оценках качества своей деятельности должны определяться примерными параметрами оптимизации таких затрат, реализованными в указанной выше Технологии -проведение тестирования в рамках соответствующей технологии заключается только в однократном обследовании ОУ 1 раз в 3 года продолжительностью 2 дня по 2-3 часа в день для репрезентативной в отношении конкретных задач проводимой оценки выборки учащихся выпускных или иных классов, что не создает практических проблем для ОУ, приводящих к нарушениям хода текущего учебно-воспитательного процесса (чаще всего не требуется замен в расписании занятий), и что является особенно актуальным сегодня, учитывая тенденцию постоянного увеличения объема разнонаправленных оценок работы ОУ в регионах и может создать преимущества для российской системы общего образования в сравнении с практикой проведения различных экспертиз и контрольно-оценочных мероприятий в ряде зарубежных стран (США, Великобритания и др.).
9. Технология должна обладать механизмом учета специфических для региона условий и требований к результатам деятельности ОУ. При этом она должна быть единой для всех видов внешней оценки качества деятельности ОУ, но гибкой, учитывающей специфику каждого из этих видов (что достигается на основе использования блочного принципа построения технологии), в соответствии с чем она должна быть предназначена как для видов внешней оценки деятельности ОУ, в отношении которых в регионе стоит задача налаживания массовой оценки ОУ с помощью эффективной технологии (общественная аккредитация, различные направления обязательного государственного мониторинга), так и для видов внешней оценки деятельности ОУ, в отношении которых в регионе стоит задача оптимизировать применяемую технологию оценки (государственная аккредитация ОУ).
10. Технология должна предусматривать ее применение как силами работников уровня субъекта РФ, так и с привлечением работников муниципального уровня - с тем, чтобы она могла быть применена как при проведении оценок, для которых привлекается специализированный региональный центр с необходимым количеством штатных и привлеченных работников, так и при проведении оценок, не оснащенных такими значительными ресурсами (когда проведение оценки обеспечивается 1-2 сотрудниками, располагающими 1-2 ЭВМ и небольшим количеством экспертов).
11. В качестве условия закрепления схемы организации работы, обеспечивающей значительную (не менее чем в 2 раза - по сравнению с затратной, пока еще распространенной, схемой работы, не предполагающей использование наукоемкой технологии) экономию затрат на командировочные и транспортные расходы на основе определенных механизмов обеспечения взаимодействия регионального и муниципального уровней управления в рамках соответствующей технологии, в ней должны применяться специальные механизмы организации материалов технологии оценки и процедур их применения, препятствующие возможной фальсификации результатов оценки (соответствующая организация представления, обработки и анализа данных оценки, значительная многовариантность тестовых заданий и др.).
12. Применение средств оценки должно осуществляться на основе реализации принципов разумной гласности (ограниченной только рамками, определяемыми требованиями обеспечения установленных прав юридических и физических лиц на конфиденциальность, противодействием фальсификации результатов оценки и т.п. действиями, очевидно необходимыми для обеспечения достоверности данных оценки) и максимальной профессионально-педагогической корректности по отношения ко всем участникам процедуры оценки.
13. Применяемые методики оценки и алгоритмы обработки данных, как показал анализ успешного опыта применения указанной выше Технологии, должны быть построены с учетом особенностей оценки целостного ОУ. Так, должно учитываться, что достаточно (особенно - для задач, решаемых в рамках видов государственного контроля качества работы ОУ) валидная и надежная оценка обеспечения учреждением таких личностных результатов образования, как, например, «усвоение компонентов обучения, установленных требованиями к содержанию общего образования соответствующей ступени, значимых для формирования основ гражданско-патриотического сознания» возможна пока, в основном, в рамках процедуры оценки именно целостного ОУ (целостной ступени или иной целостной части ОУ), поскольку для большинства таких характеристик наукой сегодня не разработаны методические подходы, позволяющие получать достаточно точную и валидную индивидуальную оценку, в то время как оценка обеспечения определенных минимальных результатов образования деятельностью целостного ОУ (или оценка целой группы учащихся, представляющих ОУ), по указанным характеристикам возможна уже сегодня, т.к. это требует значительно меньшей "разрешающей способности" инструментария оценки. В соответствии с этим, совокупность заданий, используемых для оценки личностных результатов (или используемых для дополнительного, с целью оценки таких
результатов, анализа данных проведенной оценки результатов предметной обученности), по своему содержанию должна быть такой, чтобы быть направленной не на оценку каждого отдельного учащегося, а только на оценку того, достигнуты ли у определенной (нормативной) части учащихся конкретного ОУ минимальные приращения результатов развития их личности (при этом должны оцениваться только те результаты, которые отнесены нормативными актами к обязательной компетенции ОУ).
14. Вопрос об оцениваемости тех или иных результатов образовательной деятельности, выходящих за пределы учебных знаний, умений и навыков (общесоциальные знания, коммуникативные и иные общесоциальные умения, некоторые установленные ФГОС специальные способности, результаты освоения личностью духовных ценностей, определенных ФГОС как основные общепринятые в российском обществе, социально и личностно значимые), необходимо решать с учетом разделения наименее объективно оцениваемых из этих требований по трем уровням развития сознания и деятельности (рациональный, эмоциональный, действенный), поскольку: а) данные результаты, отражающие рациональный уровень, контролируемы как при индивидуальной (аттестация учащегося), так и при групповой (аккредитация ОУ и т.п.) оценках; б) данные результаты, отражающие действенный уровень, контролируемы при индивидуальной оценке (аттестации учащегося) лишь частично (в рамках текущего педагогического контроля очевидной несформированности у ряда учащихся основных из установленных ФГОС компетенций - устойчивых характеристик деятельности, определяющих готовность к выполнению той или иной социально и/или личностно значимой функции, роли с учетом возрастных возможностей) и в большей мере контролируемы при оценке целостного ОУ или его целостных частей; в) данные результаты, отражающие эмоциональный уровень, принципиально неконтролируемы при индивидуальной оценке (аттестация учащегося) и лишь в небольшой мере могут быть контролируемыми при групповой (аккредитация ОУ и т.п.) оценке.
Изучение вопроса о возможности проведения оценки тех из указанных результатов, которые контролируются сегодня в ряде случаев (на федеральном уровне и в отдельных регионах) только при государственной аккредитации и др. формах оценки целостных ОУ, или также (наряду с аттестацией учащегося) при оценке целостных ОУ, показало следующее.
1. Замена специализированного тестирования при аккредитации и др. формах оценки ОУ учетом данных ранее проведенных тестирований учащихся (при итоговой и
промежуточной их аттестации и при проведении ЕГЭ и ГИА-9) не может обеспечить решение проблемы оценки личностных (равно как и наиболее сложных для валидной оценки части метапредметных) результатов образования, поскольку:
а) только изучение документов учреждения (в том числе - отражающих результаты ЕГЭ и ГИА-9) при проведении его оценки (с исключением из процедур оценки ОУ специализированного тестирования) в принципе не способно обеспечить сколько-нибудь валидную и надежную оценку названной группы результатов, а зачастую хоть какую-нибудь, даже субъективную, оценку этих результатов;
б) большинство из указанных результатов в принципе не поддается настолько валидной и надежной индивидуальной оценке, чтобы было правомочным отражать результаты этой оценки в выдаваемом выпускнику государственном документе об образовании (в соответствии с чем такие результаты не оцениваются с помощью тестов ЕГЭ и ГИА-9);
в) при проведении ЕГЭ или ГИА-9 тестирование проводится в основном с использованием материала предметов, выбираемых учащимися, в связи с чем оценка по ним (в том числе - в отношении воспитательно значимых компонентов образовательных программ) проводится для наиболее подготовленных по данному материалу учащихся, а не всех выпускников, что не обеспечивает возможность оценки освоения значимых для достижения учащимися личностных и наиболее сложно организованных метапредметных компонентов Стандарта хотя бы половиной выпускников - из числа всех выпускников или внутри их представительной (по уровням освоения материала) выборки;
г) на федеральном уровне (в соответствующих письмах федерального органа исполнительной власти, осуществляющего функции управления образованием, в Положении о государственной аккредитации образовательных учреждений и научных организаций и в др. документах) зафиксированы принципиальные отличия оценки при аттестации учащихся от оценки при государственной аккредитации ОУ и государственном контроле качества образования, осуществляемого аккредитованными ОУ, обосновывающие невозможность сведения оценки учреждений к суммации оценок учащихся, что, в свою очередь, требует применения при проведении внешних оценок ОУ именно специализированных (разработанных специально для целей данных оценок) тестовых и иных стандартизированных измерительных материалов .
2. Внедрение таких форм оценки результатов образования, как портфолио и обязательный государственный мониторинг (проводимый при этом только в выборке
учреждений и поддерживаемый проведением внутриучрежденческого мониторинга по желанию их педколлективов), также не может обеспечить решение проблемы оценки указанных Требований, поскольку:
а) ни обязательный государственный, ни внутриучрежденческий мониторинг не обеспечивают проверку всех учреждений по всем требованиям Стандарта в связи с присущей любому мониторингу выборочностью оценки (как того требует Стандарт, поскольку он является документом, обязательным для исполнения всеми оцениваемыми);
б) портфолио в принципе направлено на оценку отдельных, индивидуально особенных, достижений, что не обеспечивают проверку выполнения всех требований Стандарта всеми учащимися или учреждениями (тем более - учитывая субъективность такой оценки и зависимость ее от различных социально-экономических условий, в которых находится то или иное муниципальное образование, что ставит в неравные условия учащихся из разных территорий).
Данные выводы делают необходимым применение специализированных тестовых и иных измерительных материалов (стандартизированных анкет) с целью проведения внешних оценок выполнения тех требований Стандарта, которые контролируются только при групповой оценке (оценка целостного ОУ или его целостных частей), или также (наряду с аттестацией учащегося) при групповой оценке. В рамках соответствующих данной задаче технологий оценки деятельности ОУ исходя из специфики этой задачи целесообразна реализация следующих принципов оценивания результатов образования, включая воспитательно значимые (личностные) и наиболее сложно организованные метапредметные результаты образования (аналогично тому, как это реализуются в указанной выше Технологии).
1. Применяемые для указанных процедур тесты и стандартизированные анкеты соответствуют не столько частным (приспособленным под какую-либо одну из теорий измерения), сколько всему комплексу общих, шиpоко пpименяемых специалистами в области психометрии нормативных требований к качеству средств диагностики особенностей психики и деятельности личности и группы личностей. При этом данные требования применяются с учетом специфики оценки деятельности целостного учреждения (или его целостной части), по сравнению с оценкой каждого учащегося в отдельности, которая заключается в различии задач аттестации учащихся и оценки ОУ: в отличие от задачи оценки ОУ (например, при государственной аккредитации ОУ - проверка усвоения или неусвоения требований государственных образовательных стандартов не менее, чем половиной выпускников), основной задачей
тестов аттестации учащихся является сравнение выпускников между собой по уровню их подготовки (с целью выставления им дифференцированной оценки в баллах). В связи с этим основным критерием качества заданий оценки целостных ОУ (или их целостных частей) является полное соответствие и ограничивание содержания этих заданий рамками «обязательного минимума» требований к содержанию образования соответствующей ступени и способность заданий обеспечить проверку, выполнены ли «в целом» требования Стандарта хотя бы половиной выпускников или иной нормативной их частью (нормативное количество выпускников, определяюще такое выполнение, устанавливается, в соответствии с федеральными нормативными актами, органом управления образованием соответствующего уровня) - в отличие от оценки каждого отдельного учащегося, критерием качества заданий для которой является выровненность заданий каждого уровня теста по статистической трудности (решаемости).
2. Исходя из указанных оснований, тесты и стандартизированные анкеты, применяемые для оценки целостных ОУ (или их целостных частей), как тесты и анкеты для оценки учебных знаний, умений и навыков, так и тесты и анкеты для оценки освоения целостными группами обучающихся в ОУ воспитательно значимых компонентов образовательных программ, значимых для их воспитания и социализации (личностные результаты и наиболее сложно организованные метапредметные результаты образования), должны отвечать следующим требованиям к качеству данных специализированных тестов и стандартизированных анкет:
а) четкое отделение методик оценки (тестов, анкет) от критериев оценки;
б) основное требование к критериям оценки, реализуемым с помощью тестов (анкет): критериальная валидность (прежде всего - выражение в каждом критерии значимых для оценки соответствующего вида сторон деятельности ОУ);
в) требования к целому перечню критериев оценки, реализуемых с помощью тестов (анкет):
- ограничение их количества требованием необходимой полноты;
- системность (в частности, отсутствие полного или частичного дублирования критериев по их содержанию, смыслу);
г) требования к методикам оценки (тестам и анкетам):
- содержательная валидность (прежде всего - способность методики оценивать тот критерий, для оценивания которого ее используют);
- надежность (прежде всего - точность установления той степени выраженности критерия, которая действительно имеет место в данном конкретном объекте оценки);
д) требования к процедуре применения целостного комплекта (батареи) методик оценки (тестов и анкет):
- практичность (в частности, практическая применимость результатов оценки, обеспечиваемая, в первую очередь, четкостью и оптимальным объемом информации о результате по каждому критерию, а также - ясной схемой интерпретации результатов для получения практических выводов и рекомендаций);
- корректность по отношению к участникам проводимой оценки (тактичность, конфиденциальность и т.д.).
3. В соответствии с практическими особенностями массовой внешней оценки качества деятельности ОУ, тесты для оценки уровня обученности (объема усвоенных по каждому отдельному предмету знаний, умений и навыков по сравнению с их общим объемом, установленным Стандартом для предметных результатов образования) целостных групп обучающихся в ОУ, должны удовлетворять не только требованиям, названным в предыдущем пункте, но также и следующим требованиям (примером реализации таких требований может служить названная выше Технология):
а) состав банка тестовых заданий должен предусматривать возможность моделирования тестов в зависимости от календарного времени проведения обследования ОУ и от особенностей прохождения образовательных программ в конкретном ОУ (как для разных учреждений одного и того же типа, а также вида и направленности реализуемых образовательных программ, так и с учетом специфики содержания образования в учреждениях разных типов);
б) структура банка тестовых заданий должна обеспечивать максимальную вариативность тестов по предметам (используемых для оценки освоения компонентов Стандарта, имеющих воспитательное значение, т.е. для оценки ряда метапредметных результатов и личностных результатов на познавательном уровне развития сознания и деятельности) с целью устранения возможного списывания и иных способов фальсификации данных оценки (таким образом, что каждый тестируемый получает индивидуальный вариант теста).
