CC BY
92
УДК 371.26; 37.012
ОПТИМАЛЬНЫЕ МЕТОДЫ ОБЪЕКТИВНОЙ ВНЕШНЕЙ ОЦЕНКИ КАЧЕСТВА РАБОТЫ ОБЩЕОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ В СООТВЕТСТВИИ С ТРЕБОВАНИЯМИ ФГОС.
Климин С.В., к.т.н., Институт управления образованием РАО, Москва. Россия. E-mail: attest@mal.ru
Аннотация. В статье предложена оригинальная классификация основных общих и частных методов внешней оценки качества работы организаций общего образования. Показано, что оптимальными методами для такой оценки являются методы объективной оценки. Представлены критерии для отбора пользователями конкретных методов, которые оптимальны для проведения внешней оценки работы школ. Описаны: 1) общие методы, являющиеся оптимальными для оценки именно школы, а не учащихся; 2) конкретные методы, разработанные научным коллективом под руководством автора статьи, являющиеся оптимальными для оценки содержания, условий и результатов образовательного процесса в школах.
Ключевые слова: объективная внешняя оценка качества работы школ, общие и частные методы оценки, конкретные методы объективной оценки, ФГОС.
THE OPTIMAL METHODS OF AN OBJECTIVE EXTERNAL ASSESSMENT OF QUALITY OF WORK ESTABLISHMENTS OF THE GENERAL EDUCATION ACCORDING TO REQUIREMENTS OF THE FSES.
Klimin S.V., PhD., Institute of Management in Education of RAE, Moscow. Russia. E-mail: attest@mal.ru
Abstract. In the article the original classification of the main generic and private methods of the external assessment of quality of work of establishments of the general education is proposed. It is shown that the methods of objective evaluations is optimal methods for the assessment. The criteria for selection of the users of concrete methods that are most appropriate to conduct an external assessment of schools is presented. Described: 1) the generic methods, which are optimal for evaluation of the school, and not the pupils; 2) the concrete methods developed by the scientific team under the leadership of the author, are optimal for evaluation of the content, conditions and results of educational process in schools. Keywords: objective external assessment of quality of work of schools, generic and private methods of the assessment, concrete methods of objective assessment, FSES.
Контент-анализ источников, проведенный нами, показал, что методы объективной оценки результатов развития личности, выходящих за пределы учебных знаний, умений и навыков, как результатов деятельности общеобразовательных организаций (ОО) практически не представлены в педагогической литературе. В большинстве источников, в которых все же рассматриваются близкие к этому направлению оценки методы, описаны только методы объективного (с применением стандартизированных, т.е. проверенных на свое психометрическое качество, тестов) изучения отдельных
(чаще всего - «проблемных») учащихся с целью анализа данных характеристик педагогами и классными руководителями. К наиболее распространенным методам оценки соответствующих результатов деятельности ОО в практике оценки работы школ до сих пор относятся такие по своей сути субъективные методы, не обеспечивающие объективную оценку, как педагогические наблюдения, беседы с учащимися, учителями и родителями, социологическое (построенное на «лобовых» вопросах) анкетирование, анализ результатов деятельности школьников, экспертная оценка.
При этом очевидно, что в процедурах особенно государственного контроля качества деятельности ОО необходимо использовать систему именно объективных методов оценки. С учетом этого научным коллективом под руководством автора статьи в период 1995-2012 г.г. разработаны критериально-ориентированные тесты, позволяющие определить именно в отношении целостной ОО уровень результативности реализации в нем очевидно значимых для воспитания учащихся компонентов обучения по ряду учебных дисциплин (гуманитарной и естественнонаучной направленностей).
При разработке образцов данных тестов, в частности, учтено, что в процессе госконтроля невозможно применить методы оценки, связанные с изучением реального поведения учащихся. Поэтому для названной цели оценки в госконтроле должны быть наиболее распространены методы, направленные на системное изучение высказываний и суждений учащихся и педагогов, касающихся вопросов поведения людей, с которыми они находятся в непосредственном взаимодействии. Практика применения в процессе госконтроля соответствующих психолого-педагогических тестов для учащихся и педагогов, успешно прошедших проверку по основным общепринятым характеристикам качества таких средств оценки (содержательная валидность и надежность по методу «половин теста»), показала, что такие тесты способны обеспечивать объективную проверку по ряду критериев оценки содержания и качества воспитательной деятельности школ [1], [2], [5], [6].
Выводы, приведенные в предыдущей статье автора в данном журнале [4] требуют признать необходимым применение специализированных (предназначенных для оценки деятельности именно целостных образовательных учреждений или их целостных частей - ступеней образования, возрастных параллелей и др.) тестовых и иных измерительных материалов (стандартизированных анкет) с целью проведения внешних оценок выполнения общеобразовательными организациями тех требований ФГОС (в рамках государственной аккредитации, государственного контроля качества
образования в данных организациях и т.п. процедур), которые контролируются только при групповой оценке (оценка целостной ОО или ее целостных частей), или также (наряду с аттестацией учащегося) при групповой оценке.
Необходимые для реализации таких материалов методы целесообразно разделить на 2 их группы: 1) методы организации названной оценки; 2) методы непосредственного проведения этой оценки.
Среди методов организации внешней оценки качества деятельности ОО основными, как показал проведенный нами анализ практики организации региональными органами управления образованием государственной аккредитации и государственного контроля качества обеспечиваемого образовательной организацией образования, выступают следующие общие и являющиеся их компонентами частные методы.
Основные общие методы организации внешней оценки качества деятельности ОО.
1. Обеспечение общей организации процедуры обследования ОО в соответствии с конкретным, установленным в нормативно-методических документах органа или учреждения, проводящего оценку, алгоритмом действий штатных и привлеченных специалистов (экспертов и технических работников) данного органа или учреждения.
Основные частные методы, реализуемые в рамках данного общего метода организации оценки:
1) методы организации подготовительного этапа проведения обследования ОО (прием соответствующего заявления от ОО; обеспечение предоставления им сведений, необходимых для учета особенностей похождения образовательных программ при подготовке комплекта предметных тестов; получение от ОО и обработка сведений об учащихся для формирования репрезентативных выборок участников тестирований; обеспечение проведения экспертных оценок результатов образовательной деятельности педагогическим коллективом и других направлений проведения самообследования ОО; сбор данных об итоговых аттестациях обучающихся за отчетный период; сбор установленных процедурой локальных актов образовательного учреждения, определяющих содержание образовательного процесса в нем; подготовка комплектов диагностических материалов для проведения обследования);
2) методы организации основного этапа проведения обследования ОО -проведения непосредственной оценки (заключаются в обеспечении заполнении соответствующих бланков ответов определенными группами участников тестирований и анкетирований);
3) методы организации заключительного этапа проведения обследования ОО -методы обработки, анализа данных обследования ОО и подготовки проведения заседания соответствующей комиссии или иного органа, уполномоченного для принятия тех или иных решений по итогам проведенной оценки качества деятельности образовательной организации.
2. Организация штатными и/или привлеченными специалистами органа или учреждения, проводящего оценку (экспертами, техническими работниками), деятельности администрации и педагогического коллектива ОО по подготовке к обследованию, осуществляемая в соответствии с также установленными в нормативно-методических документах органа или учреждения требованиями к администрации ОО по организации подготовки его обследования.
Основные частные методы, реализуемые в рамках данного общего метода организации оценки:
1) подготовка администрацией и педколлективом ОО соответствующих, установленных применяемой технологией оценки, сведений об учащихся, о реализуемых образовательных программах и о выбираемых для тестирования учебных предметах;
2) обеспечение информирования учащихся и работников ОО, участвующих в обследовании, о связанных с этим организационных вопросах;
3) заполнение служебных полей полученных в органе или учреждении, поводящем оценку, бланков для ответов участников обследования;
4) иные действия, необходимые для организационного обеспечения проведения обследования ОО (внесение, при необходимости, изменений в расписание занятий с учетом состава всех участников обследования и его времени; определение и подготовка, в соответствии с установленными применяемой технологией оценки требованиями, помещений для проведения обследования; выделение рекреационных зон для отдыха участников тестирований и анкетирований в их перерывах и назначение дежурных педагогов на время проведения обследования);
5) подготовка образовательной документации для использования ее при проведении соответствующего анализа членами экспертной группы;
6) проведение администрацией и педагогическим коллективом самообследования ОО на основе заполнения соответствующих форм документов, установленных для этого применяемой технологией оценки.
3. Выполнение экспертами, непосредственно проводящими обследование ОО с помощью применяемых для этого методик оценки, определенных, также установленных в нормативно-методических документах соответствующего органа или учреждения, основных требований к данным экспертам по обеспечению ими обследования ОО.
Основные частные методы, реализуемые в рамках данного общего метода организации оценки:
1) проверка помещения для обследования, рабочих мест тестируемых и анкетируемых лиц и других условий для проведения обследования - в соответствии с вышеупомянутыми требованиями к администрации ОО по подготовке его обследования;
2) сообщение общей вводной инструкции тестируемым и анкетируемым лицам;
3) организация начала обследования: раздача тестируемым и анкетируемым лицам бланков для ответов, контроль заполнения ими служебных полей бланков;
4) раздача тестируемым и анкетируемым материалы первого теста (или анкеты) по программе обследования, проверка правильности понимания ими инструкции теста (анкеты), правильности заполнения бланков для ответов;
5) далее - реализация определенного плана-программы обследования.
Применяемые для проведения внешней оценки качества деятельности ОО основные общие методы непосредственного проведения оценки подразделяются на следующие 2 класса этих методов: субъективные методы оценки (целиком основанные на использовании выражаемых в свободной форме частных мнений экспертов, как конкретных лиц-«оценщиков»); объективные методы оценки (основанные на независимости данных оценки от мнений экспертов, как конкретных лиц-«оценщиков» и построенные на использовании тестов как совокупностей стандартизированных заданий, экспериментально проверенных на свою способность обеспечивать необходимо точную оценку тех характеристик, для оценивания которых эти тесты применяются).
Очевидно, что не ограничиваемые никакими формализующими процедурами полностью субъективные оценки являются неприемлемо зависимыми от частных мнений конкретных лиц и потому не могут рассматриваться как методы, которые можно было бы отнести к методам, целесообразным для применения с целью совершенствования процедур внешней оценки качества деятельности ОО. В связи с этим, далее рассматриваются только методы, являющиеся в той или иной степени
методами объективными по процедуре оценивания. Учитывая, что данные методы могут быть построены только на основе из научного обоснования, эти методы целесообразно именовать общими научными методами оценивания.
Исходя из данных проведенного нами исследования (С.В. Климин с сотр., 20102012), по степени независимости результата оценки от мнения конкретного лица, проводящего оценку, все названные методы могут быть отнесены к одной из следующих групп, в которых реализуются различные общие научные методы оценивания (которые также целесообразно относить к методам диагностики - см. далее):
1) частично объективные методы диагностики (основанные на использовании, в той или иной степени, мнения конкретного лица в тех случаях, когда оценку провести без такого мнения в принципе невозможно, при этом субъективизм данного лица максимально ограничивается за счет формализации и стандартизации применяемой конкретной методики оценки);
2) методы оценки, реализующие полностью объективные методы диагностики.
К методам первой названной группы относятся следующие методы: педагогическое наблюдение, проводимое в соответствии с определенными требованиями к содержанию оценки, процедуре наблюдения, фиксации и обработки его данных; экспертная оценка с обязательным использованием метода обобщения независимых характеристик; диагностическая (протоколируемая и проводимая по установленному, обоснованному в соответствии с целями оценки, алгоритму) беседа; проводимые по определенным правилам социологии, с точной фиксацией и количественной обработкой результатов оценки, анализ документации или анализ продуктов деятельности (личных дел, медкарт, дневников, сочинений и т.п.); социолого-педагогическое стандартизированное анкетирование, проводимое с помощью «лобовых» вопросов (когда содержание вопросов напрямую выражает собой содержание оцениваемого критерия), но с использованием стандартного алгоритма обработки результатов оценки по пунктам анкеты, экспериментально проверенным на свою содержательную валидность; разработанный в нашем научном коллективе (С.В. Климин, Т.Г. Климина, 2004-2012) анкетно-диагностический метод: используется опрос конкретных лиц - экспертов, если оценку данного параметра провести иначе в принципе невозможно - но опрос проводится по четкому алгоритму и, по возможности, по отдельным параметрам оценки он снабжен субтестами, а обработка результатов опроса четко формализована.
К методам второй названной группы относятся методы тестирования различного вида (метод тестов достижений, метод тестов способностей, метод личностных опросников и т.д.), заключающегося в использовании тестов - полностью формализованных и стандартизированных (см. далее) методик оценки.
Проведенный в рамках настоящего исследования анализ практики развития тестирования в области оценки качества деятельности ОО показывает, что в последнее время специалистами в области психологической диагностики все чаще разрабатываются также и методики, реализующие комплекс тех или иных разновидностей указанных методов - например, сочетание объективных методов с отдельными элементами подчиненных им субъективных методов: в частности, разработанный нашим научным коллективом «метод диагностического наблюдения» (перспективный для такой формы общественного контроля, как внутришкольный текущий контроль эффективности хода учебно-воспитательного процесса), при котором наблюдение сводится только к фиксации фактов наличия или отсутствия заранее описанных поведенческих проявлений, а анализ результатов наблюдения проводится по стандартному «ключу» - алгоритму обработки, четко предусматривающему определенные выводы о конкретных личностных характеристиках на основе отсутствия или наличия, причем в определенных количествах, тех или иных из этих проявлений.
Конструирование методов (и, следовательно, реализующих их конкретных методик), являющихся оптимальными для непосредственного осуществления объективной внешней оценки качества деятельности ОО (практичными и обоснованными в нормативно-правовом и научно-методическом отношении), по данным выполненных нами исследований, должно опираться на следующие представления и основные понятия.
При определении оптимальных методов проведения внешней оценки качества деятельности ОО необходимо учитывать, что оптимальность данных методов определяется их соответствием следующим условиям:
- обеспечение максимально возможной достоверности (объективности и точности) оценки;
- значимость содержания оценки для целей ее проведения;
- полнота реализации данного содержания с помощью конкретных средств (методик) оценки;
- практическая применимость методик и получаемых с их помощью данных оценки.
Исходя из этого, оптимальным научно-методическим подходом к проведению внешней оценки качества деятельности ОО является использование совокупности методов диагностики психики и деятельности личностей и их групп как основы методического обеспечения проведения такой оценки. Под диагностикой в данном случае понимается такая разновидность оценки в образовании, которая имеет следующие основные отличительные свойства (С.В. Климин, 2009):
1) формализованность оценки (с целью обеспечения ее объективности, то есть ее относительной независимости от мнения какого-либо конкретного лица) - как по процедуре проведения обследования, так и по процедуре обработки его результатов;
2) достаточная (в соответствии с требованиями психометрии) точность оценки конкретных характеристик, задача оценивания которых поставлена. Величины, и, следовательно, достаточность выраженности названных свойств оценки, проводимой с помощью тех или иных конкретных методик, определяются путем стандартизации методик оценки - применения общепринятых в психометрии процедур соответствующей проверки качества конкретных методик, с подсчетом данных величин (в первую очередь, валидности и надежности - см. далее) по установленным формулам специализированной математической статистики.
Или, говоря иначе, приемлемость применяемых диагностических материалов (как тех, которые предъявляются оцениваемым лицам, так и тех, которые предназначены для работников, проводящих оценку), то есть - отвечают ли они указанным свойствам, определяется их соответствием общепринятым требованиям психометрии как области научного знания об «измерении» (объективной и точной оценке) свойств психики (личностных характеристик); указанное соответствие (или несоответствие) устанавливается экспериментальным путем с использованием соответствующего математического аппарата (что является целью и сутью стандартизации конкретных методик оценки).
В таком своем значении понятие «диагностика» является синонимом понятия «психологическая диагностика в широком смысле» (включая педагогическую диагностику, понимаемую как объективное оценивание знаний, умений и навыков в образовании, а также как совокупность таких методов диагностики, корректное применение которых не требует квалификации большей, чем есть у работников образования без специальной психологической подготовки, например, у учителей).
Таким образом, методы как первой, так и второй названных выше групп или их сочетания могут применяться на практике для решения практических задач, преследуемых при проведении оценки (особенно - задач государственного контроля
учебно-воспитательного процесса путем проведения аккредитации или мониторинга учреждений образования), только по итогам своей успешной стандартизации, включающей, в первую очередь, проверку методик на соответствие определенным общепринятым требованиям психометрии (что, к сожалению, как показывают данные проведенного нами в настоящем исследовании анализа практики научно-методического обеспечения соответствующих оценок в субъектах Российской Федерации, все еще не стало правилом для отечественной системы образования, вследствие чего создается почва как для злоупотреблений, так зачастую и для недоверия тем или иным результатам оценки - вместе взятое, это противоречит правам личности учащегося, которые должны соблюдаться при проведении любого оценивания в образовании).
Достаточно ли достоверную (объективную и точную) для решения задач оценивания соответствующих характеристик оценку обеспечивают конкретные методики, определяется по прямым сведениям, приводимым в описаниях данных методик, в первую очередь, о таких величинах, характеризующих качество той или иной методики оценки, как валидность (в первую очередь - содержательная, характеризующая, прежде всего, насколько данная методика обеспечивает оценку именно тех свойств, для оценивания которых она применяется) и надежность (характеризующая, прежде всего, количественную точность оценки, проводимой с помощью данной методики, независимо от изменяющихся, в установленных рамках назначения этой методики, условий ее применения) - при условии, что эти величины установлены с помощью процедур стандартизации диагностических материалов как специального способа определения их качества (экспериментальным путем с использованием необходимого математического аппарата). При этом необходимо также принимать во внимание, что итоги наших исследований последних лет [3] также подтвердили следующий доказанный на предыдущем этапе исследования вывод: одни из критериев оценки результатов личностного развития учащихся оцениваемы с помощью тестов индивидуальных достижений (тестов для оценки каждого отдельного учащегося), другие же из этих критериев оценки принципиально (в соответствии с современными возможностями науки по обеспечению достоверной и точной оценки) оцениваемы только с помощью тестов, специально предназначенных для оценки целостной образовательной организации (тестов для оценки обеспечения образовательной организацией определенных результатов учебно-воспитательного процесса в отношении только в целом некоторой группы учащихся - например, выпускников основной ступени общего образования текущего учебного года; более детально данный вывод рассмотрен далее в настоящем разделе).
Метод тестов подразделяется на различные методы, определяемые тем или иным видом тестов, при этом данные методы также целесообразно подразделить на 2 группы: 1) методы, реализация которых не требует специальной квалификации пользователей (за исключением наличия высшего педагогического образования и прохождения краткого инструктажа о соблюдении конкретных особенностей процедур, установленных применяемой технологией оценки) на этапе проведения обследования и первичной обработки его результатов (при том, что квалифицированные интерпретация и анализ результатов обследования требуют либо наличия специальной психолого-педагогических подготовки, либо применения разработанных компетентной научной организацией соответствующего прикладного программного обеспечения); 2) методы, реализация которых на любой стадии их применения в обязательном порядке требует наличия специальной квалификации психолога-диагноста, имеющего опыт по применению данных конкретных методов.
Как показывает анализ практики проведения соответствующих оценок, к основным методам первой группы относятся следующие методы оценки:
а) метод тестов способностей - такие тесты состоят из заданий различной сложности, оценивающих уровень развития исследуемых свойств, и, в свою очередь, подразделяются на тесты интеллекта, тесты общих способностей (для оценки уровня развития различных характеристик памяти, внимания, мышления, восприятия) и тесты специальных способностей (математических, музыкальных и т.д.);
б) метод тестов состояния - тестов, применяемых для оценки самочувствия и т.п. ситуативных характеристик;
в) методы опросников и вопросников (методы тестирования личностных особенностей) - в рамках данных методов каждый соответствующий тест обеспечивает оценку нескольких параметров, каждому из которых соответствуют несколько утверждений, которые оцениваемый может выбрать или нет (опросники), либо вопросов, на которые нужно ответить (вопросники), причем данные вопросы, чаще всего, предполагают короткие стандартные ответы ("да", "нет", "не знаю" и т.п.). С помощью таких тестов осуществляется классифицирование оцениваемых лиц, для отнесения их к определенному типу характера, темперамента, направленности личности. Большинство из таких тестов имеют специальные критерии дополнительной проверки достоверности результатов оценки - искренности ответов (выборов) оцениваемых лиц;
г) метод тестов достижений (тестов, применяемых для оценки сформированности знаний, умений и навыков) - в соответствующих тестах оцениваемому предлагается по
несколько ответов на каждый вопрос (или по несколько решений каждой задачи), при этом, чаще всего (для закрытой формы тестирования), оцениваемому необходимо выбрать один или несколько правильных ответов.
К основным методам второй группы относятся следующие:
д) проективные методы оценки - соответствующие тесты обеспечивают оценку групп параметров, аналогичных тем, оценка которых обеспечивается с помощью опросников и вопросников, при этом сущность проективных тестов состоит в том, что оцениваемый, "пропуская" через свою личность четко определенный материал (например, ситуации, изображенные на рисунках), "выдает" результат, отражающий (т.е. проецирующий) в известной мере эту личность;
е) психофизиологические методы оценки - применяемые в рамках данного метода конкретные методики обеспечивают измерение объективных физиологических показателей (время реакции на стандартные раздражители, изменение кровяного давления, данные электрической активности определенных зон коры больших полушарий головного мозга и т.п.), по которым судят о психических свойствах (прежде всего - о характеристиках темперамента в его широком понимании, ряда специальных способностей, а также о характеристиках системы ценностных ориентаций) на основании известной, ранее экспериментально доказанной, взаимосвязи между данными показателями и свойствами. Соответствующие методики оценки более валидны, чем другие тесты и значительно надежнее них, так как фиксируют чисто «физические» параметры, однако эти методики требуют применения аппаратуры, поэтому, к сожалению, непрактичны для сегодняшней российской системы оценки качества деятельности ОО;
ж) метод диагностического эксперимента - данный метод оценки является наиболее сложным для своего корректного применения из всех названных методов оценки: его успешная, в соответствии с конкретными диагностическими задачами использования, реализация требует, во-первых, значительно большего времени на проведение оценки, по сравнению с остальными из названных методов, во-вторых, специального предварительного обучения даже опытного психолога-диагноста, в связи с чем это метод оценки следует признать наименее практичным из названных.
Все названные выше методы непосредственного проведения оценки являются методами общими, в рамках которых разрабатываются детализирующие их, применительно к задачам и условиям проведения конкретного вида внешней оценки качества деятельности ОО, частные методы проведения оценки - так же, как это имеет место для общих и детализирующих их частных методов организации оценки (см.
выше). В отношении как общих, так и частных методов проведения данной оценки первостепенной задачей является отбор из числа существующих или создание таких методов (сначала общих, а затем - частных), которые могут рассматриваться в качестве оптимальных для имеющих место в данном конкретном случае задач и условий проведения оценки.
Помимо приведенных выше соответствующих представлений и основных понятий, по данным проведенных нами исследований, оптимальность конкретных методик внешней оценки деятельности ОО определяется в соответствии со следующими требованиями к общим, частным методам (и, следовательно, реализующим их конкретным методикам) объективной оценки качества деятельности организаций общего образования.
1. Начальным условием оптимальности избираемых методов организации и осуществления внешней оценки качества деятельности ОО, исходя из целеназначения данной оценки, является соответствие этих методов уровням и формам государственного и общественного контроля в сфере общего образования и решаемым при проведении контроля задачам (государственная, общественная аккредитация, проводимый в форме плановых проверок государственный контроль качества образования в аккредитованных ОО, мониторинг тех или иных показателей качества деятельности ОО, проводимый на различных уровнях управления образовательными системами, осуществляемые для различных практических задач с целью совершенствования образовательной деятельности). В соответствии с этим, избираемые методы должны определяться свойствами конкретных критериев оценки, анализируемых в рамках соответствующих уровней, форм и решаемых задач конкретной процедуры внешней оценки ОО. Так, критерии, оцениваемые при проведении государственной аккредитации или мониторинга ОО, оптимально анализируются с помощью следующих методов организации и проведения оценки:
1) формальные критерии (например, совокупность документально подтверждаемых сведений о реализации творческого потенциала обучающихся во внеурочной деятельности ОО) - оптимально оцениваются с помощью соответствующих разделов стандартных анкет самоанализа администрацией ОО его деятельности и анкет анализа образовательной документации (например, которые характеризуют творческую направленность, количество соответствующих внеурочных мероприятий и объединений учащихся по отношению к объему контингента);
2) неформальные критерии (оперирующие не формальными сведениями, а информацией, получаемой на основе применения тестовых заданий различного типа): а) связанные с оценкой уровня обученности - оптимально оцениваются с помощью предметных тестов (тестов учебных достижений); б) связанные с освоением тех компонентов обучения, которые значимы для формирования нравственных, гражданско-патриотических и т.п. основ сознания - оптимально оцениваются с помощью специального дополнительного («воспитательно ориентированного») анализа результатов тестирования, полученных по соответствующим заданиям предметных тестов, основное назначение которых заключается в оценке уровня обученности;
3) другие неформальные критерии - оптимально оцениваются с помощью разрабатываемых специально для оценки результатов учебно-воспитательного процесса стандартизированных тестов иных, помимо тестов учебных достижений, видов.
2. Применяемые методы (и, следовательно, реализуемые в рамках них конкретные методики оценки) должны соответствовать не столько частным (приспособленным под какую-либо одну из теорий измерения), сколько всему комплексу общих, широко применяемых специалистами нормативных требований к качеству средств диагностики психики и деятельности личности и групп личностей. В соответствии с этим, методики оценки, а также системно организованные комплексы методик оценки и процедур их использования - технологии оценки, применяемые для внешней оценки качества деятельности ОО, должны отвечать основным общепринятым психометрическим требованиям к качеству тестов, их систем и требованиям к качеству процедур организации использования этих тестов и их систем.
При этом данные требования должны применяться с учетом специфики объекта оценки (учащего или целостного учреждения), разница между которыми заключается в различии задач их оценки: в отличие от задачи оценки деятельности ОО (проверка освоения или неосвоения минимума требований государственного образовательного стандарта нормативной частью выпускников соответствующей ступени общего образования), основной задачей оценки учащегося является сравнение учащихся между собой. В связи с этим основным критерием качества заданий оценки целостных ОО или их ступеней образования, возрастных параллелей является полное соответствие и ограничивание содержания этих заданий рамками соответствующих обязательных требований и способность заданий обеспечить проверку, выполнены ли «в целом» данные требования количеством учащихся, определяемым специально установленной
нормой такого количества - в отличие от оценки каждого отдельного учащегося, критериями качества заданий для которой является выровненность заданий каждого уровня теста по статистической трудности и способность совокупности этих заданий обеспечивать разделение тестируемых учащихся по различным уровням успешности (уровням статистической трудности выполнения заданий).
В соответствии с этим, в частности, методы и методики, являющиеся оптимальными для оценки формирования и развития соответствующих мотивационно-ценностных ориентаций учащихся, подразделяется на следующие из данных методов и методик:
1) методы и методики оценки сформированности системы социально и личностно значимых духовных ценностей у каждого отдельного учащегося, направленные на оценку применительно к познавательному и «переходному» познавательно-действенному («представляю, как данное знание применять на практике») уровням освоения данных ценностей;
2) методы и методики оценки минимально необходимых результатов формирования системы социально и личностно значимых ценностей у в целом всей группы учащихся (например, выпускников основной школы), направленные на оценку применительно к познавательному и познавательно-действенному уровням освоения данных ценностей, а также применительно к определенной (поддающейся методам групповой оценки) части действенного и, в меньшей степени, чувственного уровней.
Реализация данных требований к методам и методикам внешней оценки деятельности ОО на практике применительно к государственной, не общественной оценке обеспечивается с учетом следующих установленных норм организации применения измерительных средств в образовании. Применение методического инструментария внешней оценки качества деятельности ОО в рамках процедур государственного контроля в образовании (государственной аккредитации, государственного контроля обеспечиваемого образовательными организациями качества образования) должно осуществляться в соответствии с законодательно установленными полномочиями органов государственной власти, проводящих данные процедуры. Исходя из этого, государственные (федеральные и региональные) органы, осуществляющие функции управления и контроля в сфере образования, должны определять соответствующие тестовые и иные методики оценки и/или их системы -технологии оценки, но, с целью обеспечения защиты учащихся и педагогических коллективов от последствий недостоверной оценки, должны рекомендовать к применению данные методики и технологии только на основе итогов проведения
соответствующей их экспертизы, проведенной с применением общепринятых требований психометрии.
3. Определяя методы, являющиеся оптимальными для оценки самого сложного в научно-методическом отношении направления оценки - личностных результатов образовательного процесса, являющихся преимущественно результатами реализации воспитательного компонента образования, необходимо учитывать специфические отличия этого компонента от обучения как другого компонента образования.
Так, по сравнению с объективной оценкой учебных знаний, умений и навыков, получившей уже довольно широкое развитие в практике образования, оценка тоже знаний, умений и навыков, но именно тех из них, которые являются воспитательно значимыми (очевидно значимыми для социально-нравственного, общеинтеллектуального и общекультурного становления личности - С.В. Климин, 2003), представляет сегодня значительно большую научно-методическую сложность, поскольку для их оценки не подходят, в связи с упомянутыми специфическим отличиями, те основные методы оценивания, по крайней мере - без их существенной корректировки, которые сложились в области оценки результатов обучения как уже достаточно традиционные.
На простом примере иллюстрировать эту проблему можно тем, что для оценки, например, знания закона Ома достаточно, чтобы учащийся дал тот ответ на соответствующий вопрос тестовой задачи, который является однозначно и единственно, вне зависимости от какого-либо контекста, верным: при этом также немаловажно для разработки качественного тестового задания, что проверяемые элементы (или единицы) данного знания - четки, предельно конкретны, очевидно отделяемы от других, сопутствующих единиц знания (т.е. элементарны, несистемны) и интерпретация правильности представления учащимся в его сознании этих единиц не зависит не только от контекста их рассмотрения, но и от отношения учащегося к ним.
Практика тестирования учебных достижений давно убедительно доказала, что любые, в том числе более сложные по своему составу, чем в приведенном примере, знания, интерпретация усвоения которых учащимися не зависит от контекста их рассмотрения и отношения к ним учащихся (что свойственно как раз для объективных научных знаний, доказанных неоднократно экспериментальным путем, т.е. для основного объема знаний, формируемых в соответствии с программами большинства учебных дисциплин), могут быть разделены на четкие, предельно конкретные единицы соответствующего знания, очевидно отделяемые от других единиц.
Существенно отличается от этого интерпретация усвоения знаний, имеющих очевидную воспитательную значимость, например, интерпретация усвоения знания нравственных норм, являющихся основными с точки зрения общечеловеческих принципов (изложенных в стандартном учебном материале, в соответствии с содержанием программ учебных дисциплин - таких, как обществознание, литература и т.п. - аналогично знаниям, доказанным неоднократно экспериментальным путем в соответствующих научных областях и составляющих основу большинства учебных школьных курсов, особенно - таких, как математика, физика, химия).
Таким образом, оценка «правильности» воспитательно значимых знаний у учащихся (т.е. соответствия имеющихся у них знаний об этом определенным социально нормативным представлениям) не может быть корректно, следовательно, достоверно и объективно (что характеризуется мерой валидности и надежности оценки) осуществлена без учета контекста рассмотрения данных знаний и личного отношения учащихся к этим знаниям (на уровне их суждений, эмоционального восприятия или поведения) - такой подход опирается на реализованный в целом ряде работ отечественных ученых по вопросам взаимодействия обучения и воспитания (в рамках классификации общеучебных умений и навыков И.Я. Лернера, в работах Х.Й. Лийметса и др.) вывод о том, что обобщение информации ведет к формированию в отношении нее оценочной позиции обучающегося (что соответствует сути именно воспитательного процесса).
Разработанные в связи с этим нами [6] такие методы оценки, как «метод психолого-предметных тестов» и другие частные методы проведения оценки (см. далее), позволяют, в соответствии с компетентностным подходом к целостному процессу обучения и воспитания, осуществлять объективную оценку освоения в целостных группах учащихся тех образовательныех элементов, которые определяются инвариантом реализуемых сегодня образовательных программ соответствующей ступени общего образования, связанных с ними программ дополнительного образования в школе, также связанных с ними других программ, реализуемых в рамках внеурочной работы, и при этом имеют воспитательное значение: в первую очередь, это - знания, основанные на освоении социально-нравственных, общеинтеллектуальных и общекультурных представлений и понятий высокой степени обобщенности, а также на представлениях о формах и способах их практического применения.
При сопоставлении всех названных требований с практикой внешних оценок качества деятельности ОО в регионах РФ обнаруживается, что для большинства таких характеристик имеет место несоответствие применяемых методов оценки этим
требованиям (в немалой степени, видимо, именно по этой причине чаще всего оценка этого большинства характеристик во многих регионах просто не осуществляется - в нарушение требований федеральных нормативных актов к обеспечению, следовательно, к контролю со стороны учредителей ОО таких характеристик образования).
В связи с этим определение оптимальных конкретных методов проведения оценки, о которых пойдет речь далее, осуществлено нами лишь отчасти на основе отбора тех или иных методов из числа существующих, а для большинства характеристик такое определение осуществлено на основе разработки нашим научным коллективом новых методов, удовлетворяющих названным требованиям к оптимальным методам проведения внешней оценки качества деятельности ОО.
Так, для разработки методик объективной оценки таких личностных результатов образования (в терминологии новых ФГОС общего образования) как результаты реализации воспитательного потенциала обучения (применительно к целостной группе учащихся) нами (Климин С.В. с сотр., 2002-2012) разработан следующий научно-методический подход, альтернативный «традиционному подходу к оценке воспитанности», позволяющий учесть поделенность школой с остальной частью социума ответственности ОО за результаты образования, наиболее очевидно значимые для характеристики результативности воспитания и социализации в данном конкретном ОО, точнее - ограниченность области этой ответственности конкретными пределами (которые определены нормативными актами): планируемые (и, следовательно, оцениваемые) результаты находятся в строгом соответствии с действующими нормативными правовыми документами, содержащими требования к целям, задачам и собственно результатам образовательной деятельности организации общего образования, хотя и выходят за пределы знаний по отдельным учебным дисциплинам. При этом для разных групп планируемых результатов (параметров оценки результатов) воспитывающего обучения используется один из двух методов проведения оценки, определяющих соответствующие методические подходы к конструированию конкретных методик объективной оценки:
1) разработка «параллельного ключа» для оценки определенных социально-личностных компетентностей (тех знаний, которые сформированы у учащихся в форме понятий и/или представлений высокой степени обобщенности и имеют очевидную воспитательную значимость, а также соответствующих им умений, навыков, специальных способностей, представленных на рационально-познавательном уровне мотивационно-ценностных ориентаций) в рамках применения «традиционных» тестов учебных достижений как тестов оценки частнопредметных знаний, умений и навыков
(данный метод реализован нами, для оценки таких характеристик, как «усвоение элементов учебного материала, обеспечивающих формирование основ гражданско-патриотического сознания», «результаты формирования на материале учебных курсов основ сознания, обеспечивающих способность быть носителем культуры в период смены социальных эпох» и т.п., в рамках технологии "КАС ДОУ - Аттестация (Новая Версия)" - [4]);
2) разработка специальных заданий ("субтестов"), направленных на оценку только соответствующих социально-личностных компетентностей (данные задания могут использоваться либо как часть в составе тестов оценки частнопредметных знаний, умений и навыков, либо отдельно). По сути, такие субтесты представляют собой результат синтеза двух различных методических подходов к объективной оценке новообразований и приращений личности - «тестов учебных достижений (предметных тестов)» и «психологических тестов способностей и личностных особенностей», в связи с чем данный синтетический метод назван нами как метод «психолого-предметных тестов» (данный метод реализован в разработках соответствующих конкретных методик оценки, в первую очередь, А.А. Летягиным). При этом данный метод имеет 2 разновидности: для оценки самих воспитательно значимых знаний (в этом случае задания строятся непосредственно на той или иной части определенного значимого материала курсов учебных дисциплин, подаваемого в задании в соответствующем диагностической задаче контексте и будучи сопровожденным соответствующими вопросами к обучающимся и вариантами ответов на них, направленными на выявление в целостной группе обучающихся их личного отношения к информации, содержащейся в задании) и для оценки умений и навыков практического применения воспитательно значимых знаний (в этом случае задания строятся на специально конструируемом материале, выходящем за рамки материала курсов учебных дисциплин, но вытекающем из него в аспекте реализации соответствующей информации в житейской практике, при этом также этот сконструированный материал, содержание заданий, сопровождается вопросами, направленными на оценку практического применения данной информации обучающимися - тесты этой, второй разновидности реализации метода «психолого-предметных тестов», в связи со своим содержанием, являются, по сравнению с первой разновидностью, «тестами, более относящимся к психологическим опросникам или к иным психологическим тестам специальных общесоциальных способностей, чем к тестам учебных достижений (предметным тестам)»).
Оптимальные конкретные методы проведения объективной оценки качества деятельности ОО - по направлениям (группам характеристик) оценки.
1. Оптимальные конкретные методы для объективной оценки содержания учебно-воспитательного процесса в ОО.
1.1. Оценка выполнения требований ФГОС (или заменяющих их федеральных государственных требований) к содержанию обучения и воспитания в аспекте запланированного в ОО содержания оптимально осуществляется с помощью методик оценки, реализующих методы частично объективного оценивания, из которых основным является метод стандартизированных социолого-педагогических анкет анализа образовательной документации для оценки запланированного содержания учебно-воспитательного процесса. Все вопросы в таких анкетах должны предполагать выбор экспертом (руководящим, педагогическим работником ОО или приглашенным его администрацией компетентным специалистом, не работающим в данном учреждении) ответа из числа предложенных (с целью ограничения субъективизма экспертной оценки). Свои ответы эксперт заносит в бланк установленной формы. В случае отрицательных ответов эксперт обосновывает их в прилагаемом к бланку поле для комментария. Анализ данных, собираемых с помощью указанной анкеты, осуществляется по стандартному алгоритму (ключу и схеме интерпретации данных экспертизы).
1.2. Оценка выполнения требований ФГОС (или заменяющих их федеральных государственных требований) к содержанию обучения и воспитания в аспекте реально реализуемого в деятельности данной конкретной ОО содержания оптимально осуществляется с помощью методик оценки, реализующих методы частично объективного оценивания, из которых основным является метод стандартизированного социолого-педагогического анкетирования работников образовательного учреждения о составе их профессиональных действий за отчетный период с целью определения реально реализуемого в деятельности данного конкретного образовательного учреждения запланированного содержания учебно-воспитательного процесса. Все вопросы в таких анкетах, характеризующие содержание тех или иных соответствующих действий, осуществляемых анкетируемыми и их коллегами за отчетный период, также должны предполагать выбор анкетируемым (руководящим, педагогическим работником ОО) ответа из числа предложенных (с целью ограничения субъективизма оценки). Свои ответы анкетируемые заносят в бланк установленной формы. Анализ данных, собираемых с помощью указанных анкет, также
осуществляется по стандартному алгоритму (ключу и схеме интерпретации данных экспертизы).
2. Оптимальные методы для объективной оценки условий осуществления учебно-воспитательного процесса в ОО.
Оценка выполнения требований ФГОС (или заменяющих их федеральных государственных требований) к качеству условий осуществления в ОО учебно-воспитательного процесса оптимально проводится на основе использования методов проведения оценки, реализуемых с помощью следующих видов конкретных методик оценки: 1) методик тестовой формы - для оценки психолого-педагогических условий осуществления учебно-воспитательного процесса; 2) методик анкетной формы - для оценки организационно-управленческих и ресурсных (финансовых, материально-технических, кадровых, информационно-методических) условий осуществления учебно-воспитательного процесса.
Стандартизированные анкетные формы, применяемые для оценки условий осуществления учебно-воспитательного процесса в ОО, построены аналогично описанным выше анкетным формам для оценки реально реализуемого содержания учебно-воспитательного процесса. Оптимальным тестовым методом оценки психолого-педагогических условий является разработанный нами (С.В. Климин) метод, основанный на применении диагностического мини-комплекса, состоящего из «зеркальных» друг по отношению к другу тестов, применяемых согласованно для параллельного опроса учащихся и работающих с ними педагогов (с целью оценки выполнения психолого-педагогических требований к взаимоотношениям педагогов с учащимися в образовательном процессе). Образец диагностического мини-комплекса для оценки психолого-педагогических условий осуществления учебно-воспитательного процесса приведен в следующем разделе.
3. Оптимальные методы для объективной оценки результатов учебно-воспитательного процесса в ОО.
Оценка выполнения требований ФГОС (или заменяющих их федеральных государственных требований) к качеству результатов осуществления в ОО учебно-воспитательного процесса оптимально проводится на основе использования, во-первых, методик оценки, реализующих методы полностью объективного оценивания (тестирования), а также, во-вторых, методик, основанных на сочетании объективных
методов с отдельными элементами процедурно подчиненных им субъективных методов оценки.
К методам 1-й группы относятся следующие виды метода тестов:
1) для оценки предметных результатов образования - метод «традиционных» тестов учебных достижений, отличающихся при этом от таких тестов для оценки каждого отдельного учащегося укрупненностью содержания образовательных элементов, используемых в заданиях и алгоритмом анализа данных оценки, направленным именно на обобщенную оценку выполнения соответствующих требований в целостной группе обучающихся;
2) для оценки метапредметных результатов образования - методики оценки, построенные либо на основе метода применения «параллельного ключа» для оценки данных результатов в рамках применения «традиционных» тестов учебных достижений как тестов оценки частнопредметных знаний, умений и навыков, либо на основе метода «психолого-предметных тестов»;
3) для оценки личностных результатов образования - методики оценки, построенные на использовании различных методов психологического тестирования (в первую очередь - вопросников и опросников), отличающихся «сугубо психологическим» характером диагностики, основываемым на применении экспериментально проверенного на свою содержательную валидность стимульного материала косвенного (не «лобового») характера.
Список литературы.
1. Климин С.В. Парадигмальные подходы к критериям и методам оценки воспитания в системе контроля качества общего образования // Воспитание: современные парадигмы: Монография / Под общ. ред. З.А. Багишаева и А.К. Быкова. -М.: 2006.
2. Климин С.В. Содержание и методы объективной оценки формирования социальной компетентности в воспитании школьников-подростков // Мир психологии, № 3, 2008.
3. Климин С.В. Совершенствование организации процедур внешней оценки деятельности общеобразовательных учреждений в соответствии с требованиями программных федеральных документов по вопросам модернизации сферы образования. Часть 2 // Управление образованием: теория и практика (http://www.iuorao.ru/ 05-062010-00) 2012. - № 1.
4. Климин С.В. Научно-теоретические основы совершенствования методов и технологий внешней оценки качества работы учреждений общего образования в соответствии с требованиями ФГОС // Управление образованием: теория и практика (http://www.iuorao.ru/ 05-06-2010-00) 2012. - № 4.
5. Климина Т.Г. К проблеме психологической диагностики личностных результатов духовно-нравственного развития, воспитания для внешней оценки выполнения соответствующих требований ФГОС начального общего образования // Управление образованием: теория и практика (http://www.iuorao.ru/05-06-2010-00) 2012.-№ 4.
6. Летягин А.А. Научно-методическое обеспечение индивидуальной оценки освоения в целостном процессе обучения и воспитания обобщенных понятий об эффективных способах мыслительной деятельности // Сб. науч. трудов ГосНИИ семьи и воспитания РАО. - М.: 2004.
