CC BY
14
УДК 371.26; 37.012
НАУЧНО ОБОСНОВАННЫЕ МОДЕЛИ НЕПЕРСОНИФИЦИРОВАННОЙ ОЦЕНКИ КАЧЕСТВА ОБЕСПЕЧЕНИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ И СОЦИАЛИЗАЦИИ ШКОЛЬНИКОВ В СООТВЕТСТВИИ С ФГОС. ЧАСТЬ 2.
Климин С.В., к.п.н., Институт управления образованием РАО, Москва. Россия Email: attest@mail.ru
Аннотация. В статье автор продолжает начатое в предыдущем номере журнала рассмотрение специфических особенностей неперсонифицированной оценки результатов образования в отношении целостных групп учащихся, в сравнении с оценкой результатов образования каждого отдельного учащегося. Предложен оригинальный тезаурус понятий, являющихся ключевыми для понимания специфики неперсонифицированной оценки результатов обучения и социализации школьников. Изложены принципы построения научно обоснованных моделей неперсонифицированной оценки качества обеспечения результатов обучения и социализации школьников в соответствии с ФГОС общего образования - в части содержания этой оценки и в части ее методик и процедур. Ключевые слова: неперсонифицированная оценка, модели оценки, качество обеспечения результатов обучения и социализации школьников, метапредметные и личностные результаты обучения и социализации, ФГОС.
THE SCIENTIFICALLY REASONABLE MODELS OF NOT PERSONIFIED ASSESSMENT OF QUALITY OF ENSURING RESULTS OF TRAINING AND SOCIALIZATION OF SCHOOL STUDENTS ACCORDING TO THE FSES. PART 2.
Klimin S.V., Ph.D., Institute of management education of RAE, Moscow. Russia E:mail: attest@mail.ru
Abstract. The author continues the consideration of not personified assessment of results of education concerning complete groups of pupils, in comparison with an assessment of results of education of each certain pupil are opened. The original thesaurus of the concepts which are key for understanding of specifics of not personified assessment of results of training and socialization of school students is offered. The principles of creation of scientifically reasonable models of not personified assessment of quality of ensuring results of training and socialization of school students according to FSES of the general education are stated -regarding the maintenance of this assessment and regarding its techniques and procedures. Keywords: not personified assessment, models of personified assessment, quality of ensuring results of training and socialization of school students, metasubject and personal results of training and socialization, FSES.
Положения, изложенные в статье автора в предыдущем номере журнала, и определяющие особенности Технологии оценки, являющейся оптимальной для проведения неперсонифицированного контроля личностных и метапредметных результатов обучения и социализации школьников (далее - ЛР и МПР), обусловливают следующие основные принципы научно-методического обеспечения оптимизации неперсонифицированной оценки ЛР и МПР, которые целесообразно рассматривать также как основные принципы проектирования научно обоснованных моделей неперсонифицированной оценки качества обеспечения результатов обучения и социализации школьников в соответствии с ФГОС общего образования.
1. Основные реализуемые в оптимальной для проведения неперсонифицированной оценки ЛР и МПР Технологии принципы в части научно-методического обеспечения содержания данной оценки:
1.1) принцип значимости содержания оценки - соответствие каждого показателя и критерия оценки предмету данного конкретного вида контроля (следовательно, при оценке выполнения ФГОС - невыхождение за пределы установленных в ФГОС требований к ЛР и МПР);
1.2) принцип минимально достаточной (в отношении предмета контроля) полноты перечня показателей и детализирующих их критериев оценки (объективно определяемая на основе контент-анализа совокупности требований ФГОС и др. документов);
1.3) принцип практической ценности получаемых данных оценки для принятия эффективных решений по совершенствованию качества образования и управления им в оценивавшемся объекте.
Из этих принципов логически вытекают следующие основные нормативно и научно-методически обусловленные требования к показателям и критериям неперсонифицированной оценки МПР и ЛР, необходимые для реализации в оптимальной для проведения неперсонифицированной оценки ЛР и МПР Технологии:
1) обеспечение критериально валидного содержания оценки - показателей и критериев (в соответствии с общепринятой методологией психометрии и с учетом специфических задач обсуждаемой здесь оценки, данная характеристика качества каждого в отдельности показателя и каждого детализирующего его критерия оценки должна определяться объективно на основе экспериментального исследования, с подсчетом соответствующих значений по установленным для этого формулам прикладной или общей математической статистики, и показывает, насколько значим данный критерий для оценивания качества образовательной деятельности ОУ).
Необходимый уровень (объективно выражаемый в конкретной математической величине в соответствии со способом подсчета данного вида валидности и характеристиками использовавшейся для этого экспериментальной выборки ОУ) критериальной валидности обеспечивается путем детализации значимого для задач конкретного контроля содержания оценки на основе методологии соответствующей (направленной на определение измеримых параметров оценки) части психометрии, прежде всего, на основе:
- определения необходимо полного содержания оценки (перечня показателей оценки) - на основе анализа всей совокупности соответствующих документов;
- конкретизации (дробления) каждого из данных показателей на отдельные параметры оценки в соответствии с требованиями достаточной элементарности (несистемности) каждого параметра, однозначности или общепринятости используемых в его формулировке понятий, отсутствия дублирований содержания разных критериев в их общем перечне;
2) реализуемый перечень конкретных критериев оценки должен представлять собой иерархическую систему критериев оценки, каждый из которых должен включать в себя:
- параметр оценки (формулировку, характеризующую, что оценивается с помощью данного критерия);
- весовой" коэффициент критерия (определяет меру значимости данного критерия в общей системе критериев, применяемых для получения выводов по итогам проведения оценки);
- норму оценки («планку» требований, которую должен достигнуть результат оценки по данному критерию для того, чтобы можно было сделать вывод о соответствии образовательной деятельности ОУ по этому критерию принятому, например, в данном конкретном регионе, нормативному для такого критерия уровню);
3) дифференциация критериев оценки по трем основным уровням проявления результатов образования (соответствующих определенным уровням развития сознания и деятельности) - познавательный (рациональный), проявляемый в мыследеятельности обучающихся; эмоционально-чувственный, проявляемый в эмоциональных реакциях обучающихся на соответствующие, значимые для тех или иных конкретных ЛР или МПР, непосредственно либо опосредованно воспринимаемые обучающимися события; действенный (иногда также в практике называемый деятельностным или поведенческим), проявляемый в поведенческих актах (наблюдаемых извне действиях или актах бездействия) обучающихся в ситуациях,
значимых для тех или иных конкретных ЛР или МПР (С.В. Климин, 2004-2008: [2], [3], [4]). Данное требование определяет необходимость учета возможности устанавливать объективно контролируемые (контролируемые с помощью тестов, либо стандартизированных анкет, экспериментально доказанной достаточно высокой валидности) требования - критерии оценки и, следовательно, применять необходимые для оценивания этих критериев тесты или стандартизированные анкеты (последние - в тех случаях, когда разработка принципиально более точного средства оценки - тестов не представляется возможной, например, когда предполагается фиксация происходящих «в реальном времени» поведенческих актов для последующей их оценки в отношении тех или иных ЛР):
- в отношении каждого отдельного учащегося (т.е. персонифицированно) - только на познавательном и «переходном» познавательно-действенном («представляю, как данное знание применять на практике») уровне;
- в отношении целостной группы учащихся (т.е. неперсонифицированно) - на познавательном и познавательно-действенном («знаю, как конкретно надо действовать в этой ситуации») уровнях, а также на действенном и, частично, эмоционально-чувственном уровнях;
4) соответствие современному пониманию ЛР: понимание ЛР не как совокупности "воспитанностей" или "уровней развития качеств личности", а как совокупности "обеспеченных деятельностью ОУ минимально необходимых для социальной адаптации учащихся воспитательно-развивающих эффектов целостного образовательного процесса", которые одновременно отвечают следующим требованиям [2], [3]:
- это ЛР, на которые оказывает существенное влияние именно образовательная деятельность ОУ (что определяется по такому критерию, как косвенная, но достаточно доказательно, т.е. с обязательной опорой на точные экспериментальные данные, устанавливаемая путем существующих психометрических процедур детализации содержания оценки, включенность данных ЛР в соответствующие требования федеральных нормативных документов к обязательным результатам образовательной деятельности ОУ, либо прямая, «в назывном порядке» включенность данных ЛР в соответствующие требования федеральных нормативных документов к обязательным результатам образовательной деятельности ОУ. Во втором случае эти требования по определению, т.е. очевидно соответствуют, во-первых, функции обеспечения, на основе формирования и развития конкретных приращений или новообразований личности, минимально необходимых для социальной адаптации учащихся внутриличностных
факторов такой адаптации и, во-вторых, понятию о тех из данных приращений или новообразований, которые должны быть отнесены к прерогативам образовательной деятельности образовательных учреждений как специально организуемой деятельности профессионально подготовленных для ее осуществления работников);
- это ЛР, в отношении которых экспериментально доказано, что они объективно контролируемы (путем стандартизированной тестовой групповой оценки), что наилучшим образом определяется практикой: если в отношении тех или иных конкретных личностных характеристик (тех или иных личностных приращений либо новообразований) существуют, или получены как новоразработанные, средства объективной оценки (проводимой с помощью методик, профессионально, т.е. в соответствии с общепринятой методологией психометрии / психодиагностики, относимых к тестам или стандартизированным анкетам), результаты экспериментальной апробации и, следовательно, стандартизации которых, в соответствии с общепринятыми для этого численными уровнями значимости, могут быть отнесены к удовлетворительным (в первую очередь, по показателям содержательной валидности и надежности), то эти приращения либо новообразования следует считать объективно контролируемыми (что при выполнении названного условия наличия соответствующих методик оценки является очевидным выводом в плане такой объективной контролируемости).
При этом, конечно, то или иное требование нормативных актов чаще всего сформулировано не таким образом, что в принципе может быть без каких-либо изменений формулировки напрямую использовано как параметр (критерий, характеристика, фактор) объективной оценки (см, например, [1]), и потому необходимо соответствующее преобразование его в принципиально измеримый «аналог» (традиционно используемые для этого методы - контент-анализ всей совокупности соответствующих нормативных актов, источников научной литературы и та часть методологии психометрии, которая посвящена определению критериев оценки). Например, в результате подобного преобразования (см., например, [5], [6]) требования ФГОС к личностным результатам учебно-воспитательного процесса, формулируемому как «любовь к Родине», включающему очевидно эмоционально-оценочный артефакт и зачастую присущую бытовому языку неопределенность определения содержания понятия (что препятствует возможности какого-либо контроля или мониторинга выполнения соответствующих требований к результативности учебно-воспитательного процесса), получается вполне измеримая, как показывают данные экспериментальной апробации, совокупность параметров оценки (каждый из которых измеряется в
отдельности) как «уважительное отношение и интерес к культуре и истории своей Родины - России» (если говорить об оценке наличия тех или иных степеней выраженности этих свойств, и потому - их совокупности, у большинства выпускников по отношению к соответствующим компонентам информации, которые определяются установленным содержанием реализуемых образовательным учреждением программ -по учебным дисциплинам, по воспитанию и социализации и др.).
Отличия такого понимания личностных результатов учебно-воспитательного процесса от традиционных представлений о «воспитанности» заключаются:
а) в его достаточной для определения содержания оценки и, следовательно, построения диагностических процедур точности: если «воспитанность» ни в одном источнике не определена достаточно (исходя исключительно из функционально-технических соображений) точно для этого, то в отношении указанного выше понимания этих результатов имеет место обратная ситуация;
б) в том, что «воспитанность», при всех различиях в понимании этого термина, как правило, понимается как:
- интегральная характеристика отдельно взятой конкретной личности (конкретного учащегося), а не целостной совокупности учащихся (класса, возрастной параллели, ступени общего образования);
- некий «завершенный и дискретный» результат, т.е. результат либо имеющийся, либо нет, а не градуально и постоянно увеличивающийся в течение, как минимум, всего периода образования (это аналогично наличию или отсутствию знания формулы закона Ома и является следствием прямого перенесения подхода к оценке учебных достижений на оценку результатов воспитания, связанных с развитием мотивационно-ценностных ориентаций, личностных качеств, специальных способностей и таких знаний, которые основаны на понятиях и представлениях не частных, а понятиях и представлениях высокой степени обобщенности, т.е. без учета принципиальных отличий этих результатов от результатов обучения, принципиально более дискретируемых), причем результат, сравниваемый с «единственно правильным эталоном», а не с широким, хоть и ограниченным определенными рамками, диапазоном вариантов социально нормативного развития, и при всем этом - результат, характеризующий какое-либо системное, т.е. не элементарное и потому принципиально не поддающееся какому-либо измерению свойство личности (если не принимать во внимание псевдоизмерения типа «оцени в баллах свою любовь к Родине / природе / родителям и т.п.»). Всё это приводит к объективно никак не обоснованным, псевдонаучным спекуляциям, не способным принести ничего, кроме вреда развитию
учащихся, следствием чего, в свою очередь, не может не являться дискредитация даже самой идеи какой-либо объективной оценки результативности воспитания в школе и потому - принципиальная в дальнейшем декларативность школьного воспитания, его бесполезность с точки зрения каких-либо, установленных каким угодно документом, результатов («сегодня, 25-го марта, мы имеем у Васи Иванова вот какую количественную величину его нравственной воспитанности и, следовательно, вот какую величину его нравственной невоспитанности по сравнению с единственно верным эталонным количеством искомых баллов по нравственности, установленных приказом таким-то в рамках портрета идеального выпускника основной школы»: от этого до «выставления отметок за патриотизм» и т.п. абсурдностей - один шаг);
- следствие отдельных конкретных, в том числе - «разовых», действий (конкретного мероприятия, конкретного акта педагогического воздействия данного учителя на данного ученика и т.п.), а не всей совокупности учебно-воспитательных действий школы, осуществляемых в соответствии с упомянутыми выше реализуемыми ею программами, при этом действий, якобы влияющих именно и только на одно определенное направление развития - это, и вместе взятое, и по отдельности, даже исходя из представлений о здравом смысле не соответствует особенностям какого-либо реального педагогически управляемого процесса развития («в результате проведения сбора металлолома в 5-х классах в 1-й четверти значительно повышена трудовая воспитанность в первую очередь таких-то учащихся этих классов»).
Как показала практика внедрения программ развития образования и совершенствования системы оценки качества образования в ряде регионов (Республика Якутия, Владимирская, Калужская область и др.), представленное нами выше современное, принципиально отличное от традиционной «воспитанности», понимание результатов личностного развития на основе воспитания стало входить в обиход после опубликованного массовым тиражом в 2004 году сборника «Организация мониторинга воспитательного процесса в образовательных учреждениях: оценка результатов воспитательного компонента образовательной деятельности (методические рекомендации)» (авторский коллектив: Климин С.В., Летягин А.А., Куликова (Климина) Т.Г. [2]): например, соответствующее понимание таких результатов (как «эффекты») использовано в Примерных программах духовно-нравственного развития, воспитания и социализации для начальной, основной и старшей школ, подготовленных по заданию Минобрнауки России (в рамках ФЦПРО 2008-2010 г.г.) как коллективом авторов Института семьи и воспитания РАО (С.В. Дармодехин, И.В. Вагнер, С.В.
Климин и др. - [5], [6]), так и коллективом авторов на базе издательства «Просвещение» (А.М. Кондаков, А.Я. Данилюк и др. - [7]).
2. Основные реализуемые в оптимальной для проведения неперсонифицированной оценки ЛР и МПР Технологии принципы в части научно-методического обеспечения (методик) процедур организации оценки МПР и ЛР:
2.1) принцип обеспечения компактности методик оценки (для преодоления распространенной в практике громоздкости процедур оценки МПР и ЛР) на основе реализации требований:
- минимальной достаточности компонентов содержания в тесте;
- взаимосвязанности и взаимодополнения методик в оценочной Технологии как элементов в системе процедур и методических средств оценки, что обеспечивает высокий «информационный КПД» [2], [3], [4], [8];
2.2) принцип одновременного выполнения следующих требований к методикам и процедурам:
2.2.1) соответствие совокупности применяемых процедур практической реальности, определяемое одновременным выполнением следующих требований:
а) охват процедурами контроля всех необходимых участников оценки;
б) минимизация затрат времени и ресурсов, необходимых для проведения контроля МПР и ЛР - на основе максимально возможного использования:
- минимально необходимого объема репрезентативных выборок участников тестирования [2], [3], [4], [8];
- средств автоматизации подготовки, проведения оценки и анализа ее данных (на основе максимально возможной алгоритмизации процедур оценки и во взаимосвязи с вытекающего из такой алгоритмизации нормативно-правового и иного документального регулирования процедур оценки);
2.2.2) обеспечение качества оценивания [2], [3], [4], [8], определяемое одновременным выполнением следующих требований:
а) обеспечение с помощью соответствующих методик оценки, входящих в состав применяемой Технологии, значимого и необходимо для целей проводимого контроля полного содержания оценки, обусловливаемые: соответствием всех элементов содержания оценки (показателей и критериев) предмету (преследуемым целям и задачам) данного конкретного контроля; минимально достаточной (в отношении предмета контроля) полнотой перечня показателей и детализирующих их критериев оценки;
б) достоверность оценки, в свою очередь определяемая одновременно:
- объективностью оценки (независимостью результатов оценки от мнения конкретных лиц-оценщиков и формализованностью всех процедур оценки для обеспечения измеримости, сравнимости ее данных);
- содержательной валидностью методик (в первую очередь, использование методик, обеспечивающих оценку именно и только намеченных для контроля критериев оценки);
- надежностью методик (в первую очередь, необходимой количественной точностью оценки);
в) практичность оценки - доступность методик оценки для их корректного применения имеющимися в реальности пользователями;
2.3) принцип специализированной направленности методик исключительно на неперсонифицированную оценку установленных ФГОС требований к МПР и ЛР:
- по размерности компонентов содержания теста [9];
- по длине целого теста [9];
- по способам определения валидности и надежности каждого теста и др. характеристикам и свойствам этих тестов [9];
2.4) принцип использования оценочных технологий, являющихся
организационно-методическими системами, обеспечивающими_высокий
«информационный КПД» (на основе использования инновационных подходов к оцениванию);
2.5) принцип отбора для применения (исходя из мировой практики профессионального обеспечения оценивания в образовании) только тех методик оценки, в отношении которых существуют документально подтвержденные данные их соответствия нормативным требованиям к средствам оценки личности, групп личностей или их деятельности (см., например, [10]);
2.6) принцип основанности неперсонифицированной оценки ЛР и МПР преимущественно на методах объективной оценки (т.е. с использованием тестов и стандартизированных анкет);
2.7) принцип обеспечения корректного применения средств оценивания (тестовых и анкетных методик оценки, средств автоматизации оценки, целостных оценочных технологий).
Список литературы
1. Федеральный государственный образовательный стандарт начального общего образования (Приказ Минобрнауки России от 06.10.2009 № 373).
2. Организация мониторинга воспитательного процесса в образовательных учреждениях: оценка результатов воспитательного компонента образовательной деятельности (методические рекомендации) / Под ред. С.В. Климина. - М.: ГосНИИ семьи и воспитания РАО, 2004.
3. Климин С.В. Парадигмальные подходы к критериям и методам оценки воспитания в системе контроля качества общего образования // Воспитание: современные парадигмы: Монография / Под общ. ред. З.А.Багишаева и А.К.Быкова. -М.: 2006.
4. Климин С.В. Содержание и методы объективной оценки формирования социальной компетентности в воспитании школьников-подростков // Мир психологии, № 3, 2008.
5. Дармодехин С.В., Вагнер И.В., Климин С.В. и др. Примерная программа воспитания и социализации учащихся начальной школы / Под общ. ред. Дармодехина С.В. - М.: Институт семьи и воспитания РАО, 2010; переизд: М.: Институт семьи и воспитания РАО, 2011.
6. Примерная программа воспитания и социализации учащихся основной школы / Под общей и научной ред. Данилюка А.Я., Дармодехина С.В., Вагнер И.В., Климина С.В. - М.: Институт семьи и воспитания РАО, 2010; переизд: М.: Институт семьи и воспитания РАО, 2011.
7. Данилюк А.Я., Кондаков А.М., Тишков В.А. Концепция духовно-нравственного развития и воспитания личности гражданина России. - М.: Просвещение, 2009.
8. Климин С.В. Методологические основы, особенности и состав автоматизированных технологий объективной комплексной оценки качества деятельности образовательных учреждений // Оценка учреждений и работников образования: использование информационных и тестовых технологий (сборник научных статей и методических материалов из опыта работы в регионах и на федеральном уровне) / Под общ. и науч. ред. Климина С.В. - Пермь: Ассоциация развития технологий оценки работников и образовательных учреждений, 2013.
9. Климин С.В. [Электронный ресурс]: Оптимальные методы проведения объективной внешней оценки качества работы общеобразовательных учреждений в соответствии с требованиями ФГОС // «Управление образованием: теория и практика»/ФГНУ ИУО РАО.< www.iuorao.ru/2010-01-01-14>. 2013. - № 3.
10. Климина Т.Г. [Электронный ресурс]: К проблеме психологической диагностики личностных результатов духовно-нравственного развития, воспитания для
внешней оценки выполнения соответствующих требований ФГОС начального общего образования // «Управление образованием: теория и практика»/ФГНУ ИУО РАО.< www.iuorao.ru/2010-01-01-14>. 2012. - № 4.
