CC BY
146
УДК 37 ББК 74
М. Е. Солнышков
СИСТЕМА КРИТЕРИЕВ И ПОКАЗАТЕЛЕЙ ОЦЕНКИ КАЧЕСТВА НАУЧНО-ПЕДАГОГИЧЕСКИХ ИССЛЕДОВАНИЙ: КОНЦЕПЦИЯ МОДИФИКАЦИИ
Аннотация. В статье представлен опыт разработки концепции модификации системы критериев и показателей оценки качества научно-педагогических исследований.
Ключевые слова: концепция модификации, качество научно-педагогических исследований, новизна.
M. E. Solnyshkov
THE SYSTEM OF CRITERIA AND PARAMETERS OF ESTIMATION OF QUALITY OF SCIENTIFIC AND PEDAGOGICAL RESEARCHES: THE CONCEPT OF UPDATING
Abstract. In clause the experience of development of the concept of updating the system of criteria and parameters of quality estimation of scientific and pedagogical researches is presented.
Key words: concept of updating, quality of scientific and pedagogical researches, novelty.
В соответствии с целью и задачами нашего исследования [1], проведенного в рамках научной школы концептуальной педагогической диагностики профессора Е. А. Михайлычева, на основе полученных результатов теоретического анализа и экспертных методов нами были разработаны основные положения концепции модификации системы критериев и показателей оценки качества завершенных научно-педагогических исследований (НПИ).
1. Ключевыми критериями комплексной оценки качества каждого проведенного НПИ, независимо от его типа (фундаментальное теоретическое, теоретико-прикладное, историко-педаго-гическое, эмпирическое, методическая разработка) и уровня (ВКР, магистерская, кандидатская и докторская диссертации), являются:
а) актуальность;
б) научная новизна;
в) теоретическая значимость;
г) практическая значимость.
Но данные широко известные критерии требуют в соответствии с разработками отечественных методологов педагогики конкретизации на технологическом уровне экспертного оценивания.
2. Тип, уровень и масштабы исследования, лежащего в основе диссертационной работы (или выполненного по госбюджетной или хоздоговорной тематике), могут существенно влиять лишь на интерпретацию этих критериев через систему показателей как обязательного (минимально необходимого - в соответствии с требованиями ВАКа), так и желательного (программа «максимум» - в соответствии с требованиями методологов педагогики, углубляющих и расширяющих критерии ВАКа) характера.
3. Полнота реализации в конкретном исследовании всех возможных и целесообразных обязательных качественных показателей теоретически маловероятна, поскольку будет различен набор функционально необходимых требований к НПИ в зависимости от:
а) типа исследования (фундаментальное теоретическое, теоретико-прикладное, историко-педа-гогическое, эмпирическое, методическая разработка);
б) характера исследования, связанного с направлением педагогики, ее отраслью с той или иной степенью разработанности проблематики и инструментария;
в) масштабности уровня его организации (от федерального исследования или эксперимента типа разработки и внедрения ВГОСов или ЕГЭ до инициативного в конкретном вузе или школе, колледже);
г) традиции отношения научных школ к таким вопросам технологии НПИ как:
• наличие вводного историко-педагогического анализа становления и разработки проблемы;
• терминологические «инновации» характеристики анализа проблемы и при разработке собственной концепции (обоснованность создания и введения новых терминов, уровни их конкретизации, строгость использования устоявшейся научной лексики);
• терминологическая согласованность описаний объекта и предмета, цели и задач исследования, позиций гипотезы, названий глав и параграфов, положений, выносимых на защиту;
• структурированность гипотезы;
Раздел I
Педагогика
• обоснованность выборок диагностических обследований и экспериментов;
• корректность применения статистико-математического аппарата в исследовании;
• профессионализм разработки авторского исследовательского и диагностического инструментария.
4. В любом варианте исследования в соответствии с методологией системного подхода целесообразна систематизация ключевых критериев и показателей (в основном - уже выдвинутых методологами педагогики) в идеальной модели системы оценивания НПИ.
5. Такая идеальная модель должна быть адаптирована (хотя бы - на уровне прикладных рекомендаций) к реальной практике проведения НПИ в виде серии «дочерних» моделей, относящихся к каждому типу исследований. Приоритетным нам представляется разработка ее варианта применительно к теоретико-эмпирическому исследованию, посвященному фрагменту педагогической реальности наших дней (обычно выполняемому на уровне кандидатской или магистерской диссертации).
6. Исходной теоретической основой идеальной модели оценивания НПИ должна стать общая модель системы комплексного оценивания педагогических НИР, состоящая из трех базовых структурный блоков оценивания:
1) ключевые (конкретизированные и операционализированные) критерии комплексной оценки НИР:
а) актуальность;
б) научная новизна;
в) теоретическая значимость;
г) практическая значимость;
2) уровни НИР:
а) выпускная квалификационная работа;
б) магистерская диссертация;
в) кандидатская диссертация;
г) докторская диссертация);
3) области исследований в педагогике:
а) история педагогики и образования;
б) общая педагогика;
в) методики преподавания;
г) отраслевые педагогики (социальная, коррекционная, военная и пр.).
Соответственно ключевые критерии комплексной оценки НИР (первый структурный блок оценивания) будут наполняться специфическим содержанием в зависимости от уровня НИР (второй структурный блок оценивания) и области исследования в педагогике (третий структурный блок оценивания).
7. При оценке диссертационной работы необходимо иметь в виду, что качество выполнения текста диссертации как определенной, относительно стандартизированной формы научного отчета о выполненной работе, не тождественно качественным оценкам (реальной результативности) самой этой (научно-исследовательской) работы, профессионализма ее выполнения. Это может порождать несовпадающие оценки экспертов. Но условием достижения консенсуальности в этом вопросе может выступать конкретизация спектра оценивания каждой позиции, касающейся формы и содержания выполненной диссертации (или научного отчета).
8. Одним из наименее разработанных критериев оценивания качества НПИ и как процесса, и как отраженного в форме отчета или диссертации его результата является эффективность НИР - социальная, экономическая и педагогическая. К сожалению, до настоящего времени для определения эффективности НИР ни показатели, ни эмпирические индикаторы, ни инструментарий здесь (операционально и технологически) не разработаны, в силу чего оценки экспертов этого аспекта НПИ наиболее расплывчаты, трудносопоставимы и практически (пока что) не поддаются верификации.
9. Для определения значимости докторских диссертаций (в первую очередь, но не исключительно) необходимо достижение теоретиками и методологами педагогики хотя бы временного (прогностического) консенсуса относительно того, что можно считать открытием нового научного направления и типологизация номенклатуры уже известных направлений и отраслей педагогики (естественно, с учетом позиций ведущих специалистов в существующих отраслях и направлениях педагогической науки). В настоящее время такого консенсуса нет даже среди более чем десяти авторов изданных и рекомендованных педвузам учебников педагогики.
10. Недостаточное развитие педагогической квалиметрии делает весьма проблемными попытки найти единый интегративный количественный показатель оценки качества всех типов НПИ. В обозримый период предпочтительным представляется критериальное сопоставительное оценивание (диссертаций одного уровня (докторских, кандидатских, магистерских) в рамках конкретного направления) по автономным шкалам актуальности, научной новизны, теоретической и практи-
ческой значимости исследования. Учитывая развитие современных информационных технологий, целесообразно в зависимости от типа, характера и уровня исследования достижение методологами консенсуса об иерархии значимости ключевых критериев и минимально допустимых их количественных показателях (в диссертационных работах в рамках уже сложившихся в педагогической науке областей знания и направлений (социальной педагогики, истории образования, педагогической диагностики и т.д.).
11. Перспективным является использование фасетной методики В. М. Полонского в оценке актуальности НПИ при дальнейшей ее конкретизации и четкой дифференциации оценок уровней с широким использованием для этого экспертного метода. Условием эффективного использования этого метода является создание банка данных о компетентных экспертах по всем уже сложившимся отраслям и направлениям педагогической науки и организация действительно независимой экспертизы (хотя бы по технологии работы «черных оппонентов» ВАКа). Профессиональная независимая экспертиза актуальности исследований целесообразна уже на стадии планирования НПИ (с ее сохранением и на стадии завершения работы). Мы считаем целесообразным использование Интернета для обсуждения тематики и ключевых идей еще только проектируемых диссертационных НИР.
12. Критерий научной новизны применим ко всем типам исследований, но требует углубленной конкретизации, особенно применительно к работам (преимущественно кандидатским диссертациям), не открывающим новые научные направления, а углубляющим и дополняющим уже известные. Это потребует значительной работы методологов по уточнению характеристик научной новизны, таких как: ее уровни, формы, типы, критериальные пороги для кандидатских и докторских ( желательно и магистерских) диссертаций. Необходимо также уточнить и четко сформулировать, что считается «дополнением» теории, ее «расширением», «углублением», «внесением новых элементов».
13. Для оценивания научной новизны НПИ малопригодны (суммативные) балльные оценки, и здесь существенно возрастает значимость фактора компетентности экспертов в рамках того конкретного направления педагогической науки, в русле которого выполнено НПИ. Целесообразна также углубленная разработка с помощью экспертов высшего уровня компетентности технологии эталонного сравнения диссертаций. Для совершенствования технологии оценки научной новизны и сопоставления эффективности разных подходов и методов целесообразно проведение (на федеральном уровне на грантовой основе ФЦП) широкомасштабного эксперимента по синхронному оцениванию одной и той же выборки диссертаций разными стандартизированными методиками одними и теми же компетентными экспертами.
14. Критериальная характеристика теоретической значимости НПИ на основе ранговых шкал в настоящее время требует технологической доработки путем конкретизации признаков теоретической значимости (перевода их на консенсуально сформированную интервальную шкалу) и проведения выборочного методологического эксперимента с участием ряда диссертационных советов.
15. Для характеристики практической значимости НПИ целесообразна фасетная методика В. М. Полонского с дополняющими ее уточнениями и конкретизациями (на уровне примеров) по ранговым оценкам таких показателей, как уровень (для кого?) практической значимости, экономическая и социальная эффективность НПИ. Целесообразна разработка системы диагностически обеспеченного (стандартизированными методиками) мониторинга процесса внедрения результатов НПИ.
16. Необходима систематизация позиций методологов по критериям качества НПИ с уточнением и дополнением. Мы выдвигаем собственные показатели по каждому критерию оценки: «актуальность» - «социально-педагогическая значимость решения проблемы»; «новизна» -«ожидаемое влияние полученных результатов на расширение сферы исследований и углубление их проблематики»; «теоретическая значимость» - «уровень теории, в которую вносятся изменения и дополнения»; «практическая значимость» - «потенциальная возможность расширения сферы практического использования результатов и условия ее обеспечения» и раскрываем их в эмпирических индикаторах, в т.ч. мы предлагаем авторские эмпирические индикаторы к систематизированным нами показателям критериев В. М. Полонского.
Примечание. Предложенная нами концепция модификации системы критериев и показателей оценки качества НПИ имеет четко выраженную прогностическую направленность и ориентирована на ее дальнейшее углубление и конкретизацию на основе грантовых заявок по линии РГНФ, РФФИ и АВЦП, ФЦП.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 1. Солнышков, М. Е. Российская педагогическая наукометрия: становление, современное состояние и перспективы развития: монография / М. Е. Солнышков. - Таганрог: Изд-во А. Н. Ступина, 2011. - 506 с.
