CC BY
127
Экспериментальные исследования эффективности подготовки будущих
художников традиционного прикладного искусства
Шапкин В.В., доктор педагогических наук, профессор, ведущий научный сотрудник Научно-исследовательского института традиционных художественных промыслов, ФГБОУВО «Высшая школа народных искусств (академия)», 191186, Санкт-Петербург, набережная канала Грибоедова, д. 2., лит. A, e-mail: vshapkin@mail.ru
Shapkin V. V., doctor of pedagogical sciences, professor, leading researcher of Institute of traditional art crafts, Higher School of Folk Arts (academy), 191186, St. Petersburg, Griboyedov canal embankment, 2., lit. A, e-mail: vshapkin@mail.ru
Еще раз о педагогическом эксперименте в научном исследовании Once again about pedagogical experiment in scientific research
Аннотация. В статье обсуждается место педагогического эксперимента в диссертационных исследованиях по педагогике. Анализируются типичные ошибки в организации и обсуждении результатов эксперимента. Сформулированы его ведущие методологические принципы, приведены примеры определения целей и задач, формулировки гипотезы эксперимента, дан алгоритм статистического расчета значимости полученных результатов.
Ключевые слова: методы педагогических исследований, педагогический эксперимент, методологические основания эксперимента, измерительные шкалы, статистические методы обработки результатов эксперимента.
Abstract. The article discusses the place of a pedagogical experiment in dissertation research on pedagogy. Typical mistakes in organizing and discussing the results of an experiment are analyzed. Its leading methodological principles are formulated, examples of determining goals and objectives, formulating an experiment hypothesis are given, an algorithm for statistical calculation of the significance of the results obtained is given.
Keywords: methods of pedagogical research, pedagogical experiment, methodological foundations of the experiment, measuring scales, statistical methods of processing experimental results.
Педагогический эксперимент занимает особое место среди методов научного исследования педагогических явлений. По своей сути педагогический эксперимент - это «специально организованная проверка какой-либо технологии или методики», системы отбора и конструирования содержания обучения для выявления их педагогической эффективности [7, с. 54]. Педагогический эксперимент выявляет наличие причинно-следственных связей между характеристиками педагогического объекта, которые интересуют исследователя, и «воздействующими на объект выбранными исследователем управляемыми и контролируемыми факторами» [2, с. 21].
Значимость эксперимента в педагогических исследованиях определяется следующим:
во-первых, эксперимент позволяет получать новые знания об изучаемых педагогических процессах и объектах;
во-вторых, позволяет изучить и латентные, ранее не проявляющие себя характеристики педагогического объекта
в-третьих, дает возможность получить практические результаты, которые можно внедрить для повышения эффективности педагогической системы [7, с. 43]
К недостаткам экспериментального метода можно отнести то, что он был изначально ориентирован на высокий уровень формализации проверяемых теорий (чтот тпиично для естественных наук) и возможности измерения всех существенных переменных. Эксперимент в педагогическом исследовании оказался «методом, пригодным скорее для проверки "сложившихся" и развитых психолого-педагогических теорий, чем для поисковых исследований, направленных на выработку адекватного теоретического языка и формулировку проблемных гипотез» [2, с. 23].
Эксперимент - форма практики, а его результаты применимы в качестве критерия справедливости, проверяемой (доказываемой) теории. Использование эксперимента в педагогическом исследовании требует выполнения следующих условий [6]:
• четкое выделение объекта и описание системы переменных, детерминирующих его поведение;
• возможность количественных и качественных измерений и контроля воздействующих на объект управляемых факторов и изменения его характеристик и поведения;
• четкая формулировка гипотезы, раскрывающей предполагаемую связь вводимых воздействий на объект и изменений его характеристик.
Объектом экспериментирования в педагогической науке являются педагогическая действительность (объекты, деятельность), люди разного возраста и пола, социального и профессионального состава, их коллективы и сообщества.
Предметом педагогического экспериментирования становятся их знания, навыки, умения, установки, отношения, личностные качества, проявляемые в сложившихся и в новых измененных условиях. Объект педагогического эксперимента и предмет педагогического эксперимента уточняют, детализируют общие формулировки объекта и предмета исследования.
Приведем пример формулировок объекта и предмета в рамках программы исследовании и соответствующие категории педагогического эксперимента, включенного в это исследование (рис. 1).
Объект исследования - образовательный процесс в вузе Объект педагогического эксперимента - обучающиеся в процессе изучения общенаучных дисциплин
Предмет исследования - усвоение студентами общенаучных дисциплин Предмет педагогического эксперимента - освоение студентами общенаучных дисциплин при использовании компетентностного подхода в их преподавании
Рис. 1. Примеры формулировок объектов и предметов педагогического исследования и проводимого в его рамках педагогического эксперимента
Предмет экспериментирования, как одна из сторон проявления объекта, напрямую определяет постановку цели и выполняет роль зависимой переменной, которая будет изменяться под влиянием вновь вводимого условия его существования. Другой составной частью эксперимента является новшество, вводимое в деятельность объекта экспериментирования и меняющее состояние его предмета. Это может быть идея, воплощенная в методе, средстве влияния на предмет познания. Таким новшеством может быть любое внешнее условие существования и деятельности объекта. Оно становится независимой переменной, фактором более устойчивым и многократно повторяемым до получения целевого результата.
На стыке зависимой и независимой переменных разрабатывается гипотеза эксперимента, предположение зависимости переменных. Гипотеза эксперимента - это «развёрнутое предположение, в котором максимально подробно изложена модель, механизм того новшества, введением которого ожидается получить более высокую эффективность учебно-воспитательного процесса» [5, с. 121].
Третьим непременным атрибутом любого эксперимента является аппарат диагностико-аналитического измерения состояния зависимой переменной. Ниже в тексте производится ее параметризация, т.е. выделение замеряемых качеств и состояний, а также определение критериев присутствия у зависимой переменной выделенных качеств [3].
Пример. Исследуемым параметром в педагогическом эксперименте является уровень усвоения учебного материала какой-либо спецдисциплины при использовании бинарных занятий с предметами общенаучного цикла. Как целесообразно измерять зависимую переменную - уровень усвоения учебного материала спецкурса в условиях использования бинарной формы проведения учебных занятий? При этом необходимо решить этот вопрос еще на этапе констатирующего эксперимента, чтобы можно было сравнить итоговые
результаты контрольной и экспериментальной групп. Уровень освоения учебного материала может быть представлен такими критериальными показателями:
A. объем усвоенных знаний и сформированных навыков;
Б. уровень осознанного отношения к ним;
B. степень использования в последующей деятельности.
Таким образом, только интегрированная модель оценки может доказать подтверждение выдвинутой гипотезы об эффективности бинарных занятий.
Эффективность эксперимента определяется следующими условиями [8,
с. 62]:
• анализ теоретических предпосылок исследуемого явления, всестороннее изучение педагогической практики, связанной с выбранными объектом и предметом эксперимента, для сужения поля и задач эксперимента;
• конкретизация формулировки гипотезы с точки зрения ее новизны по сравнению со сложившимися установками, взглядами;
• детальная разработка признаков и критериев, по которым будут оцениваться результаты эксперимента;
• доказательство обоснованности рекомендаций, сделанных на основе материалов эксперимента, их эффективности по сравнению с традиционными подходами.
Анализ педагогических диссертаций указывает на существование ряда типичных ошибок при проведении педагогического эксперимента и обработке его результатов. Можно выделить несколько из них [4]:
• отсутствие четкой программы эксперимента, некорректная формулировка гипотезы, проверяемой в эксперименте;
• недостаточное для обеспечения репрезентативности число субъектов, участвующих в эксперименте;
• игнорирование уже описанных в научной литературе и апробированных методик;
• отсутствие статистически подтвержденных доказательств значимости полученных различий характеристик объектов в контрольной и экспериментальной группах;
• «разрыв между теорией и проводимой экспериментальной работой, поверхностное знание материала по проблеме исследования, что не позволяет грамотно описать эксперимент, осуществить сравнительный анализ, сделать выводы и сформулировать рекомендации» [5, с. 120].
Прокомментируем два чаще всего встречающихся недостатка при проведении эксперимента и описании его результатов:
1. Слабые методологические основания проводимого исследования, некорректная формулировка целей педагогического эксперимента и его гипотезы.
2. Отсутствие статистической обработки результатов эксперимента для подтверждения отсутствия или наличия значимого различия показателей контрольной и экспериментальной группы испытуемых.
В гипотезе должно быть четко описано вводимое новшество, воздействующее на педагогический объект, контролируемые характеристики объекта и предполагаемые причинно-следственные связи между ними.
Пример корректной гипотезы педагогического эксперимента:
Включение и анализ проблемных ситуаций по сравнению с традиционным изложением материала в курсе «Технология» должно значительно эффективнее развивать творческие способности обучаемых в процессе га художественно-творческой деятельности.
Возможна и другая формулировка гипотезы этого эксперимента:
Процессу развития творческого подхода к решению художественно-творческих задач способствует знакомство с приемами эвристического мышления при изучении курса «Технология».
Примером некорректной формулировки гипотезы являются многофакторные гипотезы, которые получили большое распространение в последнее время. Например: образовательный процесс в рамках профессиональной образовательной программы бакалавриата по направлению «Декоративно-прикладное искусство и народные промыслы» будет более эффективным, если будут соблюдаться следующие условия:
- разработана модель программы обучения;
- создана блочная система учебных планов;
- применяется личностно-ориентированный подход;
- используется интегративный подход при разработке учебных программ дисциплин;
- проводится мониторинг учебного процесса с целью его корректировки.
Оценка влияния перечисленных условий предполагает серию
однофакторных экспериментов или много факторный эксперимент [5]. Заметим, что приведенная формулировка много факторной гипотезы может рассматриваться в исследовании как прогнозная оценка результативности всего исследования, но при этом должны быть четко выделены объект и предмет педагогического эксперимента и сформулирована эмпирически проверяемая гипотеза.
И последнее: о необходимости статистической обработки полученных экспериментальных данных и оценки погрешности результатов.
Состояние объекта, на который производится целенаправленное воздействие в ходе эксперимента, измеряется показателями по критериям, отражающим его существенные характеристики. При проведении эксперимента необходимо «обосновать, что состояние объекта изменилось ... в требуемую сторону. Во-вторых, доказать, что изменения произошли ... в результате произведенного воздействия» [4, с. 43]. Как правило, эти доказательства находятся путем сопоставления характеристик контрольной и экспериментальных групп до начала и после проведения эксперимента. При этом подразумевается, что методы измерения характеристик объектов и измерительный инструментарий одинаковы.
Педагогический эксперимент обычно проводится с участием в нем большого количества учащихся, при этом из-за индивидуальных характеристик каждого из них индивидуальные показатели имеют вероятностный разброс. Достоверное подтверждение совпадения или различия состояний контрольной и экспериментальной групп требует статистико-математических методов обработки результатов педагогического эксперимента.
Рассмотрим применение в педагогическом эксперименте двух шкал измерений состояния объекта - относительной и порядковой.
Шкала отношений в педагогических исследованиях имеет место, когда измеряются некоторые абсолютные показатели исследуемого объекта: например, количество правильно выполненных тестовых заданий и др. Данная шкала позволяет зафиксировать, во сколько раз измеряемый показатель объекта больше / меньше иного объекта, принимаемого за эталон [4, с. 12].
Порядковую шкалу часто называют шкалой рангов. При использовании этой шкалы некорректно рассчитывать средние значения или суммировать индивидуальные оценки. По свойстам порядковая шкала слабее, чем относительная. К порядковой шкале может быть отнесена традиционная (пятибалльная) система оценки знаний обучающихся.
Для количественных данных, полученных в шкале отношений для проверки гипотезы о совпадении характеристик двух групп чаще всего используется критерий Крамера-Уэлча [4, с. 58]. Например, при проверке гипотезы о совпадении или различии средних значений двух выборок. Эмпирическое значение данного критерия рассчитывается на основании информации об объемах выборок, т.е. количества индивидуальных оценок в контрольной группе (1М) и в экспериментальной группе (М), и выборочных дисперсиях Ох и Оу сравниваемых множеств.
Формула для расчета критерия Крамера-Уэлча (ТЭМп):
Тэмп = V N М |хср - у ср | / ^ Эх + М Ву
Вх = I (хп - хср )2 /(Ы - 1); В у = I (у т - Уср )2 /(М - 1)
Далее рассчитанное значение критерия ТЭМп сопоставляется с табличным значением ТтабЛ , называемым критическим значением критерия для разных уровней значимости. Уровень значимости определяет, в пределах какой величины ошибки мы считаем характеристики выборок совпадающими или различающимися. Если ТЭМп < Ттабл, то принимается нулевая гипотеза -характеристики сравниваемых выборок совпадают на уровне значимости. Если Тэмп > Ттабл, принимается альтернативная гипотеза - о значимых различиях двух анализируемых выборок. Величина значимости а для результатов педагогических исследований обычно принимается 0,05, т.е. подтверждаемое совпадение или различие гарантируется с вероятностью \У = (1-а) = 0,95 (95%). Табличные значения критерия Крамера-Уэлча для заданного уровня значимости берутся из таблиц. Для а = 0,05 ТтабЛ = 1,96.
Литература
1. Ашихмина Т.В., Окулов С.М. О корректности эксперимента в педагогических исследованиях / Т.В. Ашихмина, С.М. Окулов // Вестник Вятского государственного гуманитарного университета. - 2009. - № 1. -С.114-120.
2. Ибрагимов Г.И. Эксперимент в педагогических исследованиях: проблемы и основные направления совершенствования / Г.И. Ибрагимов // Педагогика. - 2010. - № 3. - С. 20-27.
3. Мкртычан Г.А. Параметры педагогической экспериментальной деятельности / Г. А. Мкртычан // Педагогика. - 2001. - № 5. - С. 45-50.
4. Новиков Д.А. Статистические методы в педагогических исследованиях (типовые случаи) / Д.А. Новиков. - Москва: МЗ-Пресс, 2014. -58 с.
5. Попков В.Н. Недостатки в организации экспериментальной части педагогических исследований / В.Н. Попков // Омский научный вестник. -2014. - № 3 (129). - С. 119-123.
6. Солодовникова E.H., Пучков Н.П. К вопросу повышения достоверности результатов педагогических экспериментов / E.H. Солодовникова, Н.П. Пучков // Вестник Томского государственного университета. -2011. - Т. 17. Вып. 4. - С. 1099-1110.
7. Теория и практика педагогического эксперимента / А.И. Пискунов, Г.В. Воробьев, B.C. Ильин и др.; под ред. А.И. Пискунова, Г.В. Воробьева. -Москва: Педагогика, 1979. -207 с.
8. Шапкин В.В. Научно-педагогический эксперимент: сущность, структура, этапы проведения / В.В. Шапкин // Инновации в образовании. -2017.-№ 8.-С. 55-64.
9. Яковлев Е.В., Яковлева Н.О. Педагогический эксперимент в диссертационных исследованиях / Е.В. Яковлев, Н.О. Яковлева // Современная высшая школа: инновационный аспект. - 2011. - № 1. - С. 52-63.
References
1. Ashihmina T.V., Okulov S.M. О korrektnosti eksperimenta v pedagogicheskih issledovaniyah / T.V. Ashihmina, S.M. Okulov // Vestnik Vyatskogo gosudarstvennogo gumanitarnogo universiteta. - 2009. - № 1. - S. 114-120.
2. Ibragimov G.I. Eksperiment v pedagogicheskih issledovaniyah: problemy i osnovnye napravleniya sovershenstvovaniya / G.I. Ibragimov // Pedagogika. -2010.-№3.-S. 20-27.
3. Mkrtychan G.A. Parametry pedagogicheskoj eksperimental'noj deyatel'nosti / G.A. Mkrtychan // Pedagogika. - 2001. - № 5. - S. 45-50.
4. Novikov D.A. Statisticheskie metody v pedagogicheskih issledovaniyah (tipovye sluchai) / D.A. Novikov. - Moskva: MZ-Press, 2014. - 58 s.
5. Popkov V.N. Nedostatki v organizacii eksperimental'noj chasti pedagogicheskih issledovanij / V.N. Popkov // Omskij nauchnyj vestnik. - 2014. -№3(129).-S. 119-123.
6. Solodovnikova E.N., Puchkov N.P. K voprosu povysheniya dostovernosti rezul'tatov pedagogicheskih eksperimentov / E.N. Solodovnikova, N.P. Puchkov // Vestnik Tomskogo gosudarstvennogo universiteta. - 2011. - T. 17. Vyp. 4. - S. 1099-1110.
7. Teoriya i praktika pedagogicheskogo eksperimenta /A.I. Piskunov, G.V. Vorob'ev, V.S. Il'in i dr.; pod red. A.I. Piskunova, G.V. Vorob'eva. - Moskva: Pedagogika, 1979. - 207 s.
8. SHapkin V.V. Nauchno-pedagogicheskij eksperiment: sushchnost', struktura, etapy provedeniya / V.V. SHapkin // Innovacii v obrazovanii. - 2017. -№ 8. - S. 55-64.
9. YAkovlev E.V., YAkovleva N.O. Pedagogicheskij eksperiment v dissertacionnyhissledovaniyah/E.V. YAkovlev,N.O. YAkovleva// Sovremennaya vysshayashkola: innovacionnyj aspekt. -2011.-№1.-S. 52-63.
