CC BY
72Т.Д. Дубовицкая, И.Н. Нестерова
НУЖЕН ЛИ В ПЕДАГОГИЧЕСКОМ ИССЛЕДОВАНИИ
ДИСПЕРСИОННЫЙ АНАЛИЗ
Ключевые слова: номотетический подход, идеографический подход, эмпирические методы, эксперимент, формирующий эксперимент, математическая и статистическая обработка, дисперсионный анализ, контрольная и экспериментальная группа.
Аннотация: Рассмотрены история возникновения, особенности организации и проведения эксперимента в психолого-педагогических исследованиях, значение и специфика математико-статистической обработки результатов, требования к оформлению результатов формирующего психолого-педагогического эксперимента в диссертационном исследовании; приведены примеры оформления результатов эксперимента в авторефератах на соискание ученой степени кандидата педагогических наук.
Наука начинается с тех пор, как начинают измерять. Точная наука немыслима без меры.
Д.И. Менделеев
Наука только тогда достигает совершенства, когда она начинает пользоваться математикой
К. Маркс
Специфика науки проявляется не только в том, какие проблемы она решает и какую пользу приносит людям и обществу в целом, но и в том, в какой мере она использует эмпирические методы исследования (например, в педагогике - это наблюдение, эксперимент, опросные методы, тестирование, изучение продуктов деятельности, контент-анализ, обобщение педагогического опыта и др.) и соответствующие им методы математической обработки результатов. В этой связи в науке существует два основных подхода к организации исследования - номотетический и идеографический. Номотетический подход ориентирован на выявление общего, закономерностей; идеографический - на выявление уникального, специфического. При реализации идеографического подхода опираются на качественные методы исследования, изучают одного индивида без сопоставления его данных с другими. Номотетический подход опирается на количественные (математические) методы исследования и реализуется в работе с группой (группами) испытуемых.
Использование математических методов для обработки эмпирических данных диктуется необходимостью соответствия требованиям к научным исследованиям. Поскольку одним из разделов введения в автореферате и диссертации является обоснованность и достоверность научных положений (выводов, рекомендаций), то проверить их позволяет, в том числе, и использование математических методов. С помощью математических и статистических методов осуществляется преобразование качественных показателей в количественные и наоборот, обеспечиваются доказательность и объективность исследования, наглядность и убедительность представления результатов.
Рассмотрим, как именно данный аспект представлен в психолого-педагогических исследованиях, какой потенциал для повышения их качества заложен в применении математических и статистических методов обработки результатов экспериментального исследования.
Как известно, в практику психолого-педагогического познания экспериментальный метод был внедрен немецким психологом-исследователем В. Вундтом (1879). В конце XIX -начале XX века появилось исследовательское направление, которое получило название «экспериментальная педагогика». Основой для него послужили эксперименты А. Сикорского по изучению умственной усталости школьников с помощью учета ошибок в диктантах (1879); Г. Эббингауза по запоминанию материала (1885); исследования кругозора
школьников, выполненные К. Холлом (1890); изучение интеллекта учеников, начатое А. Бине и Т. Саймоном (1900); исследования Ф. Гальтона - по квалиметрии человека (1911), К. Пирсона - по математизации измерений в педагогике (1914-1930) и др.
Постепенно совершенствовались теория и методология научного эксперимента. На сегодняшний день, исходя из условий проведения эксперимента, различают естественный, моделирующий и лабораторный эксперимент; в зависимости от этапа исследования -пилотажное (пробное) исследование и собственно эксперимент; в соответствии с результатом воздействия - констатирующий, формирующий и контрольный эксперименты.
В научных психолого-педагогических исследованиях большую популярность приобрел формирующий эксперимент, заключающийся в прослеживании изменений психики и личности ребенка (обучающегося) в процессе активного воздействия исследователя на испытуемого. Синонимы формирующего эксперимента - преобразующий, созидательный, воспитывающий, обучающий, генетико-моделирующий эксперимент, метод активного формирования психики [6, 458].
Проведение формирующего эксперимента требует соблюдения ряда условий, рассмотрение и реализация которых в диссертациях на соискание ученой степени кандидата педагогических наук является целью данной статьи.
Так как формирующий эксперимент проводится в течение определенного времени, в ходе которого испытуемые, находясь в естественных условиях, подвергаются различным фоновым воздействиям, в том числе возрастным изменениям, то важно доказать, что происходящие с ними изменения обусловлены именно влиянием независимой переменной. В этой связи одним из важных условий проведения формирующего эксперимента является комплектование двух групп (выборок) испытуемых - экспериментальной (ЭГ) и контрольной (КГ) [10]. При этом независимая переменная - это переменная (ситуация, стимул), которая намеренно подбирается экспериментатором, значениями которой можно управлять, с целью выяснить ее влияние на зависимую переменную. Зависимая переменная - это измеряемая, регистрируемая переменная, изменения которой связываются с изменениями независимой переменной [5]. В педагогическом эксперименте в качестве независимой переменной выступают, как правило, разнообразные психолого-педагогические условия, моделируемые и реализуемые исследователем в ходе взаимодействия с субъектами и объектами образовательного процесса; в качестве зависимой переменной могут выступать уровень знаний, умений учащихся, экологическая культура, управленческая культура, социально-психологическая адаптация, девиации поведения, качество обучения и другие особенности субъектов и объектов образовательного процесса, изменяемые под влиянием независимой переменной.
При формировании выборки необходимо, чтобы контрольная группа по своим первичным показателям была аналогична экспериментальной группе, находилась в одинаковых с ней условиях, но не подвергалась воздействию независимой переменной.
Выполнить условие равенства экспериментальной и контрольной групп непросто. Например, констатирующий эксперимент может показать одинаковый уровень знаний учащихся по иностранному языку (словарный запас). Затем экспериментальная группа обучается мнемотехническим приемам заучивания слов, а контрольная занимается с преподавателем, как и прежде. Через некоторое время проводится контрольный эксперимент. Если прирост словарного запаса в экспериментальной группе будет выше, чем в контрольной группе, то можно сделать вывод, что мнемотехника полезна для запоминания иностранных слов. В то же время значительный прирост словарного запаса в экспериментальном классе может быть объяснен тем, что туда изначально попали учащиеся с более высоким уровнем интеллекта, и они оказались более обучаемы, чем учащиеся контрольной группы. Поэтому так важно более тщательно подходить к формированию контрольной и экспериментальной групп.
В представленном примере высокий уровень интеллекта явился тем показателем (переменной), который исследователя не интересовал. Но этот показатель напрямую связан со способностью обучающихся усваивать новый способ заучивания слов. В эксперименте такая переменная называется дополнительной переменной, то есть переменной, которая напрямую не интересует экспериментатора, но может оказать существенное воздействие на зависимую переменную. Такими дополнительными переменными, наряду с личностными особенностями (уровень интеллекта, тип темперамента), могут являться пол, возраст, в некоторых случаях - профессиональная принадлежность и др. Данные показатели фиксируются в описании выборок. В этой связи важно соблюдение требования однородности выборки. То есть, исследователь, изучая, например, младших школьников, не может включать в эту же выборку подростков и тем более взрослых людей.
В классическом эксперименте дополнительная переменная может быть учтена таким способом формирования групп, как рандомизация (случайный набор участников исследования), который опирается на понятие вероятность и нормальный закон распределения. В формирующем психолого-педагогическом эксперименте подобная возможность нередко отсутствует. Исследование строится на привлечении реальных групп, так как мы не можем перегруппировать учебные (профессиональные) группы. В этой связи еще до начала формирующего эксперимента необходимо доказать, что экспериментальная и контрольная группа испытуемых имеют сходные результаты по исследуемым параметрам. Как видим, необходимость математической обработки результатов возникает уже на этапе подбора экспериментальной и контрольной групп.
При обработке результатов экспериментального исследования принято говорить о математико-статистической обработке результатов. В зависимости от последовательности обработки данных эмпирического исследования различают методы первичной и вторичной обработки данных. К первичным методам статистической обработки относят методы, позволяющие отсеять артефактные результаты (выбросы), описать полученное распределение данных и его параметры: мода, медиана, среднее, дисперсия и т. д. К вторичным методам относят методы, позволяющие проверять статистические гипотезы, вскрывать закономерности и др. - методы сравнения первичных статистик у двух или нескольких выборок, корреляционный, регрессионный, дисперсионный анализ, факторный анализ и др.
В частности, дисперсионный анализ - это статистический метод, позволяющий исследовать влияние независимых переменных (факторов) на изучаемую зависимую переменную по дисперсиям. В англоязычной литературе и программах статистической обработки данных дисперсионный анализ называется ANOVA/ MANOVA, сокращенно от Analysis of Variance и Multivariate Analysis of Variance. Название метода «дисперсионный анализ» обусловлено тем, что проверка статистических гипотез основана на сравнении выборочных дисперсий с помощью F-критерия Фишера Снедекора. Исследователя не должна пугать сложность математической обработки, так как вычисления легко осуществляются на компьютере в статистических пакетах SPSS или STATISTICA.
Интересна история возникновения статистических методов в обработке результатов научного эксперимента.
Английский ботаник Роберт Фишер с 1910 по 1914 годы работал на агробиологической станции неподалеку от Лондона. Коллектив состоял из одних мужчин, но однажды на работу была принята женщина. Специально ради нее было решено проводить в общей комнате чаепития, первое из которых породило традиционный для Англии спор - что лучше, добавлять молоко в чай или же наливать чай в кружку с молоком? Новая сотрудница - Мюриэль Бристоль утверждала, что легко сможет отличить «неправильный» чай. Правильным и аристократическим считался тогда способ добавления молока в чай.
Спор раззадорил биологов. В соседней комнате были приготовлены несколько кружек чая, смешанного разными способами. Леди Мюриэль легко доказала свой тонкий вкус, верно определив все чашки. Над ходом эксперимента задумался Фишер, который задался вопросом: как часто надо повторять опыт, чтобы результат можно было считать достоверным? Если чашек всего две, то угадать метод приготовления можно и случайно, с высокой долей вероятности. В случае трех-четырех чашек случайность также оставалась высокой. Данные размышления стали основой классической книги «Статистические методы для научных сотрудников», которую Фишер опубликовал в 1925 году. Предложенные им методы используются в биологии и медицине до сих пор [7].
В многочисленных изданиях представлены требования к оформлению результатов научного исследования в авторефератах и диссертациях. При этом, уделяя основное внимание структуре данных работ, авторы меньше всего касаются требований к использованию и описанию математико-статистического аппарата исследования. Остановимся на некоторых особенностях применения и оформления математико-статистической обработки результатов психолого-педагогического эксперимента, которые обязательно должны быть представлены в диссертационном исследовании, а также на их практической реализации в конкретных диссертационных исследованиях.
1. Содержательное описание выборки. При описании выборки, помимо количества испытуемых, необходимо указать их пол, возраст, род занятий и при необходимости другие особенности (социальный статус, уровень образования, культурная принадлежность и пр.), которые могут выступить в качестве дополнительной переменной и влиять на результаты исследования. Отсутствие подробного качественно-количественного описания контрольной и экспериментальной групп (учета дополнительных переменных) не позволяет судить о внешней валидности исследования (возможности переносить полученные результаты на генеральную совокупность) и внутренней валидности (насколько учтены дополнительные переменные, способные влиять на зависимую переменную).
Особую проблему представляет объем выборки. Чем больше объем выборки, тем большая вероятность получить надежные результаты. В то же время, чем более однородно изучаемое явление, тем меньше может быть объем выборки. «Например, если психолог изучает выраженность уровня маскулинности-фемининности у мастеров спорта по хоккею, то, поскольку данная группа спортсменов является достаточно однородной, ее объем может быть небольшим, в пределах одной команды - 12-20 человек. Объем выборки также зависит от статистических методов, которые предполагается использовать. Некоторые непараметрические критерии различий могут использоваться при сравнении групп численностью в 5-7 человек, а факторный анализ более адекватен, если объем выборки составит около 100 человек. Численность сравниваемых экспериментальной и контрольной групп должна быть не менее 30-35 испытуемых» [3, 35].
2. Оценка степени статистической достоверности различий между сравниваемыми показателями. Проведение формирующего эксперимента предполагает сравнение следующих показателей:
- результатов констатирующего эксперимента в контрольной и экспериментальной группе (которые не должны иметь статистически значимых различий);
- результатов констатирующего и контрольного эксперимента в экспериментальной группе (в ходе которого предполагается выявление значимых различий исследуемых показателей);
- результатов констатирующего и контрольного эксперимента в контрольной группе (результаты которых могут быть идентичны);
- результатов контрольного эксперимента в контрольной и экспериментальной группе (результаты которых также предполагаемо должны иметь значимые различия).
При этом недостаточно простого сравнения средних арифметических или процентных показателей проявления изучаемого признака. Поскольку наблюдаемое различие средних значений или процентных соотношений может быть случайным и обусловленным как индивидуальными особенностями участников исследования, так и другими случайными переменными, достоверность выводов о различиях должна быть статистически обоснована. Таким образом, эмпирическая задача исследования преобразуется в статистическую задачу.
При обосновании схожести выборок на этапе констатирующего эксперимента, необходимо показать не только то, что интересующий исследователя показатель в контрольной и экспериментальной группе статистически не отличается, но и то, что данные выборки взяты из одной генеральной совокупности, то есть однородны. Для этого можно воспользоваться критерием Г-Фишера, критериями Ливеня, Шеффе. На практике чаще применяется критерий Ливеня, так как он не зависит от предположения о нормальности распределений [2].
Для оценки степени статистической достоверности различий используются специальные критерии различия, включая параметрические (¿-критерий Стьюдента, Г критерий Фишера) и непараметрические (критерий знаков в, парный критерий Т-Вилкоксона, критерий Фридмана, ¿/-критерий Манна-Уитни, Н-критерий Крускала-Уоллиса, ^-Пирсона, ^-Колмогорова-Смирнова и др.). Каждый из этих критериев характеризуется своими требованиями к выборке, к шкале в которой представлены данные, типу распределения данных, виду решаемой задачи (сравнение, изменение, связь), которые должны учитываться исследователем при обработке результатов эксперимента [1], [8].
Поскольку большинство данных, получаемых в психолого-педагогических экспериментах, не распределены нормально, то предпочтительными являются непараметрические критерии. К тому же непараметрические критерии выявляют значимые различия и в том случае, когда распределение близко к нормальному; при вычислении вручную непараметрические критерии являются значительно менее трудоемкими, чем параметрические [3, 69]. В психолого-педагогических исследованиях чаще всего используются: ^-критерий Манна-Уитни, парный критерий Т-Вилкоксона, ^-Пирсона.
3. Адекватное название и описание таблиц и рисунков. Наглядно представить картину исследуемых показателей позволяют таблицы и рисунки (графики, диаграммы, гистограммы).
Рисунки, таблицы, графы строк и столбцов должны иметь заголовки, адекватно раскрывающие сущность представленных в них данных; обязательно указывается единица измерения показателя (балл, процент); в тексте работы должны быть ссылки на соответствующие таблицы и рисунки, а также содержательный анализ полученных результатов. Используемые термины должны быть общепринятыми или обоснованными.
Рассмотрим, насколько соответствуют перечисленным требованиям авторефераты диссертаций на соискание ученой степени кандидата педагогических наук.
В этой связи было проанализировано сто авторефератов, представленных на сайтах пяти университетов, расположенных в различных регионах Российской Федерации. Все авторефераты содержали описание формирующего эксперимента.
Число авторефератов по различным педагогическим специальностям оказалось следующим:
13.00.01 - Общая педагогика, история педагогики и образования - 20 экз.;
13.00.02 - Теория и методика обучения и воспитания - 59 экз.;
13.00.03 - Коррекционная педагогика (логопедия) - 1 экз.;
13.00.05 - Теория, методика и организация социально-культурной деятельности (по всем уровням образования) - 9 экз.;
13.00.08 - Теория и методика профессионального образования - 11 экз.
П€ППГОГИЧ€СНИИ Ж9ПНПЛ аПШНОРТОСТПНП N 1(50), 3014 ш
Все авторефераты были проанализированы на предмет соответствия заявленным выше требованиям. Результаты представлены в табл.1.
Количество авторефератов, отражающих различные показатели
Таблица 1
№ п/п Анализируемые параметры Количество авторефератов
1 Указание количества испытуемых 93
2 Указание категории испытуемых (класс, курс) 100
3 Указание пола испытуемых 1
4 Указание возраста испытуемых 6
5 Средние арифметические показатели 19
6 Процентные показатели 85
7 Указание на использованные критерии различия 27
6 Цифровые показатели оценки степени статистической достоверности различий 20
Как следует из таблицы 1, далеко не все авторефераты содержат необходимые для научного исследования показатели. В семи авторефератах соискатели не указали количество испытуемых в эксперименте, ограничившись процентными показателями динамики формируемых качеств. Пол испытуемых был указан только в одном автореферате, возраст - в шести авторефератах. Нередко в качестве респондентов назывались преподаватели учебных заведений, при этом полностью отсутствовали указания на их пол, возраст, стаж работы. Дисперсионный анализ контрольной и экспериментальной групп испытуемых даже и не предполагался. Лишь только в двадцати авторефератах представлены цифровые показатели оценки степени статистической достоверности различий. Соответственно в восьмидесяти авторефератах доказательство эффективности формирующего эксперимента осуществлялось путем простого арифметического сравнения показателей по типу «видно же, что стало больше/ или меньше». В восьми авторефератах использовался параметрический ¿-критерий Стьюдента, при этом отсутствовали указания, что распределение близко к нормальному. В шести авторефератах отсутствовали как средние арифметические, так и процентные показатели; в четырех из них были указания на использованные критерии различия, в двух авторефератах было указано только количество испытуемых (по 28 учащихся - 14 в контрольной группе и 14 в экспериментальной группе) и последующее их распределение по уровням; отсутствовали даже средние арифметические показатели.
Особый интерес вызывают названия таблиц (порой совершенно непонятные), а также обозначения соискателями в таблицах и тексте результатов констатирующего и контрольного этапов эксперимента (табл.2).
-SS инноппционныс технологии ОСРПЗООПНИП
Таблица 2
Обозначение результатов/этапов констатирующего и контрольного экспериментов_
Констатирующий этап Контрольный этап
До эксперимента, начало исследования, исходный уровень, диагностический этап, начало эксперимента, начальный этап, нулевой срез, предэкспериментальный срез, диагностирующий срез, стартовая диагностика, констатирующий срез, исходно-диагностический этап После эксперимента, конец исследования, конец эксперимента, итоговый этап, итоговый срез, контролирующий этап, контрольный уровень, формирующий срез, обобщающий этап, заключительный этап, контрольное исследование, итоговый мониторинг, постэкспериментальный срез, итоговая диагностика, итогово-диагностический, диагностическое обследование после формирующего этапа
Как видим, фантазия соискателей в обозначении результатов исследований безгранична. Данная особенность, но уже в меньших масштабах, характерна и для обозначения групп испытуемых. Причем, «контрольная группа» обозначается аналогично практически во всех исследованиях; «экспериментальная группа» выступает как «опытная группа», «опытно-поисковая», «поисковая».
Проведенный анализ свидетельствует о том, что авторы диссертаций не всегда полно описывают выборку испытуемых, редко используют или используют не обоснованно критерии различия, некорректно представляют результаты исследования, дают неадекватные названия таблицам и рисункам. Все это говорит о сравнительно низкой математической и исследовательской культуре экспериментаторов и необходимости повышать качество диссертационных исследований.
1.Горбатов, Д.С. Практикум по психологическому исследованию [Текст] / Д.С. Горбатов. - Самара : БАХРАХ-М, 2003. -
272 с.
2.Гусев, А.Н. Дисперсионный анализ в экспериментальной психологии [Текст] / А.Н. Гусев. - М. : учебно-метод. коллектор «Психология», 2000. - 136 с.
3.Ермолаев, О.Ю. Математическая статистика для психологов [Текст] / О.Ю. Ермолаев. - М. : Московский психолого-социальный институт : Флинта, 2006. - 336 с.
4.Наследов, А.Д Математические методы психологического исследования [Текст]. - СПб. : Речь, 2004 - 392 с.
5.Независимая_и_зависимая_переменные [Электронный ресурс] // URL : http://ru.wikipedia.ora/wiki/ [Дата обращения : 10.01.2014].
6.Психология. Словарь / под общ. ред. А.В. Петровского, М.Г. Ярошевского [Текст]. - М. : Политиздат, 1990. - 494 с.
7.Самые странные научные эксперименты [Электронный ресурс] // Мифы и реальность. URL : http://www.molomo.ru/inquiry/stranae experiments.html [Дата обращения : 10.01.2014].
8. Сидоренко, Е.В. Методы математической обработки в психологии [Текст] / Е.В. Сидоренко. - СПб. : ООО «Речь», 2000. -
350 с.
9. Суходольский, Г.В. Основы математической статистики для психологов [Текст] / Г.В. Суходольский. - СПб. : Изд-во С.-Петербургского университета, 1998. - 464 с.
10. Экспериментальные и контрольные группы [Электронный ресурс] // Экспериментальная психология. URL : http:// www.psyworld.info/eksperimentalnye-i-kontrolnye-aruppy [Дата обращения : 10.01.2014].
