CC BY
293
ПРОБЛЕМЫ МЕТОДОЛОГИИ
УДК 14.01.77+37.015
А. К. Колесников,
И. П. Лебедева
ДИСПЕРСИОННЫЙ АНАЛИЗ В ПСИХОЛОГОПЕДАГОГИЧЕСКОМ ИССЛЕДОВАНИИ: ПРОБЛЕМА ИНТЕРПРЕТАЦИИ
Аннотация. В статье рассматриваются возможности использования дисперсионного анализа в психолого-педагогическом исследовании, описываются различные подходы к интерпретации полученных результатов с учетом условия эксперимента.
Ключевые слова: дисперсионный анализ, условия эксперимента, исследование, интерпретация.
Abstract. The paper considers application of dispersion analysis in psychological and pedagogical research and describes various approaches to interpretation of the research data, taking into account the experimental conditions.
Index terms: dispersion analysis, experimental conditions, research, interpretation.
В современных психолого-педагогических исследованиях повышается роль математического аппарата, которая рассматривается в аспекте системного синтеза гуманитарного (содержательного) и формально-логического подходов [2, 4, 5]. Особое место среди математических методов занимает дисперсионный анализ, предусматривающий оценку влияния качественных признаков на количественные переменные. С помощью дисперсионного анализа изучают изменчивость признака (например, успешность обучения) под влиянием каких-либо контролируемых факторов (различных методик обучения, стимулов, форм организации учебного процесса и т. д.). Наиболее интересен вариант многофакторного дисперсионного анализа, позволяющий не только учитывать влияние отдельных факторов на зависимую переменную, но и оценивать эффект их взаимодействия.
Алгоритм реализации дисперсионного анализа, предполагающий проверку гипотез о значимости влияния конкретных факторов на исследуемый признак, достаточно полно описан в специальной литературе. Формальное фиксирование его результата в виде принятия или отвержения нулевой гипотезы не вызывает затруднений.
Часто нулевая гипотеза формулируется в следующем виде: различия в уровне результативного признака между градациями фактора (разными условиями) являются не более выраженными, чем случайные различия внутри
каждой группы. Считается также, что основной целью дисперсионного анализа является исследование значимости различия между средними. При этом иногда ошибочно полагают, что ее можно решить с помощью ^критерия Стьюдента путем многократных парных сравнений однородных и неоднородных групп. Однако в данном случае трудно обнаружить ошибку выполненной процедуры или составного критерия при заданном уровне значимости ^критерия. Дело в том, что, сравнивая много групп, эффект можно обнаружить случайно. Причем высока вероятность того, что это арт-эффект.
Подобные сравнения предусмотрены однофакторным дисперсионным анализом. Проверяемая с его помощью нулевая гипотеза (Но): средние значения признака во всех градациях фактора равны; альтернативная гипотеза (Н1): по крайней мере одно среднее отличается от других. Далее нужно понять, какие средние отличаются от других, т. е. определить характер влияния фактора. Для этого используют процедуры парного сравнения средних значений.
В основе дисперсионного анализа лежит предположение о том, что одни переменные могут рассматриваться как причины (факторы, независимые переменные), а другие как следствия (зависимые переменные). Независимые переменные называют иногда регулируемыми факторами именно потому, что в эксперименте исследователь имеет возможность варьировать ими и анализировать получающийся результат. Если фактор рассматривается не в условиях эксперимента, то возникает проблема обоснования причинно-следственных отношений. Такое обоснование, очевидно, проводится на базе используемой исследователем теоретической концепции. За ее рамками интерпретация причинно-следственных связей может оказаться несостоятельной. Поэтому применение дисперсионного анализа, кроме выполнения определенных математических допущений, предполагает предварительную формализацию объекта исследования и описание границ применимости полученных результатов. После ее проведения дисперсионный анализ необходимо осуществлять в следующей последовательности (с учетом ограничений):
• проверка нормальности распределения результативного признака для наблюдений, соответствующих каждому уровню (градации) фактора;
• проверка однородности дисперсий (в случае неравных выборок);
• вычисление критерия Фишера для проверки нулевой гипотезы;
• выполнение множественного парного сравнения средних, если нулевая гипотеза отвергается (принимается альтернативная);
• содержательная интерпретация результатов сравнения средних.
Последний этап вызывает наибольшие трудности, поскольку предполагает серьезный теоретический и методологический анализ проблемы и понимание смысла промежуточных, а главное - итоговых результатов. Это объясняется следующими причинами:
1) несоответствие реальности факторов и результативного признака;
2) противоречивость содержательного смысла различий средних;
3) отсутствие научной ценности (тривиальность) результата.
Рассмотрим возможные варианты результатов, полученных при обработке данных с помощью однофакторного дисперсионного анализа, и способы их интерпретации. Следует заметить, что интерпретация неэкспериментальных данных может оказаться неоднозначной и недостаточно аргументированной. Поэтому данный вариант дисперсионного анализа целесообразно использовать как предварительный, предполагающий затем либо дальнейшую проверку устойчивости полученного результата, либо проведение эксперимента. Соотнесение результата и условий эксперимента может служить научной основой для адекватных и конструктивных интерпретаций, исключающих альтернативные толкования. Договоримся под условиями эксперимента понимать структуру целенаправленных воздействий на выборочную совокупность. Тогда условие эксперимента будет простым при однократном и сложным при многократном (хотя бы двукратном) воздействии.
Предположим, влияние фактора не установлено (принята нулевая гипотеза). Возможные причины: малая выборка; фактор не является существенным; фактор проявляет себя только при взаимодействии с другим фактором.
Пусть влияние фактора установлено. В процессе интерпретации результатов будем учитывать условия эксперимента. Возможны следующие случаи.
I. Экспериментальное условие простое:
1. Содержательная интерпретация адекватна. Тогда следует оценка научной и теоретической значимости и практической ценности полученного результата с позиции выбранной концепции исследования.
2. Содержательная интерпретация неадекватна. Целесообразно проведение многофакторного дисперсионного анализа, если позволяет экспериментальный план. В противном случае исследование считается незавершенным. Если разбиение на группы не соответствует модели многофакторного эксперимента, то необходимо его дополнить (или выбрать вариант дисперсионного анализа с неполным планом).
3. Содержательная интерпретация неясна. Скорее всего, недоработана концепция исследования и соответствующая ей методика эксперимента.
II. Экспериментальное условие составное:
1. Содержательная интерпретация учитывает структуру данного условия. Например, осуществляются два воздействия на выборку. Причем, согласно концепции исследования, первое воздействие является фоновым, поскольку по отношению к нему рассматриваются результаты второго воздействия. Поэтому целесообразно различать контрольную группу (отличающуюся от экспериментальных предварительным условием, т. е. характером первоначального воздействия), экспериментальную группу 1 (условие однородное - первое и второе воздействия одинаковы), экспериментальную группу 2 (условие неоднородное - первое и второе воздействия неодинаковы). Тогда результат эксперимента положительный, если среднее значение в обеих экспериментальных группах отличается от
среднего в контрольной группе, а между двумя экспериментальными группами достоверных отличий в аналогичных показателях не обнаружено. Данный результат отражает смысл исследуемого феномена, так как различия результатов второго воздействия соотнесены с характером первого воздействия. Для планирования подобной структуры эксперимента должна быть предварительная гипотеза о характере проявления фактора. Исследование можно считать завершенным.
2. Содержательная интерпретация адекватна, но не учитывает составное условие. Значит, концепция исследования, а соответственно, и методика эксперимента требуют корректировки. Исследование не является завершенным.
3. Содержательная интерпретация неадекватна. Целесообразно проведение многофакторного дисперсионного анализа, возможно, после корректировки концепции исследования, поскольку условие не обязательно должно быть составным.
Дисперсионный анализ может не иметь целью подтверждение какой-то научной гипотезы, а значит, его результат может не обладать научной ценностью. Тогда естественность полученных интерпретаций может сделать их полезными непосредственно для практики.
Очевидно, что наиболее интересен второй случай. Приведем пример. С. А. Шапкиным проводилось исследование феномена «выученной беспомощности», т. е. снижение у человека способности к решению задач, если перед этим он подвергался переживанию неуспеха в сходных ситуациях. Эксперимент заключался в следующем. Трем группам испытуемых предлагались анаграммы. Первая группа в предварительной серии проб пыталась решать неразрешимые анаграммы, а в тестовой серии этой группе также предъявлялись анаграммы, но уже разрешимые. Второй группе испытуемых в предварительной серии предлагались неразрешимые анаграммы, но в тестовую серию были включены другие (разрешимые) задачи - на установление закономерностей. Третья группа испытуемых (контрольная) в предварительной серии не подвергалась переживанию неуспеха - им предъявлялись разрешимые анаграммы, а в тестовой серии они решали оба типа задач (анаграммы и задачи на установление закономерностей) [1].
В данном примере фактор - «условие решения задач в тестовой серии, задаваемое в предварительной серии»; зависимая переменная - «время решения экспериментальной задачи». Проверяемая гипотеза (Но): различия во времени решения экспериментальной задачи между группами являются не более выраженными, чем случайные различия внутри каждой группы.
Однородность дисперсии можно не проверять в силу одинакового количества наблюдений в каждой градации. Результаты дисперсионного анализа (полученные с помощью программы «Статистика») представлены в табл. 1.
Поскольку Кэмп > Ккр, отвергаем Н0, принимаем Н1 р < 0,01), т. е. фактор «условие решения задачи» влияет на зависимую переменную «время решения задачи».
Таблица 1
Результаты дисперсионного анализа
Переменная Расчетное значение ^-критерия Фишера Уровень значимости р
Var 1 8,167 0,009
Проведем множественные парные сравнения средних значений для определения характера этого влияния с помощью множественного Ркритерия Стьюдента (табл. 2).
Таблица 2
Результаты парного сравнения средних значений
Var 2 1 2 3
М = 100,500 М = 97,500 М = 66,000
1 - 0,758 0,005
2 0,758 - 0,008
3 0,005 0,008 -
Примечание. В таблице указаны уровни значимости, соответствующие эмпирическим значениям множественного г-критерия: 1 - «однородное» условие в тестовой серии, 2 - «неоднородное» условие в тестовой серии, 3 - «контрольное» условие.
Видим, что различие средних при «однородном» и «неоднородном» условиях оказалось статистически незначимым, в то время как каждое из экспериментальных условий по среднему времени решения задач достоверно отличается от аналогичного показателя для «контрольного» условия. Выявленные различия в средних значениях для разных условий наглядно представлены на графике (рис. 1).
Уаг2
Рис. 1. График средних значений
Таким образом, суть данных различий обозначена как «выученная беспомощность». Этот результат имеет научную ценность, поскольку предположение о существовании названного эффекта получило научное обоснование в ходе экспериментальной проверки.
Если допустить наличие достоверных различий в среднем времени решения экспериментальной задачи между двумя экспериментальными группами и отсутствие значимых различий между экспериментальными и контрольной группами, то содержательная интерпретация будет неадекватной. Возможная причина - неправильная научная гипотеза, поскольку, вероятно, необходимо было учесть еще какой-то фактор. Тогда в соответствии с гипотезой изменилась бы и методика эксперимента.
В случае незавершенности исследования (п. 1(2), 11(2, 3)) можно продолжить его по следующим направлениям.
1. Усложнение экспериментального плана за счет исследования взаимодействия факторов, т. е. переход от однофакторной модели к двухфакторной. В процессе такого перехода может возникнуть неполный экспериментальный план (если количество групп не исчерпывает всевозможные сочетания градаций факторов) или смешанный план (контролируются внутригрупповые и межгрупповые факторы одновременно). Тогда допускается специальный вариант дисперсионного анализа с неполным планом. Целесообразно использовать такой вариант обработки данных в пилотном исследовании. Если взаимодействие факторов будет обнаружено, то имеет смысл провести полное исследование, с тем чтобы обеспечить ясность интерпретаций результата. При неполном экспериментальном плане интерпретация является не до конца определенной.
В случае смешанных планов, например, один фактор может быть межгрупповой (положен в основу разбиения объектов на группы), а другой внутригрупповой, учитывающий различные воздействия на каждый объект во всех группах (контролируется внутри одной и той же группы по отдельности). Возможно также два межгрупповых и один внутригрупповой фактор, или наоборот, один межгрупповой и два внутригрупповых и т. д. [1]. Для получения адекватной интерпретации важно учитывать последовательность воздействий факторов и всевозможные компоненты дисперсии.
2. Усложнение условий эксперимента: использование составного условия, структуры которого оказывают влияние на результативный признак. Потребность в таком условии может возникнуть в процессе разработки концепции, формирования рабочих гипотез, проверка которых предполагает определенную иерархическую структуру эксперимента.
3. Выделение взаимодействия факторов порядка выше первого (при взаимодействии более двух факторов). Двухфакторные взаимодействия в двухфакторной или многофакторной модели называются взаимодействиями первого порядка. Взаимодействие сразу трех факторов называют взаимодействием второго порядка. Содержательная интерпретация
взаимодействий более чем первого порядка представляет серьезную проблему, их иерархия должна быть адекватна иерархии взаимосвязей в гипотезе и условиям эксперимента.
4. Анализ динамики взаимодействия факторов (повторные измерения). При этом время можно рассматривать как еще один фактор или просто в динамике сопоставить характер влияния факторов на результативный признак в условиях лонгитюдного исследования.
Таким образом, интерпретация результатов многофакторного дисперсионного анализа должна учитывать обозначенные направления. Обеспечение ее адекватности требует детального анализа условий эксперимента. Если эффект взаимодействия факторов не выявлен, то интерпретация воздействия отдельных факторов проводится по предложенной выше схеме. Если этот эффект обнаружен, то интерпретация результата дисперсионного анализа становится достаточно сложной. Разобраться в смысле полученного эффекта помогают графики взаимодействий. Однако можно и аналитически структурировать парные сравнения, выделив ситуацию, например, для двухфакторного взаимодействия: при разных градациях фактора А фактор В проявляет себя по-разному.
Рассмотрим простейшую ситуацию. Четырем группам испытуемых предъявлялись списки из 10 слов. Группе 1 - короткие слова с большой скоростью; группе 2 - короткие слова с медленной скоростью; группе 3 -длинные слова с большой скоростью; группе 4 - длинные слова с медленной скоростью. В каждой группе было по 4 испытуемых, всего N = 16. Высказано предположение, что между факторами длины слов (фактор А) и скоростью их предъявления (фактор В) будет наблюдаться значимое взаимодействие: при большой скорости предъявления лучше будут запоминаться короткие слова, а при медленной скорости - длинные [6].
Сформулируем нулевые гипотезы относительно влияния факторов А и В и их взаимодействии:
Но (а): различия в объеме воспроизведения слов, обусловленные действием фактора А, являются не более выраженными, чем случайные различия между показателями.
Но (в): различия в объеме воспроизведения слов, обусловленные действием фактора В, являются не более выраженными, чем случайные различия между показателями.
Но (ав): влияние фактора А на объем воспроизведения слов одинаково при разных градациях фактора В, и наоборот.
Результаты вычислений (с помощью программы «Статистика») следующие:
Ра < Ркр - принимаем Над; Кв < Ккр - принимаем Н0д; Раб < Ркр - отклоняем Н0(АВ), принимаем Н1(АВ) (р < 0,01). Значимым является взаимодействие факторов. Его характер может быть определен по графику взаимодействий (на вертикальной оси отмечена зависимая переменная, на горизонтальной - градации фактора В, отрезками - градации фактора А) (рис. 2). Из данного гра-
фика легко увидеть, что смысл взаимодействия факторов заключается в следующем: короткие слова лучше запоминаются при быстрой скорости предъявления, а длинные - при медленной скорости предъявления.
9 8 7
5
4
3
VarЗ
Рис. 2. График взаимодействия факторов:
----Уаг21;-------Уаг22
В табл. 3 приведены результаты парного сравнения средних, с помощью которых аналитически подтверждается суть выявленного взаимодействия факторов (указаны уровни значимости, соответствующие эмпирическим значениям множественного Ь- критерия).
Таблица 3
Результаты парного сравнения средних значений
№ ячейки Уаг2 Уаг3 1 2 3 4
7,5000 3,7500 3,7500 6,2500
1 1 3 - 0,0003 0,0003 0,1183
2 1 4 0,0003 - 1,0000 0,0056
3 2 3 0,0003 1,0000 - 0,0056
4 2 4 0,1183 0,0056 0,0056 -
Возможные сочетания факторов, если у каждого фактора две градации (в табл. 3 градации фактора В обозначены как 3 и 4):
А1В1; А1В2; А2В1; А2В2.
Как видно по табл. 3 и графику взаимодействия факторов, достоверно отличаются средние значения между группами А1В1 и А1В2; А1В1 и А2В1; А1В2 и А2В2; А2В1 и А2В2,, т. е. у одного фактора коэффициенты различны, у другого - одинаковы. Однако нулевая гипотеза о взаимодействии факторов отвергается, если хотя бы одна из подобных пар имеет достоверные различия средних значений при условии пересечения графиков. Отсюда ясно, что альтернативная гипотеза и для многофакторного дисперсионного анализа имеет неконкретный характер. Она
уточняется в процессе множественного парного сравнения средних значений, результаты которого содержательно интерпретируется.
В реальной практике постоянно возникают более сложные ситуации, когда факторов и их градаций больше двух. В таких случаях при множественном сравнении средних значений обилие информации затрудняет выделить смысл влияния факторов или их взаимодействия. Сначала анализируют графики взаимодействий, выделяя на них взаимодействия первого порядка по точкам пересечения графиков. Но смысл этих взаимодействий при большом числе градаций факторов может оказаться неочевидным, что вызывает необходимость в специальном структурировании полученной информации.
Таким образом, с одной стороны, формальная реализация простейших вариантов дисперсионного анализа не вызывает проблем. С другой стороны, усложнение вариантов дисперсионного анализа приводит к проблеме интерпретации результатов. Однако даже в простейших случаях поиск научного смысла полученного результата неразрывно связан со структурированием условий эксперимента и разработкой определенной схемы содержательного анализа результатов обработки экспериментальных данных на основе используемой концепции исследования.
Поэтому можно утверждать, что применение дисперсионного анализа открывает дополнительные возможности для повышения качества психологопедагогических исследований за счет специальной организации педагогического эксперимента, позволяющего варьировать и контролировать различные факторы (или учета определенных условий, в которых рассматривается действие факторов), а затем - оценки характера их влияния на зависимые переменные. Адекватная интерпретация полученного результата является основой для определения его научной новизны и практической значимости.
Литература
1. Гусев А. Н. Дисперсионный анализ в экспериментальной психологии. М.: Учеб.-метод. коллектор «Психология», 2000. 136 с.
2. Загвязинский В. И., Атаханов Р. Методология и методы психолого-пе-дагогического исследования. М.: Издат. центр «Академия», 2001. 208 с.
3. Колесников А. К., Лебедева И. П. Дисперсионный анализ и его компьютерная реализация. Пермь: Изд-во Пермск. гос. пед. ун-та, 2010. 100 с.
4. Колесников А. К., Лебедева И. П. Комплексное применение математических методов в психолого-педагогическом исследовании. Пермь: Изд-во Пермск. гос. пед. ун-та, 2010. 24 с.
5. Мешкова И. В. Развитие личности в профессионально-образовательном пространстве // Образование и наука. Изв. УрО РАО. 2009. № 7. С. 41.
6. Сидоренко Е. В. Методы математической обработки в психологии. СПб.: ООО «Речь», 2000. 350 с.
