CC BY
892
ПРОБЛЕМЫ СТАТИСТИЧЕСКОГО АНАЛИЗА РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТАЛЬНОГО ИССЛЕДОВАНИЯ ЭФФЕКТИВНОСТИ ПРИМЕНЕНИЯ СОВРЕМЕННЫХ ПЕДАГОГИЧЕСКИХ ТЕХНОЛОГИЙ
И.М. Березянский
Кафедра педагогики и психологии Югорский государственный университет ул. Чехова, 16, Ханты-Мансийск, ХМАО-Югра, Тюменская область, Россия, 628012
Рассматривается необходимость применения статистических методов для достоверной оценки результатов опытно-экспериментальной работы в педагогических исследованиях, на практическом примере анализируются результаты использования трех статистических критериев и трудности, которые могут возникнут при их реализации.
Ключевые слова: структура опытно-экспериментальной работы, сравнение результатов экспериментальной и контрольной групп, статистические критерии, достоверность сравнения результатов.
В нашей работе «Современные педагогические технологии обучения в профессиональной подготовке будущих специалистов по управлению персоналом» проводилось исследование современных педагогических технологий обучения и влияния их применения на качество профессиональной подготовки будущих специалистов по управлению персоналом в области кадрового обеспечения. В результате теоретического анализа были отобраны несколько наиболее подходящих для данной задачи современных педагогических технологий.
На опытно-экспериментальном этапе в учебный процесс был введен спецкурс и практические занятия, направленные на получение знаний, умений и навыков по работе, связанной с подбором персонала. Были разработаны этапы формирования профессиональной компетентности в области подбора персонала, критерии и уровни ее оценки. Проводилось анкетирование, тестирование, индивидуальные собеседования со студентами. Полученные в ходе тестирования данные было необходимо сравнить на достоверность различий.
Опытно-экспериментальная работа играет большую роль во всех науках. Необходимо отметить, что «чем менее строгой является наука, тем большую роль в ней играет экспериментальная работа» [3. С. 6]. Это обусловлено тем, что науки сильной версии используют математический аппарат, многие результаты возможно получить и обосновать теоретически, на базе существующего эмпирического материала [2]. На сегодняшний день педагогика относится к наукам слабой версии, и зачастую эксперимент является единственным способом подтверждения правильности гипотезы и результатов теоретического исследования по причине отсутствия аксиоматики и адекватного формального аппарата, что не позволяет привести должного обоснования, не прибегая к эксперименту. В качестве примера можно рассмотреть введение новой методики обучения с целью повышения ре-
зультатов обучения. В данной ситуации до проведения эксперимента и анализа полученных данных мы можем только предполагать возможную пользу от данного нововведения.
В педагогике существует общепринятая структура педагогического эксперимента: на первом этапе создаются экспериментальная и контрольная группы, затем проверяется отсутствие различия между ними, далее в экспериментальной группе учебный процесс осуществляется с применением новой методики, а в контрольной группе учебный процесс осуществляется без изменений. По итогам эксперимента проводится диагностика качества обучения, и если по результатам проведения эксперимента состояние экспериментальной группы отличается от контрольной, то исследователь может говорить о наличии эффекта исследуемой методики.
Существенную роль при планировании эксперимента и подведении результатов играют статистические методы, которые дают в том числе возможность устанавливать степень достоверности сходства и различия исследуемых объектов на основании результатов измерений их показателей.
Существуют методы решения базовых задач (например, сравнение результатов эксперимента в группах, без значимых различий в состоянии до начала эксперимента) и более сложные статистические методы и их комбинации для решения различных задач [1; 4]. К примеру, при различии групп в начальном состоянии предварительно используется технология стандартизации выборки.
Д.А. Новиков отмечает, что на сегодняшний день большинство исследователей четко представляют, что использование статистических методов необходимо, но при этом в педагогических исследованиях статистические методы не используются вообще или используются некорректно [3]. Это подтверждает необходимость применения и грамотного использования статистических методов.
В диссертационном педагогическом исследовании эксперимент проводится с целью эмпирического подтверждения или опровержения гипотезы исследования и (или) справедливости теоретических результатов.
Традиционно используется следующая модель педагогического эксперимента: проводится изменение в имеющемся педагогическом объекте (индивид, группа, коллектив и т.д.), изменение состояние этого объекта исследуется в ходе эксперимента. Предположим, что объект — множество учащихся, обучаемых по новой (предлагаемой в диссертационном исследовании) методике, в таком случае состояние объекта измеряется теми или иными характеристиками (показателями) по критериям (например, успеваемость, уровень знаний и т.д.), отражающим его существенные характеристики (например, время выполнения заданий, число правильно решенных задач и т.д.).
Нами исследовалось влияние использования в учебном процессе современных педагогических технологий обучения на качество профессиональной подготовки будущих специалистов по управлению персоналом в области кадрового обеспечения. Для проверки выдвинутых теоретических положений был проведен педагогический эксперимент с двумя группами учащихся: экспериментальной (50 студентов) и контрольной (53 студента). Для оценки эффективности применения совре-
менных педагогических технологий планировалось использовать два статистических критерия: критерий Фишера и ¿-критерий Стьюдента. Они были выбраны по причине того, что в их основе расчета лежит два разных типа шкал: порядковая и отношений.
Для работы со шкалой отношений, в которой учитывались результаты решения тестов по количеству верных ответов во взаимосвязи с количеством студентов, давших такое количество правильных ответов, применяется ¿-критерий Стьюдента. Критерий Фишера, напротив, рассчитан на порядковую шкалу, в которой учитывается количество студентов, подтвердивших и не подтвердивших наличие необходимого объема знаний [1; 2; 4].
При проверке уровня знаний через тестирование в экспериментальной и контрольной группах до начала и после окончания эксперимента были получены следующие данные (табл. 1).
Таблица 1
Результаты измерений уровня знаний в контрольной и экспериментальной группах до и после эксперимента
Число правильных ответов при тестировании Число студентов давших такое количество правильных ответов при тестировании
до начала эксперимента после окончания эксперимента
контрольная группа экспериментальная группа контрольная группа экспериментальная группа
Число студентов, человек 53 50 53 50
Среднее кол-во правильных ответов 10,6 10,3 12,8 17,5
Необходимо отметить, что расчет среднего количества правильных ответов как расчет среднего балла по группе не может являться корректным для осуществления выводов в рамках педагогической науки. В нашей работе это позволило лишь предположить, что полученные изменения могут носить позитивный характер.
Для сравнения полученных результатов мы воспользовались, как было сказано выше, двумя статистическими критериями — критерием Фишера и -критерием Стьюдента. При расчете критериев было осуществлено сравнение показателей контрольной и экспериментальной группы между собой до начала и после окончания эксперимента, а также показателей до начала и после окончания эксперимента между собой внутри каждой группы с целью проверки не только наличия достоверных различий между группами, но определения наличия достоверных различий внутри групп до начала и после окончания эксперимента.
Для проведенных расчетов был определен уровень значимости р = 0,05, что означало вероятность ошибки, заключающейся в отклонении (непринятии) нулевой гипотезы, т.е. вероятность того, что различия сочтены существенными, а они на самом деле случайны, иными словами, допускалась вероятность ошибки не более 5%.
Для корректного расчета критерия Фишера нам необходимо было обработать полученные данные и сделать распределение в полученной выборке только
по двум критериям. Мы использовали разделение на «справились/не справились с заданием» из расчета «справились» — 16 и более правильных ответов в тесте; менее 16 правильных ответов — «не справились». Критические значения критерия Фишера и других статистических критериев представлены в общедоступных таблицах распределения [5], поэтому нет необходимости рассчитывать их дополнительно, воспользуемся доступными данными. Согласно таблице критических значений критерия Фишера для нашей выборки критическое значение равно 1,64, т.е. если полученный критерий менее этого значения, то различия между двумя выборками незначимы, если более — выборки различаются существенно.
В результате проведенных расчетов были получены следующие эмпирические значения критерия Фишера (табл. 2).
Таблица 2
Эмпирические значения критерия Фишера
Группа Контрольная Эксперимен- Контрольная Эксперимен-
группа до тальная груп- группа после тальная группа
начала экс- па до начала окончания экс- после окончания
перимента эксперимента перимента эксперимента
Контрольная группа 0 0,05 0,84 2,79
до начала эксперимента
Экспериментальная группа 0,05 0 0,79 2,72
до начала эксперимента
Контрольная группа после 0,84 0,79 0 2,41
окончания эксперимента
Экспериментальная груп- 2,79 2,72 2,41 0
па после окончания экспе-
римента
С критическим значением критерия Фишера равным 1,64 мы сравнили результаты, полученные в экспериментальной и контрольной группах до начала и после окончания эксперимента. Как видно из приведенных расчетных данных, до начала эксперимента экспериментальная и контрольная группа не имели существенных различий по уровню профессиональной подготовки, что и было необходимо для достоверности оценки результатов проведенного эксперимента.
Также видно, что по окончании эксперимента произошли существенные изменения в уровне профессиональной подготовки по сравнению с контрольной группой. Учитывая рассчитанное ранее среднее количество верных ответов, можно сделать вывод, что применение современных педагогических технологий в профессиональной подготовке будущих специалистов по управлению персоналом в области кадрового обеспечения положительно влияет на результаты обучения и влияет сильнее по сравнению с применением только традиционных педагогических технологий.
Однако критерий Фишера имеет ряд ограничений и применяется для расчета различий между двумя выборками только при условии разделения результатов на две группы. Поэтому нам представляется необходимым проверить разницу в полученных выборках дополнительно ¿-критерием Стьюдента. Для применения ¿-критерия Стьюдента необходимо соблюдать следующие условия: измерение мо-
жет быть проведено в шкале интервалов и отношений, сравниваемые выборки должны быть распределены по нормальному закону. Т-критерий рассчитывается для связанных (зависимых) и несвязанных (независимых) выборок.
В нашем эксперименте связанными выборками являются выборки результатов, полученные внутри одной группы (контрольной или экспериментальной) до начала и после окончания эксперимента. Независимыми являются результаты, полученные в разных группах (сравнение результатов в контрольной и экспериментальной группе до начала эксперимента и сравнение полученных результатов в контрольной и экспериментальной группе по окончании эксперимента).
Результаты расчета ¿-критерия Стьюдента представлены в табл. 3. В скобках указаны критические значения [5] для доверительной вероятности 0,95 при сравнении указанных характеристик групп.
Таблица 3
Результаты расчета (-критерия Стьюдента
Групппа Контрольная Эксперимен- Контрольная Эксперимен-
группа до начала тальная группа группа после тальная группа
эксперимента до начала экс- окончания после окончания
перимента эксперимента эксперимента
Контрольная группа до 0 0,20 (1,98) 4,03 (2,00) —
начала эксперимента
Экспериментальная 0,20 (1,98) 0 — 3,75 (2,00)
группа до начала экс-
перимента
Контрольная группа 4,03 (2,00) — 0 3,92 (1,98)
после окончания экс-
перимента
Экспериментальная — 3,75 (2,00) 3,92 (1,98) 0
группа после оконча-
ния эксперимента
При анализе полученных данных сложно сделать однозначный вывод в пользу результатов профессиональной подготовки в экспериментальной группе, так как согласно рассчитанным критериям более существенные различия наблюдаются внутри контрольной группы до начала и после окончания эксперимента, хотя критическое значение больше чем при сравнении результатов между группами. При этом все полученные значения, за исключением сравнения групп до начала эксперимента, превышают критические значения, что говорит о существенной разнице.
Для достоверного сравнения полученных данных мы дополнительно воспользовались критерием % (хи-квадрат). Этот статистический критерий также предназначен для сравнения двух статистических выборок.
Как и другие статистические критерии критерий % (хи-квадрат) имеет ограничения: он применим при условии, что для любого значения балла в любой из сравниваемых выборок не менее пяти ее членов получили данный балл, т.е. п1 > 5, т{ > 5, I = 1, 2, ..., Ь. Кроме того, необходимо чтобы Ь было не менее трех. Из-за указанных ограничений мы были вынуждены немного изменить таблицу, объединив исходные данные в группы по количеству правильных ответов: 1—5, 6—10, 11—15, 16—20, 21—25.
При представленных выборках критическое значение критерия %2 для уровня значимости а = 0,05 равно 11,07 [2. С. 52].
Результаты расчета данного критерия приведены в табл. 4.
Таблица 4
Результаты расчета критерия % (хи-квадрат)
Групппа Контрольная Эксперимен- Контрольная Эксперимен-
группа до начала тальная груп- группа после тальная группа
эксперимента па до начала окончания после окончания
эксперимента эксперимента эксперимента
Контрольная группа до начала эксперимента 0 2,48 7,61 —
Экспериментальная
группа до начала экспе- 2,48 0 — 32,20
римента
Контрольная группа
после окончания экспе- 7,61 — 0 13,50
римента
Экспериментальная
группа после окончания — 32,20 13,50 0
эксперимента
Приведенные расчетные данные убедительно показывают наличие существенных отличий между группами после окончания эксперимента, а также говорят о существенных отличиях по результатам внутри экспериментальной группы до начала и после окончания эксперимента.
Таким образом, мы видим, что в педагогических исследованиях необходим взвешенный подход к использованию статистических методов. Они должны применяться с учетом имеющихся данных, обязательно должны учитываться ограничения различных статистических критериев, а также предприниматься действия (когда это возможно) для приведения имеющихся данных в соответствие с требованиями соответствующих статистических критериев. Кроме того, приведенные примеры расчета продемонстрировали, что, используя какой-либо один критерий, не всегда можно сделать правильные и однозначные выводы о результатах эксперимента. Более достоверным является применение различных критериев, рассчитанных на разные типы шкал и разную чувствительность.
Проведенные арифметические расчеты и расчеты по трем статистическим критериям доказали, что использование современных педагогических технологий обучения в профессиональной подготовке будущих специалистов по управлению персоналом в области кадрового обеспечения оправдано. Внедрение применения современных педагогических технологий в учебный процесс приносит положительные результаты, более значимые, чем при использовании в учебном процессе только традиционных педагогических технологий.
ЛИТЕРАТУРА
[1] Ермолаев О.Ю. Математическая статистика для психологов. — М: Флинта, 2003.
[2] Новиков А.М. Докторская диссертация?: Пособие для докторантов и соискателей ученой степени доктора наук. — М.: Эгвес, 2003.
[3] Новиков Д.А. Статистические методы в педагогических исследованиях (типовые случаи). — М.: МЗ-Пресс, 2004.
[4] Сидоренко Е.В. Методы математической обработки в психологии. — СПб.: Речь, 2003.
[5] Таблицы распределений. URL: http://www.statsoft.ru/home/textbook/modules/sttable.html
PROBLEMS OF STATISTIC ANALYSIS OF EXPERIMENTAL RESEARCH RESULTS OF EFFECTIVENESS OF APPLYING MODERN PEDAGOGIC TECHNOLOGIES
I.M. Berezyanskiy
Department of Pedagogics and Psychology Ugra State University Chekhova str., 16, Khanty-Mansiysk, Khanty-Mansi Autonomous Okrug — Ugra, Tyumen region, Russia, 628012
The article touches upon the problem of applying statistic methods for the purpose of reliable estimate of experimental work results in the pedagogic researches; it also describes the practical example of the three statistic criteria usage and the difficulties that may arise in the course of their application.
Key words: experimental work structure, comparison of the results of experimental and reference groups, statistic criteria, reliability of results comparison.
