CC BY
10УДК 311.42
Борисов А.А., Сорокин Н.В., Борисова Д.В.
Borisov A.A., Sorokin N. V., Borisova D.V.
К вопросу о проверке достоверности педагогического эксперимента On the question of verifying the validity of a pedagogical experiment
Аннотация. В статье приведен анализ вариантов прогнозирования результатов педагогического эксперимента, определению условий достоверности ожидаемых результатов. Представлены результаты проведенного исследования и вариант автоматизации данного процесса путем использования авторской программы.
Abstract. The article provides an analysis of options for predicting the results of a pedagogical experiment, determining the conditions for the reliability of the expected results. The results of the conducted research and the option of automating this process by using the author's program are presented.
Ключевые слова: педагогический эксперимент, метод экспертных оценок, прогнозирование эффективности исследования, автоматизация расчетов.
Keywords: pedagogical experiment, expert evaluation method, forecasting the effectiveness of research, automation of calculations.
Актуальность. Несомненно, институт высшего образования - одна из важнейших общественных систем, обеспечивающих подготовку квалифицированных кадров, необходимых для непрерывного развития общества и гармоничного функционирования его механизмов. В современном мире выполнение такой ключевой задачи, как обеспечение различных отраслей профессиональными специалистами, требует от системы образования динамичности и гибкости, заключающихся в своевременном реагировании на постоянно возникающие вопросы, продиктованные временем и научно-техническим прогрессом. Такие требования в полной мере относятся и к сфере военно-профессионального образования и в особенности при подготовке специалистов инженерного профиля. Они обусловлены, преимущественно, быстрым развитием военно-промышленного комплекса, ускоренной модернизацией Вооруженных Сил Российской Федерации, а также улучшением качественной подготовки личного состава.
Динамичность военно-профессионального образования, как и образования в целом, напрямую зависит от способности в кратчайшие сроки организовывать подготовку таких специалистов, навыки которых будут отвечать постоянно повышающимся требованиям и изменяющимся внешним условиях их профессиональной деятельности. То есть в современных условиях образовательный процесс должен непрерывно дополняться и оптимизироваться в соответствии с развитием соответствующей отрасли. При этом необходимо придерживаться основных принципов и фундаментальных подходов системы, неоднократно проверенных временем.
Необходимо также отметить, что непрерывное развитие системы военно-профессионального образования не может быть однобоким и проводиться только в отношении содержания учебных программ. Не менее важным аспектом является разработка новых методик обучения специалистов и преподавания, позволяющих достигнуть наибольшего эффекта от образовательного процесса.
Очевидно, что реализация принципа динамичности современного образования невозможна без участия широкого круга научно-педагогического состава учебного заведения.
Одним из вариантов совершенствования образовательного процесса является проведения педагогических экспериментов по совершенствованию медовик преподавания различных дисциплин вариантов применения инновационных технологи и внедрения результатов. Подобный подход является залогом успеха повышения для обеспечения динамичности системы образования и повышения эффективности профессиональной подготовки ведь вопрос «Как преподавать?» является не менее важным по сравнению с вопросом «Что преподавать?».
Вовлечение преподавателей в процесс модернизации их профессиональной деятельности может быть осуществлено за счет популяризации и поощрения педагогического эксперимента. Следовательно, анализ и внедрении результатов педагогический эксперимент позволяет повысить качество учебного процесса, помогает преподавателю подобрать наиболее прогрессивные и рациональные методы обучения, а также исследовать различия в освоения материала и индивидуальных особенностях обучаемых. Применение в рамках подобных исследований методов математической статистики, обеспечивает необходимую точность и в случае правильности расчетов делает возможным прогнозирование результатов обучения.
Основные положения
Исходя из вышеизложенного широкое применение педагогического эксперимента крайне необходимо, причем в его результатах заинтересован сам специалист. Ведь очевидно, что любой преподаватель должен быть заинтересован в повышении эффективности своей работы, и, как следствие, повышении уровня подготовки учащихся. Но, к сожалению, педагогический эксперимент не всегда получается осуществить корректно и с необходимой точностью. Основные причины, вследствие которых он может привести к ошибочным результатам следующие:
• некомпетентность преподавателя в проведении математических исследований;
• незаинтересованность обучающихся в проведении и изучении вопросов эксперимента;
• несоответствие исследуемого объекта и темы исследования (например, мы не можем применить метод исследования успешности сдачи экзамена по электромеханике к группе, которая не обучается по данной специальности);
• недостаточное количество обучающихся, задействованных в эксперименте, и, как следствие, невозможность обеспечения заданной точности.
На базе Военного института (инженерно- технического) Военной академии материально-технического обеспечения имени генерала-армии А.В. Хрулева было проведено исследование, направленное на определении условий, влияющих на эффективность и прогнозирование достоверности проведения педагогического эксперимента с применением методов математической статистики. С этой целью был проведен двухэтапный опрос группы компетентных экспертов. Экспертами выступили преподаватели в количестве 28 человек.
Первый этап был направлен на выявление факторов, влияющих на процесс проведения эксперимента. Таким образом, были выделены следующие факторы:
• ¥1- Практический опыт применения математических методов исследования преподавателем;
• ¥2 - Компетентность преподавателя в теории обучения;
• ¥3 - Уровень знаний преподавателя в области математики и математической
статистики;
¥4 - Заинтересованность испытуемых в изучении и проведении исследования; ¥5 - Равноценность исследуемых групп;
¥б - Наличие требуемого количества испытуемых для обеспечения требуемой
точности;
• F7 - Наличие наставника, компетентного в вопросах математической статистики;
• Fe - Техническая оснащенность преподавателя специализированными на обработке статистических данных программами ЭВМ;
• F9 - Наличие конкретного алгоритма проведения исследования;
• Fio - Возможность проведения повторного (проверочного) проведения исследования.
Второй этап исследования, в основе которого лежит метод экспертных оценок, заключался в сборе и обработке данных, полученных от группы экспертов. Полученные данные - оценка каждого фактора от каждого эксперта по пятибалльной шкале. Полученные результаты представлены ниже в виде таблицы (табл. 1), где значения, записанные в последней строке, являются суммой оценок, выставленных каждым экспертом.
Таблица 1. Оценки экспертной группы по каждому фактору, влияющих на достоверность
проведения педагогического эксперимента
Фактор 1 2 3 4 5 6 7 8 9 10 11 12 13 14
Fi 5 5 5 5 5 5 5 5 5 5 5 5 5 5
F2 5 4 5 5 5 4 4 5 5 5 4 5 5 4
F3 4 5 4 4 5 4 4 5 5 4 5 4 5 4
F4 4 4 5 4 4 4 3 5 5 5 4 4 5 4
F5 4 4 5 5 4 5 4 4 4 5 5 4 4 5
Fe 4 3 4 3 3 4 4 5 5 4 5 3 4 4
F7 5 5 4 3 3 4 4 4 4 4 3 5 4 4
Fs 2 4 3 4 3 3 3 2 5 3 4 4 2 3
F9 3 3 4 3 2 4 3 3 4 3 5 4 4 3
Fio 2 4 3 3 4 3 2 3 3 4 3 2 2 4
2> 38 41 42 39 38 40 36 41 45 42 43 40 40 40
Фактор 15 16 17 18 19 20 21 22 23 24 25 26 27 28
Fi 5 5 5 5 5 5 5 5 5 5 5 5 5 5
F2 4 5 5 4 5 4 5 4 5 4 5 5 5 5
F3 5 5 4 4 4 4 4 4 5 4 4 5 4 4
F4 4 4 4 4 4 5 4 4 4 4 4 4 5 4
F5 4 5 4 4 4 3 4 4 4 4 3 5 4 5
Fe 3 3 4 3 5 5 4 3 3 4 4 5 5 5
F7 3 4 2 4 3 4 4 3 3 4 4 4 2 3
Fs 4 4 4 3 3 4 3 3 3 2 4 4 3 4
F9 3 3 4 3 3 4 3 3 4 3 4 4 3 3
Fio 3 4 3 3 3 2 3 3 4 3 4 4 3 3
2> 38 42 39 37 39 40 39 36 40 37 41 45 39 41
Для дальнейшей работы с полученными данными необходимо привести их к нормированному виду, т.е. сумма оценок одного эксперта должна равняться единице.
Составим таблицу (табл. 2) нормированных бальных оценок для каждого эксперта путем деления каждого балла на суммарный балл для данного эксперта, т.е. используя следующую формулу:
X;; =
ij уп „
где x'ij — нормированная оценка i-го коэффициента j-го эксперта.
Теперь, когда мы получили нормированные значения, мы можем воспользоваться формулами для нахождения коэффициентов влияния каждого фактора на успешность проведения математического метода исследования.
Здесь используется формула коэффициента влияния групповой экспертной оценки для ь го коэффициента на ^ом шаге на основе индивидуальных нормированных оценок х'у
т
К1 — ^ x¿y Щ 1
к=1
где I - степень приближения. Используется для достижения требуемой точности результата Е (в нашем случае £=0,001) к)'1 - коэффициент компетентности экспертов. Начальное значение коэффициента компетентности принимается одинаковым и равным, т.е. при I = 1, т.е. при первом приближении
п 1
1 т
Проведя расчеты получим коэффициенты влияния:
К2! К! К! К! К! К! к! К! К10
0,1256 0,1164 0,1092 0,1056 0,1065 0,0991 0,0922 0,0829 0,0848 0,0777
Таблица 2. Нормированные значения оценок экспертов
Фактор 1 2 3 4 5 6 7
Fi 0,1316 0,1220 0,1190 0,1282 0,1316 0,1250 0,1389
F2 0,1316 0,0976 0,1190 0,1282 0,1316 0,1000 0,1111
Fs 0,1053 0,1220 0,0952 0,1026 0,1316 0,1000 0,1111
F4 0,1053 0,0976 0,1190 0,1026 0,1053 0,1000 0,0833
F5 0,1053 0,0976 0,1190 0,1282 0,1053 0,1250 0,1111
Fe 0,1053 0,0732 0,0952 0,0769 0,0789 0,1000 0,1111
Fy 0,1316 0,1220 0,0952 0,0769 0,0789 0,1000 0,1111
Fs 0,0526 0,0976 0,0714 0,1026 0,0789 0,0750 0,0833
Fg 0,0789 0,0732 0,0952 0,0769 0,0526 0,1000 0,0833
Fio 0,0526 0,0976 0,0714 0,0769 0,1053 0,0750 0,0556
Таблица 2. Нормированные значения оценок экспертов. Продолжение
Фактор 8 9 10 11 12 13 14
Fi 0,1220 0,1111 0,1190 0,1163 0,1250 0,1250 0,1250
F2 0,1220 0,1111 0,1190 0,0930 0,1250 0,1250 0,1000
Fs 0,1220 0,1111 0,0952 0,1163 0,1000 0,1250 0,1000
F4 0,1220 0,1111 0,1190 0,0930 0,1000 0,1250 0,1000
F5 0,0976 0,0889 0,1190 0,1163 0,1000 0,1000 0,1250
Fe 0,1220 0,1111 0,0952 0,1163 0,0750 0,1000 0,1000
Fy 0,0976 0,0889 0,0952 0,0698 0,1250 0,1000 0,1000
Fs 0,0488 0,1111 0,0714 0,0930 0,1000 0,0500 0,0750
Fg 0,0732 0,0889 0,0714 0,1163 0,1000 0,1000 0,0750
Fio 0,0732 0,0667 0,0952 0,0698 0,0500 0,0500 0,1000
Фактор 15 16 17 18 19 20 21
Fi 0,1316 0,1190 0,1282 0,1351 0,1282 0,1250 0,1282
F2 0,1053 0,1190 0,1282 0,1081 0,1282 0,1000 0,1282
Fs 0,1316 0,1190 0,1026 0,1081 0,1026 0,1000 0,1026
F4 0,1053 0,0952 0,1026 0,1081 0,1026 0,1250 0,1026
F5 0,1053 0,1190 0,1026 0,1081 0,1026 0,0750 0,1026
Fe 0,0789 0,0714 0,1026 0,0811 0,1282 0,1250 0,1026
Fy 0,0789 0,0952 0,0513 0,1081 0,0769 0,1000 0,1026
Fs 0,1053 0,0952 0,1026 0,0811 0,0769 0,1000 0,0769
Fg 0,0789 0,0714 0,1026 0,0811 0,0769 0,1000 0,0769
Fio 0,0789 0,0952 0,0769 0,0811 0,0769 0,0500 0,0769
Фактор 22 23 24 25 26 27 28
Р: 0,1389 0,1250 0,1351 0,1220 0,1111 0,1282 0,1220
Р2 0,1111 0,1250 0,1081 0,1220 0,1111 0,1282 0,1220
Рз 0,1111 0,1250 0,1081 0,0976 0,1111 0,1026 0,0976
Р4 0,1111 0,1000 0,1081 0,0976 0,0889 0,1282 0,0976
Р5 0,1111 0,1000 0,1081 0,0732 0,1111 0,1026 0,1220
Рб 0,0833 0,0750 0,1081 0,0976 0,1111 0,1282 0,1220
Р7 0,0833 0,0750 0,1081 0,0976 0,0889 0,0513 0,0732
Р8 0,0833 0,0750 0,0541 0,0976 0,0889 0,0769 0,0976
Р9 0,0833 0,1000 0,0811 0,0976 0,0889 0,0769 0,0732
Р10 0,0833 0,1000 0,0811 0,0976 0,0889 0,0769 0,0732
На основании полученных результатов факторного анализа составим формулу расчета факторов, влияющих на успешность применения методов математической статистики преподавателями и специалистами.
Ро = ЪКЯ
где КI - коэффициент влияния /-го фактора;
Р - значение /-го фактора.
В таком случае, итоговая формула расчета имеет вид:
Р = ЬКг + РгКг + РзКз + - + ВД + - + Рю^ю Р = 0,1256Рг + +0,1164Р2 + 0,1092Р3 + 0,1056РА + 0,1065Р5 + 0,0991Р6 + 0,0922Р7 + +0,0829Р8 + 0,0848Р9 + +0,0777Р10 Таким образом, мы получили математическую модель, с помощью которой возможно заранее, с большой точностью определить достоверность проведения педагогического эксперимента с применением методов математической статистики. В целях обеспечения более широкого применения результатов данного исследования авторами была разработана и запатентована программа для ЭВМ «Прогнозирование достоверности проведения педагогического эксперимента с применением методов математической статистики» (рис.1).
С помощью данной программы широкому кругу специалистов становится возможным быстрое прогнозирование эффективности планируемого эксперимента на основе конкретной условий до его начала. С помощью полученного результата преподаватель может оперативно принять меры в отношении определенных выше факторов, повысив тем самым ожидаемую достоверность проводимого эксперимента.
ф Эффективность применения математических методов проведения исследования преподавател... Ввод данных
Уровень знаний преподавателя в области математики и математической статистики Практический опыт применения математических методов исследования преподавателем Ознакомленность преподавателя с теоретической частью Наличие конкретного алгоритма проведения исследования Равноценность исследуемых групп
Ознакомлен
Наличие требуемого количества экспериментальной базы для обеспечения необходимой точност Обеспечивается
Техническая оснащённость преподавателя программами ЭВМ, специализированными на обработке статистических данных
Заинтересованность экспериментальной базы к проведению и изучению вопросов исследования 1
Наличие проверяющего, компетентного в вопросах математической статистики
Возможность проведения повторного (проверочного) исследования
Рассчитать
Рис. 1. Интерфейс программы для ЭВМ «Прогнозирование достоверности проведения педагогического эксперимента с применением методов математической статистики»
Вывод. Таким образом, широкое применение преподавателями и специалистами Министерства обороны Российской Федерации в своей профессиональной практике педагогического эксперимента необходимо для обеспечения принципа динамичности военно-профессионального образования. Однако реализация подобных исследований, зачастую, не всегда может привести к достоверному результату вследствие определенных условий. Благодаря учету действующих на процесс проведения педагогического эксперимента факторов в соответствии со степенью их влияния возможно прогнозирование достоверности его результатов.
Список литературы
1. Иберла К. Факторный анализ. М., 1980.
2. Яковлев Е. В. Педагогический эксперимент: квалиметрический аспект: Монография: -Челябинск: Издательство ЧГПУ, 1998.- 136 с.
3. Наследов А.Д. Математические методы психологического исследования. Анализ и интерпретация данных. Учебное пособие . СПб.: Речь, 2004.
4. Куликов Л.В. Психологическое исследование. СПб., 1995.
5. Бабанский Ю.К. Проблемы повышения эффективности педагогических исследований. М, 1982.
6. Р. Лишнер. Delphi. Справочник. М. 2001.
7. Пискунов А.И., Воробьев Г.В. Теория и практика педагогического эксперимента. М.,
1979.
8. Новикова Т.Г. Проектирование эксперимента в образовательных системах. М., 2002.
9. Гуцыкова С.В. Метод экспертных оценок: теория и практика. М., Институт психологии РАН, 2011.
10. Осипов Д. Delphi: Профессиональное программированием., 2006.
