Педагогический эксперимент в диссертационных исследованиях Текст научной статьи по специальности «Науки об образовании»

КОНСУЛЬТАЦИИ СПЕЦИАЛИСТА

УДК 378.048.2 ББК 74.58+72

Е. В. Яковлев, Н. О. Яковлева

ПЕДАГОГИЧЕСКИЙ ЭКСПЕРИМЕНТ В ДИССЕРТАЦИОННЫХ ИССЛЕДОВАНИЯХ

Рассматривается роль и исследовательские возможности педагогического эксперимента, требования к его постановке и реализации при проведении диссертационного исследования

Ключевые слова: педагогический эксперимент, экспериментальный план, валидность эксперимента, надежность эксперимента

го со <и с; со

о ^

К

О

ш

<и ц

со

о ^

К т ш

Реализация основной функции диссертационного исследования — получение новых достоверных знаний об образовательном процессе — предполагает сбор, обработку и интерпретацию научной информации, что составляет основу экспериментального подтверждения ключевых теоретических положений. Обоснованность полученных выводов в полной мере определяется организационно-содержательной состоятельностью педагогического эксперимента, позволяющего в контролируемых условиях рассмотреть исследуемое явление в «чистом виде» и зафиксировать наиболее значимые факторы, влияющие на эффективность его функционирования.

Нарушение основополагающих принципов организации и осуществления педагогического эксперимента, методологические ошибки в его планировании, могут привести к выводам, не соответствующим действительности, открыть дорогу идеям, противоречащим природе педагогического процесса. Поэтому существенное значение имеет грамотная реализация экспериментальных процедур, которая обеспечивается компетентностью диссертанта в области педагогического эксперимента, предполагающей, прежде всего, понимание сути и значения экспериментального процесса, его этапов и требований к организации. Еще

большую актуальность проблема осуществления экспериментальной деятельности в рамках диссертационного исследования приобретает в связи с направленностью на изучение педагогических явлений — сложных, многоаспектных, со слабо диагностируемыми и, как правило, не поддающимися однозначному оцениванию свойствами. В такой ситуации роль и значение эксперимента выходит на лидирующие позиции в любом диссертационном исследовании, а его адекватная реализация в полном соответствии с методологической природой и механизмами использования становится важнейшей задачей научного поиска.

Эксперимент как метод исследования пришел в социальные науки из естественных примерно в XVII в., став со временем основным способом проверки научных данных. Существенное влияние на становление теории педагогического эксперимента оказали работы в области теории познания (П.В. Алексеев и А.В. Панин, В.В. Ильин, К. Поппер и др.), гуманитарных наук (В.Г. Ананьев, В.Г. Афанасьев, Н. Стефанов и др.), методологии научного знания (В.И. Купцов, В.А. Штофф, Э.Г. Юдин и др.), теории эксперимента (В.С. Демин, Д. Кэмпбелл, Д. Мартин, Ч. Хикс и др.). Проблема педагогического эксперимента рассматривалась в работах Ю.К. Бабанского, В.И. Жу-

равлева, А.С. Казаринова, А.И. Кочетова, В.И. Михеева, Я. Скалковой, В.С. Черепанова, Е.В. Яковлева и др. Однако, несмотря на широкий интерес к данной проблеме и бесспорные успехи в разработке ее теоретических положений, в настоящее время педагогическая наука и практика не имеет однозначного и общепризнанного понимания методологических основ педагогического эксперимента, путей и способов его эффективной реализации.

В общенаучном понимании эксперимент — это «исследование каких-либо явлений путем активного воздействия на них при помощи создания новых условий, соответствующих целям исследования, или же через изменение течения процесса в нужном направлении» [9, с. 558]. Определяя место эксперимента на пересечении практики и познания и выделяя в нем признаки рационального и чувственного, эмпирического и теоретического важно рассмотреть его объективную и субъективную стороны. Объективная сторона находит отражение в сущности и содержании эксперимента, а субъективная — проявляется, прежде всего, в деятельности познающего субъекта. В частности, к субъективной стороне относятся: «1) особенности органов чувств человека, воспринимающих информацию, полученную в процессе наблюдения; 2) теоретические способности и вообще деятельность логического мышления; 3) уровень научных знаний и духовной культуры; квалификация и способности экспериментатора; 4) поставленные и сформулированные цели и задачи эксперимента; 5) сама деятельность экспериментатора» [11, с. 87].

Как справедливо отмечает В.А. Штофф [11, с. 89], основные характеристики эксперимента требуют, во-первых, изолировать исследуемое явление от влияния побочных, несущественных и затемняющих его сущность влияний и изучить его в чистом виде; во-вторых, многократно воспроизводить ход процесса в строго фиксированных, поддающихся

контролю и учету условиях; в-третьих, планомерно изменять, варьировать, комбинировать различные условия в целях получения искомого результата.

Проведенный нами анализ научной литературы показал, что общий ход эксперимента в социальной сфере определяют следующие инвариантные процедуры: установление выборки, репрезентативной для данной генеральной совкупности; подбор однородных групп или пар испытуемых; выбор конкретных методик, способов и параметров измерения экспериментальных данных; проверка доступности и эффективности методик на небольшом числе испытуемых; определение признаков, по которым можно судить об изменениях в экспериментальном объекте под влиянием соответствующих воздействий; определение времени и длительности проведения эксперимента; его проведение; качественный и количественный анализ результатов эксперимента; их интерпретация; указание границ применения проверенной в ходе эксперимента системы мер.

Опираясь на исследование Ч. Хикса [10], мы выделяем три основных этапа в проведении экспериментальной работы:

• формализация проблемы — постановка задачи, выбор отклика, варьируемых факторов, уровней этих факторов, подбор сочетаний уровней факторов;

• планирование — определение необходимого числа наблюдений, порядка проведения эксперимента, используемого метода рандомизации, математической модели описания эксперимента;

• анализ — сбор и обработка данных, вычисление статистик для проверки гипотез, интерпретация результатов. Качество осуществления каждого

этапа очень важно для эксперимента в целом. Общеизвестно, что неудовлетворительное планирование и проведение эксперимента невозможно исправить никакими методами обработки данных. В практическом отношении планирование эксперимента является мощным инструментом, позволяющим сократить

о ч:

га

<и

го со <и с; со

о ^

ОС О

ш

<и ц

со

о ^

ОС т |_и

число измерений, увеличить объем новой получаемой информации, уменьшить вероятность принятия ошибочных решений. При этом само по себе планирование не может улучшить качества построенной модели, оно лишь позволяет улучшить ее статистические свойства, то есть дает возможность точнее оценить параметры имеющейся модели. Следовательно, даже самое тщательное планирование не принесет желаемых результатов при неверно осуществленной формализации задачи.

Эксперимент в педагогике, имея свои особенности, в целом подчиняется общим методологическим требованиям организации и проведения научного эксперимента. Однако существует и определенная специфика, обусловленная особенностями педагогического процесса и его субъектов:

• высокий уровень сложности исследуемых педагогических объектов, детерминирующих многообразие связей и многофакторность явных и скрытых взаимовлияний, которые требуют учета и оценивания в процессе научно-педагогического исследования;

• активное участие экспериментатора в развертывании педагогического процесса и его прямое вмешательство в развитие исследуемых явлений;

• зависимость оценки результатов педагогического эксперимента от морально-нравственных установок в обществе, ценностных ориентаций педагогического сообщества и самого экспериментатора;

• инновационный характер педагогического эксперимента, который является частью нововведений в целенаправленной преобразовательной деятельности педагога;

• масштабность педагогического эксперимента.

Не давая строгого определения, под педагогическим экспериментом будем понимать комплекс методов исследования, предназначенный для объективной и доказательной проверки педагогической гипотезы. Отметим, что являясь исследо-

вательским ядром эксперимента, гипотеза считается научно состоятельной, если отвечает требованиям простоты, точности, непротиворечивости и нетривиальности формулировки, принципиальной проверяемости (доказуемости), теоретической обоснованности. В большинстве экспериментов имеется не одна, а несколько иерархически соподчиненных, последовательно уточняющих друг друга гипотез, что в определенной степени способствует усилению достоверности полученных данных и помогает исследователю определить направление развертывания и содержание педагогического эксперимента в целом.

Сложность и многоаспектность педагогических явлений, а также разнообразие способов теоретического и эмпирического оперирования ими, определяет видовую неоднозначность педагогического эксперимента: по условиям проведения различают естественный и искусственный эксперименты, по количеству факторов — однофакторный и многофакторный, по степени контролируемости фактора — активный и пассивный, по цели исследования — преобразующий, констатирующий, контролирующий, поисковый и др.

Ключевыми характеристиками педагогического эксперимента являются его надежность и валидность. Надежность — это устойчивость получения данных, воспроизводимости результатов измерений, повторяемых при идентичных условиях. Валидность — критерий адекватности эксперимента, характеризующий, насколько точно он оценивает необходимые параметры, насколько составляющие его пробы адекватны исследуемой проблеме [8].

Раскроем подробнее эти две характеристики и начнем с надежности.

Целью любого измерения является установление истинного значения измеряемой величины, т. е. существующей в действительности неискаженной величины признака, присущего данному индивиду. Однако в философии хорошо изве-

стен постулат о неизбежности погрешности измерения. Как отмечает Л. Яноши, «результат эксперимента всегда содержит ошибку, как бы тщательно не проводились измерения» [12, с. 15]. Принятие этого постулата неизбежно приводит к одному из основных положений теории измерения — тезису о невозможности знания абсолютного значения измеряемой величины. Исследователь располагает только наблюдаемым результатом измерения, искаженным под влиянием различных факторов. Можно выделить множество факторов, искажающих истинное значение измеряемой величины, например, влияние цели, задач и характера исследования, условия тестового опроса и т. д.

Итак, всякое измерение всегда содержит ошибку. Значит, задача исследователя — понизить эту ошибку до приемлемого уровня. Но точность измерения составляет только одну сторону понятия надежности. Другой важной характеристикой надежности является возможность повторить измерения с тем же результатом.

Перейдем теперь к более обширному понятию валидности. Б.П. Битинас [2] выделяет содержательную, конструктивную, конкурентную, прогностическую и перекрестную валидность.

Содержательная валидность методики измерений определяется тем, что составляющие ее признаки охватывают те области информации и деятельности, в которых проявляется измеряемое свойство. Содержательная валидность не оценивается количественно и достигается путем составления качественной схемы сбора необходимой информации.

Конструкционная валидность указывает на то, в какой степени диагностическая методика отражает то составное свойство, для определения которого оно предназначено, и определяется, во-первых, теоретическим содержанием признаков, во-вторых, их внутренней согласованностью. Конструкционная ва-лидность требует как можно более полного накопления информации об измеряемом свойстве.

Конкурентная валидность определяется с помощью внешнего критерия, по которому информация собирается одновременно с проверяемой методикой. Она показывает возможность замены одной диагностической методики другой.

Прогностическая валидность определяется также по внешнему критерию, но информация по этому критерию собирается некоторое время спустя после применения проверяемой методики.

Перекрестная валидность выявляется сопоставлением результатов измерения, проверенных на некоторой выборке, с результатами измерения в новой выборке испытуемых из этой же генеральной совокупности.

Приведем в заключение пример из монографии В.И. Михеева [6, с. 20]. «Соотношение между надежностью и валидно-стью лучше представить аналогией с часами: часы могут иметь точный (надежный) ход, но, будучи поставленными на неверный час, они непригодны (невалидны) для получения ответа на главный вопрос — который час?».

Общие положения, на которые следует ориентироваться при организации эксперимента, в определенной степени разработаны в конкретных приложениях. Прежде всего, это выявление и обоснование критериев, а также определение уровней проявления исследуемого качества у участников эксперимента. В современных источниках под критерием понимают показатель, признак, на основе которого формируется оценка качества объекта, процесса; мерило такой оценки [3]. Определение критериев и уровней их проявления определяется не только целью, предметом и содержанием диссертационного исследования, но и уровнем развития диагностического аппарата, а также степенью сформиро-ванности исследовательской компетентности у самого диссертанта. При этом выбранный критерий должен быть достаточным для оценивания исследуемого качества, полным, надежным и легко проверяемым.

о ч:

га

ср ш

го

со ф

с; со

о ^

К

О

ш

ф

ц

со

о ^

К т |_и

В некоторых случаях выбранный критерий может иметь комплексный характер. Поэтому для описания его содержательного наполнения диссертантами строятся так называемые «критериально-целевые модели», отражающие характеристику формируемого и оцениваемого качества, критерии и показатели, по которым производится оценивание, уровни их проявления, а также перечень необходимых для этого диагностических методик.

Второй важной проблемой эксперимента является отбор и распределение его участников по группам. При ее решении используется следующая терминология.

Генеральная совокупность — это все потенциальные испытуемые, которые могут быть привлечены к участию в педагогическом эксперименте, т.е. это вся совокупность объектов, из которой делается выборка для проведения исследования.

Выборка — это множество участников педагогического эксперимента.

Репрезентативность (от франц. герге-sentatif,т. е. показательный,характерный) — это свойство выборки, заключающееся в ее способности адекватно представлять состояние генеральной совокупности.

Поскольку данные, полученные в ходе эксперимента, будут распространяться на всю генеральную совокупность, то выборка должна, во-первых, охватывать все возможные варианты проявления исследуемого качества у испытуемых, и, во-вторых, иметь такое же распределение по уровням его проявления, как и во всей совокупности. Кроме того, состав участников в выборке должен соответствовать цели и содержанию диссертационного исследования.

Нетривиальным является также вопрос об объеме выборки при проведении эксперимента. Например, для социологических исследований пределы выборочной совокупности колеблются от 350 до 3000 наблюдений [4]. В педагогических исследованиях, как считает Ю.К. Бабанский, выделение типичных

по определенным показателям контрольных и экспериментальных объектов позволяет ограничиться 250-350 наблюдениями. Отметим, что при отсутствии строгих требований к определению объема выборки, тем не менее, в научной литературе сформулированы общие рекомендации по обеспечению необходимости и достаточности ее наполнения: 1) при сравнении двух групп данных, их общая численность должна быть не менее 50 человек; 2) для снижения статистической ошибки при обработке данных количество участников эксперимента в каждой группе должно быть от 30 до 35; 3) численность испытуемых в группах должна быть примерно одинаковой; 4) чем выше изменчивость исследуемого свойства, тем больше должен быть объем выборки.

Дальнейшие действия диссертанта связаны с группировкой участников эксперимента. При этом необходимо добиться, чтобы получившиеся группы испытуемых были сравнимы по оцениваемому параметру. Например, если в ходе эксперимента исследователь занимается формированием у студентов определенных знаний, то в формируемых группах распределение по уровням этих знаний на начало эксперимента должно быть статистически неразличимым. При этом степень воспитанности студентов, их ценностные ориентации или способности для данного исследования не будет иметь значения и поэтому по всем прочим показателям (кроме формируемых знаний) распределение студентов в группах может иметь даже существенные различия.

Как правило, при формировании групп возникает необходимость выравнивания начальных параметров. Для практического решения этой задачи существует несколько методик.

Точечное выравнивание заключается в прямом сопоставлении испытуемых. Из выборки берется участник с определенными характеристиками в одну группу, для него выбирается другой участник с

аналогичными свойствами в другую и т. д. Такой способ выравнивания предпочтителен для экспериментирования с малыми группами.

Частотное выравнивание сводится к отбору участников в группы в зависимости от процентного содержания проявления исследуемого качества в генеральной совокупности в целом. Например, если во всей совокупности половина состава имеет низкий уровень проявления заданного качества, то такая же пропорция должна быть сохранена в каждой группе.

Однако на практике использование данных методов выравнивания в педагогическом эксперименте не всегда возможно. Поскольку он имеет, как правило, естественный характер, связанный с работой в реальных условиях образовательного процесса, то используется метод случайного выбора, при котором принять участие в эксперименте могут любые испытуемые или группы. Диссертант выбирает уже функционирующие академические группы (одинакового возраста, уровня развития и т. д.), и если они неэквивалентны по исследуемому параметру, то либо проводится специальная подготовительная работа по «дотягиванию» участников эксперимента до нужного уровня, либо при анализе не учитываются крайние результаты, полученные в ходе эксперимента.

Самостоятельной проблемой в организации и проведении эксперимента является его оптимизация. Ю.К. Бабанский, рассматривая проблемы повышения эффективности педагогических исследований, отмечает, что педагогический эксперимент следует проводить с минимально необходимым расходом времени, усилий и средств [1]. Оптимизации, как правило, подвергается количество экспериментальных объектов и длительность проведения эксперимента. Очевидно, что максимизация этих параметров усиливает объективность выводов, однако в то же время требует больших затрат. Данная проблема пока остается откры-

той в общем случае и решается в каждом конкретном исследовании индивидуально.

Оптимальная организация педагогического эксперимента предполагает его соответствие определенным критериям, которые подразделяются на статистические и динамические. К статистическим относятся требования, которым должно удовлетворять некоторое задаваемое планом эксперимента расположение экспериментальных точек в пространстве факторов (независимых переменных), подлежащих варьированию. К динамическим — выраженные математическим языком высказывания, которые представляются правомерными на уровне интуитивных представлений [7].

Перечислим наиболее распространенные критерии оптимальности эксперимента. Первая группа критериев относится к статистическим критериям, связанным с точностью оценок параметров. D - оптимальность направлена на уменьшение рассеяния оценок параметра. А - оптимальность — на уменьшение средней дисперсии оценок. Е - оптимальность — на ограничение дисперсий отдельных параметров.

Вторая группа критериев представляет собой статистические критерии, связанные с ошибкой в оценке модели. G- оптимальность направлена на минимизацию максимального значения дисперсии оценки. В G - оптимальных планах нет точек, в которых точность оценки слишком низкая. Q - оптимальность направлена на минимизацию средней дисперсии оценки. Ротабельность — на упорядочение плана эксперимента, в результате которого все направления становятся равнозначными с точки зрения точности оценок. Униформность требует, чтобы дисперсия оценки была постоянной в некоторой области вокруг центра эксперимента.

К важнейшим характеристикам оптимальных планов относится следующая группа показателей, которые с некоторой натяжкой также можно отнести к крите-

о ч:

га

сх ш

риям оптимальности. Эти характеристики в меньшей степени затрагивают специфические понятия математической статистики и более удобны в работе.

Рандомизация состоит в случайном порядке проведения эксперимента. Рандомизация производится для исключения влияния переменных, неконтролируемым образом изменяющихся во времени или пространстве. Этот критерий традиционно имеет большое значение в реальных экспериментах. Поэтому многие авторы строят теорию планирования эксперимента, отталкиваясь от идеи рандомизации [см., например, 10].

Насыщенность плана характеризуется количеством проведенных измерений. Если число измерений равно числу неизвестных параметров, которые нужно оценить, то план называется насыщенным. Очевидно, планы с меньшим числом измерений не позволяют найти единственные оценки всех параметров.

Композиционность отражает структуру проведения эксперимента. Композиционный план позволяет разделить эксперимент на несколько этапов и постепенно переходить от простых моделей к более сложным.

Простота обработки относится к косвенным характеристикам и отражает свойства математической модели. Чем она проще, тем меньше вычислений и меньше их сложность. При отсутствии специальных средств обработки числовой информации этот показатель часто становится одним из самых важных.

Мы не будем дальше продолжать список критериев оптимальности. Развитие теории планирования эксперимента происходит быстрыми темпами, и, как след-2 ствие, появляются новые критерии, пред-¡з назначенные для решения более част-^ ных проблем. При этом зачастую нео возможно совместить различные крите-■г_ рии. План оптимальный с точки зрения

ей

£ одного критерия может оказаться неудо-

ш

§ влетворительным с точки зрения друго-

^ го. Построить планы, удовлетворяющие

ш одновременно многим критериям опти-

мальности, удается только для отдельных моделей. Обычно приходится идти на компромисс, выбирая план, близкий к оптимальному по нескольким критериям. Проблемы построения таких планов в общем случае довольно сложны и пока недостаточно разработаны. Однако педагога, в первую очередь, интересует не сама по себе теоретическая модель, а выводы, которые позволяет сделать ее изучение. Отсюда больший интерес не к абстрактным характеристикам планов, а к перспективам их применения. В этой связи на первое место выходят те планы, которые позволяют уменьшить вероятность ошибки при проверке гипотез.

Подробный анализ экспериментальных планов в социальной психологии проведен Д. Кэмпбеллом. Рассмотрим некоторые наиболее распространенные экспериментальные планы, опираясь на его работу «Модели экспериментов в социальной психологии и прикладных исследованиях» [5]. Наиболее простая их классификация возможна, на наш взгляд, исходя из наличия контрольной группы: 1) экспериментальные планы, предполагающие использование контрольной группы; 2) экспериментальные планы, в которых фигурируют только экспериментальные группы.

Первый тип планов наиболее распространен. Контрольные и экспериментальные группы, как правило, представляют собой естественные учебные коллективы, где работает педагог. Выбранные для проведения эксперимента группы обязательно должны быть сходными, то есть допускающими только статистически несущественные различия по оцениваемым параметрам.

Экспериментальные планы с использованием контрольных и экспериментальных групп предполагают введение в образовательный процесс проверяемого фактора только в экспериментальных группах, работа в контрольных группах либо ведется обычным способом, либо осуществляется с привлечением каких-то других нововведений. Схема тако-

го педагогического эксперимента будет строиться на сравнении показателей в выбранных группах.

Очень важным, на наш взгляд, является проведение статистических процедур, оценивающих сравнимость объектов. В том случае, когда экспериментальные и контрольные объекты несравнимы, необходимо применять процедуры их уравнивания. Эти процедуры (метод случайного отбора, предварительное обучение всех испытуемых и т. д.) достаточно подробно изложены в ряде публикаций (Ю.К. Ба-банский, Я. Скалкова и др.). Технологии доказательства сравнимости контрольных и экспериментальных объектов затрагивают статистические понятия и хорошо разработаны в теории статистического вывода. К ним, в частности, относятся критерий %2, F-тест для дисперсий и другие.

Итак, самым простым планом, предполагающим использование контрольной и экспериментальной групп, является план, по которому сравниваются два объекта, на один из которых производилось экспериментальное воздействие, причем первоначально эти объекты не оценивались (рис. 1).

ЭГ Х С

КГ С

Рис. 1. План с тестированием только после воздействия1 Такой план редко применяется конкретным педагогом для оценки разработанного новшества. Чаще всего он реализуется при сравнении в диссертации образовательных учреждений (без их целостного первоначального сопоставления), в одном из которых проходило испытание того или иного экспериментального фактора.

Более распространенным является план, предполагающий проведение экспериментальной работы с предварительным и итоговым оцениванием (рис. 2).

ЭГ С, Х С2

КГ С1 С2

Рис. 2. План с предварительным и итоговым оцениванием и одной экспериментальной группой

Данный план предполагает следующую последовательность действий:

1) предварительная оценка выбранных показателей в контрольной и экспериментальной группах (констатирующий этап эксперимента);

2) проведение экспериментальной работы: в экспериментальной группе с использованием новшества, а в контрольной — без него (формирующий этап эксперимента);

3) осуществление итогового оценивания результатов по выбранным показателям в контрольной и экспериментальной группах, формулирование заключения об эффективности новшества (констатирующий этап эксперимента).

При этом констатирующий и формирующий этапы отличаются друг от друга задачами, содержанием, способами проведения. Задача констатирующего этапа состоит не только в констатации состояния данного объекта, но и в анализе состояния данного вопроса в практике обучения и воспитания. Задача формирующего — создание новых условий, содержания, форм, методов и т. д.

На констатирующем этапе эксперимента, предшествующем формирующему выявляют: а) исходное состояние объекта исследования; б) педагогические средства и условия, его обусловившие; в) педагогические средства и условия, имеющиеся к началу формирующего этапа эксперимента. Формирующий этап строится на основе введения новой или модернизированной педагогической системы и протекает, как правило, в естественных условиях образовательного процесса, для которого характерно целенаправленное варьирование в различных группах с выровненными начальными параметрами отдельных условий, влияющих на функционирование и развитие системы. Констатирующий этап эксперимента, следующий за формирующим, имеет своей целью: а) определение состояния объекта; б) констатацию наличия произошедших изменений; в) их

о

:

^

га н а. ш

о

ш с

о

<п

:

ш с

го

ш

ф

с; ш

о ^

о; О и:

со ф

ц

со

о ^

К 03

1_и

качественный и количественным анализ; г) интерпретацию результатов.

Данный план используется педагогами достаточно широко при проверке педагогических конструкций, моделей обучения, систем профессионально-педагогической подготовки и т. д. Однако чаще всего он претерпевает некоторые видоизменения (рис. 3).

ЭГ1 С1 Х С2

ЭГ2 С1 Х С2

ЭГ3 С1 Х С2

КГ С1 С2

Рис. 3. План с предварительным и итоговым оцениванием и несколькими экспериментальными группами

Поскольку очень часто одним из результатов диссертационных исследований является выявление комплекса педагогических условий эффективного функционирования и развития некоторого явления, то возникает необходимость их проверки. Для полноценной апробации, например, двух условий необходимо как

минимум три экспериментальных и одна контрольная группа. В первой экспериментальной группе (ЭГ1) проверяется эффективность первого условия, во второй (ЭГ2) — второго условия, в третьей (ЭГ3) — эффективность всего комплекса условий. В контрольной группе (КГ) работа ведется без выделенных исследователем педагогических условий. Анализ экспериментальных результатов приводит исследователя к выводу, что каждое из условий влияет на решение поставленной проблемы, но только их комплекс обеспечивает ее решение в достаточной степени.

Помимо увеличения числа экспериментальных групп диссертанты зачастую несколько раз производят оценки результатов по мере работы с введенным новшеством. При этом делается несколько срезов на фоне используемого экспериментального фактора с тем, чтобы проследить динамику изменений, причем, срезы проводятся одновременно во всех группах, участвующих в эксперименте (рис. 4).

ЭГ1 С1 Х С2 Х С3 • Х С п

ЭГ2 С1 Х С2 Х Сз • Х С п

ЭГ3 С1 Х С2 Х Сз • Х С п

КГ С1 С2 Сз С п

в контрольной группе производятся только заключительные замеры.

ЭГ1 С1 Х С2

КГ1 С1 С2

ЭГ21 Х С2

КГ2 С2

Рис. 4. План с несколькими контрольными срезами и экспериментальными группами

Еще один план носит название «План Соломона для четырех групп» (рис. 5). Он был предложен Р.Л. Соломоном еще в 1949 году и предполагает в определенном смысле двухстороннюю оценку вводимого экспериментального фактора. Для этого:

• в первой экспериментальной группе используется нововведение с предварительной и заключительной оценкой;

• во второй — делаются предварительная и заключительная оценки, но данное нововведение не используется, а работа осуществляется традиционным способом;

• в третьей группе опять используется нововведение с его итоговой оценкой, но без предварительной оценки;

Рис. 5. План Соломона для четырех групп

Очевидно, что эффективность вводимого фактора будет экспериментально доказана в случае, когда будут одновременно выполнены следующие отноше-ния2:

-<

С2РГ1) > С1СЭГ1); С2РГ1) > С2СКГ1); С2(ЭГ2) > С2(КГ2); С2РГ2) > С^КГ^.

Такой план обладает большей объективностью по сравнению с описанными ранее и позволяет контролировать факторы, снижающие валидность педагогического эксперимента, в частности, эффект тестирования.

Второй тип планов, то есть планов, в которых не используется контрольная группа, является менее распространенным. К нему прибегают только в тех случаях, когда нет возможности привлечь к экспериментальным испытаниям достаточное количество обучающихся. Например, с такими проблемами иногда сталкиваются преподаватели иностранного языка в вузе, имеющие по одной небольшой группе на каждом курсе, или студенты, проходящие педагогическую практику в образовательном учреждении в период написания квалификационной работы.

Одним из самых простых планов такого типа является план, предполагающий введение в образовательный процесс экспериментальной группы проектируемого новшества с использованием предварительного и итогового срезов по выбранным критериям (рис. 6).

ЭГ С1 С2 С3 С4 Х С5 С6

Рис. 7. План временных серий

С

ЭГ С,

Х

С

Рис. 6. План с предварительным и итоговым оцениванием на одной группе

Имея массу недостатков, данный план все же используется, хотя и требует особого внимания к временному промежутку между срезами (он должен быть как можно меньше), качеству оценивания, устранению побочных влияющих факторов и т. д. Он применяется, когда бывает достаточно одноразового введения экспериментального фактора, например, для исследования необходимых педагогических аспектов в туристическом походе.

Более сложный экспериментальный план состоит в осуществлении серии срезов в экспериментальной группе с введением экспериментального воздействия посреди серии (рис. 7). При этом нарушение непрерывности изменения результатов и характеризует эффективность вводимого воздействия.

Данный план, используемый с большим успехом во многих классических науках, чрезвычайно редко применяется в социальных исследованиях. В то же время, как отмечает Д. Кэмпбелл, он обладает хорошими перспективами использования в педагогике. Так, в его рамках возможно исследование работоспособности, познавательной активности обучающихся и многих других характеристик.

Внешне похожим на последний, но более эффективным является план с эквивалентными временными выборками, суть которого сводится к чередованию использования экспериментального фактора и его не использования с постоянным оцениванием результатов (рис. 8).

ЭГ I ХС С2 ХС3 С4 ХС5 С6 ХС7 ...

11 2 3 4 5 6 7

Рис. 8. План серий временных выборок

Данный экспериментальный план, как правило, находит свое приложение в тех случаях, когда действие тех или иных исследуемых факторов ограничено временем действия экспериментального влияния. Например, исследование в учебном процессе значения чтения вслух по сравнению с чтением учащихся про себя или степень влияния присутствия во время учебного занятия или воспитательного мероприятия кого-либо из родителей.

В литературе можно встретить и другие экспериментальные планы, но они менее распространены и более сложны в плане интерпретации результатов, поэтому не станем дальше углубляться в теорию эксперимента и обратимся к требованиям, касающимся оценки и анализа данных, полученных в результате педагогического эксперимента.

При анализе результатов педагогического эксперимента следует иметь в виду два важных момента. Во-первых, возможную нестабильность результатов, наблюдаемых на различных экспериментальных срезах. В зависимости от

о ч:

га

<и

особенностей экспериментального фактора эффект может проявиться сразу после его введения в образовательный процесс, либо «накапливаться» и обнаружиться со временем. Во-вторых, необходимо учитывать известные факторы, снижающие валидность эксперимента. Традиционно к ним относят [5]:

1) фон — всевозможные влияния окружающей среды на экспериментальные мероприятия; при этом, чем больше временной промежуток между экспериментальными срезами, тем выше вероятность, что полученные изменения произошли не в результате введения экспериментального фактора, а в результате фоновых влияний (естественного развития испытуемых, смены времени года, происходящих событий, изменения контингента обучающихся и т. д.);

2) эффект тестирования — приспособление к условиям проведения эксперимента, которое наблюдается при повторных аналогичных испытаниях: как правило, испытуемые демонстрируют лучшие показатели, если им знаком способ проверки;

Внутренняя невалидность

3) инструментальная погрешность — изменения, происходящие со способами оценки или с самим диссертантом: между экспериментальными срезами могут измениться эталоны оценок (например, при проверке сочинений); накопиться опыт исследователя по проведению экспериментальных мероприятий, что обеспечит более качественное оценивание; исследователь лучше узнает участников эксперимента, что может стать главной причиной получения других данных на повторном срезе и т. д.;

4) эффект статистической регрессии — тенденция к среднему значению, при которой наблюдаются значительные улучшения у испытуемых, показавших на начальном срезе худшие результаты, на фоне практически не меняющихся результатов лучших учащихся: это может наблюдаться при отсутствии 100 % - ной корреляции между результатами экспериментальных срезов в группах, выбранных на основе крайних показателей.

Раскроем основные источники нева-лидности для рассмотренных выше экспериментальных планов (см. табл.).

Таблица

периментальных планов3

го

ш

ф

с; ш

о ^

о; О х

ш"

ф

Ц

ш

о ^

о; т ш

Наименование плана Источники внутренней невалидности

к о © Эффект тестирования Инструментальная погрешность Эффект статистической регрессии

План с тестированием только после воздействия + + + +

План с предварительным и итоговым оцениванием и одной экспериментальной группой + + + +

План с предварительным и итоговым оцениванием и несколькими экспериментальными группами + + + +

План с несколькими контрольными срезами и экспериментальными группами + + + +

План Соломона для четырех групп + + + +

План с предварительным и итоговым оцениванием на одной группе — — — ±

План временных серий + + ± +

План серий временных выборок + ± ± +

Важно отметить, что оценка экспериментальных воздействий всегда строится на сравнении и сопоставлении. Поэтому необходимо так организовать работу, чтобы получились сравнимые, сопоставимые результаты. Диссертационное исследование может быть успешно проведено только тогда, когда разработаны точные критерии учета и оценки его результатов. Обычно весь собранный в ходе исследования эмпирический материал (протоколы наблюдений, диагностирующие работы, анкеты, конспекты уроков и пр.) подвергаются качественному анализу, который позволяет сделать первоначальные обобщения. Но для того, чтобы обеспечить объективный характер теоретическим выводам диссертации, необходимо качественный анализ сочетать с количественной обработкой полученных материалов.

Таким образом, педагогический эксперимент, являясь обязательным компонентом диссертационного исследования, выступает важнейшим средством подтверждения полученных теоретических выводов и требует тщательного планирования, определяющего организацию мероприятий по проверке полученных в исследовании данных, обоснование его выбора с точки зрения валидности и надежности, а также оптимальности экспериментальных процедур.

1 Здесь и в дальнейшем: ЭГ — экспериментальная группа; КГ — контрольная группа; С — контрольный срез; Х — вводимый экспериментальный фактор.

2 С;(ЭГ.) — результат, полученный в группе ЭГ. на срезе С.

3 Материал взят из книги Д. Кэмпбелла «Модели экспериментов в социальной психологии и прикладных исследованиях» [5]. В таблице использованы следующие обозначения: «-» — безусловная слабость экспериментального плана; «+» — фактор находится под контролем; «±» — возможность некоторых осложнений.

Библиографический список

1. Бабанский Ю.К. Проблемы повышения эффективности педагогических исследований: Дидактический аспект. -М.: Педагогика, 1982. - 182 с.

2. Битинас Б.П. Многомерный анализ в педагогике и педагогической психологии. - Вильнюс: Науч. - исследоват. ин - т школ Мин-ва просвещения Лит. ССР, 1971. - 374 с.

3. Вишнякова С.М. Профессиональное образование: Словарь. Ключевые понятия, термины, актуальная лексика. - М.: НМЦ, 1999. - 538 с.

4. Здравомыслов А.Г. Методология и процедура социологических исследований. - М.: Мысль, 1969. - 205 с.

5. Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. - СПб.: Соц. - пси-хол. центр, 1996. - 392 с.

6. Михеев В.И. Моделирование и методы измерений в педагогике: Науч. - метод. пособие. - М.: Высшая школа, 1987. - 200 с.

7. Налимов В.В., Голикова Т.И. Логические основания планирования эксперимента. - М.: Металлургия, 1976.

- 128 с.

8. Психологический словарь / Под ред. В.В. Давыдова, А.В. Запорожца, Б.Ф. Ломова и др. - М.: Педагогика, 1983. - 448 с.

9. Философский словарь / Под ред. И.Т. Фролова. - М.: Политиздат, 1987.

- 590 с.

10. Хикс Ч. Основные принципы планирования эксперимента. - М.: Мир, 1967. - 406 с.

11. Штофф В.А. Проблемы методологии научного познания. - М.: Высшая школа, 1978. - 271 с.

12. Яноши Л. Теория и практика обработки результатов измерений. - М.: Мир, 1965. - 462 с.

о ч:

га

сх ш