CC BY
602
В ПОМОЩЬ СОИСКАТЕЛЮ
Н.Г. МАЛОШОНОК, аспирант И.Ф. ДЕВЯТКО, профессор Национальный исследовательский университет «Высшая школа экономики»
Эксперимент как метод изучения эффективности практик и нововведений в высшем образовании
В статье описываются основные принципы проведения экспериментальных исследований в сфере образования с целью оценки эффективности образовательных практик и нововведений. Эксперимент рассматривается как метод, обладающий преимуществами при определении причинно-следственных связей между независимыми и зависимыми переменными. Особое внимание в статье уделено описанию угроз валиднос-ти эксперимента, а также демонстрации конкретных примеров экспериментальных исследований и их критике.
Ключевые слова: эксперимент, экспериментальный план, причинно-следственная связь, внутренняя и внешняя валидность эксперимента, угрозы валидности, образовательные практики и нововведения, оценка эффективности образовательных практик
Проводимые сегодня разнообразные реформы в сфере образования, по задумке их авторов, должны существенным образом улучшать процесс обучения и приводить к повышению образовательных результатов. Однако не всегда ожидаемый эффект от нововведений совпадает с реальным. В связи с этим актуальным становится вопрос об эффективности внедряемых практик или программ и их оправданности с точки зрения инвестируемых в них денежных средств. Ответ на данный вопрос может быть получен с помощью проведения так называемых оценочных исследований [1; 2].
Недавно в редакцию журнала «Высшее образование в России » поступила статья с описанием экспериментального исследования, проведенного в двух университетах среди студентов специальности «Экология» 1. Цель эксперимента состояла в проверке эффективности разработанного авторами учебно-методического комплекса для формирования экологической культуры будущих педагогов. Участники эксперимента были разделены на эксперименталь-
ную и контрольную группы с соблюдением принципа равенства этих групп по числу «подопытных». Затем они были подвергнуты предварительному тестированию для выявления уровня сформированности у них экологической культуры. После тестирования студенты экспериментальной группы подвергались воздействию, заключавшемуся во внедрении в их учебный план учебно-методического комплекса и соответствующих мероприятий. После завершения эксперимента тест был проведен повторно.
Результаты двух тестов анализировались с помощью сравнения распределений студентов, получивших высокий, средний и низкий баллы, в двух группах. Из этого сравнения исследователи сделали вывод, что результаты предварительного тестирования не различаются по группам, в то время как результаты тестирования после эксперимента различаются весьма существенно, что, по их мнению, доказывает эффективность разработанного учебно-методического комплекса.
Казалось бы, исследователями достигну-
1 По этическим соображениям ссылка на авторов статьи и на ее название не приводится.
та цель, заключающаяся в том, чтобы показать, что разработанные ими материалы действительно работают. Однако специалисты в области проведения экспериментальных исследований вряд ли разделят энтузиазм авторов, указав на низкую валидность данного эксперимента. Возникаетвопрос: «Что здесь не так? ». Ответить на него можно, если разобраться в базовых принципах экспериментального метода.
Базовые положения экспериментального метода
Эксперимент - это опытное исследование воздействия одного или нескольких факторов (причин) на интересующую исследователя переменную (эффект) [3]. Обычно в экспериментальных исследованиях в сфере образования изучается влияние определенного образовательного воздействия (treatment) на успеваемость или результаты тестов студентов (performance) [4]. Применение именно данного метода в оценочных исследованиях обоснованно, поскольку тщательно разработанный эксперимент, в котором соблюдено правило случайного отбора, является уникальным по своей точности средством для определения причинно-следственных связей [3; 5].
Как и в других исследовательских областях, в области высшего образования выделяются истинные и квази- (или полевые) эксперименты. Истинные эксперименты осуществляются в условиях максимального контроля над воздействием независимой переменной и изоляции влияния внешних факторов, которые также могут воздействовать на предполагаемый эффект. Данные меры позволяют отвергнуть конкурирующие гипотезы, объясняющие изменения в значении зависимой переменной. В социальных науках не всегда возможно беспрепятственно манипулировать значениями независимых переменных, осуществлять полный контроль и обеспечивать изоляцию. Поэтому исследователи в основном используют полевые или квазиэксперимен-
ты, которые проводятся в естественных условиях и в которых требование контроля над уровнем независимой переменной соблюдено не полностью; прямой контроль за возможными смещениями, исходящими от внешних переменных, заменён здесь так называемым статистическим контролем [3].
Первой публикацией, описывающей основные принципы проведения экспериментов в образовании, стала книга У.Э. Мак-Кола «Как проводить эксперименты в образовании» ("How to Experiment in Education"), вышедшая в свет в 1923 г. [6]. Она носила прежде всего прикладной характер, однако, по словам Д. Кэмпбелла, признанного авторитета в области методологии эксперимента в социальных науках, данная работа предвосхитила некоторые методологические положения, лежащие в основании экспериментального метода [7, с. 3536], которые через два года были обоснованы и детально разработаны в классической книге Р. Фишера «Статистические методы для исследователей » [8]. Через 10 лет вышел его учебник по планированию эксперимента и анализу экспериментальных данных [9].
Книга Мак-Кола содержала две главные идеи. Первая заключалась в том, что эффективность образовательных мер должна определяться на основании эмпирических данных и свидетельств, а не вследствие схоластических споров и домыслов. Вторая идея гласила, что такие данные должны быть собраны в ходе полевых, а не лабораторных исследований. Эти две идеи имели очень большое значение для прикладных исследований того времени. В частности, вторая идея опережала свое время, поскольку в 1900-х гг. среди психологов именно метод лабораторного эксперимента
использовался как основной способ эмпирического обоснования теоретических выводов и обобщений [4]. С точки зрения Мак-Кола, возможность перенесения результатов исследования, проведенного в лабораторных условиях, на действительный мир,
в частности в сфере образования, сомнительна.
Для получения валидных, обоснованных выводов в полевых и квазиэкспериментах необходимо доказать не только наличие ожидаемого эффекта от воздействия причины, но и его отсутствие в тех случаях, когда воздействие причины не наблюдалось [3]. Так как в исследованиях высшего образования зависимой переменной обычно являются результаты теста или успеваемость студента, то для проверки статистической гипотезы нередко сравниваются образовательные результаты двух испытуемых групп: экспериментальной (в которой на испытуемых оказывается воздействие) и контрольной(в которой воздействие отсутствует). В зависимости от практического контекста исследования (в частности, существующих организационных и финансовых ограничений) и формулировки исследовательской проблемы могут использоваться различные вариации этого экспериментального плана - от простейшего сравнения статистических групп с однократной фиксацией различий между контрольной и экспериментальной группой (в этом случае нельзя с определённостью приписать наблюдаемый эффект исключительно экспериментальному воздействию, поскольку группы с самого начала могли быть неэквивалентны) до так называемых истинных экспериментальных планов, предполагающих случайное распределение участников эксперимента по группам (рандомизацию), а также предварительное и итоговое тестирование (т.е. многократное измерение зависимой переменной, на которую воздействует экспериментальный фактор). Дальнейшее развитие экспериментального метода привело к разработке многофакторных и многоуровневых экспериментальных и квазиэкспериментальных планов и соответствующих подходов к статистическому анализу получаемых данных. Некоторые примеры таких исследований будут приведены далее.
Валидность результатов экспериментального исследования
Существует три условия, при соблюдении которых с большой долей вероятности можно говорить о наличии причинной связи между явлениями [7]:
1) причина(ы) должна(ы) предшествовать эффекту по времени;
2) причина(ы) должна(ы) быть статистически связана(ы) с эффектом;
3) не должно быть альтернативного объяснения появления эффекта.
Соблюдение второго условия свидетельствует о валидности статистического вывода, сделанного по результатам эксперимента, то есть о корректности используемых процедур статистического анализа и оценивания параметров совокупности. Соблюдение третьего условия - свидетельство внутренней валидности эксперимента. Помимо этого, применительно к экспериментальному методу принято говорить о внешней и конструктной валидности. Первая относится к возможностям обобщения выводов на более широкую совокупность, в то время как вторая представляет правильность обозначения причины и эффекта с помощью терминов формальной модели или обыденного языка [7].
В таблице 1 перечислены 12 факторов, которые, в соответствии с точкой зрения Д. Кэмпбелла, могут угрожать внутренней и внешней валидности эксперимента. Под внешней валидностью подразумевается возможность распространить выводы исследования на генеральную совокупность или, в некоторых случаях, на другие условия, совокупности, моменты времени. Под внутренней - отсутствие смещения со стороны внешних переменных, предполагающих возможность альтернативных причинных влияний [7]. При этом не имеет смысла рассмотрение внешней валидности эксперимента, если не достигнута его внутренняя валидность [10].
Помимо перечисленных в таблице 1 угроз внутренней валидности, выделяется
Таблица 1
Угрозы внутренней и внешней валидности результатов эксперимента [11]
Угрозы внутренней валидности Угрозы внешней валидности
Фон (события, которые происходят наряду с экспериментальным воздействием) Естественное развитие (изменения, происходящие во времени, например, взросление) Эффект тестирования (влияния первого измерения на последующие) Нестабильность инструментария (изменения в результатах, связанные с особенностями инструментария) Эффект статистической регрессии (имеет место, когда группы отбираются на основании крайних значений показателей) Эффект отбора испытуемых (проявляется, когда группы различаются по составу) Отсев в ходе эксперимента (выбывание испытуемых из эксперимента и его неравномерность по группам) Взаимодействие факторов, влияющих на внутреннюю валидность (например, фактора отбора и естественного развития) Реактивный эффект (изменение в восприимчивости экспериментального воздействия после проведения предварительного тестирования) Эффект взаимодействия фактора отбора и экспериментального воздействия Реакция испытуемых на эксперимент (условия организации эксперимента не позволяют обобщить полученные выводы на людей, подвергающихся такому же воздействию в неэкспериментальных условиях) Взаимная интерференция экспериментальных воздействий (возникает, когда одни и те же испытуемые подвергаются нескольким воздействиям)
еще один фактор, который существенным образом может повлиять на результат эксперимента, а именно - предубеждения экспериментатора. Р. Готтсданкер считает, что если у исследователя есть какие-либо ожидания относительно результатов эксперимента, то они обязательно проявятся при проведении опытов вследствие, например, нежелания учитывать некоторые экспериментальные данные или неодинаковой точности их регистрации [10]. Стоит также отметить, что представленный список угроз является неполным, поскольку внутреннюю валидность эксперимента может снизить любой неконтролируемый внешний фактор [11].
При проведении экспериментов для оценки эффективности образовательных практик и нововведений не всегда возможно устранить все угрозы внутренней и внешней валидности. Например, воздействие определенной образовательной практики на оценки студента может быть скоррели-ровано с изначальной подготовкой студентов или с их социально-демографическими характеристиками (например, студенты-
юноши, возможно, лучше справляются с математическими заданиями, чем их коллеги женского пола). Учесть все влияния не представляется возможным, поэтому статистик Фишер предложил принцип рандомизации как основной подход при планировании полевого эксперимента. Он заключается в случайном распределении субъектов по различным условиям эксперимента и группам [3].
Именно принцип рандомизации не был соблюден авторами эксперимента, описанного в начале нашей статьи, что накладывает существенные ограничения на интерпретацию полученных исследователями результатов.
Помимо валидности, принято говорить о надежности результатов эксперимента как отсутствии случайной ошибки. Она обеспечивается путем многократного воспроизведения эксперимента и получения одинаковых результатов [3]. Проверка надежности результатов эксперимента также не была осуществлена в рассмотренном нами примере. Помимо этого, на основании имеющихся сведений о прове-
дении экспериментального исследования в двух вузах можно говорить о следующих возможных угрозах внутренней валидно-сти: эффект тестирования, эффект отбора испытуемых, отсев в ходе эксперимента (нет данных о том, сколько студентов дошли до конца эксперимента), а также фон. Кроме того, не были устранены угрозы внешней валидности и не показана возможность распространения результатов эксперимента на другие условия, объекты и временные периоды. Хотя такая возможность у наших авторов появилась бы, если бы они анализировали данные по двум университетам отдельно, а не в совокупности, как это было сделано. Кроме того, не приводятся данные о статистической значимости полученных выводов (что требует проверки статистической гипотезы о значимости различий средних оценок по тесту до и после тестирования, например, с помощью теста Стьюдента).
В следующей части статьи мы рассмотрим примеры удачных и неудачных экспериментов, для того чтобы продемонстрировать, как на практике соблюдаются (или не соблюдаются) основные принципы экспериментального метода.
Эксперимент 1. Влияет ли посещение
занятий на успеваемость студентов?
Группой исследователей с острова Тайвань в 2005 г. был проведен эксперимент, цель которого заключалась в определении влияния факта посещения лекционных занятий на успеваемость студента. Эффект посещаемости в исследовании ассоциировался с «эффектом воздействия» на пациента (treatment effect on the treated) [12]. Использование термина «treatment», которое обычно в переводе на русский звучит как «условие», «обработка», восходит еще к книге Фишера [8].
В эксперименте участвовали 114 студентов-третьекурсников, посещающих курс по публичным финансам в частном универси-
тете. Все участники были разделены по двум секциям курса, при этом каждый участник при регистрации на курс мог выбрать любую секцию. Весь материал курса случайным образом был разделен пополам так, что в первой секции читались одни темы, а во второй - совершенно другие. Таким образом, студенты, посещавшие курс, в разные моменты времени были включены и в экспериментальную, и в контрольную группы. Также, по словам авторов, было выполнено условие рандомизации - случайного распределения участников по группам с разными значениями независимой переменной (экспериментальной посещаемости).
Обе секции велись одним преподавателем, но проходили в разное время: первая в 15:00, вторая - в 17:00. При чтении курса использовались презентации Power Point, которые после занятия вывешивались на сайте курса.
В исследовании в качестве зависимой переменной выступала академическая успеваемость, измеренная как дихотомическая для каждого вопроса экзамена (1- ответ правильный, 0 - ответ неправильный). Всего было проведено два экзамена - в середине курса (промежуточный, состоявший из 50 вопросов) и в конце курса (из 57 вопросов). Все вопросы были заданы в формате множественного выбора. Таким образом было получено 12028 значений зависимой переменной. Студенты были предупреждены, что в экзамен войдут все темы, которые имеются в презентациях по курсу, а не только те, что были прочитаны на лекциях.
Независимыми переменными были актуальная посещаемость и экспериментальная посещаемость. Переменная актуальной посещаемости принимала значение «1» в случае, если студент присутствовал на лекции, на которой читался материал, релевантный вопросу, и «0», если студент пропустил занятие. Экспериментальная посещаемость принимала значение «1», если студент присутствовал на лекции и препо-
даватель читал лекцию по теме, релевантной экзаменационному вопросу, и «0», если студент присутствовал на лекции, но случайным образом выбранный материал занятия не покрывал вопрос. Таким образом, если на актуальную посещаемость могли влиять ответственность и мотивация студентов к обучению, то экспериментальная посещаемость не была подвержена внешним по отношению к экспериментальному плану воздействиям (в связи с тем, что ей приписывались значения случайным образом).
В среднем около 91% студентов посещали занятия по курсу. Значительных различий в ответах студентов на общие вопросы (которые были освещены в лекционном материале для всех студентов) для посещавших и пропускавших занятия не наблюдалось. Что касается ответов на вопросы, которые случайным образом были исключены из читаемого материала для одной из групп, то процент правильных ответов студентов, в чьих лекциях был релевантный вопросу материал, составил 62,7%, а для учащихся, на занятиях у которых этот материал был опущен, - 51,1%.
В результате анализа было обнаружено, что эффект посещаемости (экспериментальной посещаемости) на тех студентов, которые посетили все занятия, составил 18%, на тех, кто пропустил менее двух, -14,7%. В целом он составил от 9,4% до 18%. Полученные данные привели исследователей к интуитивному выводу о том, что студенты, регулярно посещающие лекции, получают больше выгод от обучения, чем посещающие нерегулярно.
Несмотря на то, что основные принципы реализации эксперимента в данном исследовании были соблюдены, валидность полученных результатов, на наш взгляд, может быть поставлена под сомнение.
Исследователи пытались устранить некоторые угрозы внутренней валиднос-ти, заключающиеся в отборе респондентов и распределении их по группам (экс-
периментальной и контрольной) с помощью введения элемента случайности в читаемых темах, а также переменной экспериментальной посещаемости. Однако возникает вопрос, не обусловлено ли полученное влияние посещаемости на результаты теста другими переменными, такими как время, которое было в распоряжении студентов для подготовки к экзаменам. В условиях сжатых сроков студенты могли не успеть прочитать весь лекционный материал к экзаменам, поэтому выполнили лучше те задания, которые были связаны с пройденным на лекциях, то есть знакомым им материалом.
Также на причинную связь между экспериментальной посещаемостью и успеваемостью могли оказать влияние сложность учебного курса и мастерство преподавателя, читавшего курс. Ведь, несмотря на то, что в обеих секциях курс вел один и тот же преподаватель, его влияние не было исключено из эксперимента за счет специфики его дизайна - контрольную группу составляли те студенты, которые не прослушали на лекции материал по конкретному экзаменационному вопросу, а значит, в данном случае не подвергшиеся влиянию преподавателя.
Эксперимент 2. Как использование юмора при чтении учебного курса влияет на образовательные результаты?
В 1988 г. Авнером Зивом была опубликована статья «Преподавание и обучение с юмором: эксперимент и его повторное воспроизведение» («Teaching and Learning with Humor: Experiment and Replication ») [13], которая описывает результаты экспериментального исследования влияния юмора на образовательные результаты студентов. В рамках исследования были проведены два аналогичных эксперимента. Первый - в рамках учебного курса по статистике, длительность которого составляла один семестр. Повторное исследование - в рам-
ках вводного курса по психологии той же продолжительности.
В качестве теоретической гипотезы исследователь выдвинул утверждение, что студенты, проходившие учебный курс у преподавателя, использующего релевантный юмор, получат более высокие оценки за тест, чем студенты, изучившие аналогичный материал с преподавателем, не использующим юмористических элементов при чтении курса. Предположение основано на ранних теоретических разработках автора: юмор способствует привлечению и удержанию внимания, а также оказывает гедонистический эффект [13].
В эксперименте принимали участие 161 студент; случайным образом они были разделены на две группы: экспериментальную (82 участника) и контрольную (79 участников). В качестве зависимой переменной выступали результаты стандартизированного теста по статистике, проводимого в конце семестра.
Для того чтобы результаты эксперимента обладали валидностью, преподаватели курса проходили специальную подготовку в области использования юмора в процессе преподавания. Только 12 педагогов из 61 были отобраны для реализации эксперимента на основании их умения использовать юмор во время обучения.
Использование юмора в экспериментальной группе дозировалось. Преподаватель рассказывал студентам 3-4 шутки за одно занятие. После проведения тестирования студентов гипотеза была подтверждена: студенты экспериментальной группы имели сравнительно более высокие баллы, чем студенты контрольной группы.
Для проверки валидности результатов эксперимента он был повторно воспроизведен в рамках другого курса и среди другой совокупности студентов и преподавателей. Повторное экспериментальное исследование подтвердило полученные выводы. Таким образом, с помощью экспериментального метода и соблюдения процедуры конт-
роля независимой переменной Авнеру Зиву удалось подтвердить гипотезу о влиянии юмора на образовательные результаты.
Эксперимент 3. Как общественная работа в рамках учебного курса влияет на обучение?
Зимой 1992 г. исследовательским коллективом, состоявшим из ученых Мичиганского и Гарвардского университетов, был проведен эксперимент по внедрению в учебный курс по политическим наукам общественной работы [14]. В эксперименте приняли участие 89 студентов, обучающихся в основном на первом и втором курсах.
В качестве независимых переменных выступали результаты опросов студентов относительно их социально-политических взглядов и ценностей до и после прохождения курса. В анкету второго опроса также был включен вопрос о влиянии курса на ориентацию студента на общественную работу и отношение к своему территориальному сообществу. После завершения учебного курса каждый студент заполнял еще одну анкету по оценке курса. Также в качестве зависимых переменных выступали оценки по курсу и посещаемость. В рамках курса было сформировано восемь групп по 25 человек для семинарских занятий. Случайным образом две группы были назначены экспериментальными, шесть - контрольными.
Для участников, попавших в экспериментальные группы, было выделено 20 часов для работы по помощи бездомным, в экологическом центре, центре по работе с женщинами, переживающими кризис, и т.п. Время семинарских занятий было отведено для обсуждения опыта, полученного студентами в ходе выполнения общественной работы. В конце семестра студенты экспериментальной группы писали отчет по своей работе и выступали с его презентацией.
В контрольных группах во время семинаров проходили обсуждения лекций и ма-
териала, предназначенного для самостоятельного прочтения. Студентам необходимо было в течение семестра написать работу, основывающуюся на анализе релевантной научной литературы, которая по затратам времени и усилий была сравнима с той работой, которую выполняли участники экспериментальной группы.
Записываясь на курс, студенты не знали о предстоящем проведении эксперимента и о планируемом разделении учащихся на экспериментальную и контрольную группы. Сравнение экспериментальных и контрольных групп по социально-демографическим характеристикам, а также по ответам на первый опрос, проводившийся перед началом занятий по курсу, не показало значимых различий.
Хотя эксперимент был выполнен с соблюдением большинства принципов метода, можно отметить наличие в нем угроз валидности. Во-первых, не очень ясен принцип набора восьми групп, которые в конечном итоге были разделены на экспериментальные и контрольные. Если отбор был осуществлен не случайным образом, а по принципу предпочтений студентов или по их специальности, это могло привести к смещениям. Во-вторых, осведомленность студентов о проведении эксперимента и их участие в предварительном опросе могли вызвать дополнительные смещения в значениях зависимых переменных.
Эксперимент 4. Как определенный учебный курс влияет на развитие способностей студентов?
На одном из факультетов Красноярского государственного технического университета в течение 10 лет (с 1995 по 2005 гг.) проводился эксперимент по оценке эффективности учебного курса «Теория решения изобретательских задач», читающегося с целью развития креативности студентов. В эксперименте участвовали две группы: для экспериментальной группы данный курс входил в учебный план, в то
время как контрольная группа не посещала занятия по данному курсу. За 10 лет в эксперименте приняли участие 518 человек (в среднем по 25 человекв каждой группе в год).
Минимизация влияния внешних факторов на зависимую переменную, по словам автора статьи [15], осуществлялась через соблюдение правил отбора испытуемых (примерно одинаковый возраст и уровень подготовки) и условий эксперимента (одинаковый размер учебных групп, одни и те же учебные планы и преподаватели).
Зависимой переменной выступали результаты теста на креативность, который проводился для каждой группы дважды: в начале обучения (первый семестр первого курса) и через четыре месяца (начало второго семестра первого курса). Результаты проведенного эксперимента подтвердили гипотезу исследователей о том, что студенты, проходившие курс «Теория решения изобретательских задач», имеют более высокий уровень креативности, чем их коллеги из контрольной группы. Так, общий показатель оригинальности мышления за четыре месяца улучшился у 70% студентов экспериментальной группы и только у 10% учащихся контрольной группы.
Несмотря на то, что в результате проведения эксперимента были получены значительные различия в успешности выполнения тестов испытуемыми экспериментальной и контрольной групп, валид-ность этих выводов является сомнительной, поскольку в данном проекте были соблюдены не все принципы экспериментального исследования. Во-первых, отбор участников и их распределение по экспериментальной и контрольной группам производились без учета принципа случайного отбора, по принципу «попарного уравнивания », что может привести к неконтролируемым смещениям [3]. Во-вторых, данные повторных экспериментов, которые проводились в последующие девять лет после проведения первого исследова-
ния, следовало использовать для проверки надежности выводов. Однако исследователь анализировал их совместно, не принимая во внимание то, что в разные года могли проявляться случайные внешние факторы, которые потенциально могли оказывать влияние на причинную связь между воздействием курса на студентов и успешностью выполнения тестов. К таким случайным факторам, например, можно отнести изменения школьной программы или изменение величины конкурса и правил приема абитуриентов в вуз.
Эксперимент 5. Как внедрение
в курс компьютерных технологий влияет на эффективность обучения?
На факультетах психологии и иностранных языков Томского государственного университета был реализован эксперимент для проверки эффективности использования элементов компьютерных технологий в годовом курсе «Экология» [16]. В рамках курса были предусмотрены только лекционные занятия. В первом семестре все участники эксперимента посещали только лекции, а во втором учащиеся были разделены на две группы. Контрольная группа продолжала посещать лекционные занятия, в то время как экспериментальная группа работала самостоятельно в компьютерных классах с учебно-методическим комплектом, содержащим различные мультимедиа-приложения по курсу. За время прохождения эксперимента студенты экспериментальной и контрольной групп изучили одинаковый учебный материал. В качестве независимой переменной выступали результаты теста по изученному во втором семестре материалу, который был проведен после завершения курса. В результате эксперимента подтвердилась гипотеза об эффективности разработанного мультимедийного комплекта по курсу: студенты, осваивавшие курс самостоятельно, получили более высокие результаты теста, чем учащиеся, продолжившие посещение лекций.
При описании эксперимента в статье не был обозначен способ разделения испытуемых на экспериментальную и контрольную группу, что препятствует пониманию того, насколько полученные выводы справедливы и отражают поставленную цель. Кроме того, в имеющемся материале не было описано, осуществлялся ли контроль посещаемости занятий студентами обеих групп, а также знали ли студенты о проведении эксперимента, т.е. неясно, насколько факторы, которые могут служить альтернативными объяснениями различий в уровне зависимой переменной, были изолированы при проведении эксперимента. При этом, несмотря на то, что средние результаты тестов экспериментальной и контрольной групп различались сильно (примерно в 1,5 раза), исследователем не были применены статистические методы проверки гипотезы, что заставляет усомниться в валидности статистического вывода эксперимента.
Эксперимент 6. Как характеристики
педагога влияют на образовательные успехи учащегося?
В статье Т.Е. Хавенсон и Ю.А. Тюмене-вой [17] описываются процедура и результаты проведения квазиэксперимента на базе данных исследования Т1М88. Особенностью квазиэкспериментов является то, что они позволяют выдвигать исследовательские гипотезы и проверять их постфактум, т.е. после проведения полевой части исследования, и могут быть применимы к большим объемам опросных, и в частности лонгитюдных, данных.
Т1М88 - это международное исследование школьников, в котором принимают участие следующие категории респондентов: 1) ученики 4-х и 8-х классов, которые проходят тестирование по математике, физике, химии и биологии и заполняют анкету с контекстной информацией, 2) учителя по предметам, по которым проходит тестирование и 3) сотрудники из числа адми-
нистрации школы. В описываемом квазиэкспериментальном исследовании анализировались данные по России за 2007 г. учащихся 8-х классов. Выборка включала 4472 учащихся из 58 регионов и была репрезентативна: в одной школе опрашивался целый класс и учителя, которые ведут предметы в этом классе. План данного исследования авторы называют «квазиэксперимент внутри одного респондента». Это связано с тем, что в данном эксперименте в контрольной и экспериментальной группах участвовали одни и те же респонденты, оказавшиеся под двумя разными воздействиями (проходили учебные дисциплины, например математику и физику, у разных учителей). Исследователями использовался метод регрессии с фиксированными эффектами с оценкой первой разницы, который позволяет зафиксировать в анализе эффекты, относящиеся к личным характеристикам учащихся и изучать влияние на зависимую переменную только характеристик учителя и образовательного процесса.
В качестве результатов исследования можно отметить следующее: результаты проведения корреляционного и квазиэкспериментального исследований существенно различаются, что говорит о несостоятельности корреляционного плана для изучения причинных связей между характеристиками учителя и учебного процесса и образовательных результатов учащихся. Также были получены некоторые содержательные результаты о влиянии характери-стикучителя на образовательные достижения учеников. Однако они неодинаковы для всех учебных дисциплин [17].
Хотя описанный эксперимент был проведен не в вузе, а на данных опроса и тестирования школьников, описанная методика может быть применена и при изучении высшего образования. Данное исследование наглядно демонстрирует преимущество экспериментального метода в определении причинных связей между независимыми и зависимыми переменными в исследовани-
ях в сфере образования и в оценке эффективности образовательных программ.
Заключение
Оценка эффективности различных образовательных практик и нововведений является важной составляющей улучшения высшего образования. Поскольку такого рода исследования предполагают преимущественно проверку гипотезы о наличии причинных связей между внедрением практики и образовательными результатами студентов, в нашей работе была поставлена цель раскрыть основные принципы реализации экспериментальных исследований в высшей школе. В статье приведены основные методологические положения разработки экспериментальных планов и реализации исследований, а также описаны примеры реализации экспериментов на практике. С помощью описания и анализа примеров мы показали, с какими проблемами сталкиваются исследователи высшей школы при проведении экспериментальных исследований, а также какие ограничения и угрозы валид-ности выводов они могут содержать. Хотя в рассмотренных экспериментальных исследованиях результаты полностью подтверждают исследовательскую гипотезу ученых об эффективности образовательных практик и нововведений, чтение некоторых работ вызывает вопросы, заставляющие усомниться в валидности и надежности результатов экспериментов.
Литература
1. Стародубцев С.П. Оценочные исследова-
ния: первое знакомство // Социол. исслед.
1992. № 7. С. 57-61.
2. Сивак Е.В. История оценочных исследо-
ваний в образовании в США: аналитический обзор // Социология: 4М. 2011. № 33.
С. 112-135.
3. Девятко И.Ф. Методы социологического
исследования. М.: КДУ, 2009.
4. Wolf R.M. Design Problems in Evaluation //
Evaluation of Continuing Education in the
Health Professions. Massachusetts: Kluwer-Nijhoff Publishing, 1985.
5. Holland P.W. Statistics and Casual Inference
// Journal of American Statistical Association. 1986. Vol. 81. № 396. P. 945-960.
6. Mc Call W.A. How to experiment in education.
N. Y.: Macmillan, 1923.
7. Кэмпбелл Д. Модели экспериментов в со-
циальной психологии и прикладных исследованиях: Пер. с англ. / Сост. и общ. ред. М.И. Бобневой. М: Прогресс, 1980.
8. Fisher R.A. Statistical Methods for Research
Workers. Edinburgh: Oliver and Boyd, 1925.
9. Fisher R.A. The Design of Experiments. Edinburgh: Oliver and Boyd, 1937.
10. Готтсданкер Р. Основы психологического эксперимента. М.: Изд-во МГУ, 1982.
11. Гудвин Д. Исследование в психологии: методы и планирование. СПб.: Питер, 2004.
12. Chen J., Lin T. Class Attendance and Exam Performance: A Randomized Experiment // Journal of Economic Education. 2008. Vol. 39. № 3. P. 213-227.
13. Ziv A. Teaching and Learning with Humor: Experiment and Replication // The Journal
of Experimental Education. Vol. 57, No. 1 (Fall, 1988). P. 5-15.
14. King D.C, Howard J.P., Markus G.B. Integrating Community Service and Classroom Instruction Enhance Learning: Results From an Experiment // Educational Evaluation and Policy Analysis. 1993. Vol. 15. № 4. P. 410-419.
15. Дмитриев В.А. Экспериментальные исследования эффективности творческой подготовки студентов-инженеров и педагогов на основе технологии инновационного проектирования // Вестник ТГПУ. 2009. № 9(87). С. 52-56.
16. Руденко Т.В. Методика преподавания естественно-научных дисциплин с применением технологий дистанционного обучения (на примере курса «Экология») // Открытое и дистанционное образование. 2003. № 2(10). С. 47-55.
17. Хавенсон Т.Е. Тюменева Ю.А. Переход от корреляционного к квазиэкспериментальному плану в исследованиях школьного образования: опыт применения регрессий с фиксированными эффектами // Социология: 4М. 2012. № 35. С. 5-28.
Н.И. МАРТИШИНА, д. филос. наук, профессор Сибирский государственный университет путей сообщения
Философия науки в инженерном вузе: практико-
ориентированный подход
Обосновывается тезис о необходимости операциональной переориентации «классического» курса «Философия и история науки », придания ему практико-ориенти-рованного характера. Выделены ключевые функции курса в рамках образовательной программы аспирантуры по техническим специальностям. Предложены способы отбора и интерпретации учебного материала, направленные на реализацию компетент-ностного подхода к организации учебного процесса в аспирантуре как третьем уровне высшего образования.
Ключевые слова: подготовка аспиранта, образовательная программа аспирантуры, практико-ориентированный подход, философия науки как учебная дисциплина
Концепция аспирантуры как образова- ранта (как исследователя, участника и в тельной программы определяет изменение перспективе - руководителя сложных про-
ракурса постановки вопроса об отборе и содержательном наполнении соответствующих учебных курсов. В наиболее общем плане необходимость каждого курса определяется теми задачами подготовки аспи-
ектов и/ или преподавателя), которые могут решаться через освоение конкретного учебного материала.
В данной работе будут выделены позиции, которые очерчивают место курса «Ис-
