CC BY
20
ВЕСТН. МОСК. УН-ТА. СЕР. ПЕДАГОГИЧЕСКОЕ ОБРАЗОВАНИЕ. 2012. № 2
ОПЫТ ПРАКТИЧЕСКОЙ ПЕДАГОГИКИ
МЕТОДИКА СРАВНЕНИЯ ЭФФЕКТИВНОСТИ
ДЕМОНСТРАЦИОННОГО ЭКСПЕРИМЕНТА
Е.В. Батаева, В.В. Демин
(кафедра общей химии химического факультета МГУ; e-mail: bataeva_e_v@mail.ru)
Описана методика сравнения эффективности демонстрационных экспериментов, которая может быть применена в преподавании любой из естественнонаучных дисциплин. Выделены параметры сравнения: А — соотнесение названия эксперимента или уравнения реакции с демонстрационным экспериментом, Б — адекватность наблюдения эксперимента студентами и С — осознание студентами цели эксперимента. Описана проведенная валидизация предложенной методики. Обсуждены некоторые результаты сравнения эффективности демонстрационных экспериментов, полученные при помощи описанной методики.
Ключевые слова: демонстрационный эксперимент, эффективность.
Эксперимент, в том числе демонстрационный, играет существенную роль в формировании химических понятий [1]. Несмотря на то что демонстрационный эксперимент оставался практически неизменным в течение нескольких последних десятилетий, в настоящее время наметились тенденции к его модернизации [2, 3]. При обсуждении путей модернизации демонстрационного эксперимента и выбора его для конкретной лекции встает вопрос сравнения эффективности экспериментов. Эта проблема возникает перед преподавателями химии, физики, биологии, других дисциплин, так как эксперимент необходим для понимания большинства естественно-научных концепций [1]. Потому вопросы демонстрационного эксперимента важны для всего естественно-научного образования.
Сравнение эффективности различных демонстрационных экспериментов (ДЭ) становится актуальным также потому, что в настоящее время вследствие развития и появления новых средств обучения расширяются возможности модификации и создания нового демонстрационного эксперимента. Однако проблема сравнения эффективности различных демонстрационных экспериментов ранее практически не решалась, и возникла необходимость разработки такой методики сравнения.
Под эффективностью демонстрационного эксперимента в данной работе мы понимаем число (долю от общего числа) студентов, которые верно соотнесли ДЭ с записью соответствующего процесса, ее визуальным эффектом и целью демонстрации.
Разработка и апробация методики сравнения демонстрационного эксперимента проходила в два этапа: I этап апробации — 2-й семестр 2008/2009 уч. г., II этап — 2-й семестр 2009/2010 уч. г. На первом этапе была сделана попытка оценить эффективность демонстрационного эксперимента в курсе общей химии для студентов факультета фундаментальной медицины МГУ (отделение "Лечебное дело"). Для оценки эффективности ДЭ была предложена методика письменного опроса студентов по двум параметрам: А — соотнесение названия эксперимента или уравнения процесса с демонстрационным экспериментом; Х — выделение существенного результата эксперимента. Письменный опрос студентов проводили сразу после окончания лекции. Студенты могли заполнять анкету анонимно (подписываясь псевдонимом).
Бланк опроса содержал набор "реакций" (уравнений реакций или названий экспериментов), часть из которых соответствует экспериментам, которые были на прошедшей лекции. Все предложенные уравнения реакций или названия экспериментов студенты могли характеризовать одним из следующих утверждений: "реакцию демонстрировали на этой лекции", "реакцию демонстрировали на одной из предыдущих лекций" и "реакцию не демонстрировали ни на одной из лекций". Выбор ответа на этот вопрос дает представление об узнаваемости реакции (параметр А). Те реакции, которые отмечены как показанные на этой или одной из прошлых лекций, студент должен был характеризовать утверждениями из второго набора. Этот набор содержал ряд утверждений, описывающих возможные существенные наблюдения демонстрированного процесса. Второй набор утверждений изменялся от лекции к лекции.
некоторые результаты опросов приведены в таблице. Анализ результатов показал, что параметр Х слишком объемен для анализа, и сложно оценить различные факторы, влияющие на его значение, и потому в дальнейшем мы модифицировали методику сравнения эффективности демонстрационного эксперимента.
Результаты опросов, проведенных на первых двух лекциях курса "Общая и неорганическая химия" отделения "Лечебное дело" ФФМ (2008/2009 уч. г.)
Эксперимент Соотнесение эксперимента с его записью (параметр А) Выделение существенного результата эксперимента (параметр Х)
1 2 3 4 5
Реакция 1 "видели" 93 выделили правильно (энтропия в результате реакции уменьшается) 53
не видели или отказались от ответа 7 выделили неправильно или отказались от ответа 47
Окончание табл.
1 2 3 4 5
Реакция 3 "видели" 85 выделили правильно (эндо) 66
не видели или отказались от ответа 15 выделили неправильно (экзо-) или отказались от ответа 34
Реакция 4 "видели" 96 выделил правильно (экзо-) 80
не видели или отказались от ответа 4 выделили неправильно (эндо-) или отказались от ответа 20
Реакция 8 "видели" 73 выелили правильно (необратимая) 53
не видели или отказались от ответа 27 выделили неправильно (обратимая) или отказались от ответа 7
Реакция 12 (р-ция Ландольта) "видели" 61 выделили правильно (подчиняется з.д.м.) 31
не видели или отказались от ответа 39 выделили неправильно (не подчиняется з.д.м.) или отказались от ответа 69
Примечание: 1. Для проведения экспериментов (1) и (3) использовали датчиковую систему, показания которой выводились через медиапроектор на экран в виде графической зависимости. 2. Реакция 8 — взаимодействие аммиака с кислородом на платиновом катализаторе.
Анализ данных опросов позволил сравнить эффективность некоторых экспериментов по параметру А. На рис. 1 показана доля числа студентов, которые отметили, что "видели" на первой лекции следующие демонстрационные эксперименты: реакция 1 — взаимодействие газообразного аммиака с хлороводородом (демонстрация уменьшения объема с использованием датчиковой системы), реакция 2 — разложение бихромата аммония, реакция 3 — взаимодействие твердых гидроксида бария и роданида аммония (демонстрация понижения температуры с использованием датчиковой системы), реакция 4 — горение стружки магния на воздухе, реакция 5 — взаимодействие водорода и кислорода, реакция 6 — взаимодействие раствора сульфата меди с металлическим железом, реакция 7 — взаимодействие гидроксида кальция и хлорида аммония. Эксперименты (2), (5), (6) и (7) на лекции не были показаны. Верно соотнесли уравнение реакции с демонстрационным экспериментом от 85 до 96% студентов. В ходе экспериментов (1) и (3) визуальный сигнал — графические зависимости на экране медиапроектора, показывающие соответственно изменение объема и уменьшение температуры реакционной смеси. Величины параметра А для этих экспериментов существенно не отличаются от величин параметра А для других демонстрационных экспериментов, проведенных на этой же и следующей лекциях (рис. 2). Исходя из этого можно предположить, что изме-
Рис. 1. Доля числа студентов, "увидевших" эксперимент. Столбцы диаграммы соответствуют результатам для следующих демонстраций: (1) — взаимодействие газообразных аммиака и хлороводорода, (2) — разложение бихромата аммония, (3) — понижение температуры при взаимодействии твердых гидроксида бария и роданида аммония, (4) — горение стружки магния, (5) — взаимодействие кислорода и водорода, (6) — взаимодействие раствора сульфата меди с металлическим железом, (7) — взаимодействие гидроксида кальция и хлорида аммония
нение визуального сигнала — отображение количественного сигнала демонстрационного эксперимента в виде графической зависимости — не приводит к ухудшению восприятия демонстрационного эксперимента по параметру А. В ходе дальнейшего исследования это было подтверждено.
В бланк опроса включены "уравнения" реакций, соответствующих процессам, которые не демонстрировали на лекциях. Эти "уравнения" предлагали для того, чтобы, во-первых, снизить долю (число) "угадываний", и, во-вторых, оценить долю респондентов, которые "видели" не демонстрированные процессы.
В нашем исследовании в большинстве случаев очень малое число студентов "видят" эксперимент, который реально не проводили (рис. 1). Это косвенно позволяет оценить ошибку определения величины параметра А. В большинстве опросов эта величина не превышает 5%. Однако если факт (явление) подробно обсужден лектором, доля "увидевших" студентов резко возрастает. Так, ~20% студентов "увидели" аллотропные модификации углерода и ~22% — взаимодействие кислорода с водородом (5) (на лекции этот эксперимент не проводили) [4]. Кроме того, 35% студентов "увидели" растворение хлороводорода в воде.
Также в ходе исследования установлено [4], что на "узнавание" эксперимента (параметр А) существенное влияние оказывает фактор
Демонстрационный эксперимент
Рис. 2. Доля числа студентов, которые верно соотнесли уравнение (название) процесса с демонстрационным экспериментом. Столбцы диаграммы соответствуют результатам для следующих демонстраций: (1) — взаимодействие газообразных аммиака и хлороводорода, (3) — понижение температуры при взаимодействии твердых гидроксида бария и роданида аммония, (4) — горение стружки магния, (8) — взаимодействие аммиака с кислородом на платиновом катализаторе, (9) — экстракция иода, (10) — взаимодействие кислорода и водорода, (11) — взаимодействие фосфора с хлоратом калия, (12) — реакция Ландольта, (13) — взаимодействие хлорида железа с роданидом аммония
предварительного знакомства студента с понятиями и фактами, которые иллюстрирует демонстрационный эксперимент.
На втором этапе разработки и апробации методики (конец 2-го семестра 2008/2009 уч. г. и 2-й семестр 2009/2010 уч. г.) параметр Х был разделен на два: параметр В, описывающий адекватность наблюдения эксперимента студентами, и параметр С, описывающий осознание студентами цели эксперимента.
В конечном варианте методика оценки эффективности выглядит следующим образом: после лекции каждому студенту предлагается бланк опроса, содержащий набор "реакций" (уравнений реакций или названий экспериментов), часть из которых соответствует экспериментам, которые были на лекции. Пример бланка опроса приведен на рис. 3.
Эффективность демонстрационного эксперимента оценивали по трем параметрам: А — соотнесение названия эксперимента или уравнения процесса с демонстрационным экспериментом; В — адекватность наблюдения визуального сигнала, т. е. соответствие описания визуальному эффекту; С — осознание цели демонстрационного эксперимента. Анкетирование студентов проводили сразу после окончания лекции.
ФФМ, весна 2009, лекция 9, тест 9
Дорогой друг!
Ряд, на котором Вы сидели на этой лекции 5
ФИО или псевдоним (тот же, что Вы указывали в прошлый раз; если Вы заполняете тест в первый раз, то укажите это):
II и кого сов Д.А._
1. Ниже находится список реакций, которые, возможно, демонстрировались на сегодняшней лекции. Далее приведен список утверждений. Напротив уравнения каждой реакции поставьте номера утверждений, которые верны в применении к ней
Реакция № утверждений
А АГ + Жз-» 1, 15, 24, 26
Б 2
В СоС12-6Н20 + 2
Г ЫаВЮз + 3, 17, 29
Д К + Н20 2
Е [Ре(5СЮ6"Г + Г-» 2
Ж СаСОз + С02 + Н20-> 1, 14, 24
3 Ва2+ + ОН"-» 2
Эта реакция: №
.. .демонстрировалась на данной лекции 1
...не демонстрировалась на данной лекции 2
... не демонстрировалась на данной лекции, но демонстрировалась ранее 3
В ходе этой демонстрации происходит:
... выделение теплоты 10
... поглощение теплоты 11
...измерение (наблюдение) электропроводности 12
...выделение газа 13
... поглощение газа 14
...выпадение осадка 15
...растворение осадка 16
...изменение цвета 17
...взрыв 18
... определение рН раствора 19
Эта демонстрация иллюстрирует:
.. .тепловой эффект процесса 20
... изменение энтропии системы 21
...диссоциацию вещества в растворе 22
... электрический эффект реакции 23
... растворимость вещества 24
...равновесное состояние системы и/или смещение равновесия 25
...образование комплексных соединений 26
...процесс гидролиза 27
... необратимое протекание реакции 28
...окислительно-восстановительные свойства вещества 29
Рис.3. Пример бланка опроса
Студенты могли заполнять анкету анонимно (подписываясь псевдонимом).
Студентам предлагали всем приведенным уравнениям реакций или названиям экспериментов поставить в соответствие одно из следующих утверждений: "реакцию демонстрировали на этой лекции", "реакцию демонстрировали на одной из предыдущих лекций" и "реакцию не демонстрировали ни на одной из лекций". Ответ на этот вопрос дает представление об узнаваемости реакции (параметр А).
Те реакции, которые студент отметил как показанные на этой или одной из прошлых лекций, далее следует характеризовать утверждениями из второго и третьего наборов. Второй набор содержит утверждения, описывающие визуальный эффект реакции, например "в ходе реакции происходит взрыв" или "в ходе реакции выпадает осадок". Анализируя ответы на эту часть опроса, можно понять, насколько удачен визуальный ряд эксперимента и насколько наблюдения студентов соответствуют реальному визуальному эффекту. Таким образом, мы получаем величину параметра В — адекватность наблюдения визуального сигнала, т. е. соответствие описания наблюдаемому эффекту.
Третий набор содержит утверждения, описывающие цель эксперимента, например "эта реакция иллюстрирует тепловой эффект процесса" или "эта реакция иллюстрирует диссоциацию вещества в растворе". Эта часть опроса показывает, как студенты осознали цель демонстрации (параметр С).
Результаты первой и второй частей опроса зависят в основном от эксперимента. Результаты третьей части опроса зависят как от ДЭ, так и от комментариев лектора или демонстратора.
Приведенный на рис. 3 бланк опроса содержит набор "реакций" (уравнений реакций или названий экспериментов) и три набора пронумерованных утверждений. Напротив каждого уравнения реакции студент ставит соответствующие номера утверждений. Набор реакций обычно содержал 3—4 демонстрации с только что прошедшей лекции, 1—2 демонстрации с лекции, которая была 2 недели назад, и от трех до пяти реакций, которые на лекциях не демонстрировались. Второй и третий наборы содержат от восьми до десяти утверждений, что дает возможность корректно описать визуальный сигнал каждого из представленных экспериментов, а также уменьшить вклад случайного выбора ответа.
Несмотря на то что во время написания опроса у студентов есть возможность обмениваться ответами, проведенное дополнительное исследование показало, что величины параметров по выборке анкет, заполненных самостоятельно, хорошо коррелируют с данными по всей выборке.
Определение самостоятельности выполнения задания при проверке работы является сложной задачей. Как известно, выделение идентичных работ позволяет обнаружить только часть несамостоятельно выполненных тестов и поэтому не может расцениваться как эффек-
тивный метод определения самостоятельности выполнения теста. Кроме того, нельзя утверждать, что одинаковые тесты выполнены несамостоятельно. В нашем случае это означает, что мы не можем утверждать, что одинаково верно (или неверно) заполненные бланки опросов выполнены несамостоятельно.
Как известно, обеспечить самостоятельность выполнения можно, поставив испытуемого в такие условия, когда он вынужден самостоятельно заполнить тест — отсутствие средств связи и возможности проконсультироваться у соседей. Еще возможно составление разных вариантов тестов с большим числом вопросов, на которые необходимо ответить за ограниченное время. Однако в наших условиях это невозможно технически и не согласуется с целью исследования.
Контроль самостоятельности выполнения теста возможен на этапе выполнения задания (наблюдение). Этот метод традиционно используется на экзаменах и с развитием информационных технологий постепенно входит в дистанционное образование [5].
В нашем исследовании не проводили контроль самостоятельности ответов на вопросы в процессе заполнения бланка опроса, валидизацию результатов проводили другим образом. После лекции просили остаться несколько (от 6 до 20) человек, которых интервьюировали. Результаты интервью служили основой мониторинга валидности опросов.
Целью валидизации было установить, соответствуют ли результаты письменных опросов тому, что реально увидели и хотели отметить опрашиваемые. Существенные различия этих данных может вызвать неудобная форма опросов, обмен информацией между опрашиваемыми и какие-то иные факторы.
Также методика была валидизирована в ходе Межрегиональной компьютерной школы МКШ—2009 следующим образом. Слушателям (школьники 7-10-х кл.) была прочитана лекция по химии. Тема лекции "Закономерности протекания химических реакций" и иллюстративный материал (в том числе демонстрационный эксперимент) школьникам незнакомы фактически в равной степени независимо от возраста. После лекции, включавшей 13 экспериментов, слушателям раздали бланки опроса такого же типа, что и бланк, представленный на рис. 3. После заполнения бланков с каждым слушателем была проведена индивидуальная беседа длительностью от 7 до 10 минут — интервью. В ходе интервью слушателям предлагали выбрать из набора карточек с уравнениями реакций или с названиями опытов те, которые соответствовали продемонстрированным на прошедшей лекции. После этого интервьюер просил слушателя описать свои наблюдения для каждой из отобранных им реакций, а также назвать цель дЭ.
Результаты интервью были соотнесены с результатами опроса, и из заполненных бланков опроса была выделена группа валидных (сов-
падение результатов теста и интервью более 80%). Статистическими методами было доказано, что результаты всей выборки совпадают с данными выборки валидных бланков опроса. Таким образом, можно утверждать, что результаты опросов по данной методике подтверждены результатами интервью.
Опираясь на результаты дополнительного исследования, мы сделали вывод, что можно использовать всю выборку, не проводя контроль самостоятельности заполнения бланка. Однако после каждой лекции мы интервьюировали небольшую группу студентов для мониторинга вали-дизации.
Отказ от ответа, т.е. пропуск ответа в бланке опроса, на наш взгляд, может быть обусловлен одной из трех причин: нежеланием отвечать на вопросы, непониманием заданного вопроса или незнанием ответа на заданный вопрос. Связь доли отказов с порядковым номером вопроса в бланке опроса выявить не удалось. Отсутствие связи подтверждается и тем, что в ходе опросов вопросы с низкой долей отказов от ответа (5% и менее) имели различный порядковый номер.
нежелание отвечать на вопрос обусловлено малой заинтересованностью студента в процессе обучения. Обычно такие студенты или не возвращали бланк опроса, или сдавали "испорченный" бланк, в котором ответы были проставлены наугад, например использовались номера ответов, отсутствующих в опросе. Такие бланки опроса не учитывались.
Непонимание формулировки вопроса можно исключить из причин отказов, так как формулировка вопросов были одинакова для всех опросов, и есть эксперименты, для которых все опрашиваемые выбрали верный вариант. Кроме того, понимание формулировки вопроса проверялось дополнительно при беседах со студентами (интервью) после опроса.
Следовательно, можно предположить, что основной причиной отказа от ответа на вопросы в нашем случае было незнание студентом ответа на заданный вопрос. Поэтому отказы от ответов можно включить в число неправильных ответов.
Использование вышеописанной методики сравнения эффективности демонстрационного эксперимента к настоящему времени дало следующие результаты.
Во-первых, даже для "хорошо узнаваемых" экспериментов (величина параметра А не менее 85%) доля студентов, выделивших существенный результат эксперимента (параметр Х), колеблется от 52% до ~79% (данные приведены в таблице).
Во-вторых, важно отметить, что у экспериментов, для которых мала доля числа студентов, выделивших существенный результат, значительно ниже и доля верно соотнесших уравнение реакции и эксперимент. Это нельзя объяснить различиями в типе визуального сигнала или
его качестве. Например, доля студентов, верно соотнесших уравнение окисления аммиака с демонстрационным экспериментом, существенно выше, чем тот же параметр А для реакции Ландольта. При этом в первом случае демонстрируемым объектом фактически был маленький (несколько квадратных сантиметров) светящийся кусочек платиновой проволоки, а во втором случае раствор, изменяющий окраску с бесцветного на темно-синий, в демонстрационном бокале на 500 мл (размером с лист А5). Таким образом, исходя из качества визуального сигнала можно было ожидать, что параметр А для реакции Ландольта будет как минимум не ниже, чем для каталитического окисления аммиака. Под качеством визуального сигнала мы подразумеваем то, насколько хорошо видны студентами демонстрируемые процессы и явления.
Однако результаты не подтверждают это предположение (см. таблицу). Важно отметить, что сложность объяснения опыта "реакция Ландольта" ощутимо выше, так как вводятся следующие новые понятия: формулировка закона действующих масс, порядок реакции, кроме того, используется ионный вид уравнения реакции. Под сложностью объяснения мы подразумеваем число вводимых новых понятий, что коррелирует с определением сложности текста по Е.Е. Минченкову.
Исходя из вышеизложенного можно предположить наличие положительной связи (рис. 4) величины параметра Х и параметра А. Рассчитанный коэффициент корреляции составляет 0,875, что практически равно г0 01 для этой выборки (г0 05 = 0,72, г0 01 = 0,88 по В.Ю. Урбаху [6]). Таким образом, можно считать, что малое значение параметра А при малом Х связано не с качеством визуального сигнала, а с низким уровнем осознанности цели эксперимента. Если нет понимания, зачем про-
100
60--1-1-1-1-1-1
20 30 40 50 60 70 80 Параметр X
Рис. 4.Связь между параметрами А и Х
водится тот или иной эксперимент, сложнее выделить существенную часть эксперимента, а без этого эксперимент чаще всего остается бессистемным набором действий, наблюдений и формул.
Исследование показало, что использование кинестетической составляющей существенно повышает эффективность эксперимента, а именно параметр А возрастает с традиционных ~75% до 95-100%. В опыте по получению пластической серы студентам было предложено потрогать полученный объект, а в опыте по коагуляции молока кислотой — рассмотреть более близко полученный продукт (подержать в чашке Петри). Доля увидевших адекватный визуальный сигнал (параметр В) составляет ~ 62 и ~71% соответственно, что достаточно высоко по сравнению с другими экспериментами для этой же группы студентов. При этом цель достаточно простого с точки зрения формирования понятия эксперимента (получение пластической серы) осознали 46,2%, а цель более сложного эксперимента (коагуляции коллоида) — 12% студентов этой группы.
Таким образом, представленная выше методика позволяет проводить сравнение эффективности демонстрационного эксперимента и, следовательно, оценивать эффективность введения нового эксперимента и модификаций уже существующего. Применение этой методики позволяет также оценить эффективность пояснений лектора к данному эксперименту. В дальнейшем это позволит сделать следующий шаг на пути оценки вклада конкретных экспериментов в формирование понятий.
Авторы выражают благодарность преподавателям кафедры общей химии химического факультета МГУ, особенно профессору С.Ф. Дунаеву и профессору Л.А. Асланову, поддержавшим нас в этом эксперименте.
Список литературы
1. Visualization in science education. Vol. 1/ Ed. K. John Gilbert. Netherlands,
2005.
2. Батаева Е.В. Перспективы развития демонстрационного эксперимента по общей химии // Фундаментальные и прикладные проблемы современной химии: Материалы II Международной конференции. 15-17 апреля 2008 г. Астрахань: Астраханский университет, 2008. 396 с.
3. Батаева Е.В., Демин В.В. Проблемы развития демонстрационного эксперимента по общей химии. Актуальные проблемы химического и естественнонаучного образования // Материалы 56-й Всероссийской научно-практической конференции. СПб., 2009. С. 221-222.
4. Батаева Е.В., Демин В.В., Дунаев С. Ф. Эффективность демонстрационного эксперимента в лекционном курсе общей и неорганическом химии // Хи-
мия и общество. Грани взаимодействия: вчера, сегодня, завтра. Москва, 25—28 ноября 2009 г. М.: Химический факультет, 2009. С. 9.
5. Зайцева С.А., Иванов В.В. Электронное учебное пособие "Современные информационные технологии в образовании". Шуйский госпедуниверситет (URL: http://sgpu2004.narod.ru/infotek/index.htm 20.12.2011).
6. СидоренкоЕ.В. Методы математической обработки в психологии. СПб.: Речь, 2004. 350 с.
METHOD OF COMPARISON OF DEMONSTRATION'S EFFECTIVENESS
E.V. Bataeva, V.V. Diomin
The method of comparison of demonstration experiments is described. This method may be used in studying the effectiveness of education of natural science. The parameters of comparison are determinate: A — the correspondence between demonstration and chemical equation, B — fullness and correctness of description of the demonstration, C — the recognition of aim of the demonstration by the students. Also some results obtain by this method are discussed.
Key words: demonstration experiments, effectiveness.
Сведения об авторах
Батаева Елена Викторовна — кандидат педагогических наук, доцент кафедры общей химии химического факультета МГУ имени М.В. Ломоносова. Тел.: 8-903627-12-86; е-mail: bataeva_e_v@mail.ru
Демин Виктор Викторович — старший преподаватель кафедры общей химии химического факультета МГУ имени М.В. Ломоносова. Тел.: (495) 939-13-27, 93939-60; е-mail: max@struct.chem.msu.ru
