CC BY
161
ВЕСТН. МОСК. УН-ТА. СЕР. 14. ПСИХОЛОГИЯ. 2009. № 2
МЕТОДИКА
Е . Е . Креславская, А. В . Вартанов
ТЕСТ НА ПОНИМАНИЕ УЧЕБНОГО МАТЕРИАЛА ПО
Биологии человека: результаты верификации
В статье описывается процедура и результаты верификации разработанного авторами теста на понимание учебного материала по биологии человека. Апробация на выборке 168 школьников и валидизация с помощью 55 экспертов показали, что метод может применяться в образовательной практике для контроля и своевременной коррекции усвоения материала. Выявлена качественная специфика мнений экспертов по вопросам теста.
Ключевые слова: понимание учебного материала, диагностика понимания, контекстное обучение.
The article describes verification of a test diagnostics method that focuses on understanding of human biology, specifically the procedure and the results of verification. The study includes testing of 168 high school students and validation of the test by 55 experts. The results of the study indicate that the test can be recommended to diagnose how well high school students understand human biology. The difference in experts’ opinion regarding interpretation of the test questions has been analyzed.
Key words: understanding of a studying material, diagnostics of understanding, contextual training.
Стремительно меняющаяся информационная среда сделала умение ориентироваться в ней необходимой характеристикой специалиста. Ценятся не только гибкость и скорость реагирования, но и развитая способность к пониманию, под которым подразумевается познавательный процесс, позволяющий организовать полученную информацию, установить в ней смысловые связи, выделить главное.
Проблема структурирования информации, в том числе учебной, в наши дни занимает одну из главных позиций в психологической науке, особенно в педагогической психологии. По мере овладения знаниями и расширения собственных представлений о мире растущий человек остро ощущает потребность в упорядочении и систематизации накопленного материала. Ведущая роль в развитии способности к пониманию принадлежит образованию, что отражает сегодняшний
Креславская Елена Ефимовна — ст. преп. кафедры анатомии, физиологии и гигиены человека МГГУ им. М.А. Шолохова. E-mail: [email protected]
Бартанов Александр Балентинович — канд. психол. наук, ст. науч. сотр. кафедры психофизиологии ф-та психологии МГУ. E-mail: [email protected]
72
лозунг: «От школы памяти — к школе понимания». Усвоение учебного материала на уровне понимания показатель высокого качества обучения (Бершадский, 2004; Брудный, 1998; Знаков, 1991; Устьянцева, 1999). В связи с этим особую важность приобретает разработка методов диагностики понимания.
В образовательной системе принято оценивать эффективность обучения уровнем фактических знаний. Такая диагностика объективна, легко формализуется и компьютеризируется. Но выявляемый при этом объем сохраненной информации может быть связан с усвоением знаний просто на уровне запоминания и не отражать понимания пройденной темы. Вот стандартный пример такого диагностического подхода: «В органе зрения функцию линзы выполняет: 1 — хрусталик, 2 — зрачок, 3 — роговица, 4 — сетчатка» (Единый..., 2001, с. 36; правильным считается только один ответ).
В классическом труде по психодиагностике А. Анастази приводятся тесты на понимание прочитанной или прослушанной информации. Однако автор отмечает, что они «в действительности предполагают простое умение вспомнить детали услышанного или прочитанного без особого осмысления воспринятого материала» (Анастази, 1982, с. 56). Здесь речь также идет о выявлении знаний. Хотя знание и понимание не синонимы. Примером тому служит широко распространенная в педагогической практике ситуация наличия знаний без их осмысления, без понимания.
Между тем известно, что «процессы понимания и произвольного запоминания требуют различной направленности сознания и различных способов реализации» (Зинченко, 1961, с. 366). В сфере образования диагностика понимания оказывается гораздо более сложной проблемой, чем установление уровня знаний. На практике преподаватель обычно определяет уровень понимания по результатам письменных или устных опросов, опираясь на собственное впечатление и интуицию. Недостатки такого подхода — субъективность, высокая трудоемкость и большие временные затраты.
При исследовании развития понимания в условиях контекстного обучения (Вербицкий, 1991) остро обозначилась необходимость в создании надежной тестовой системы, которая позволила бы объективно и с минимальной затратой сил оценить уровень понимания соответствующей учебной темы. В связи с этим на базе преподавания медикобиологических дисциплин в педагогическом вузе нами был разработан вариант теста для оценки понимания учебного материала по программе предметов этого цикла.
Представляемая здесь диагностическая система принципиально отличается от тестов, используемых в образовании (см. приведенный выше пример из ЕГЭ), тем, что 3 из 4 предлагаемых ответов являются верными, но в разной степени. Они различаются между собой полнотой и обобщенностью и отражают определенный уровень понимания — от полного непонимания и неполного понимания до адекватного понимания. Ответы
73
Таблица 1
Примеры тестовых заданий
Формулировка вопроса и варианты ответов Величина оценочного балла при выборе соответствующего варианта ответа
Хрусталик необходим для:
а) преломления лучей падающего света 2
b) получения резкого изображения на сетчатке 3
с) пропускания светового потока 1
d) поддержания шаровидной формы глазного яблока 0
Гормоны нужны для:
a) регуляции обмена веществ 3
b) деятельности эндокринных желез 0
c) развития вторичных половых признаков 2
d) роста и развития организма 1
оцениваются по 4-балльной системе: от 0 за полное непонимание до 3 за адекватное понимание. Примеры тестовых заданий с оценочными баллами за разные варианты ответов см. в табл. 1. Концептуальные основы диагностики понимания, этапы разработки и принципиальные особенности предложенной тестовой системы подробно рассмотрены в более ранних работах (Вербицкий, Креславская, 2007; Креславская, 2006).
Цель настоящего исследования заключалась в верификации разработанной тестовой системы как количественного показателя понимания путем ее апробации на школьниках и валидизации экспертным методом.
Методика
Испытуемые. В тестировании участвовали:
1) 168 учеников 10—11 классов трех московских школ (№ 690, 192, 429). Всего было задействовано семь классов, из них три с углубленным изучением биологии (Б-классы) и четыре общеобразовательных класса (О-классы).
2) 55 экспертов — в основном взрослые люди, обладающие профессиональными знаниями медико-биологического профиля (медицинские и научные работники; преподаватели естественных дисциплин в школах и вузах; специалисты с высшим биологическим образованием, в настоящее время занятые бизнесом; студенты-биологи выпускного курса педагогического вуза; студенты-медики), а также старшеклассники (5 человек) специализированной биологической школы, призеры Всероссийской олимпиады по биологии.
Материалы и процедура. Тест содержал 30 вопросов по биологии человека, не выходящих за пределы материала для классов с углубленным
74
изучением биологии. На каждый вопрос предлагалось 4 ответа, нужно было выбрать один наиболее подходящий. Процедура тестирования занимала 15—20 мин.
Также проводился сбор данных об успеваемости испытуемых по предметам биологического цикла. Он включал не только официальную отметку (по журналу), но и реальную учительскую оценку усвоения школьником биологического материала. Реальная оценка в большинстве случаев отличалась от журнальной и нередко сопровождалась одним или двумя символами «+» или «-». Например, 3= (три с двумя минусами), 4+ (четыре с плюсом). Для сохранения нюансов оценивания в дальнейшей математической обработке мы переводили эти символы в цифровые обозначения путем замены их на десятые доли (например: вместо 4+ использовали 4.3; вместо 3= -2.3).
С экспертами проводилась беседа с целью выявления их мнения относительно содержания, формы и диагностических качеств настоящей методики, а также анализировались их анкетные данные для установления оснований дальнейшего анализа.
Обработка. Для предварительной обработки материала была создана компьютерная база данных, куда заносились ответы каждого испытуемого на каждый вопрос. Полученная таким образом матрица сравнивалась с заданной тестовой матрицей и обрабатывалась с помощью стандартных математических методов. В итоге для каждого была рассчитана сумма набранных баллов, выраженная в процентах от максимально возможной в данном тесте. Этот параметр в дальнейшем рассматривался как предварительный интегральный показатель понимания в исследуемой области знаний.
Результаты
У школьников выявлена зависимость между баллами по тесту и реальными учительскими оценками. Коэффициент корреляции Пирсона: r=0.4423; p=0.000000003 (рисунок).
Средний тестовый балл (в %): у экспертов — 87.69+5.92; у учеников О-классов — 69.35 + 13.47, у учеников Б-классов — 81.19+6.29. Различия (по t-критерию Стьюдента) между показателями учеников О- и Б-классов, а также экспертов значимы как по среднему баллу (t= -6.081, p<0.0001; и t= -9.473, p<0.0001 соответственно), так и по дисперсии: F-критерий Фишера равен 4.594 (p<0.0001) и 5.174 (p<0.0001) соответственно. При этом различие между учениками Б-классов и экспертами значимо только для средней величины балла (t= -5.483, p<0.0001), тогда как дисперсии значимо не различаются (F=1.126, p=0.670). Таким образом, у экспертов обнаружился высокий тестовый показатель, соответствующий высокому уровню понимания. Сравнение результатов групп экспертов и школьников выявило, что показатели
75
Зависимость между баллами по тесту и реальной учительской оценкой достижений школьников
учеников Б-классов в целом ближе к результатам экспертов и более однородны, чем показатели учеников О-классов.
Анализ экспертных данных обнаружил определенный разброс мнений внутри этой группы. С целью выявления типичных особенностей в позициях экспертов их данные были проанализированы по всему массиву ответов на каждый вопрос. В результате применения факторного анализа удалось выделить четыре фактора (описывающих 44.2% общей дисперсии данных), или четыре основных подхода к выбору ответа, и разделить всех экспертов на соответствующие этим факторам четыре подгруппы. Сравнительный анализ анкетных данных членов этих подгрупп позволил выявить качественные параметры жизненного опыта, повлиявшие на формирование у экспертов тех или иных познавательных позиций.
В первую подгруппу (средний балл — 88) вошли 9 студентов-заочников биологического факультета педагогического вуза и 3 научных сотрудника (биохимик, микробиолог, эколог). Согласно анкетным данным, студенты-заочники либо работают в небиологических отраслях промышленности, либо занимаются домашним хозяйством. По-видимому, знания, приобретенные ими за годы учебы, не искажены особенностями профессиональной деятельности. Их позиция отражает усвоенные программные определения и правила, а также стиль преподавания их учителей. Объяснить присутствие в этой подгруппе
76
научных сотрудников можно следующим образом: являясь узкими специалистами в биологических направлениях, не связанных с организмом человека, они, по-видимому, сохранили по данным вопросам мнение, сложившееся у них еще в годы обучения и поэтому не отличающееся от мнения студентов. Фактор, формирующий позицию данной подгруппы, мы условно обозначили как «стандартный».
Вторую подгруппу (средний балл — 88) составили 8 человек — 4 студента-биолога, учащийся медико-биологической школы, медицинский генетик с большим стажем научной работы (сейчас бизнесмен), научный работник в области генетики (временно домохозяйка), школьный учитель биологии. Все члены этой подгруппы имели в своем жизненном опыте непосредственную связь с медициной (медицинское образование, работа в медицинских учреждениях). Фактор, формирующий мнение данной подгруппы, мы условно обозначили как «медико-биологический».
Третью подгруппу (7 человек, средний балл — 92) образовали школьные учителя и вузовские преподаватели, научные сотрудники, разрабатывающие собственные проекты и внедряющие новые образовательные технологии. Все члены этой подгруппы совмещают работу в образовательных учреждениях с научно-исследовательской деятельностью, характеризуются выраженной познавательной активностью и высоким творческим потенциалом. Их средний балл является максимальным по рассматриваемой выборке. Групповой фактор получил условное название «креативного».
Четвертая подгруппа (9 человек, средний балл — 84) оказалась самой разнообразной по составу: 2 практикующих врача высшей категории, студентка медицинского факультета, преподаватель вуза, школьный учитель, работающий в медицине биолог, эколог (ныне бизнесмен), 2 старшеклассника. Общее качество, характерное для всех членов этой подгруппы, выявить не удалось. Данный фактор был условно назван «смешанным».
По результатам факторного анализа были построены профили ответов выделенных подгрупп экспертов, на основании чего удалось выявить вопросы теста, которые вызвали наибольшее расхождение мнений экспертов с позицией авторов.
Обсуждение
Статистическая обработка данных тестирования школьников выявила хорошую корреляцию между их результатами по тесту и реальной учительской оценкой их достижений (см. рисунок). Выявление этой взаимосвязи позволяет рекомендовать представленный тест для диагностики понимания учебного материала по биологии человека.
Метод беседы с экспертами выявил их заинтересованность результатами, готовность к обсуждению и высокую оценку теста. Они указывали на нестандартность и необычность предложенной тестовой методики.
77
Среди достоинств теста эксперты отмечали, что, заставляя сравнивать одинаково верные на первый взгляд варианты ответа, он стимулирует мышление: для выбора ответа недостаточно только припомнить материал, необходимо его понимать.
В ходе обсуждения конкретных тестовых заданий обнаружились качественные различия позиций экспертов (при подсчете суммарного балла эти различия нивелировались).
Специфику позиций экспертов выявляли путем сравнения графических профилей, размерность которых определяется количеством вопросов теста. Отметим, что в целом позиции экспертов близки к тестовому критерию, хотя имеются некоторые несовпадения. Для выявления внутренних причин отклоняющихся случаев проводился содержательный анализ полученных данных.
Проиллюстрируем сказанное на примере тестового задания (табл. 2), выявившего значительное расхождение мнений. По данному вопросу 2-я и
3- я подгруппы экспертов придерживались мнения, близкого к мнению создателей теста. Средний балл для 2-й подгруппы — 2.75, для 3-й — 2.86. 1-я и
4- я подгруппы имели значимые различия как с тестовым критерием, так и между собой. Средний балл для 1-й подгруппы — 1.33, для 4-й — 2.33.
Проанализируем позицию экспертов 1-й подгруппы, максимально отличающуюся от тестовых значений, заложенных разработчиками. Большинство членов этой подгруппы выбрали наиболее общий из верных ответов, оцененный 1 баллом. Такой выбор можно объяснить, исходя из следующих соображений. С одной стороны, специалист, знакомый с функциями генов гораздо шире, чем это позволяет учебная программа, не нашел среди предложенных вариантов абсолютно полного ответа, который бы его удовлетворил, и на этом основании выбрал самый общий из предложенных вариантов, поскольку он может включать в себя и не учтенные тестом факты. Наличие у тестируемого более обширных знаний, чем заложено в тесте, выводит на более глубокий уровень понимания, возможности которого данной методикой не предусмотрены. С другой стороны, студент, недостаточно овладевший учебной информацией соответствующих разделов, не в состоянии разобраться, какой из конкретных ответов наиболее верный; однако общая биологическая осведомленность позволяет ему отбросить абсолютно неверный вариант. Позиция поверхностного схватывания служит признаком недостатка знаний, без которых невозможно достижение адекватного уровня понимания. Эта позиция создает у ее носителей субъективное ощущение понятности и, таким образом, тормозит поиск истины. По-видимому, в данном случае представлены оба ряда причин.
Как оказалось, позиция членов 3-й подгруппы более остальных приближается к позиции авторов теста. Об этом свидетельствовал и максимальный по выборке тестовый балл (92). В дальнейшем третий фактор был принят за эталонный. По таблице факторных нагрузок был выявлен эксперт (Е309) с максимальной выраженностью этого показа-
78
Таблица 2
Пример тестового задания
Формулировка вопроса и варианты ответов Величина оценочного балла при выборе соответствующего варианта ответа
Ген обладает способностью:
а) кодировать информацию о строении белка 3
b) определять индивидуальные признаки организма 2
с) повышать эффективность сельскохозяйственного
производства 0
d) сохранять информацию 1
теля (0.7977). Обнаружилось, что мнение данного эксперта не совпало с тестовым критерием только в трех заданиях, где он набрал по 2 балла вместо 3. Последующий анализ мы проводили, опираясь на мнение данного эксперта как наиболее ярко отражающее специфику третьего (эталонного) фактора. Расхождения с тестовым критерием у него наблюдались по заданиям № 12 (о предпосылках формирования условного рефлекса), № 16 (о значении бактерий в жизни человека) и № 6 (о сущности калорийности продуктов питания). Приняв во внимание доводы эксперта о некоторой спорности предложенных вариантов ответа, мы пришли к выводу о необходимости коррекции и самой постановки данных вопросов, и вариантов ответов, чтобы можно было отчетливо проранжировать их соответственно уровням понимания.
Дальнейший анализ результатов исследования был направлен на возможность количественной оценки понимания. Мы исходили из следующего: поскольку формальным критерием сходства двух мнений может служить коэффициент корреляции соответствующих оценочных профилей, корреляция между идеализированными профилями экспертов и школьников (рассчитанными на основании факторного анализа) может рассматриваться как количественная мера оценки понимания материала школьниками. Аналогичный подход был представлен в нашей предыдущей работе (Вартанов, Креславская, 2000). На этом основании были исследованы взаимосвязи между результатами экспертов и учащихся Б- и О-классов по отдельности. У Б-учеников высокая корреляция с эталонным мнением имелась более чем в половине случаев (54.96%), у О-учеников — менее чем в трети случаев (31.82%), но при этом у них обнаружились дополнительные точки зрения, которых не было у экспертов. Кроме того, у некоторых Б-учеников (7.94%) выявлена высокая корреляция по двум факторам одновременно, т.е. у них наблюдался промежуточный вариант понимания.
Позиции Б-учеников в отношении исследуемых четырех факторов распределились следующим образом: фактор 1 — 52.38%, фактор 2 — 11.90%, фактор 3 — 9.52%, фактор 4 — 26.19%. Видно, что первый фактор, названный нами «стандартным» и отражающий программное
79
усвоение предмета студентами-биологами, имеет максимальное совпадение (52.38%) с мнением школьников. Это свидетельствует о хорошем освоении биологического материала Б-учениками на уровне учебной программы. Фактор 4 «смешанный» (26.19%) стоит на втором месте по числу совпадений, что, по-видимому, можно объяснить теми же причинами. Корреляция мнений Б-учеников с мнениями экспертов эталонной (фактор 3) и «медико-биологической» (фактор 2) подгрупп самая невысокая: 9.52% и 11.90% соответственно. В этом вполне закономерно отражается отсутствие у школьников собственного профессионального опыта и следование заданным в обучении стандартам.
Выводы
1. Верифицирован и доработан метод тестовой диагностики понимания материала по биологии человека, ориентированный на старшеклассников и студентов начальных курсов небиологических специальностей.
2. Выявлены четыре основные точки зрения экспертов на предложенный тестовый материал, одна из которых принята за эталон, хорошо совпадающий с авторским ключом тестовой методики.
3. Тест заслужил высокую оценку школьных учителей, которые в числе его достоинств отмечали, что он заставляет учеников не только припоминать информацию, но и думать, стимулируя их интеллектуальное развитие.
СПИСОК ЛИТЕРАТУРЫ
Анастази А. Психологическое тестирование: В 2 кн. Кн. 2. М., 1982.
Бершадский М.Е. Понимание как педагогическая категория. М., 2004.
Брудный А.А. Психологическая герменевтика. М., 1998.
Вартанов А.В., Креславская Е.Е. Семантическое пространство экономических понятий // Вестн. Моск. ун-та. Сер. 14. Психология. 2000. № 2. С. 40—49.
Вербицкий А.А. Активное обучение в высшей школе: контекстный подход. М., 1991.
Вербицкий А.А., Креславская Е.Е. Диагностика понимания в контекстном обучении // Высшее образование в России. 2007. № 10. С. 26—31.
Единый государственный экзамен. Тестовые задания по биологии. МО РФ, 2001.
Зинченко П.И. Непроизвольное запоминание. М., 1961.
Знаков В.В. Понимание как проблема психологии мышления // Вопр. психологии. 1991. № 1. С. 18—26.
Креславская Е.Е. Диагностика понимания учебного материала в контекстном обучении // Мат-лы IV Междунар. науч.-практ. конф. «Актуальные проблемы профессионального образования: подходы и перспективы» (Воронеж, 19 апреля 2006 г.). Воронеж, 2006. С. 62—63.
Устьянцева С.В. Уровни и критерии понимания учащимися научного знания: Автореф. дис. ... канд. психол. наук. М., 1999.
80
Поступила в редакцию 11.03.08
