CC BY
43
В. Н. Романенко, Г. В. Никитина, В. В. Корец
единицы анализа в педагогических измерениях
характеристика современного состояния проблемы
Педагогические исследования основаны на той же базе, что и другие исследования в области гуманитарных наук. Однако в последние годы в педагогику все шире входят приемы количественных исследований. В этом смысле многие идеи новой педагогики перекликаются с идеями, а также с приемами работы, характерными для естественнонаучных исследований. В этом смысле педагогика не одинока. Экономика, социология, история и многие другие гуманитарные, области знания все более широко начинают применять количественные методы исследования. Ситуация изменилась с появлением современных информационных технологий. Применение вычислительной техники делает реальной обработку больших массивов данных, оценку статистических коэффициентов для обширных экспериментов и многое другое. Резко увеличились и возможности литературного поиска. Эти обстоятельства модернизируют технику педагогического эксперимента. В гуманитарных науках используется множество понятий, которые могут быть определены не строго количественно, а только качественно (к таким понятиям можно отнести следующие: возбудимость ребенка; закаливаемость сталей и пр.). В то же время для получения четких результатов также необходимо каким-то образом определять численно соответствующие характеристики. Известно, что для качественных понятий, при желании их измерить, используют искусственно построенные шкалы. Такие шкалы (и в первую очередь — используемые в педагогике)1, принято называть номинальными. Особенностью номинальных шкал является их условность. Они часто создаются на основе договоренностей группы специалистов-экспертов. Даже обычное изменение состава экспертной группы может изменить в известных пределах номинальную шкалу, а значит, и получаемые в эксперименте численные результаты. Строго говоря, при этом соотношения и числа меняются, но тенденция их изменения обычно сохраняется. Именно по этой причине в педагогических экспериментах чаще всего стараются следить не за численными значениями величин, а именно за тенденциями в их изменениях. В классических же науках естественного цикла и в наиболее развитых отраслях техники измерительные шкалы определяются точно. Их принято называть метрическими шкалами. Соответственно, при использовании метрических шкал исследователь следит не только за тенденцией изменения изучаемых величин, но и за их абсолютными значениями. В этом состоит принципиальное отличие измерений в естественных и гуманитарных науках.
Еще одной особенностью педагогических исследований, делающей их похожими, скажем, на исследования в области сельского хозяйства, является их строгая временная обусловленность. Действительно, химический эксперимент при желании можно повторить в любое время, даже в выходные дни. Педагог же, разрабатывающий, например, новую методику обучения, связан учебным планом. Если новая мысль об усовершенствовании методики придет ему в голову после прохождения нужной темы, то произвести эксперимент можно будет только через год. Все это накладывает отпечаток на характер организации
© В. Н. Романенко, Г. В. Никитина, В. В. Корец, 2009
педагогических экспериментов и их длительность. Особенностью педагогических экспериментов является необходимость вовлечения в них большого числа подопытных. Их состав каждый раз меняется. Поэтому вопрос о статистической однородности изучаемых групп имеет первостепенное значение в педагогическом эксперименте. Не меньшее значение имеет и набор преподавателей, проводящих эксперимент, на что часто не обращают внимания. Психолого-педагогический облик преподавателя — важнейшая характеристика педагогического эксперимента2.
цель исследования
Любое исследование в любой области человеческого знания начинается с тщательного анализа того, что уже сделано предшественниками и того, что делается одновременно другими исследователями. В литературной работе существует три основных задачи3. Первая — это широкий литературный поиск. Вторая — наведение кратких справок. Наконец, третья задача — это постоянное изучение текущей литературы. Каждая задача решается с помощью своих приемов и методов. Они, естественно, опираются на некую общую базу.
При работе с литературой необходимо ответить на следующие вопросы:
• Как наиболее эффективно выявить в литературе нужную информацию и как правильно ее обработать?
• Сколько первоисточников надо изучить для того, чтобы получить полное описание вопроса?
• В каких библиотеках и журналах надо искать требуемую информацию?
• Как глубоко, на сколько лет назад, следует проводить литературно-информационный поиск?
• Как оценить перспективность выполняемых или планируемых исследований на основе литературных данных?
Традиционная точка зрения сводится к тому, что из перечисленных вопросов первый является самым простым. Действительно, обычно подразумевается, что если внимательно прочитать все собранные материалы, то выводы и обобщения сделать относительно несложно. При этом считается, что качество анализа, главным образом, зависит от опыта исследователя, анализирующего литературу. Такой подход и поныне является широко распространенным. Тем не менее, XX в. поставил новую задачу — не ограничиваясь только качественным, описательным анализом литературных источников, сделать на их основе количественные выводы.
Содержание (от английского content) принято и по-русски называть «контентом». Отсюда анализ содержания первоисточников называют «контент-анализом». Контент-анализ — это не просто изучение и систематизация содержания, имеющегося литературе данных, но и количественный их анализ. Традиционный качественный, описательный метод анализа литературных источников принято называть содержательным анализом. В отличие от него, контент-анализ является количественным исследованием содержания первоисточников. В этом смысле он является новым специализированным методом исследования, который необходимо использовать в дополнение к содержательному анализу. В социологии контент-анализ широко применяется уже более 100 лет. В последние 70 лет его стали широко использовать и во всей гуманитарной области. Контент-анализом широко пользуются экономисты, психологи, историки, педагоги и специалисты других предметных областей. Сами методы контент-анализа не привязаны никоим образом к гуманитарным исследованиям. Их с равным успехом можно применять и в технике, и в сельском хозяйстве, и в естественных науках. Тем не менее, контент-анализ широко применяется именно в гуманитарных
исследованиях. Применительно к педагогике можно сказать, что конетент-анализ — это один из способов получения количественных результатов в тех задачах, которые ранее допускали только качественное решение.
Техника контент-анализа описывалась неоднократно и достаточно детально4. Суть методики сводится к анализу частоты повторений той или иной смысловой единицы: физического объекта, книги, статьи, словесного выражения, понятия или даже стандартной фразы в большом массиве данных. Для получения хороших результатов необходимы массивы, включающие в себя несколько сот единиц. Подсчитывается количество случаев, когда та или иная анализируемая единица повторяется в базе данных. Так, например, можно подсчитывать, сколько раз в массиве изучаемых публикаций встречается термин «мотивация» или термин «заработная плата». Обычно учитываются только те единицы, которые встречаются в изучаемом массиве не меньше некоторого числа раз. Чаще всего критическим числом упоминаний является 5. Исследуется также вопрос о том, как часто соответствующая единица встречается в одном и том же тексте. Чем чаще она встречается в нем, тем более значим вес этой единицы. Имеет значение и то, в каком месте текста встречается анализируемая единица. Достаточно очевидно, что термин, который вынесен в заглавие статьи или в ее резюме, намного более весом, чем термин, просто встречающийся в анализируемом тексте. Интересно отметить, что именно этот метод используется поисковыми программами Интернета для определения величины, которая называется релевантностью, т. е. соответствием содержания ресурса (документа) смыслу запроса5. Не менее существенно и сопоставление того, как часто одновременно встречаются в тексте те или иные анализируемые единицы. Например, если в исследуемых текстах большой группы статей одновременно встречаются семиотические единицы «мотивация» и «зарплата», то почти сразу же можно сделать вывод о том, что зарплата играет существенную роль в мотивации поведения той представительской группы, которая анализируется в данной серии документов. Естественно, что для получения надежных сведений в таких исследованиях необходимо использовать статистические методы анализа текста. Контент-анализ, являясь количественным методом исследования, в то же время не лишен и элементов произвольности и качественности. Это, в первую очередь, связано с выбором для анализа структурных единиц. Этот выбор субъективен и зависит от личности и подготовки автора исследования. Именно по этой причине контент-анализ рекомендуется проводить параллельно с другими методами.
Содержательный анализ в совокупности с контент-анализом позволяет успешно проанализировать информацию, которая содержится в некоторых массивах данных. Этими массивами не обязательно должны быть печатные материалы или средства массовой информации. Описанные методы с успехом применялись для анализа содержания 472 школьных сочинений, рассматривавшихся одновременно6. Однако, отвечая на вопрос о том, как следует наиболее оптимальным образом извлекать информацию из массива данных, мы пока еще не затронули вопрос о том, как надо формировать такие массивы для их последующего целенаправленного анализа. Массивы данных можно разделить на две группы.
Первая группа — это коллективно созданные массивы данных. Они создаются коллективами исследователей, работающих в одном и том же направлении. Обычно это результаты совместного труда на кафедрах и в лабораториях. Иногда такие массивы являются результатом многолетних усилий большого числа исследователей. Другим путем формирования коллективно созданных массивов данных является труд специальных коллективов: информационных служб, центров научно-технической информации, — которые часто издают специальные библиографические сборники.
Вторую группу составляют персонально созданные массивы, возникающие в результате индивидуальной работы. Они менее мощны, но иногда отличаются прекрасным отбором входящих в них документов. Их появление обычно связано с чисто административными обстоятельствами, не позволяющими появиться большому коллективу исследователей. Анализ путей возникновения таких массивов не представляет для нас интереса.
Имеется еще и третий тип массивов данных. Он только недавно вошел в исследовательскую практику. Поэтому остановимся на нем подробнее. Речь идет о том случае, когда специализированный массив данных никем специально не создается. Все нужные сведения уже заранее имеются в больших базах данных (БД) или же в банках данных. Напомним, что разница между базой и банком данных не принципиальна. БД — это собрание ресурсов (документов), а банк данных — это то же самое собрание, но дополнительно включающее в себя программно-аппаратные средства7. Примером таких БД могут быть, например электронные каталоги большой библиотеки, скажем, Российской государственной библиотеки или Российской национальной библиотеки. Эти базы могут быть и распределенными, особенно в случае использования корпоративных электронных сетей. В последнем случае объединяются электронные каталоги ряда библиотек. Это может быть сделано даже в масштабах целой страны, как, например, в Канаде. Примером такой корпоративной библиотечной электронной системы может служить РУСЛАННЕТ. Это корпоративная сеть библиотек ряда вузов Санкт-Петербурга. Она создана усилиями библиотеки Российского государственного политехнического университета. При обращении к такой электронной БД поисковая программа, которая называется спайдер, краулер или ползун (термин не установился окончательно), отбирает в ней необходимые документы по заданным поисковым признакам. В простейшем случае это отбор электронных ресурсов по ключевым словам. В результате для кратковременной работы создается некоторый массив данных, который можно назвать виртуальным. Работа с виртуальными массивами удобна. Однако она еще только начинает применяться в педагогических исследованиях.
При проведении конкретного исследования возникает проблема с тем, как найти БД, которая наилучшим способом отвечала бы задаче исследования. Если такой БД в распоряжении исследователя нет, то необходимо формировать ее в процессе работы. При работе с виртуальными БД задача сводится к отбору поисковых признаков, например, ключевых слов. Это задача не всегда так проста, как это может показаться на первый взгляд. Дело в том, что ключевые слова, по которым производится запрос, должны совпадать с теми ключевыми словами, которые содержатся в каталогах используемой для поиска системы. Таких слов очень много, надо получить доступ к их списку и заранее внимательно с ним ознакомиться. Список соответствующих слов — поисковых терминов — в Библиотеке Конгресса США составляет несколько десятков страниц,
В последние десятилетия в практику работы с литературными источниками вошел метод, при котором изучается процесс временного накопления информации о той или иной проблеме. Эта отрасль знаний называется наукометриейй8. Накопление информации (число публикаций по годам) по той или иной проблеме подчиняется определенным законам. В общем, рост числа публикаций со временем описывается некой логарифмической кривой. Это означает, что если число публикаций по теме прогрессивно растет, то проблема актуальна, и ее целесообразно изучать9. Таким образом, наукометрический анализ литературы позволяет оценить актуальность выбранной темы. Самое главное при этом, что такая оценка достаточно объективна. Проблема заключается в ином. Провести полный анализ по годам публикаций по выбранной теме — очень трудоемкая и непростая задача. По этой причине, несмотря
на перспективность таких исследований, реально они проводились только в исключительных случаях. Ситуация резко изменилась в 2-3 последних года. В ряде ведущих библиотек мира10 разработаны поисковые системы, автоматически выбирающие из электронного каталога список литературы по той или иной тематике в соответствии с годом публикации. К сожалению, пока эти системы работают только в области анализа книжных публикаций. Трудоемкая работа по временному изучению журнальных публикаций возможна только в отдельных случаях. Тем не менее, основываясь только на анализе книжной продукции, можно сделать серьезные оценки актуальности проводимого исследования. Отметим еще, что в российских библиотеках таких поисковых систем пока еще нет.
Предмет и объект исследования
Одним из самых распространенных видов педагогических исследований являются тестовые опросы. Строгого определения понятия тест не существует11 ни в российской, ни в западной литературе. В упрощенном же виде тест можно определить как некоторый вопрос, на который должен быть дан ответ, или задание. Ответ очень часто можно выбрать из некоторого предложенного набора ответов или же ввести в некую заранее подготовленную формализованную форму. Эта рабочая дефиниция ни в коей мере не претендует на точность. В педагогике тесты используются для двух целей. Первая, именно она известна наиболее хорошо, — это оценка уровня знаний, степени овладения навыками и т. д. Иными словами, это применение тестов для контроля качества педагогического процесса, степени усвоения знаний и степени овладения навыками. Вторая цель тестирования в педагогике — это оценка тех или иных свойств и характеристик личности. С этой целью тестирование широко применяется, например, в социологии. Эти свойства тестируемые прямо не сознают. Поэтому их принято считать скрытыми, или латентными.
В отношении знаний также можно говорить о знаниях явных, которые легко контролируются, и знаниях неявных. Эти знания прямо не выявляются и накапливаются в мозгу незаметно. Многие из них возникают в результате скрытых процессов. В последнее время для этих групп знаний стали применяться термины, артикулируемые и неартикулируемые знания. Выявление сведений о неартикулируемых знаниях с помощью тестов является серьезным преимуществом. В качестве примера можно сослаться на определение с помощью тестов «индекса интеллекта» 10_. Этот индекс был впервые введен в практику В. Штерном в 1912 г. Он широко используется в западной, в частности, американской повседневной педагогической деятельности, при профориентации, приеме на работу и т. д.12
Тесты могут быть оценены по их трудности. Это можно сделать интуитивно, основываясь либо на опыте их авторов (в педагогическом тестировании — преподавателей), либо с помощью группы экспертов. Второй способ оценки — чисто эмпирический. Он состоит в предварительной работе с тестом. При этом оценивается относительная частота правильных и неправильных ответов. В теории тестирования при этом применяется величина, которая называется логит. Логитом именуют натуральный логарифм отношения неправильных ^ и правильныхр ответов j-го студента, то есть 1п q^ /р1 на задание номер I. После того, как тесты или тестовые задания распределены по условной шкале трудностей, поступают по-разному. В первом случае тесты выдаются случайно и оцениваются одинаково. Во втором случае, каждому тесту при положительном на него ответе приписывается свой весовой коэффициент или попросту вес. Это может быть сделано так, что за положительный ответ на простейший тест опрашиваемый (респондент) получает 1 балл, а за более сложные тесты — большее число баллов. Установить соответствие теста приписываемым
ему баллам — одна из наиболее сложных задач при организации тестирования. Она крайне субъективна. Теоретически считается, что присвоение веса каждому тесту должно проводиться группой экспертов. В реальных же условиях, скажем, в практической работе учителя, такие экспертные оценки реализовать трудно. Поэтому градацию по степени трудности учитель обычно производит интуитивно. В других же случаях он просто приписывает всем тестам оценку 1, стремясь в то же самое время сделать их более однородными по трудности. Опытные ученики, особенно во время различных олимпиад, пользуются этим. Они стремятся получить возможно большее число баллов, вначале решая легкие задачи, а затем уже переходят к более трудным задачам. Эта особенность использования тестов хорошо известна и должна рассматриваться как некий недостаток. Особенно существенно это в том случае, если предварительный уровень знаний (тезаурус) испытуемых по тем или иным причинам разный.
Если степень трудности тестов определена, их можно выдавать не одновременно, или случайно, а предлагать их испытуемым в соответствии с трудностью каждого из тестов. В этом случае говорят об адаптивном тестировании. В нашей книге13 вводится даже понятие об адаптирующихся учебных программах с использованием тестирования. В общем14, в зарубежной литературе приято разделять три варианта адаптивного тестирования. Первый из них называется пирамидальным тестированием. В этом случае всем испытуемым дают исходное задание средней степени трудности. Затем, в зависимости от ответов, каждому испытуемому предлагается индивидуальное задание. При этом шкала трудностей между предъявляемыми последовательно тестами делится пополам. Не трудно понять, что для такого тестирования нужно иметь много тестов многих уровней трудности. Для школьных учителей, если только они не пользуются централизованно подобранными банками тестов, эта задача невыполнима. Опыт показывает, что можно самостоятельно создать группу тестов, которую реально разделить на 2-3 группы по уровням трудности. Кстати, западные учителя и преподаватели университетов обычно обязаны создавать экзаменационные и рубежные тесты по своим курсам. Поэтому и для них, по нашему мнению, реальное использование пирамидального варианта адаптивного тестирования, является, скорее всего, некоей теоретической абстракцией.
Второй вариант адаптивного тестирования русского названия не имеет. По-английски он называется flexilevel («гибкие уровни»). В этом случае пытаются заранее «угадать» исходный уровень тестируемого, а затем по мере его ответов производят корректировку трудности задания. Как и в случае пирамидального тестирования, в этом варианте основная трудность связана с необходимостью иметь много заданий для значительного числа групп трудности.
В третьем варианте, который по-английски называется stradaptive (сокращение от stratified adaptive), что можно перевести как «адаптация к группам (стратам)», тесты заранее делятся на группы по их трудности. После ответа, в зависимости от того, правильный он или неправильный, дается задание следующего (более высокого или низкого) уровня трудности. Недостатки, связанные с необходимостью иметь много групп трудности с большим выбором тестов сохраняются и в этом случае.
Как не трудно видеть, хорошая организация адаптивного тестирования является очень трудной задачей. Она непосильна для школьного учителя и для индивидуального исследователя. По этой причине в реальных условиях при адаптивном тестировании имеется 2-3 группы тестов, которые разбиваются в зависимости от уровней трудности на основе качественного предварительного анализа. Проблеме объективизации обработки
результатов тестирования посвящена работа И. Д. Рудинского и И. А. Клеандровой, 200315.
Структура теста может быть разной. Это может быть, например, нахождение качественного ответа. Однако более распространены тесты, в которых из нескольких ответов надо найти один верный. Возможен и такой вариант, когда из серии ответов надо найти один неверный или расположить некие сведения в определенном порядке. Последний вариант — самый удачный, т. к. вероятность запоминания неверного ответа на вопрос практически отсутствует.
Техника создания тестов многократно описана. Однако их создатели почти не обращают внимания на некоторые типовые недостатки, свойственные тестированию. Один из самых распространенных недостатков — возможная неоднозначность ответов, которую могли не заметить их создатели. Рассмотрим такой пример. Пусть требуется указать на слово (термин), выпадающее из некоего списка (весьма распространенный тип теста). Скажем, испытуемому требуется удалить ненужное слово из перечня:
Кошка
Корова
Сорока
Колотушка
Нетрудно понять, что здесь подразумевается ответ, когда лишним является слово, которое относится к неживому предмету, то есть колотушка. Именно этот ответ признается правильным. На самом деле, при нестандартном мышлении, что является достоинством испытуемого, можно убрать слово сорока, как единственное слово, которое начинается на букву С, а не на букву К. С равным успехом можно убрать и слово кошка, т. к. оно является единственным, в составе которого нет двух букв О. В принципе, все эти ответы будут правильными, и часто такие нестандартные ответы должны оцениваться очень высоко, т. к. они свидетельствуют об оригинальности личности тестируемого. Теоретически предполагается, что, встретив такой нестандартный ответ, преподаватель или другой человек, проводящий опрос, должен поговорить с испытуемым и разобраться в ситуации. Для этого надо обладать большим опытом и быть внимательным. В последнее же время вся подобная работа выполняется на компьютерах. В компьютер заранее вводится «правильный» ответ и он просто отсеивает всех нестандартно мыслящих испытуемых.
обсуждение
Экспериментальное получение объективных данных в педагогических экспериментах, так же как и во многих других экспериментальных исследованиях, например, в социологии, получают по некоторым методикам, во многом близким к тестированию. Все эти методики нацелены на получение информации в виде ответов непосредственно от испытуемого. Одна из типовых методик такого типа — непосредственное получение сведений от испытуемого. Это можно сделать в свободной беседе. Ее результаты обычно фиксирует лицо, проводящее эксперимент. Фиксация может быть осуществлена при помощи записи на магнитную ленту, обычной или сокращенной записи на бумажный носитель, на видеомагнитофон. Обычно фиксация делается с ведома испытуемого. В ответственных случаях испытуемого знакомят с записью и иногда даже просят расписаться в протоколе или ином документе. В ряде случаев, наоборот, вся беседа проводится на условиях анонимности. Эта методика получила название метод интервьюирования. Несомненным достоинством методики интервьюирования является ее гибкость, возможность вступить в более тесный
контакт с интервьюируемым. Однако при этом на каждую беседу тратится много времени. Поэтому широкие опросы такого типа в педагогических экспериментах затруднительны. Содержания ответов каждого опрашиваемого разнятся по форме и по содержанию. Поскольку результаты опросов надо привести к единому результату все интервью должны быть обработаны. Это связано с известным произволом.
Для ускорения работы вместо устных интервью опрашиваемым часто предлагают написать свои соображения по вопросу в произвольной форме. Это так называемая методика свободного опроса. Ее часто применяют для работы со школьными и студенческими группами. Развитием этого метода является анкетирование. В этом случае опрашиваемым дают заранее подготовленные вопросы — анкеты. Иногда в них даже предусмотрены возможные варианты ответов. В этом смысле анкетирование по внешней форме очень близко к тестовым опросам.
Описанные методики имеют различные вариации. Их несомненным достоинством является возможность индивидуализации ответов, широкий охват опрашиваемых, возможность анонимных ответов. С другой стороны, опрос при условиях соблюдения анонимности можно сопровождать и вопросами о возрасте, опыте и пр. сведениях об опрашиваемом лице. Это позволяет сортировать ответы по определенным группам. В то же время все методики этого типа имеют некоторые общие недостатки. Это не только возможная неоднозначность ответов, о которой мы писали при обсуждении тестирования. Значительно более существенным недостатком является то, что отвечающий, отвечая, не только выражает свое отношение к проблеме. Он одновременно учитывает и отношение к вопросам, связанным с его личной самооценкой. Так при анализе успешности профессиональной деятельности широко используют тесты Реана. Здесь испытуемый сам определяет свою успешность. Однако, это успешность по его личному мнению, а отнюдь не по независимым оценкам. Соотношение личных и внешних оценок может и не совпадать. Педагог, считающий себя успешным, по мнению его учеников или педагогического коллектива может и не быть таковым. Эта проблема очень и очень старая. Еще Сократ отмечал, что есть различие между мнениями и знанием. Есть и классический пример, восходящий к древнегреческим временам. Мнение — это когда человек полагает, что он знает, куда ведет данная дорога. Знание же — это когда человек на самом деле знает, куда она ведет. Иными словами, самооценка опрашиваемого — это мнение, а внешняя, объективная оценка — это знание. Таким образом, основная трудность перечисленных методик состоит в поиске объективных сведений на основе субъективных ответов. Выходом из этого положения является массовость опросов, их периодическое повторение и, наконец, что самое главное, правильная статистическая обработка результатов.
Особой трудностью при работе с методиками тестирования, анкетирования и интервьюирования является то, что опрашиваемый часто может угадать, для чего ему задаются те или иные вопросы. Это подталкивает, особенно это касается учащейся молодежи, к попыткам «угадать правильный ответ» или наоборот, в качестве протеста, дать ответ «противоположный ожидаемому». Способом преодоления этой трудности является маскировка смысла опроса путем использования косвенных вопросов. Другой путь преодоления этой трудности — многократное повторение задания путем введения нескольких вопросов, разных по форме, но близких по содержанию.
Методы экспертных оценок и исследования статистики ошибок обучаемых
Одним из путей получения максимально объективных данных в педагогическом эксперименте является оценивание группой независимых специалистов-экспертов и ответы их на поставленные вопросы. Эта методика пришла из науки, которая называется
прогнозированием, т. е. наукой, оценивающей пути социального и научно-технического развития общества в будущем16. Одним из методов такого рода является метод мозгового штурма (brain storming). Этот метод был предложен во время I мировой войны морским офицером по фамилии Осборн. Применительно к педагогическим экспериментам идея Осборна трансформируется в обсуждение проблемы, результатов эксперимента и т. п. группами независимых экспертов. Иногда такое обсуждение происходит в форме открытой и обязательно ничем не регламентируемой дискуссии. Выступления экспертов фиксируются, а затем обрабатываются лицами, проводящими эксперимент. Эксперты могут отбираться случайным образом. Предпочтительнее, однако, специально формировать экспертные группы. Например, для обсуждения работ в области преподавания биологии целесообразно выбрать несколько (не менее 5) преподавателей вуза, связанных с этой проблемой. Следующая часть группы формируется из опытных школьных преподавателей. Третью часть должны составлять научные работники и исследователи. Наконец, последняя часть группы может включать в себя практиков, например, работников сельского хозяйства. При обработке данных в группах, сформированных таким способом, следят за согласованностью мнений участников групп из разных ее частей. Иногда в качестве экспертных оценок используются материалы книг и статей по обсуждаемой теме.
Трудность в работе с экспертными группами связана с возможным большим как по форме, так и по содержанию разбросом мнений. Для управления ситуацией экспертной группе часто заранее задают довольно узкую стартовую тему или же дают список вопросов или даже анкеты. Нередко в анкетах предлагается проранжировать те или иные высказывания или мнения в соответствии с их значимостью. В итоговых результатах группы учитывается средний по экспертам ранг мнений. Развитием этого метода является метод последовательных опросов17. В этом методе после обработки результатов опроса первой группы экспертов, создается новая группа. Для нее формулируются вопросы, полученные на основе обработки ответов первой группы экспертов. Ответы второй группы экспертов после обработки предъявляются третьей группе экспертов. Так продолжается до тех пор, пока мнения новых групп экспертов перестают отличаться от мнений предыдущих групп. Эти мнения и рассматриваются в качестве окончательных. Опыт показывает, что 2-3-х стадий опроса обычно оказывается достаточно для получения согласованных стабильных результатов.
В той же самой книге Г. В. Никитиной и В. Н. Романенко наряду с методом последовательных опросов предложен еще один новый способ получения объективных педагогических данных. Это метод анализа типовых ошибок, допускаемых учащимися в их работах и устных ответах. Авторы анализировали ошибки в отчетах по лабораторным работам, при решении задач и в экзаменационных ответах студентов. На предмет типовых ошибок изучались дипломные и даже диссертационные работы. Обнаруженные ошибки систематизировались, и на этой основе делались выводы о состоянии уровня знаний, понимании вопроса и о том, на что преподавателям следует уделить в будущей работе особое внимание.
Выводы
Одной из важнейших характеристик педагогического эксперимента является его массовость. В частности, по этой, а также по ряду других очевидных причин результаты педагогических исследований должны быть подвергнуты статистической обработке. Имеется достаточно много специальной литературы, посвященной применению методов математической статистики в педагогике и психологии. К сожалению, значительное число педагогов плохо знакомы со статистическими методами обработки результатов своих экспериментов и редко
могут их использовать. Появление компьютерных программ не значительно изменило ситуацию, т. к. их освоение также связано с большими затратами времени и требует приобретения определенной квалификации, которой у многих педагогов обычно нет. Ситуация стала более простой после появления книги Б. Е. Стариченко18. В этой книге приводятся методики определения статистических параметров без глубокого освоения методов статистики. В то же время основные статистические параметры в этой книге описаны достаточно просто. Достоинством методики является то, что она основана на использовании компьютерной программы «Ехе1», которой владеет большинство выпускников как технических, так и гуманитарных вузов. К сожалению, в этой книге приводятся программы для вычисления далеко не всех величин, необходимых для педагогических экспериментов.
Одной из важнейших величин, которые важны в педагогических исследованиях, является величина коэффициента конкордации, то есть коэффициента согласия. Этот коэффициент позволяет оценить, насколько согласованы между собой высказывания разных экспертов или же разных участников опроса. Приведем простейший пример. Пусть проводится опрос, в котором респонденты, т. е. отвечающие, выставляют некую числовую оценку в пределах от 1 до 10. Это может быть, например, оценка качества проведения занятия. Обычно такие данные складываются и делятся на число участников опроса. Иными словами, происходит вычисление некоей средней оценки. Пусть, например, средняя оценка, в результате обработки данных опроса, равна 5 баллам. Обычно в педагогических опросах это считается хорошим показателем. Так, если преподаватель в результате опроса студентов о качестве его работы набрал 5-6 баллов, то принято считать, что его работа соответствует нормальным критериям. Однако 5 баллов можно набрать на основе разных массивов ответов. Так, в предельных случаях 5 можно получить, если все ответы оценены 4 и 6 баллами. Но это же число можно получить, если ответы оценены 1 и 9 баллами. В первом случаев оценки респондентов близки и согласованны, во втором они резко противоречат друг другу. В реальных условиях такой полярности, конечно, нет, и для определения согласованности применяют методику вычисления коэффициента конкордации. Естественно, что при плохой согласованности ответов (неудовлетворительные величины коэффициента конкордации) полученные результаты просто отбрасываются, как негодные. В нашем примере это тот случай, когда ответы группируются вокруг индивидуальных значений баллов 1 и 9. Это мощный критерий оценок, и его всегда следует применять при сравнении мнений экспертов, оценке результатов опросов и анкет и т. д.
Данные с неудовлетворительным значением коэффициента конкордации не всегда надо бездумно отбрасывать. Их желательно использовать для других оценок, результаты которые могут являться неожиданными. Так, например, в случае, когда баллы лежат вблизи 1 и 9 можно сделать дополнительный вывод о том, что масса респондентов представляет собой две разнородные группы с разными интересами или разными уровнями подготовки. Это ответ не на тот вопрос, который ставился перед респондентами. Но этот ответ является источником полезной и интересной педагогической характеристики опрашиваемого коллектива. Таким образом, дополнительный анализ на основе коэффициента конкордации позволяет педагогу-экспериментатору получить новые интересные результаты. Это является простейшим примером одной из важнейших задач любого исследования (не обязательно педагогического). Эта задача может быть сформулирована, как задача получения возможно большей информации из имеющейся базы опытных данных. Эта задача стоит перед исследователем в любом, даже самом незначительном, педагогическом эксперименте.
1 Битинас Б. П. Многомерный анализ в педагогике и педагогической психологии. Вильнюс, 1971. 348 с.
Никитина Г В., Романенко В. Н. Формирование творческих умений в процессе профессионального обучения. СПб., 1992. 168 с.
3 Романенко В. Н., Орлов А. Г., Никитина Г. В. Книга для начинающего исследователя-химика. Л., 1987. 280 с.
4Мангейм Дж. Б., Рич Р. К. Политология. Методы исследования. М., 1997. 542 с.
5 Романенко В. Н., Никитина Г. В. Сетевой информационный поиск. СПб., 2003. 288 с.
6 Кругосвет: сетевая энциклопедия. URL: http://www.krugosvet.ru/articles/92/.
7 Романенко В. Н., Никитина Г. В. Сетевой информационный поиск. СПб., 2003.
8 Налимов В. В. Мульченко З. М. Наукометрия: Изучение науки как информационного процесса. М., 1969. 191 с.
9 Романенко В. Н., Орлов А. Г., Никитина Г. В. Книга для начинающего исследователя-химика. Л., 1987.
10 Романенко В. Н., Никитина Г. В. Сетевой информационный поиск. СПб., 2003. 288 с.
Работ В. С. Аванесова, посвященных теории и практике тестирования, очень много. В списке цитированной литературы приводятся только несколько из них. Тем не менее, чтобы не приводить несколько упоминаний в тексте, мы отсылаем к списку литературы: Аванесов В. С. Научные проблемы тестового контроля знаний. М., 1994. 135 с.; Аванесов В. С. Математические модели педагогического измерения. М., 1994. 26 с.; Аванесов В. С. Тестирование: История теория и практика [анонимный сетевой материал на основе статей Аванесова В. С.]. URL: http://www.usatic.narod.ru/issue-archive/issue18.html; Аванесов В. С. Теоретические основы разработки заданий в тестовой форме. М., 1995; Аванесов В. С. Основы педагогической теории измерений // Педагогические измерения. 2004. № 1.
12 См.: БурлачукЛ. Ф., Морозова С. М. Словарь-справочник по психодиагностике. СПб., 1999. 528 с. Основы психодиагностики / под ред А. Г. Шмелева. 544 с.; Реан А. А., Коломинский Я. Л. Социальная педагогическая психология. СПб., 1999.
13 Никитина Г. В., Романенко В. Н. Формирование творческих умений в процессе профессионального обучения. СПб., 1992.
14 WeissD. J. New Horizons in Testing: Latent Trait Test Theory and Computerised Adaptive Testing. New York, 1983. 345 p.
15 Рудинский И. Д.. Клеандрова И. А. Концептуальные основы количественного оценивания эффективности тестированных заданий // Институт информатизации РАО. Ученые записки. М., 2003. Вып. 8. С. 49-54.
1 Добров Г. М. Прогнозирование науки и техники. Изд. 2-е. М., 1977. 208 с.
17 Никитина Г. В., Романенко В. Н. Формирование творческих умений в процессе профессионального обучения. СПб., 1992.
18 СтариченкоБ. Е. Обработка и представление данных педагогических исследований с помощью компьютера. Екатеринбург, 2004. 218 с.
