CC BY
20
рвал процессы, которые складывались в земстве в образовании взрослых крестьян, но исследование этих вопросов может составить отдельное научное исследование.
Литература
1. КаптеревП.Ф., МузыченкоА.Ф. Современные педагогические течения. М., 1913.
2. Кошеле в А.И. Голос из земства. Вып. 1. М., 1869.
3. Васильчиков А.И. О самоуправлении. Т. 2. СПб., 1877.
4. Васильчиков А.И. О самоуправлении. Т. 3. СПб., 1881.
5. Веселовский Б.Б. История земства за сорок лет. Т.1. СПб., 1909.
6. Медынский Е.Н. Энциклопедия внешкольного образования. Т.1. Пг., 1923.
7. Абрамов Я.В. Что сделало земство и что оно делает (обзор деятельности русского земства). СПб., 1889.
8. Заключительный том трудов Первого Общеземского съезда. М., 1912.
9. Доклады, прения и постановления 1-й секции Первого Всероссийского съезда по вопросам народного образования. Вып.4. Пг., 1916.
10. Медынский Е.Н. Внешкольное образование, его значение, организация и техника. М., 1918.
11. НА РАО, ф. 19, оп.1, ед.хр.19, л.28.
Новочеркасская государственная мелиоративная академия 4 июля 2005 г.
© 2005 г. Н.Д. Нестеренко
СТАНОВЛЕНИЕ МЕТОДОЛОГИИ И ТЕХНОЛОГИИ ВАЛИДИЗАЦИИ ДИДАКТИЧЕСКИХ ТЕСТОВ
Разработка проблем валидизации исследовательского и диагностического инструментария в развитии методологии социальных наук тесно связана с ростом их престижа, как способных решать актуальные прикладные проблемы - оценивать качество результатов обучения, подготовки персонала, профпригодность, доминирующую мотивацию поведения, профессионально значимые личностные качества, склонность к лидерству и т.п. Тесты как психодиагностические, так и дидактические, еще в конце века стали браться на вооружение перспективно мыслящими менеджерами промышленности и управленцами системы образования.
В начале ХХ в. в разработке тестов господствовал интуитивный подход, и, «если к выдумыванию тестов привлекались известные ученные, то это являлось лучшим на тот период способом обоснования валидности, который можно назвать "валидизацией по авторитету"»[1].
Такой подход, как реликтовый, в нашей педагогике и психологии сосуществует с другими подходами к разработке и апробации тестов - эмпирическим и концептуальным. Отсюда, полагаем, проистекает отмечавшийся методологами не только консерватизм использования устаревших морально, но и функционально методов исследования, но и неумение и нежелание их адекватно описывать. Председатель экспертного совета по
педагогике и психологии ВАК Минобразования РФ Д.И. Фельдштейн отмечает, что «в работах, выполняемых в 2002-2003 гг., зачастую фигурируют методы и методики, применявшиеся в 20-30 гг. XX в» [1]. Многие из них были разработаны по методологии «ползучего эмпиризма».
«Ползучий эмпиризм» социологии и психологии в США и Западной Европе в 30-60 гг. XX в. выступал как средство компенсации отсутствия теории, как возможность максимально конкретизировать выводы и практические рекомендации. Математизация психологии и социологии в сочетании с крайностями увлечений сугубо прикладными проблемами диагностики порождали увлечению формулами и индексами как противовесами малообоснованным теоретическим спекуляциям. Но при этом игнорировались «я» возможности теоретического анализа на базе структурно-системного подхода.
Запутанность понятийного аппарата в социальных науках (включая психологию и педагогику в бывшем СССР) имеет своим следствием недостаточное внимание исследователей к становлению и эволюции даже ключевых (в той или иной отрасли) понятий и интернациональной общенаучной лексики (а термин «валидность» относится именно к ней).
В.С. Аванесов отмечает, что с начала 30-х гг. в рамках эмпирического подхода сложилось три технологии валидизации и психодиагностических, и дидактических тестов [2]:
- прогностическая - логика которого сводилась к представлению о том, что, если хорошо работающие (по критерию У), показывают высокие результаты по тесту Х, значит здесь есть связь, быть может, и причинная. Отдавая при приеме на работу предпочтение тем, у кого выше результаты по Х, предполагают их будущую более высокую производительность труда. При этом подходе к отбору кадров первоначально допускались к работе все нанятые после тестирования, а потом устанавливалось, какие тесты позволяют прогнозировать успешность по корреляции с внешними критериями производительности. Это требовало времени на некоторый период профадаптации испытуемых;
- конкурентная валидность (concurrent validity). На первом этапе тестировались уже работающие, результаты коррелировались с трудовыми достижениями: отбирались наиболее коррелирующие тесты и затем на их основе принимались на работу кандидаты, получавшие высокие баллы;
- тестирование в группах с высокими и низкими результатами (по экспертным оценкам педагогов) позволял отбирать тестовые задания, дававшие существенные различия, получил название « метод известных групп». Его слабые места - большая зависимость результатов от качества отбора респондентов в контрольные группы.
Подобные инструментальные подходы основаны на исходной уверенности создателя теста в работоспособности высказываний, эффективных, по его мнению, независимо от теоретического их обоснования, доминировали до 50-х гг., в чем проявлялся отрыв тестов от теории [2, с. 139-143].
Четвертая технология заключается в современном концептуальном подходе, основанном на осознании необходимости еще до конструирования диагностической или исследовательской методики построить на основе анализа имеющихся представлений об изучаемом феномене его теоретически обоснованную модель. При наличии конкурирующих концепций и научных школ в психолого-педагогических науках это требовало самоидентификации разработчика методики с одной из них, и последующего построения конструкта - модели методики, отражающей зеркально модель изучаемого явления, процесса. Из-за высоких требований к теоретической эрудиции разработчика методики, которая должна сочетаться с его не менее высокой исследовательской, методологической культурой, он медленно распространяется в педагогической и психологической диагностике. Навыки конструирования заданий дидактического теста при наличии пособий приобрести намного проще, чем разбираться в дебрях педагогических и психологических теорий. Не случайно большинство разработчиков дидактических тестов (а, точнее, тестовых материалов) предпочитают более простой, хотя и трудоемкий, эмпирический путь. По той же причине большинство таких тестов, включая ЕГЭ (единый госэкзамен), вызывают справедливые нарекания и учителей, и учащихся, и немногочисленных отечественных специалистов в области тестологии.
Практически неисследованной проблемой является определение возможностей каждого из этих подходов при валидизации различного типа тестов. Мы предполагаем, что в одних случаях (каких именно - предстоит доказать) построения теста один из этих подходов окажется более трудоемким. Но при этом и более эффективным, в то время как более экономичный подход даст более неточные, неполные сведения.
Специалисты по психодиагностике отмечают кризисность ситуации: «Методическое обеспечение психодиагностических исследований продолжает существенно опережать их теоретический уровень. Затянулся "эмпирический" этап в развитии психодиагностики, которому присущ дилетантски-потребительский подход к методикам, оставляющий вне поля зрения теоретические основания их построения» [3, с. 5]. Аналогична ситуация и в педагогической диагностике, в том числе - в практике дидактического тестирования.
С внедрением централизованного тестирования и ЕГЭ обострился вопрос о валидности дидактических тестов, который немаловажен и для систем рубежного и итогового тестирования, практикуемых достаточно широко в вузах, колледжах и продвинутых школах. Большинство тестов (тестовых материалов), используемых в различных модификациях рейтинговых систем, проверкам на надежность и валидность не подвергаются. При логике «валидизации по авторитету» предполагается, что если их создали опытные преподаватели, то они уже хорошие (что на самом деле далеко не так при самом элементарном методологическом анализе таких тестов). Доказательством правильности нашего заключения является поч-
ти стопроцентное отсутствие упоминаний про их валидность и надежность в многочисленных публикациях различных педагогических журналов (за исключением, пожалуй, «Педагогической диагностики»). Но, даже если бы такого «методологического нигилизма» по отношению к обеспечению качества тестов не происходило, сам факт прохождения тестом каких-то процедур валидизации еще не гарантирует его качества. Важно -как он их прошел, какие его преимущества и ограничения (по сравнению с другими методиками) удалось выявить, насколько профессиональна и многогранна была проводившаяся валидизация.
Отметим, что и на Западе тесты, выпущенные в широкую практику и прошедшие валидизацию, часто подвергаются критике за то, что их валид-ность недостаточно высока. Низкая валидность даже аттестационных тестов федерального уровня резко критикуется в США. Так, Б.Р. Джиффорд и Г. Столддарт отмечают, что The California Basic Educational Skills Test, призванный проверять педагогические умения и служить допуском к учительской профессии, - всего лишь проверка грамотности учителей, а не экзамен для учителя [4].
Эксперименты по изучению валидности редки, но они все же проводятся. Так, в США еще к 1950 г. было проведено 36 исследований валид-ности одного только теста Отиса - «Самоприменяемого теста поступающих на должности клерка, оператора счетных машин, рабочего линии сборки, мастера и другого осуществляющего контроль персонала» [2, с. 75]. Нам не известно ни одного отечественного теста - психологического или дидактического, которому так бы повезло.
Выход из этой кризисной для отечественной дидактической тестоло-гии ситуации мы видим в разработке и распространении технологии многоаспектной содержательной валидизации дидактических тестов.
Создание профессионально разработанного дидактического теста целесообразно начинать с определения концептуальной валидности, отражающей исходные методологические и методические установки его разработчиков, в их отношении к имеющемуся стандарту образования, распространенным учебным и рабочим программам, теоретическим установкам авторов учебников и пособий. В режиме экспертизы определение экспертами концептуальной валидности теста позволяет обнаружить как причины существенных отклонений ответов обследуемых от ожидаемого их распределения, так и допущенные разработчиком методологические ошибки, эклектизм в создании конструкта-модели теста, в используемой в тесте системе понятий.
Основными средствами устранения дефектов концептуальной валид-ности дидактических тестов являются:
- обязательное предварительное сопоставительное изучение (предпочтительно - с использованием контент-анализа) стандартов и имеющихся учебных и рабочих программ, научно-методических трудов, раскрывающих представления специалистов о внутренней структуре образовательной области, учебного предмета;
- проведение компетентной высокопрофессиональной экспертизы по согласованию выявленных противоречий и достижение консенсуса по исходным установкам создания теста и по его понятийному аппарату;
- в режиме экспертизы уже используемого теста обязательно составление перечня замеченных отклонений концептуальной валидности и желательно оценивание их возможных последствий для распределения ответов испытуемых.
Конструктная валидизация дидактического теста является опорой его анализа как адекватного диагностического инструмента и выступает ориентиром для программной его валидизации, особенно - в режиме проектирования нового дидактического теста. В то же время при работе в режиме внешней экспертизы уже используемого теста программная его ва-лидизация, в совокупности с психологической, позволяет воссоздать реальный конструкт дидактического теста и выявить его отклонения от формально провозглашенных целей диагностирования, определить, что же он реально измеряет и с какой степенью полноты.
Программная (куррикулярная) валидизация теста является основной и наиболее распространенной формой валидизации дидактических тестов. Наиболее целесообразно ее проведение в процессе поэтапного экспертного оценивания значимости структурных разделов конструкта-модели проектируемого теста или как критическое оценивание всех структурных компонентов теста уже созданного и используемого. При этом наиболее рациональным является путь «сверху-вниз», при котором вначале устанавливаются «удельные веса» наиболее крупных разделов диагностируемой области знаний, а затем, по нисходящей - все более мелких их под-структурных компонентов.
Получение соответствующих коэффициентов позволяет количественно определить уже имеющиеся (в готовом тесте) или намечающиеся (в создаваемом) перекосы конструкта теста и принять соответствующие меры для его оптимизации. При оценивании результатов тестирования такие приемы программной валидизации позволяют более обоснованно оценить и объяснить возможные отклонения в ответах испытуемых.
Психологическая валидность дидактического теста является, по сути дела, латентной его характеристикой, редко учитываемой начинающими разработчиками. В дидактической тестологии ее трактовка резко отличается от ее понимания в прикладной психодиагностике, где она часто отождествляется то с теоретической валидностью теста, то с содержательной или конструктной. Психологическая валидность позволяет определять соответствие содержания теста формальным целям диагностики, особенно - в аспекте оценивания соотношения заданий, ориентированных на психические механизмы работы испытуемого с тестом - репродуктивное воспроизведение запомнившихся дат, цифр, формулировок, ассоциативное мышление, владение различными логическими операциями, креативность мышления. Учет реально скрытой в тесте психологической валидности позволяет ему, в определенной степени,
отражать психологический аспект полученных образовательных знаний и умений. Потенциально проектирование психологической валидности создаваемого дидактического теста позволяет параллельно придавать ему ряд существенных функций психодиагностического теста, давая диагностам ценную информацию (особенно - в аспекте оценивания развивающего эффекта проведенного ранее обучения и потенциальной обучаемости обследуемого).
Анализ сочетания охарактеризованных выше аспектов содержательной валидности дидактического теста позволяет адекватно оценить его реальную «очевидную валидность» как совокупную характеристику и его диагностической ценности, и его профессионализма составления.
Разработанные в современной дидактической тестологии средства совершенствования содержательной валидизации дидактических тестов позволяют уже в настоящее время существенно усовершенствовать процесс создания новых поколений профессиональных стандартизируемых российских тестов и корректировку уже имеющихся тестовых материалов, доведение их до уровня современных эффективных измерительных инструментов.
Литература
1. Фельдштейн Д.И. О состоянии экспертизы диссертационных исследований по педагогике. // Бюл. ВАК. 2003. № 1. С. 7-10.
2. Аванесов В.С. Тесты в социологическом исследовании. М., 1982.
3. Галагузова М.А., Штинова Г.Н. Понятийно-терминологические проблемы педагогики и образования // Педагогика. 1997. № 6. С. 15-20.
4. Суд над системой образования: стратегия на будущее. М.,1991.
5. Анастази А. Психологическое тестирование: В 2 кн. Кн. I. М., 1982.
Таганрогский государственный педагогический институт 10 августа 2005 г.
© 2005 г. А.И. Тетуев
ОБРАЗОВАНИЕ КАК ФАКТОР УКРЕПЛЕНИЯ СТАБИЛЬНОСТИ, СОГЛАСИЯ И ТОЛЕРАНТНОСТИ В СОВРЕМЕННОМ ОБЩЕСТВЕ
(на материалах Кабардино-Балкарии)
На современном этапе развития нашего общества, когда обеспечение единства и целостности России стало одной из приоритетных задач, неизмеримо возрастает роль системы образования. Именно она остается единственным действующим механизмом устойчивой национальной консолидации, важнейшим фактором формирования гражданского общества.
В течение 1995-2005 гг. проведен ряд мер по реформированию системы образования Российской Федерации. В соответствии с ним разработан и комплексный план мероприятий по обеспечению условий для реализации в Кабардино-Балкарской республике (далее - КБР) приоритетных направлений модернизации российского образования.
Система образования КБР характеризуется территориальной компактностью, наличием образовательных учреждений всех типов и видов, высоким
