CC BY
32Раздел 1. Б.М. Теплов как методолог, историк психологии, военный психолог, психофизиолог
ОПЫТ РАЗРАБОТКИ И АПРОБАЦИИ ТЕСТОВ, ОТРАЖЕННЫЙ В ТРУДАХ Б.М. ТЕПЛОВА (ПО МАТЕРИАЛАМ ФОНДА УЧЕНОГО В РОССИЙСКОЙ ГОСУДАРСТВЕННОЙ БИБЛИОТЕКЕ)
Елисеева И. Н., Москва (Россия), кандидат психологических наук, преподаватель, кафедра общей психологии, социальной психологии и истории психологии, Московский гуманитарный университет, [email protected]
DOI:
Рассмотрены основные результаты разработки и апробации образовательных тестов в 1929 году, проведенные при участии Б.М. Теплова. Прослежено обращение ученого к проблемам надежности и валидности тестов в последующие годы. Отмечена актуальность идей Б.М. Теплова о необходимости теоретического обоснования тестовых методик и определения их психометрических характеристик.
Ключевые слова: история психологии, Б.М. Теплов, психометрика, тест, валидность, надежность.
Статья подготовлена при поддержке гранта РФФИ № 19-013-00779
EXPERIENCE IN THE DEVELOPMENT AND TESTING OF TESTS, REFLECTED IN THE WORKS OF B.M. TEPLOV (BASED ON THE MATERIALS OF THE SCIENTIST'S
FUND IN THE RUSSIAN STATE LIBRARY)
Yeliseyeva I. N., Moscow (Russia), Candidate of Sciences in Psychology, Lecturer, Department of General Psychology, Social Psychology and History of Psychology, Moscow University for the Humanities; [email protected]
The main results of the development and approbation of educational tests in 1929, carried out with the participation of B.M. Teplov. The scientist's appeal to the problems of reliability and validity of tests in subsequent years is traced. The relevance of the ideas of B.M. Teplov on the need for theoretical substantiation of test methods and determination of their psychometric characteristics.
Keywords: history of psychology, B.M. Teplov, psychometrics, test, validity, reliability.
Научное наследие выдающегося ученого и организатора науки Бориса Михайловича Теплова, основателя отечественной дифференциальной психологии и дифференциальной психофизиологии, изучено весьма детально. Его основные научные труды неоднократно переиздавались. Благодаря усилиям сотрудников Психологического института Российской академии образования изданы работы Б.М. Теплова, которые в силу определенных обстоятельств не были хорошо известны широкому кругу специалистов [6, 8], на регулярной основе проводятся научные конференции, посвященные вкладу ученого в развитие отечественной психологии.
Можно с уверенностью утверждать, что большая часть трудов Б.М. Теплова, в отличие от работ многих его коллег и современников, введена в научный оборот. Однако научное
наследие этого ученого настолько многогранно, что для нескольких поколений советских и российских психологов оно служит неиссякаемым источником идей и предметом серьезного изучения подходов и образцов построения исследований.
В настоящей статье представлено одно направление работы Б.М. Теплова, связанное с разработкой и апробацией тестов. Если выстраивать обращения ученого к проблематике тестов в хронологическом порядке, то в первую очередь необходимо остановиться на отчете о проведении тестов по математике и физике у студентов I курса химико-технического института имени Менделеева, подготовленный под руководством Б.М. Теплова и подписанный им 4 января 1930 г. (ОР РГБ. Ф. 815. Картон 1. Ед. хр. 16).
Первоначально перед специалистами ставилась задача разработки предметно-ориентированных тестов для вступительных экзаменов в институт. Тесты по физике, геометрии и тригонометрии, алгебре были разработаны за три недели летом 1929 года силами преподавателей института при поддержке сотрудников Центральной педологической лаборатории Московского отдела народного образования (МОНО).
В качестве критериев отбора тестовых заданий выступили: теоретический анализ и данные зарубежных (в основном американских) источников и опыт научно-педагогической деятельности преподавателей института.
Для всех трех тестов (физика, геометрия и тригонометрия, алгебра) были разработаны по две формы. Формы тестов по физике различались: в одну форму были включены задания открытого типа (кроме одного), а во второй - закрытого с множественным выбором. Для тестов по математике обе формы включали задания закрытого типа.
Само исследование проводилось 14 октября 1929 г. в химико-технологическом институте имени Менделеева со студентами I курса в два потока, ожидалось, что тестирование будет длиться не более трех часов. При выполнении тестов студенты не были ограничены во времени выполнения заданий.
Проводили апробацию тестов, обработку и анализ результатов сотрудники Центральной педологической лаборатории МОНО, ими были обработаны результаты 951 теста (по трем дисциплинам и двум формам).
Целью апробации было определение трудности заданий и тестов и ограничений по времени их выполнения. Респонденты выполняли обе формы тестов.
Для каждого задания вычислялись: «решаемость» (в настоящее время чаще встречается термин «информативность»); коэффициенты трудности по таблицам Rugg; суммарная трудность для каждого теста и вес каждого задания в трудности теста.
Также определялся результат каждого респондента по обеим формам теста, как сумма весов верно выполненных заданий при диапазоне возможных значений от 0 до 200. Максимальное количество баллов, полученных студентами, по физике 168,2 и минимальное 6,6; геометрии и тригонометрии - 129,2 и 4,6.
В отчете приведены спецификации заданий по каждому тесту по разным основаниям. Например, для теста по физике задачи разделялись на 4 типа, вычислялась суммарная трудность типа заданий: на знание терминов; знание законов физики; применение физических законов для объяснения явлений; проведение расчетов. В отчете при анализе трудности задач разного типа были объединены первый и второй тип в задачи теоретического характера, а третьего и четвертого - практического. Средние показатели трудности задач различного
характера для всей выборки (практические задачи были более трудными для респондентов) позволили экспериментаторам обозначить «слабые места» в подготовке студентов, предполагая, что эти выводы можно использовать как форму «обратной связи» для совершенствования процесса обучения.
Проанализирована средняя трудность заданий, классифицированных по разделам учебной программы: механика (трудность равна 55), термодинамика (65), акустика и оптика (47), электродинамика (50). В отчете указана неравномерность распределения задач по разделам физики как источник снижения психометрических характеристик теста.
Вычислена средняя трудность для каждой формы теста и построены кривые распределения трудности параллельных форм и времени их выполнения. Так, трудность теста по физике с задачами открытого типа была выше (показатель трудности 64, информативность заданий от 73 до 4), чем для теста закрытого типа (показатель трудности 46, информативность заданий от 95 до 12), а распределение для первой формы носило выраженный правосторонний характер. На основании этих данных был сделан вывод о необходимости использования заданий закрытого типа при соблюдении единой формы представления заданий.
Для каждого теста (по двум параллельным формам) была вычислена одномоментная надежность (ОМН) методом расщепления на четные и нечетные задачи с использованием формулы Спирмена-Брауна. Для теста по физике (форма с задачами открытого типа) ОМН составила 0,53 и для формы с задачами закрытого типа - 0,63.
Авторами отчета предложены варианты повышения ОМН до высоких значений 0,770,87 за счет увеличения количества заданий в тесте в диапазоне от 30 до 60 заданий.
При анализе результатов апробации авторами был сделан вывод о значительных различиях в мотивации респондентов и абитуриентов, их актуального состояния. Также указывались различия в выборке апробации и абитуриентов, поскольку среди студентов присутствовали лица, поступившие в институт, минуя вступительные экзамены, и имеющие более низкий уровень образования.
В заключении отчета предложен план по продолжению исследований, где ключевыми пунктами выступают: повышение формальной однородности тестовых заданий, проведение процедуры экспертного оценивания тестовых заданий для их тщательного отбора, разработка не менее трех параллельных форм тестов, а также сбор внешнего критерия, в качестве которого могла выступить академическая успеваемость студентов и определение критериальной валидности.
Обращает внимание тщательность подготовки отчета и полнота представленных в нем сведений, которая позволяет повторить исследование: приведено подробное описание условий проведения тестирования, тестовые задания и ключи к ним, описаны процедуры подсчета результатов, приложены таблицы с индивидуальными результатами студентов.
Таким образом, в отчете 1930 года упоминаются основные психометрические свойства тестов, в том числе образовательных: содержательная и критериальная валидность, одномоментная надежность, репрезентативность, достоверность. При участии Б.М. Теплова проводились исследования по созданию и апробации тестовых инструментов в образовании с перспективой замены традиционных вступительных экзаменов на предметно-ориентированное тестирование. При этом отмечались такие достоинства образовательных тестов как широта охвата знаний и их объективность.
Хорошо известна публикация в 1931 году тестов Торндайка, адаптированных Б.М. Тепловым, П.А. Шеваревым, А.А. Смирновым и состоящих из трех частей: ознакомительной (13 заданий); заданий, выполняемых на скорость (8 заданий) и заданий, выполняемых на точность (3 задания) (ОР РГБ. Ф. 815. Картон 2. Ед. хр. 41). К сожалению, сведения об апробации тестов и их психометрических характеристиках не найдены.
Имеющийся опыт психометрического обоснования тестов, отразился в отзыве Б.М. Теплова на доклад Е.А. Деревянко «Экспериментальная разработка психологических методик для изучения работоспособности летного состава», представленного на заседании лаборатории, возглавляемой ученым. Определяя наиболее важные результаты работы, ученый обозначил трудоемкость разработки надежных и простых в использовании методик (ОР РГБ. Ф. 815. Картон 5. Ед. хр. 63).
Еще одно упоминание о тестах в фонде Б.М. Теплова относится уже к 60-м годам ХХ века. К этому периоду относятся рефераты многочисленных трудов зарубежных авторов (А. Анастази, Ч. Спирмена, П. Филлипса, Г. Хармана и др.), связанных как с использованием методов математической статистики в психологических исследованиях, так и с психологическими тестами.
В значительной части работ зарубежных коллег Б.М. Теплов отмечал следование «слепому эмпиризму» [3, а 140]. Примечательно, что аргументы коллег не убедили Б.М. Теплова в валидности и надежности проективных тестов (тест Роршаха и Тематический апперцептивный тест) (ОР РГБ Ф. 815. Картон 17. Ед. хр. 15). В то же время Б.М. Теплов отмечал, что полный отказ от психологических тестов в исследовательской работе является совершенно не правильным, однако их разработка и применение требует «прочно обоснованной научной базы» [3, а 139].
Одним из результатов глубокого осмысления, в основном, зарубежных публикаций стала известная работа ученого «Простейшие способы факторного анализа» [5]. Следует отметить, что Б.М. Теплов был одним из первых ученых в СССР, кто обратился к вопросам использования факторного анализа в психологических исследованиях, через несколько лет после широкого распространения этого метода в исследовательской практике иностранных коллег. Это свидетельствует о том, что советские ученые в развитии психометрики не занимали лидирующих позиций, но внимательно изучали опыт зарубежный опыт. Рефераты Б.М. Теплова содержат результаты тщательного анализа источников с методологических позиций советской психологии.
При этом вопросы психометрики, безусловно, не находились в центре научного творчества Б.М. Теплова. Однако даже в развитии второстепенной темы наблюдалась преемственность, при которой наработки предыдущего этапа научной деятельности не отбрасывались, а становились основой для широких обобщений на следующих этапах, что в целом отличает творческий почерк ученого.
И, безусловно, знакомство с результатами исследований, проведенных без малого 100 лет назад, заставляет задуматься о том, что можно назвать прогрессом в развитии некоторых направлений психологии. Является ли, например, автоматизация тестирования и последующей обработки результатов изменением подходов к верификации научного знания, нормам и идеалам исследований, которые реализовывались Б.М. Тепловым с коллегами в 1930-х годах? Какова валидность и надежность некоторых психологических тестов, широко
распространенных в современной отечественной психологической практике, и которые построены на том самом «слепом эмпиризме», о котором писал Б.М. Теплов?
Думается, что ответы на эти вопросы могут существенно повысить интерес современных психологов к работам, которые традиционно относят к источникам историко-психологических исследований, в том числе, к не самым известным работам Б.М. Теплова.
Литература
1. Отчет о проведении тестов по математике и физике у студентов I курса химико-технического института. 4 января 1930 г. // ОР РГБ. Ф. 815. Теплов Б.М. Картон 1. Ед. хр. 16. 12 л.
2. Психологические тесты для взрослых по Эд. Торндайку в обработке Б.М. Теплова, П.А. Шеварева и А.А. Смирнова. Ч. 1, 2, 3. 1931. // ОР РГБ. Ф. 815. Теплов Б.М. Картон 2. Ед. хр. 41. 14 л.
3. Теплов Б.М. Избранные труды: В 2-х томах. Т.П. М.: Педагогика, 1985. - 360 с.
4. Теплов Б.М. Отзыв о работе по теме «Экспериментальная разработка психологических методик для изучения работоспособности летного состава. 9 января 1961 г. // ОР РГБ. Ф. 815. Теплов Б.М. Картон 5. Ед. хр. 63. 1 л.
5. Теплов Б.М. Простейшие способы факторного анализа // Типологические особенности высшей нервной деятельности человека. Т. 5. М.: Просвещение, 1967. С. 239-286.
6. Теплов Б.М. Психологические исследования в области военно-маскировочного дела (1923-1927 г.): К 100-летию Психологического ин-та имени Л.Г. Щукиной (1914-2014). М.: Твердислов, 2006. 166 с.
7. Теплов Б.М. Рефераты работ советских и зарубежных ученых по вопросам проведения психологического эксперимента и разработки тестов. 1960-е. // ОР РГБ Ф. 815. Теплов Б.М. Картон 17. Ед. хр. 15. 95 л.
8. Теплов Б.М. Труды по психофизиологии индивидуальных различий. М.: Наука, 2004. 440 с.
Б.М. ТЕПЛОВ И Б.Г. АНАНЬЕВ В ЮБИЛЕЙНЫХ ДОКЛАДАХ К ТРИДЦАТИЛЕТИЮ СОВЕТСКОЙ ПСИХОЛОГИИ
Журавлев А. Л., Москва (Россия), Академик РАН, профессор, научный руководитель ФГБУН Институт психологии РАН, [email protected]
Стоюхина Н. Ю., Нижний Новгород (Россия), кандидат психологических наук, доцент, Нижегородский государственный университет им. Н.И. Лобачевского, [email protected]
DOI:
В статье анализируются тексты публичных лекций выдающихся советских психологов Б.М. Теплова и Б.Г. Ананьева, сделанные в 1947 г. к тридцатилетию советской власти. Несмотря на схожесть содержания: предыстория советской психологии, идущая от российской психологии XIX в., ее история, начиная с 1917 г., развитие советской психологии на фоне борьбы материализма с идеализмом, советская психология до Великой отечественной войны и после Победы, - есть некоторая разница в содержании, что позволяет до сих пор
