CC BY
71
Психодиагностика
УДК 159.9.072 ББК Ю93
НОВЫЕ ТЕХНОЛОГИИ СОЗДАНИЯ МОДЕЛЕЙ ИНТЕРПРЕТАЦИЙ И ДИАГНОСТИЧЕСКИХ ОТЧЕТОВ
Н.А. Батурин, Н.Н. Мельникова
Этап интерпретации результатов психологической диагностики и подготовка диагностических отчетов чаще всего не входил в зону ответственности разработчиков методик, а отдавался на «откуп» пользователей, что неизбежно приводило к повышению субъективного компонента и снижению валидности методик. В статье представлено обоснование необходимости повышения объективности будущих интерпретаций еще в процессе разработки методики, за счет новых технологий создания моделей интерпретации результатов тестирования и подготовки диагностических отчетов.
Ключевые слова: интерпретация результатов, разработка диагностических отчетов, создание моделей интерпретации, практико-ориентированные модели.
Фактически на протяжении всей истории отечественной психодиагностики разработчики методик считали своими основными задачами только разработку стимульного материала, процедуры проведения и способы обработки полученных результатов, которые в самых лучших случаях заканчивались выработкой процедуры перевода сырых данных в шкальные. Процедуры интерпретации данных оставались за областью психодиагностики и отдавались на откуп таланту психолога-пользователя.
Интерпретация данных конкретного обследуемого или клиента в рамках психологического консультирования, по сути дела приравнена к искусству. При этом общепринято, что качество интерпретации зависит от опыта работы психолога с данной методикой, от общего опыта психодиагноста и особого таланта, позволяющего психологу учесть множество внедиагностических источников информации и превратить все это в диагностическое заключение, особое качество которого возникало на основе «инсайта» психодиагноста.
Особенно настойчиво настаивают на том, что именно такой сценарий процесса интерпретации является единственно возможным — специалисты в области психологического консультирования, клинические психологи и психотерапевты. Однако зависимость качества разработки психодиагностических методик от искусства интерпретатора это одно из ограничений повышения качества психодиагностики и доверия к ней психологов. Неграмот-
ная интерпретация полученных данных может свести на нет все заложенные возможности, существующие у психодиагностических методик.
Справедливости ради нужно сказать, что иного способа интерпретации результатов прежде и не могло существовать. Во-первых, потому что когда-то все, а в недавнем прошлом - большинство методик проводилось по технологии карандаш-бумага или же в компьютерном переложении этой же технологии, которая фактически ничего не добавила в повышение качества психодиагностики. Во-вторых, разработчики методик обычно не уделяли должного внимания проработке этапа интерпретации, ограничиваясь кратким описанием изучаемых конструктов и абстрактными описаниями «высоких» и «низких» баллов по отдельным шкалам. В лучшем случае в руководстве к многошкальным опросникам приводилась инструкция по интерпретации по сочетанию двух, максимум трех «пиков» индивидуального профиля. Однако для создания отчёта, который мог бы быть полезен для практики, такой информации недостаточно. Это особенно актуально для сложных многошкальных методик, где наиболее информативными являются сложные комбинации показателей и не только пиковых. При этом надо учитывать, что не все показатели одинаково полезны для разных практических целей, не все имеют неодинаковую прогностическую ценность и т. д.
Батурин Н.А., Мельникова Н.Н.
Новые технологии создания моделей интерпретаций и диагностических отчетов
Очевидно, что серьезного улучшения качества интерпретации данных невозможно ожидать с опорой на искусство пользователя, основанного на методе проб и ошибок. Сложность процедуры интерпретации и уменьшения зависимости от индивидуальной квалификации пользователя возможна за счет усилий разработчиков при использовании более современных технологий разработки психодиагностических методик [1].
На заключительном этапе разработки перед ними всегда стоят три задачи:
1) разработка схем анализа результатов и стратегий интерпретации;
2) подготовка содержания интерпретаций;
3) описание моделей составления отчётов [2,5].
Если удаётся формализовать необходимые процедуры: прописать схемы анализа, составить удобные алгоритмы, а ещё лучше -автоматизировать ряд задач, передав их компьютеру, пользователь оказывается в более благоприятной ситуации, а методика становится лучше застрахованной от некорректного применения.
Существенные изменения в повышении качества интерпретации наметились только тогда, когда стали разрабатываться изначально компьютерные методики, в которых, в отличие от простого переложения в другую форму предъявления стимульного материала и подсчета данных классических методик, более широко использовались возможности компьютера. В частности это коснулось процедуры интерпретации полученных в ходе психодиагностики данных.
Только в последние годы вслед за зарубежной тестологией [4] в отечественной психодиагностике этап интерпретации постепенно становится включенным в зону ответственности разработчика, а не только пользователя.
Кроме того, в последнее время за рубежом всё чаще акцентируется проблема валидности диагностического отчёта и его пригодности для практики [5, 8]. Расширяется диапазон исследований, направленных на выявление качеств эффективных отчётов [7, 8], разрабатываются методы интерпретации сложных данных [6, 9]. В нашей стране появились исследования, закладывающие теоретические основы для создания экспертных систем (в том числе компьютерных) интерпретации результатов психодиагностических методик [3]. В частности, в применении к ряду методик клинической психодиагностики, описаны методы и инструменты структурирования слож-
ных диагностических данных (такие как сети, фреймы, деревья решений и др.).
В настоящее время созрела не только необходимость, но и сформировались условия для систематизации существующих моделей интерпретаций и диагностических отчётов и разработки новых технологий создания таких моделей.
Одним из важных принципов, обеспечивающих качество интерпретаций и валидность диагностических отчётов, считается ориентация на конкретные практические цели [5, 8]. Разные практические цели (например, отбор, прогноз, отслеживание качества обучения, консультирование по развитию, проектирование организационных изменений и т. д.) предполагают разные стратегии анализа результатов, разные ключевые единицы интерпретации и разные формы отчётов. Если методика многофункциональна (т.е. планируется её использование для нескольких практических целей), то для каждой цели должна предлагаться своя схема анализа, свои тексты интерпретаций и своя форма отчётов. Исходя из этого, Модель интерпретации должна представлять собой последовательность действий, необходимых для извлечения из полученных результатов сведений, полезных для конкретной практической цели. Поэтому модели интерпретаций различаются в зависимости от практических целей, на поддержку которых направлена диагностика, и характера исходных данных и их сложности.
В частности, практические цели определяют ключевые единицы для интерпретации, предполагают опору на разные виды норм и т. д. От характера исходных данных зависит сложность модели, применяемые инструменты структурирования, доступность модели для полной или частичной автоматизации.
Относительно новыми для отечественной психодиагностики являются диагностические отчеты, которые с развитием компьютерной психодиагностики получили за рубежом широкое распространение. Например, на сайте английской фирмы ОРР предлагается 7 вариантов отчетов по тесту 16 PF®, а в Санкт-петербургском представительстве скандинавской фирмы SLG Thomas (СЛГ Томас Интернэшнл, Санкт-Петербург) после заполнения обследуемым десятиминутной ипсативной методики, состоящей из 96 прилагательных, можно приобрести более 15 видов отчетов по индивидуальным данным.
Большинство диагностических отчётов представляют собой текстовый (или электронный) документ, предназначенный для
Серия «Психология», выпуск 10
5
Психодиагностика
конкретной категории лиц. В этом документе представлена ключевая информация, извлечённая из результатов диагностики и необходимая указанной группе лиц для решения конкретных практических задач. Модели диагностических отчётов различаются в зависимости от: а) практических целей, на поддержку которых направлена диагностика, и б) категории лиц, для которых предназначен отчёт.
Для разных практических целей предназначены разные типы отчётов (характеристики, рекомендации, прогнозы, аналитические справки и т. д.). Отчёты для разных категорий лиц предполагают разную форму подачи (язык, графическое наполнение, характер и полнота фактических сведений о результатах и т. д.).
В рамках проекта НОЦ планируется систематизация имеющихся и разработка новых технологий создания разных моделей интерпретаций и диагностических отчётов. Акцент будет сделан на: практико-ориентированные модели и модели для интерпретации сложных данных (многошкальных методик, тестовых батарей и т. д.).
Для создания технологий планируется применение новых разработок в области проектирования экспертных оценочных систем, инженерии знаний (knowledge engineering), когнитивной психологии, прикладной когито-логии и др. Также планируется привлечение современных компьютерных технологий для формализации и автоматизации доступных для этого моделей.
Литература
1. Батурин, НА. Принципы определения сложности психодиагностических методик / НА. Батурин, Н.Н. Мельникова // Вестник ЮУрГУ. Серия «Психология». - 2010. -Вып. 8. -№ 4(180). - С. 36-43.
Батурин НА. Технология разработки тестов: часть I / Н.А. Батурин, Н.Н. Мельникова // Вестник ЮУрГУ. Серия «Психология». -2009. - Вып. 6. —№ 30(163). - С. 4-14.
2. Червинская К.Р. Психология извлечения экспертных знаний субъектов труда: автореф. дис. ... д-рапсихол. наук /К.Р. Червинская. - СПб., 2010. - 42 с.
3. American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. Standards for educational and psychological testing. - Washington, DC: American Educational Research Association, 1999. —101 p.
4. Downing, S.M. Twelve steps for effective test development / S.M. Downing // Handbook of test development / edited by Steven M. Downing, Thomas M. Haladyna. - Lawrence Associates, 2006. -P. 3-25.
5. Furr, R.M. A framework for profile similarity: integrating, similarity, normativeness, and distinctiveness / R.M. Furr // Journal of Personality. - October 2008. -P. 1267-1316.
6. Goodman, D.P. Student test score reports and interpretive guides: Review of current practices and suggestions for future research / D.P. Goodman, R.K. Hambleton // Applied Measurement in Education. - 2004. -17(2). -P. 145-221.
7. Ryan, J.M. Practices, issues, and trends in student test score reporting / J.M. Ryan // Handbook of test development / edited by Steven M. Downing, Thomas M. Haladyna. - Lawrence Associates, 2006. — P. 677-710.
8. Ysseldyke, J. Reporting results of student performance on large-scale assessment / J. Ysseldyke, J.R. Nelson // Large-scale assessment programs for all students / edited by G. Tindal & T.M. Haladyna. - Lawrence Erl-baum Associates, 2002. - P. 467-480.
Поступила в редакцию 28 июня 2010 г.
Батурин Николай Алексеевич. Доктор психологических наук, профессор, декан факультета психологии Южно-Уральского государственного университета: [email protected].
Nikolay A. Baturin. PsyD, professor, the dean of the Faculty of psychology, head of chair «Psychological diagnostics and Counseling» of South Ural State University: [email protected].
Мельникова Наталья Николаевна. Кандидат психологических наук, доцент кафедры социальной психологии ЮУрГУ. Область научных интересов: психология организации жизни, социально-психологическая адаптация личности, системный подход в психологии: [email protected].
Natalia N. Melnikova. Candidate of Psychological sciences, docent of department of social psychology of South Ural State University. Area of scientific interests: psychology of the organisation of a life, socially-psychological adaptation of the person, the system approach in psychology: [email protected].
