CC BY
109
Вестник Санкт-Петербургского университета. Сер. 6, 2006, вып. 2
Б. В. Иовлев, М.Ю. Новожилова, K.P. Червинская, О.Ю. Щелкова
МЕТОДОЛОГИЧЕСКИЕ АСПЕКТЫ ИЗУЧЕНИЯ ЭФФЕКТИВНОСТИ КОМПЬЮТЕРНОЙ ПСИХОДИАГНОСТИКИ
Развитие информационных технологий вступило в этап, когда они начали активно брать на себя различные функции, традиционно считавшиеся прерогативой интеллектуальной деятельности человека. Огромное влияние компьютеров также наблюдается в области психологической диагностики индивидуальных особенностей человека. В настоящее время использование компьютерных технологий в психодиагностике оформилось в самостоятельную область исследований, получившую название компьютерной психодиагностики. Это - междисциплинарное направление исследований, ориентированное на создание качественного компьютерного психодиагностического инструментария, в том числе компьютерных психодиагностических методик и разработку принципиально новых методов работы с экспериментально-психологической информацией. Основной целью компьютерной психодиагностики является обеспечение практических психологов качественными инструментами, создаваемыми на базе новых информационных технологий1.
Все большую популярность приобретают экспертные психодиагностические системы, под которыми понимаются компьютерные психодиагностические методики, осуществляющие интерпретацию результатов тестирования на основе так называемой «базы знаний», представляющей собой эксплицированные и специальным образом формализованные знания опытных психологов-экспертов по интерпретации результатов тестирования испытуемых. Разработка конкретных баз психодиагностических знаний базируется на технологии инженерии знаний, включающей различные методы работы с экспертами и позволяющей переносить знания и опыт квалифицированного психолога в компьютер для создания автоматизированных психодиагностических заключений2.
При создании качественного компьютерного психодиагностического инструментария возникают две основные проблемы, которые связаны с пониманием того, какой инструментарий можно считать качественным, а какой - нет.
Первая проблема - это установление критериальной валидности компьютерного психодиагностического заключения, под которой понимается соответствие заключения индивидуальным характеристикам испытуемого. Речь идет о проведении исследований, подтверждающих точность и адекватность полученного текста заключения существующим особенностям человека.
Профессиональному компьютерному заключению, построенному на основе базы знаний, можно противопоставить распространенные в огромном количестве заключения, полученные в результате тестирования в сети Интернет и построенные в соответствии с так называемым «эффектом Барнума», или валидностью иллюзорной'. Валид-ность иллюзорная - это иллюзия соответствия текста личностным характеристикам
1С.' Б.В. Иовлев, М.Ю. Новожилова, K.P. Червинская, О.Ю. Щелкова, 2006
испытуемого, возникающая как следствие использования предельно общих, а потому и применимых практически ко всем обследуемым формулировок. Такого рода утверждения принимаются почти всеми людьми в качестве точного описания их личности.
Таким образом, проблема установления критериальной валидности компьютерного психодиагностического заключения является принципиально важной для проведения водораздела между качественным и профессиональным психодиагностическим инструментарием и компьютерными непрофессиональными тестами, заключения которых строятся б соответствии с валидностью иллюзорной.
Вторая проблема - это доказательство эквивалентности «бланковых» методик их компьютерным версиям. Эта проблема возникает при создании так называемых компьютерных версий психодиагностических методик, под которыми понимается обычный перенос «бланковых» методик на компьютер. В результате такой процедуры нарушаются стандартные условия предъявления стимульного материала, следовательно, возможны искажения результатов тестирования. Отсюда встает вопрос: можно ли использовать нормы «бланковых» первоисточников при переносе их на компьютер. Отвечая на этот вопрос, западные исследователи1 в начале 1980-х годов сделали вывод о том, что компьютерные версии личностных тестов в целом эквивалентны их «бланковым» источникам. Однако в более поздних работах авторы5 стали отрицать эквивалентность «бланковых» методик их компьютерным аналогам и заключили, что компьютерная версия методики - это вполне самостоятельная методика, использование которой возможно только после установления групповых норм и других,психометрических характеристик.
В отечественных исследованиях показано, что в Интернете принципиально не меняются психометрические характеристики таких классических многофакторных тестов, как, например, тест Айзенка". Настоящая статья посвящена методологическим аспектам изучения эффективности компьютерной психодиагностики и содержит описание исследований по установлению критериальной валидности и доказательству эквивалентности одной из новых компьютерных психодиагностических методик - методике НЧЛ «Невротические Черты Личности»7. Методика создана в лаборатории клинической психологии Психоневрологического института им. В.М. Бехтерева и направлена на выявление эмоционально-аффективных и социально-психологических свойств личности, связанных с развитием невротических и психосоматических нарушений.
Компьютерная методика НЧЛ разрабатывалась в соответствии с технологией инженерии знаний как экспертная психодиагностическая система, характеризующаяся наличием базы психологических знаний. Вопросы создания методики и формирования базы знаний, на основе которой строится компьютерное заключение, рассмотрены в соответствующей статье8.
В качестве образца, генерируемого компьютером, представим психодиагностическое заключение, полученное на испытуемого П., 28 лет, обратившегося за консультативной психологической помощью в связи с проблемами колебания аффективного фона и неудовлетворенностью актуальной жизненной ситуацией.
«Отношение к исследованию и достоверность результатов. Положительное отношение к исследованию, установка на сотрудничество; адекватность самооценки и оптимальная степень самораскрытия в ответах. Результаты ¡¡(следования достоверны.
При исследовании личностных характеристик получены следующие результаты.
Пониженное значение оценки по шкале «Неуверенность в себе» отражает достаточно высокий уровень уверенности в себе, самооценки и способности к самоактуализации, отсутствие проблем при принятии решении, стремление к самостоятельности и доминированию в социальных отношениях, способность к принятию ответственности и достижению цели.
Повышенное значение оценки по шкале «Познавательная и социальная пассивность» отражает недостаточную продуктивность (повышенную истощаемость) и недостаточную пластичность (трудности переключения) интеллектуальной деятельности, склонность к обдумыванию и рефлексии, недостаточную спонтанность в решениях, неширокий круг интересов, невыраженность познавательной потребности ¡1 восприимчивости к новому; в социальных контактах - снижение инициативы и заинтересованности, склонность к дистанцированию; в целом, невысокий уровень социальной компетентности и активности.
Повышенное значение оценки по шкале «Невротический "сверхконтроль" поведения» отражает потребность в тщательном планировании и обдумывании поступков, стремление к завершению начатого, трудности переключения с одного вида деятельности на другой; точность, корректность, педантичность, терпеливость в работе и социальном взаимодействии, при этом мотивация избежания неуспеха доминирует над мотивацией высоких достижений; в целом - серьезное отношение к жизни, затруднения свободной самореализации.
Повышенное значение оценки по шкале «Аффективная неустойчивость» отражает повышенную эмоциональную возбудимость, ослабление управления эмоциями, неустойчивый, неуравновешенный характер поведения, возможность раздражительных и гневливых реакций, повышенную чувствительность со склонностью «накапливать» отрицательные переживания (недостаточная пластичность эмоций); понижены толерантность к стрессу и, в целом, регулятор-ные возможности психики.
Значение оценки по шкале «Интровертированная направленность личности» попадает в зону неопределенного диагноза. Это означает, что в настоящее время отмечается умеренный уровень социальной активности, общительности и конформности, отсутствие значительных затруднений при реализации социальных контактов, умеренная потребность в понимании и поддержке со стороны окружающих, возможность доверительных отношений с относительно широким кругом лиц и естественного проявления эмоций в поведении.
Значение оценки по шкале «Ипохондричность» попадает в зону неопределенного диагноза. Это означает, что в настоящее время для испытуемого не является типичным повышенный контроль над состоянием своего здоровья, отдельных психических и соматических функций, образом жизни и поведения в связи с риском развития заболеваний; проявляется достаточная степень пластичности и разумный подход к проблеме сохранения и поддержания здоровья, к получению необходимой информации о болезнях и мерах их предупреждения, сбалансированный характер переживаний, связанных с состоянием здоровья в целом.
Пониженное значение оценки по шкале «Социальная неадаптивность» отражает хорошо сбалансированное социальное поведение, основанное на правильном усвоении общепринятых образцов поведения, хороших коммуникативных навыках, высоком уровне социально- и ауто-перцепции в процессе межличностного взаимодействия, пластичности, уступчивости и заинтересованности в социальных контактах.
Заключение. Положительное отношение к исследованию. Результаты исследования достоверны. В исследовании выявляются следующие невротические черты личности, то есть черты, предрасполагающие к развитию невротических реакций и состояний (возможно, невротические изменения личности):
- повышенная психическая истощаемость, снижение продуктивности интеллектуальной деятельности и социальной активности;
- интроспективность, повышенная рефлексивность, склонность к критическому самоанализу, затруднения самоактуализации;
- повышенная эмоциональная возбудимость и неустойчивость, лабильность настроения, сензитивность, низкая «помехоустойчивость» и способность к регуляции поведения, неконструктивные способы преодоления стресса.
В то же время выявляются:
- уверенность в себе, самостоятельность, независимость, способность к принятию ответственности и инициативе, достаточно высокая самооценка;
- умеренный уровень и уравновешенный характер социальных контактов, достаточная степень конформности, коммуникабельности и потребности в общении;
- рациональный подход к проблеме здоровья - болезни, свобода от переживаний, связанных с состоянием своего здоровья и риском развития заболевания;
- социальная компетентность, гибкость, правильное усвоение социальной нормы, адаптивность;
Таким образом, в структуре личности представлены кяк отдельные невротические черты, так и черты личности, способствующие социальной адаптации и компенсации невротических проявлений».
Для установления критериальной валйдности психодиагностического заключения, составленного компьютерной методикой НЧЛ, были задействованы две группы испытуемых. Первая группа - экспериментальная: 31 больной различными видами наркомании в возрасте от 17 до 45 лет, преимущественно мужского пола, находящиеся на стационарном лечении 4-го отделения ВМедА и ГИБ № 30 им. С.П. Боткина. Вторая -контрольная группа: 30 здоровых испытуемых, в основном мужчины в возрасте от 18 до 45 лет (спортсмены и студенты вузов г. Санкт-Петербурга).
Установление критериальной валидности осуществлялось методом экспертных оценок. Для этой цели были разработаны специальные экспертные анкеты, которые предъявлялись экспертам - лечащим врачам исследованных больных, а также членам ближайшего микросоциального окружения здоровых испытуемых (Приложения 1, 2). С помощью этих анкет оценивалось соответствие компьютерного психодиагностического заключения индивидуальным характеристикам, полученным клинико-психологи-ческим (экспертным) путем.
Процедура оценивания проходила следующим образом: экспертов просили оценить степень соответствия текста заключения личностным характеристикам испытуемого, а затем проводился частотный анализ, т.е. подсчитывалась частота встречаемости полученных от экспертов ответов. В результате частотного анализа были получены следующие данные, которые представлены графически.
На рис. 1 представлена трехмерная гистограмма, которая состоит из трех осей: первая - шкала градаций, с помощью которых оценивалось соответствие представлений об индивиде полученному психодиагностическому заключению; вторая - отражает разделы компьютерного психодиагностического заключения; третья - частота встречаемости, т.е. количество ответов.
Рис. 1 показывает, что основная часть полученных от экспертов ответов в экспериментальной группе располагается в области отрицательных значений: от -1 (скорее не соответствует, чем соответствует) до -3 (полностью не соответствует). Однако количество ответов - 2 (не соответствует) встречается значительно чаще, чем другие варианты ответов. В области положительных значений наблюдается равномерное распределение ответов экспертов.
Таким образом, из полученных данных можно сделать вывод о том, что в экспериментальной группе наблюдается полное несоответствие полученного психодиагностического заключения индивидуальным психологическим особенностям (характеристикам) исследуемой личности. Подобное несоответствие можно объяснить наличием у
Рис. 1. Частотный анализ экспертных анкет экспериментальной группы.
Рис. 2. Частотный анализ экспертных анкет контрольной группы.
Примечание. Отношение к исследованию: шкалы «Симуляции» и «Диссимуляции>>. Шкала 1: «Неуверенность в себе». Шкала 2: «Познавательная и социальная пассивность». Шкала 3: «Невротический "сверхконтроль» поведения". Шкала 4: «Аффективная неустойчивость». Шкала 5: «Интровертированная направленность личности». Шкала 6: «Ипохондричность». Шкала 7: «Социальная неадаптивность». Обобщающая часть заключения: выявленные невротические черты и личностные ресурсы.
испытуемых данной группы мотивационных искажений. Подъем показателей по контрольным шкалам «Симуляции» и «Диссимуляции» в экспериментальной группе значительно выше, чем в контрольной группе. Мотивационные искажения, на наш взгляд, обусловлены механизмами психологической защиты.
Анализ данных контрольной группы показал противоположную ситуацию (рис. 2). Практически все ответы экспертов сконцентрированы в области положительных значений от 1 (скорее соответствует, чем не соответствует) до 3 (полностью соответствует), причем частота встречаемости ответов 3 (полностью соответствует) значительно выше, чем 2 (соответствует) и 1 (скорее соответствует, чем не соответствует). При этом в контрольной группе не выявлялось мотивационных искажений (показатели шкал «Симуляции» и «Диссимуляции» в пределах допустимых значений).-
Таким образом, в контрольной группе наблюдается соответствие компьютерного психодиагностического заключения индивидуальным характеристикам оцениваемой личности.
Для уточнения полученных результатов проводилось дополнительное исследование, в котором были задействованы три группы испытуемых: первая - больные различными видами наркоманий, вторая - больные с невротическими расстройствами, третья - контрольная группа. Эксперты заполняли указанные выше анкеты на испытуемых, а затем с помощью корреляционного анализа изучалась взаимосвязь оценок эксперта и оценок компьютера на каждого испытуемого (табл. 1).
Таблица 1
Значения коэффициента корреляции для разных групп испытуемых
Показатель Группа больных наркоманией Группа невротических больных Группа здоровых испытуемых
Обобщающая часть 0,086 0,828 0,934
заключения * * *
Все заключение -0,142 * 0,853 * 0,911 *
Примечание. *р<0,0001
Данные показывают, что в группе наркозависимых наблюдается несоответствие компьютерного заключения особенностям личности испытуемого (низкий и отрицательный коэффициент корреляции, статистически значимо близкий к нулю).
В группе больных с невротическими расстройствами прослеживается совершенно иная ситуация. В данной группе диагностируются высокие положительные значения коэффициента корреляции, статистически значимо отличные от нуля для р<0,001, что говорит о достаточной близости оценок, данных экспертом и компьютером.
Из описанных выше данных можно сделать вывод о том, что в контрольной группе и группе больных с невротическими расстройствами наблюдается полное соответствие полученного компьютерного заключения индивидуальным психологическим характеристикам исследуемой личности, в то время как в группе наркозависимых видно полное несоответствие, обусловленное ярко выраженными мотивационными искажениями (подъем по оценочным шкалам). Отсюда можно заключить, что использование
компьютерного психодиагностического заключения, полученного по результатам тестирования испытуемых с помощью методики НЧЛ, не приводит к снижению объективности получаемой психодиагностической информации и статистически значимо полностью соответствует личностным характеристикам испытуемых.
В рамках решения второй задачи - установление эквивалентности бланкового и компьютерного варианта методики НЧЛ - экспериментальная (больные наркоманией) и контрольная группы (здоровые испытуемые) были разделены на две части, каждой из которых предъявлялся соответствующий вариант: традиционный (с применением бланков) и компьютерный.
Статистическая обработка проходила таким образом: сначала средние значения всех шкал опросника НЧЛ были проранжированы (меньшему значению присваивался низший ранг и соответственно большему высший ранг) (табл. 2, 3).
Таблица 2
Ранжированные значения шкал методики НЧЛ для экспериментальной группы
Ранги шкал опросника НЧЛ
НЧЛ Компьютерный вариант (11 а2 Традиционный вариант
1 37,125 2 3 30,733
2 43.188 1 1 45,533
3 28,5 4 5 28,4
4 18,375 7 7 17,867
5 9,937 9 8 7,6
6 28 5 4 29,2
7 11.625 8 9 6
8 23,25 9 6 19
9 33,625 6 2 3.3,067
Таблица 3
Ранжированные значения шкал методики НЧЛ для контрольной группы
Шкалы Ранги шкал опросника НЧЛ
НЧЛ Компьютерный вариант (11 (12 Тра д и ц и о н н ы й в а р и а н т
1 22 5 6 15
2 47.53 1 1 49,53
3 30,58 3 3 24,33
4 15,16 7 7 9
5 9,211 8 8 8
6 30,42 4 4 21,67
7 7,368 9 9 4.933
8 30,11 6 5 20,4
9 32,79 2 2 29,33
Анализ данных показал, что оба способа предъявления стимульного материала эквиваленты, т.е. статистически значимо не различаются (г = 0,95 и г = 0,984 при р = 0,001). Все полученные значения коэффициента корреляции близки к единице. Таким образом, использование компьютерного варианта методики на различных группах испытуемых не приводит к снижению объективности полученной психодиагностической информации и полностью соответствует тому, что можно было бы получить, используя бланковый вариант.
В результате проведенных исследований можно сделать следующие выводы.
1. Компьютерное психодиагностическое заключение методики НЧЛ, сконструированной на основе технологии инженерии знаний, полностью удовлетворяет параметру критериальной валидности, т.е. текст полученного заключения адекватно отражает интеллектуальные, эмоционально-волевые, мотивационные, личностные, поведенческие и другие психологические характеристики исследуемых испытуемых.
2. Установлена эквивалентность бланкового и компьютерного варианта методики НЧЛ. Это означает, что ситуация предъявления стимульного материала не влияет на результаты тестирования испытуемых.
Таким образом, на сегодняшний день проблема качества разрабатываемого профессионального компьютерного психодиагностического инструментария является важной и актуальной. Данная статья иллюстрирует решение этой проблемы для методики НЧЛ, однако следует отметить, что процедуру установления критериальной валидности и доказательство эквивалентности бланкового и компьютерных вариантов необходимо проводить для каждой методики, используемой в области клинической психологии.
Червинская К.Р. Компьютерная психодиагностика. СПб., 2003. - Червиис-кая К.Р., Щелкова О.Ю. Медицинская психодиагностика и инженерия знаний. СПб., 2002. ' Бурлачук Л.Ф., Морозов СМ. Словарь-справочник но психологической диагностике. Киев; СПб.. 1999, 1 Skinner Н.A., Pakula A. Challenge of computers in psychological assessment // Professional Psychology: Research and Practice, 1986. X 17. Р 44-50,
3 Webster J., Сотрет D. Computer-assisted versus paper-and-pencil administration of questionnaires // Behavior Research Methods, Instruments, and Computers. 1996. N 28. P. 567-576,
6 Ромек В.Г., Сатин Д.К. Сохранение надежности мпогофакторных тестов при их использовании в сети Интернет // Психологический журнал, 2000. № 21.2. С. 40-Jà.
1 Иовлев Б.В.. Червинская К.Р., Щелкова О.Ю. Психологическая диагностика невротических черт личности: методические рекомендации. СПб., 2003.
* Червинская К.Р., Щелкова О.Ю. Технология разработки компьютерных методик для клинической психодиагностики // Вести. С.-Петерб. ун-та. Сер. 6, 2004. Вып. 3. С. 124- 129.
Приложение 1
Экспертная анкета для врача
Укажите, пожалуйста, степень соответствия Ваших представлений о личности больного тексту психологическогб заключения, составленного по данным опросника «Невротические черты личности» (НЧЛ)
+3 полностью соответствует +2 соответствует
+ 1 скорее соответствует, чем не соответствует
-3 полностью не соответствует 2 не соответствует
-1 скорее не соответствует, чем соответствует
Раздел заключения Степень соответствия
Отношение к исследованию +3 +2 + 1 0 - 1 -2 -3
Личностные характеристики
1. Неуверенность в себе +3 +2 + 1 0 - 1 -2 -3
2. Познавательная и социальная пассивность +3 +2 + 1 0 - 1 -2 -3
3. Невротический «сверхконтроль» +3 + 2 И 0 - 1 -2 -3
4. Аффективная неустойчивость +3 + 2 + 1 0 - 1 -2 3
5. Интровертированная направленность личности +3 +2 + 1 0 - 1 -2 -3
6. Ипохондричность +3 +2 + 1 0 - 1 -2 -3
7. Социальная неадаптпвность +3 -12 + 1 0 - 1 -2 3
Обобщающая часть заключения +3 +2 + 1 0 - 1 -2 -3
Психологическое заключение по данным НЧЛ (в целом) +3 + 2 + 1 0 - 1 -2 -3
Приложение 2
Экспертная анкета для исследования здорового контингента испытуемых
Опишите, пожалуйста, степень соответствия Ваших представлений о личности Вашего товарища по нижеприведенным характеристикам.
+3 полностью соответствует -3 полностью не соответствует
-2 соответствует -2 не соответствует
+ 1 скорее соответствует, чем не соответствует - 1 скорее не соответствует, чем соответствует
Характеристики Степень соответствия
Отношение к исследованию: человек готов пойти на сотрудничество с экспериментатором, и при ответе на поставленные вопросы будет максимально полно раскрываться и оценивать себя. +3 ^2 И 0 -1 2 -3
1. В настоящее время для Вашего товарища характерно: уверенность в себе, уверенность в принятии решений и отношениях с окружающими, критическое отношение к себе и окружающим, удовлетворенность собой. +3 + 2 + 1 0 -1 -2 -3
2. Вашего товарища можно описать как активного, общительного, предприимчивого (находчивого и практичного), заинтересованного в межличностных отношениях, а также можно сказать, что данный человек проявляет стремление к поиску информации и склонность к небольшому риску. +3 +2 + 1 0 -1 -2 -3
3. Поведение Вашего товарища можно охарактеризовать как свободное и непринужденное, т.е. человек не склонен к повышенной чувствительности, самоанализу и тщательному обдумыванию поступков, но в тоже время человек отзывчив и ответствен и не зацикливается на одном каком-либо переживании. +3 -2 + 1 0 -1 -2 -3
4. Вашему товарищу свойственно контролировать эмоциональные реакции: его поведение характеризуется уравновешенностью, сбалансированностью (реакций, направленных вовне и на окружающих не наблюдается), человек способен контролировать раздражительность и другие негативно окрашенные реакции и эмоции. +3 + 1 0 -1 -2 -3
5. В настоящее время у человека наблюдается достаточный уровень социальной активности, общительности и зависимости от мнения окружающих, у него не возникает трудностей при общении с окружающими, и он способен устанавливать доверительные отношения с относительно широким кругом людей и в общении с ними допускает естественное проявление эмоций. +3 + 2 + 1 0 -1 -2 -3
6. Ваш товарищ не склонен к повышенному (чрезмерному) контролю за состоянием своего здоровья и образом жизни, но в то же время разумно подходит к проблеме сохранения и поддержания здоровья, получения необходимой информации о болезнях и мерах их предупреждения. +3 +2 + 1 0 -1 -2 -3
7. Ваш товарищ воспринимает и усваивает общепринятые нормы и правила, у него достаточно развиты коммуникативные навыки, он пластичен и уверен в общении с окружающими. +3 +2 + 1 0 -1 -2 -3
Статья поступила н редакцию 7 декабря 2005 т.
