CC BY
7
Научная статья
УДК 656.7:/331.101.1:656.7.086
doi: 10.35750/2071-8284-2023-1-190-196
Александр Михайлович Собченко
кандидат психологических наук, доцент sobchenko1963@mail.ru
Санкт-Петербургский государственный университет гражданской авиации имени Главного маршала авиации А. А. Новикова Российская Федерация, 196210, Cанкт-Петербург, ул. Пилотов, д. 38
Проверка валидности и психометрические показатели окончательной формы опросника «Прогноз-3» при тренажёрной подготовке
Аннотация: Введение. Проверка валидности и психометрические показатели окончательной формы опросника «Прогноз-3» при тренажерной подготовке пилотов (исправленная его форма) используются при профотборе на лётные должности пилотов, которые продемонстрировали достаточную дискриминативность по ключевым и неключевым ответам в ходе внедрения исследования в практическую деятельность.
Цель исследования: разработать конкретный опросник и подтвердить основную гипотезу о том, что анализ системы значений позволяет создавать опросники, обладающие более высокими психометрическими показателями, чем традиционные.
Задача: проверка психометрических показателей и валидности разработанных на основе реконструкции семантического пространства измерительного конструкта, которые подтверждают предполагаемый нами результат: более высокие характеристики, чем у опросника, измеряющего тот же конструкт, но созданного без специального анализа значений.
Методы исследования и конструкторско-технологические решения: исследованы психометрические показатели опросника и валидности разработанных на основе реконструкции семантического пространства измерительного конструкта и подтверждены более высокие характеристики по сравнению с опросником, который измеряет тот же конструкт, однако не использует специальный анализ значений.
Результаты и выводы: разработкой конкретного опросника достигнута цель исследования и подтверждена основная гипотеза о том, что анализ системы значений позволяет создавать опросники, обладающие более высокими психометрическими показателями по сравнению с традиционными.
Ключевые слова: дискриминативность, нервно-психическая устойчивость, психометрическая проверка валидности, проверочные методики, корреляционные связи, анализ системы значений, тесты опросника «Прогноз-3»
Для цитирования: Собченко А. М. Проверка валидности и психометрические показатели окончательной формы опросника «Прогноз-3» при тренажёрной подготовке // Вестник Санкт-Петербургского университета МВД России. - 2023. - № 1 (97). - С. 190-196; ёо1: 10.35750/20718284-2023-1-190-196.
Alexander M. Sobchenko
Cand. Sci. (Psy.), Professor sobchenko1963@mail.ru
Saint Petersburg State University of Civil Aviation named after Chief Marshal of Aviation A. A. Novikov 38, Pilotov str., Saint Petersburg, 196210, Russian Federation
© Собченко А. М., 2023
Validity check and psychometric indicators of the final form of the questionnaire «Prognoz-3»
in simulator training
Abstract: Introduction. Validity checks and psychometric indicators of the final form of the questionnaire «Prognoz-3» for pilot simulator training (its corrected form) are used in professional selection for flight positions of pilots, which demonstrated sufficient discrimination on key and non-key answers when implementing the study in practical activities.
The purpose of the study: to develop a specific questionnaire and confirm the main hypothesis that the analysis of the value system allows to create questionnaires that have higher psychometric indicators than traditional ones.
The task: to check the psychometric indicators and validity of the measuring construct developed on the basis of the reconstruction of the semantic space, which confirmthe expected result: higher characteristics than the questionnaire measuring the same construct, but created without special analysis of meanings.
Research methods and design and technological solutions: the psychometric indicators of the questionnaire and the validity of the measuring construct developed on the basis of the reconstruction of its semantic space were studied and higher characteristics were confirmed in comparison with the questionnaire measuring the same construct without using a special analysis of meanings.
The results and conclusions: the development of a specific questionnaire achieved the goal of the study and confirmed the main hypothesis that the analysis of the system of values allows creating questionnaires that have higher psychometric indicators compared to traditional ones.
Keywords: Discrimination, mental stability, psychometric validity verification, validation techniques, correlation links, value system analysis, questionnaire tests «Prognoz-3»
For citation: Sobchenko A. M. Validity check and psychometric indicators of the final form of the questionnaire «Prognoz-3» in simulator training // Vestnik of St. Petersburg University of the Ministry of Internal Affairs of Russia. - 2023. - № 1 (97). - P. 190-196; doi: 10.35750/2071-8284-2023-1-190-196.
Введение
Разработка первичной формы опросника «Прогноз-3» основывается на принципах формулировки заданий. Разработчики приняли за основу положение о том, что они являются моделью ситуаций, относящихся к категориям «напряжённая» либо «субъективная». По этому принципу построен один из блоков теста, которому мы присвоили условное наименование «блок категоризации».
Материалы, модели, эксперименты и методы
Проверка первичной формы «Прогноза-3» была проведена на 138 пилотах. После отбраковки были проанализированы оставшиеся 122 бланка.
Приведём результаты этого анализа в таблицах, где заодно покажем связи по коэффициенту линейной корреляции Пирсона заданий не только с общим итоговым баллом «своей» шкалы, но и с другой шкалой, а также с отдельными блоками, чтобы иметь возможность проиллюстрировать их диагностические особенности. В целях компактности мы будем приводить не формулировки заданий, а только их номера. 19 заданий с недостаточной дискриминативно-стью мы тоже не приводим.
В табл. 1 представлены результаты психометрической проверки «шкалы лжи».
Как видно из табл. 1, у всех заданий корреляция со своей шкалой намного больше, чем
с какой-либо другой шкалой или блоком. Общая надёжность по однородности (коэффициент а Кронбаха) шкалы лжи составил 0,815, что более чем приемлемо.
Аналогичным образом в табл. 2 представлены результаты по «старым» заданиям.
В этой таблице, как и в последующих, красным цветом обозначены строки, соответствующие тем заданиям, показатели которых неудовлетворительны. Так, среди «старых» заданий такое одно - № 46. Оно имеет достоверную корреляционную связь с другими заданиями своего блока, но близкую к нулю корреляцию с общим итоговым баллом шкалы нервно-психической устойчивости, в которую входит. Очевидно, так сказалось влияние других заданий, которое, разумеется, было разным в «Прогно-зе-2» и «Прогнозе-3». Это задание было исключено из исправленной формы опросника.
Что касается остальных заданий, некоторые из них достоверно коррелируют со шкалой «лжи», но эти коэффициенты гораздо меньше, чем со своей шкалой».
Следующий блок заданий, который мы условно назвали «категориальным», представлен в табл. 3.
Здесь неприемлемых по однородности заданий больше. Например, задания № 7 и № 62 не связаны достоверно с итоговым баллом своей шкалы, а задания № 36 и № 69, помимо этого, не связаны достоверно даже с другими заданиями своего блока. Эти задания пришлось также
Таблица 1
Психометрические показатели заданий шкалы лжи первичной формы опросника «Прогноз-3»
№ задания Коэффициенты корреляции со шкалами:
лжи «старые» задания «категориальный)) блок «семантический» блок нервно-психической устойчивости
121 0,69 * -0,09 -0,18 -0,39 * -0,36 *
г 28 0,47 * -0,25 * -0,22 * -0,24 * -0,34 *
Ъ 30 0,68 * -0,22 * -0,23 * -0,23 * -0,33 *
г 32 0,61 * -0,01 0,00 -0,14 -0,09
ъъъ 0,70 * -0,08 -0,29 * -0,19 -0,28 *
ЪЪ1 0,66 * -0,15 -0,36 * -0,16 -0,31 *
г 40 0,77 4 -0,13 -0,28 * -0,26 * -0,34 *
г 43 0,68 * -0,17 -0,12 -0,18 -0,23 *
г 45 0,46 * -0,02 -0,00 -0,02 -0,02
Примечание * - достоверные корреляционные связи
Таблица 2
Психометрические показатели блока «старых» заданий шкалы нервно-психической устойчивости в первичной форме опросника «Прогноз-3»
задания Коэффициенты корреляции со шкалами:
лжи «старые» задания «категориальный» блок «семантический» блок нервно-психической устойчивости
г 46 0,06 0,26 * -0,04 -0,01 0,08
г 48 0,08 0,09 -0,11 -0,06 -0,05
г 52 -0,12 0,38 * 0,23 * -0,04 0,22 *
г 54 -0,15 0,34 * 0,26 * 0,32 * 0,44 *
г 57 -0,21 * 0,49 * 0,21 * -0,06 0,23 *
г 59 0,20 * 0,17 -0,02 -0,09 -0,00
г 61 -0,18 0,43 * 0,07 0,24 * 0,35 *
г 63 -0,29 * 0,55 * 0,22 * 0,08 0,36 *
г 66 0,04 0,30 * -0,05 0,04 0,12
г 68 -0,13 0,35 * 0,04 0,09 0,21 *
Примечание * - достоверные корреляционные связи
исключить из исправленной формы опросника. При их содержательном анализе выяснилось, что наиболее вероятная причина этого - «фоновое» воздействие других заданий, которое актуализирует не те контексты, которые имели
в виду мы, когда формулировали эти задания отдельно от остальных.
Наконец, в табл. 4 показаны корреляционные связи заданий того блока, который мы обозначили как «психосемантический».
Таблица 3
Психометрические показатели блока «категориальных» заданий шкалы нервно-психической устойчивости в первичной форме опросника «Прогноз-3»
№ задания Коэффициенты корреляг^ии со шкалами:
лжи «старые» задания «категориальный» блок «семантический» блок нервно-психической устойчивости
г 5 0,28 * 0,19 0,41 * 0,19 0,32 *
Ъ1 -0,21 * -0,27 * 0,27 * 0,17 0,09
Ъ 8 0,02 0,16 0,32 * 0,23 * 0,31 *
г 14 0,18 0,02 0,35 * 0,06 0,16
Ъ 16 0,29 * 0,15 0,45 * 0,33 * 0,41 *
г 19 -0,05 0,30 45 0,38 * 0,27 * 0,40 *
г 29 0,16 0,27 * 0,43 * 0,28 * 0,41 *
Ъ 36 0,20 -0,12 0,02 0,01 -0,03
г 38 0,11 0,06 0,51 * 0,24 * 0,34 *
г 62 -0,04 0,12 0,28 * 0,02 0,15
г 69 -0,18 -0,01 0,17 -0,10 -0,01
Примечание * - достоверные корреляционные связи
Здесь неприемлемыми по однородности оказались шесть из двадцати заданий, причём задание № 55 имеет достоверный коэффициент корреляции с итоговым баллом, но он меньше, чем все остальные. Мы стремились создать максимально компактный опросник, удовлетворяющий тем не менее принятым психометрическим показателям, измеряющим нервно-психическую устойчивость достаточно надёжно.
Общая однородность шкалы нервно-психической устойчивости в первичной форме по й Кронбаха составила 0,568, что ниже принятой нормы 0,7. После отбрасывания недискримина-тивных заданий, а также тех, причины исключения которых мы описали в данном подразделе, она составила 0,742. Однако этот показатель не может служить признаком достаточной надёжности, так как он не учитывает взаимное влияние заданий в изменившейся после отсева структуре опросника.
В таблице 5 представлены результаты проверки валидности в виде корреляционных связей с проверочными методиками - Шкалой эмоциональной возбудимости и показателем тревоги в тесте Люшера.
Корреляционные связи со Шкалой эмоциональной возбудимости (нейротиз-
мом) и показателем тревоги по тесту Люшера также подтверждают валидность всей шкалы нервно-психической устойчивости даже с отдельными блоками, которые можно было бы считать отдельными подшкала-ми, если не очень высокая их корреляция друг с другом.
Результаты
1. В процессе исследования основных подходов к определению значения
психодиагностики установлено, что анализ системы значений позволяет создавать опросники, обладающие более высокими психометрическими показателями по сравнению с традиционными.
2. Из анализа опросников и общепринятой технологии разработки психодиагностических методик следует, что все измеряемые свойства личности определяются системой значений разработчиков, где процедура психометрической проверки валидности не позволяет выявить степень их совпадения.
3. Оптимальный метод - изучение значения измерительного конструкта, который и был реализован как составная часть процедуры разработки «психосемантического» опросника.
Таблица 4
Психометрические показатели блока «психосемантических» заданий шкалы нервно-психической устойчивости в первичной форме опросника «Прогноз-3»
М задания Коэффициенты корреляции со шкалами:
лжи «старые» задания «категориальный» блок «семантический» блок нерино-психической УСТОЙЧИВОСТИ
г 2 -0,13 0,04 0,03 0,20 * ОД 5
2 4 0,07 -0,04 0,19 0,37 * 0,27 *
29 0,07 0,12 0,14 0,18 0,20
2 11 0,13 0,07 0,14 0,37 * 0,30 *
7; 15 0,06 0,01 0,22 * 0,42 * 0,33 *
2 17 0,08 -0,03 0.09 0,22 * 0,15
г 18 0,28 * 0,23 * 0,29 * 0,41 * 0,43 *
2 20 0,14 0,26 * 0,16 0,45 * 0,42 *
7, 24 -0,02 0,15 0,08 0,31 * 0,27 *
г 25 0,17 0,34 * 0,09 0,14 0,24 *
231 -0,08 -0,01 -0,07 0,16 0,07
г зз 0,23 * 0,17 0,18 0,35 * 0,33 *
2 49 -0,11 0,09 0,15 0,24 * 0,23 *
2 50 0,25 1(1 0,17 0,25 * 0,47 * 0,43 *
2 51 0,01 -0,02 0.07 0,25 * ОД 7
2 53 0,04 0,16 0,29 * 0,46 * 0,44 *
2 55 0,02 0,01 0,14 0,31 * 0,24 *
2 56 0,29 * -0,03 0,29 * 0,53 * 0,41 *
2 60 0,27 * 0,23 * 0,07 0,34 * 0,32 *
2 67 0,05 0,12 0,20 * 0,36 * 0,33 *
Примечание * достоверные корреляционные си дай
Таблица 5
Шкалы эмоциональной возбудимости и показатели тревоги по тесту М. Люшера
Кюффщатты карре.шрт со шка/шм:
Шкалы итжи ЛЖИ «старые» ■здания «КЯ1 С] орщу ¡ьный» опок «се шшнческий» Емок нервно-психл1 юсшй устайщтости
Блоки:
«Старью» 10,0000 0_2721* 0,2663* 0.6211*
задания р - 0,002* р= - р = 0,006* р = 0,008* р = 0.000*
«Ка ]и ори»; 1Ь)1ыс» -0,2211* 0,2721* 10,0000 0.4862* 0.7270*
11 = 0,028* р = 0,006* р= - р = 0.000* р = 0.000*
«Пеихоосма 1 пичкжие» 411517 оллз* 0,4862* 10,0000 0.8695*
р 0,176 Р 0,Ш8* р 0,000* Р — р 00,00*
Шк;и1ы
Нер мкнюйхи' ! иском -0,3382* 0,6211* 0,7270* 0,8695* 10,0000
устойчивости Р 0,001* Р 0(000* р 0.000* р 00,00* Р —
ШЭВ 0,124 0.7110* 0,7123* 0,7958* 0.7844*
Р = 0,156 р=0,000* д=0,000* р - 00,00* р = 0,000*
ПоказипВиь тревога по 0,0218 0,2663* 03282* 0.3134* 0.4862*
Лкяигру р = 0,698 р = 0,008й1 р " 0,004* р = 0,005* р = о,ооо*
ПрцМ&ШШ£ - досгопериые корреляционные сити
Список литературы
1. Ананьев Б. Г. Человек как предмет познания. - Санкт-Петербург: Питер, 2001. - 288 с.
2. Абульханова-Славская К. А. Типологический подход к личности профессионала. Психологические исследования проблемы форми-рования личности профессионала / под ред. В. А. Бодрова.
- Москва: Институт психологии АН СССР, 1991. - С. 110-125.
3. Алешин В. И., Афанасьев В. О. Система отображения состояния орбитального комплекса сложной структуры // Космонавтика и ракетостроение. - 2001. - № 25. - С. 99-109.
4. Агафонов А. Ю. Основы смысловой теории сознания. - Санкт-Петербург: «Речь», 2003. - 296 с.
5. Бодров В. А. Психология профессиональной пригодности. - Москва: ПЕР СЭ, 2001. - 512 с.
6. Барабанщикова В. В., Кузнецова А. С. Современные тенденции в развитии психологических исследований труда и трудящегося в динамичной профессиональной и организационной среде // Национальный психологический журнал. - 2022. - № 4 (48). - С. 3-7.
7. Баканов А. С., Обознов А. А. Эргономика пользовательского интерфейса. - Москва: Изд-во Институт психологии РАН, 2011. - 176 с.
8. Бовин Б. Г. Экстремальная психология в особых условиях деятельности: монография / под науч. ред. Б. Г. Бовина, А. В. Кокорина, А. М. Ракова. - Москва: Научно-исследовательский институт ФСИН России, 2015. - 514 с.
9. Береговой Г. Т., Пономаренко В. А. Психологические основы обучения человека-оператора готовности к действиям в экстремальных условиях // Вопросы психологии. - 1983. - № 1. - С. 51- 58.
10. Берковиц Л. Агрессия: причины, последствия и контроль. - Санкт-Петербург: прайм-Еврознак, 2001. - 512 с.
11. Бенсон А. Д. Пространственная дезориентация в полете // Проблемы психологии и эргономики. - 2003. - № 5. - С. 42-46.
12. Воронов И. А. Экстремальная психология: комплексный подход: монография. - Санкт-Петербург: ЧОУВПО СПбИПиА, 2012. - 146 с.
13. Воронов И. А. Теория и профилактика ошибок принятия решений средствами психотехнологии «Пульсар» / Учёные записки университета имени П. Ф. Лесгафта. - 2018. - № 1 (155). - С. 287-291.
14. Вильвер П. Ю., Юрин А. Ю. Специализированный программный комплекс «АСТ» для создания тренажёров // Программные продукты и системы. - 2016. - № 3 (115) [Электронный ресурс] // Cyberleninka.ru: сайт. - URL: https://cyberleninka.ru/article/n/spetsializirovannyy-programmnyy-kompleks-ast-dlya-sozdaniya-trenazherov (дата обращения: 24.01.2023).
15. Голиков Ю. Я. Концепции адаптивной автоматизации и подходы к человеку и технике для современных человеко-машинных комплексов // Психология адаптации и социальная среда: современные подходы, проблемы, перспективы / отв. ред. Д. Г. Дикая, А. Л. Журашлец. - Москва: Изд-во «Институт психологии РАЦ», 2007. - С. 392-408.
16. Маклаков А. Г. Человек в экстремальных условиях деятельности // Вестник ЛГУ им. А. С. Пушкина. - 2020. - № 4. - С. 165-179.
17. Дворников М. В., Сухолитко В. А. Проблемы разработки и внедрения активной системы безопасности полётов // Проблемы психологии и эргономики. - 2003. - № 5. - С. 33-42.
18. Львов В. М. Проблема безопасности полётов и эргономические технологии. Проблемы психологии и эргономики. - 2003. - № 5. - С. 22-26.
19. Ломов Б. Ф., Забродин Ю. М. Психологические проблемы деятельности в особых условиях.
- Москва: Наука, 1985. - 231 с.
20. Меденков А. А. Обеспечение безопасности маневренных полетов // Проблемы психологии и эргономики. - 2003. - № 5. - С. 46-51.
21. Менделевич В. Д. Тест антиципационной состоятельности (прогностической компетентности) - экспериментально-психологическая методика для оценки готовности к невротическим расстройствам // Социальная и клиническая психиатрия. - 2003. - № 1. - С. 35-40.
References
1. Anan'yev B. G. Chelovek kak predmet poznaniya. - Sankt-Peterburg: Piter, 2001. - 288 s.
2. Abulkhanova-Slavskaya K. A. Tipologicheskiy podkhod k lichnosti professionala. Psikhologicheskiye issledovaniya problemy formi-rovaniya lichnosti professionala / pod red. V. A. Bodrova. - Moskva: Institut psikhologii AN SSSR, 1991. - S. 110-125.
3. Aleshin V. I., Afanas'yev V. O. Sistema otobrazheniya sostoyaniya orbital'nogo kompleksa slozhnoy struktury // Kosmonavtika i raketostroyeniye. - 2001. - № 25. - S. 99-109.
4. Agafonov A. Yu. Osnovy smyslovoy teorii soznaniya. - Sankt-Peterburg: «Rech'», 2003. - 296 s.
5. Bodrov V. A. Psikhologiya professional'noy prigodnosti. - Moskva: PER SE, 2001. - 512 s.
6. Barabanshchikova V. V., Kuznetsova A. S. Sovremennyye tendentsii v razvitii psikhologicheskikh issledovaniy truda i trudyashchegosya v dinamichnoy professional'noy i organizatsionnoy srede // Natsional'nyy psikhologicheskiy zhurnal. - 2022. - № 4 (48). - S. 3-7.
7. Bakanov A. S., Oboznov A. A. Ergonomika pol'zovatel'skogo interfeysa. - Moskva: Izd-vo Institut psikhologii RAN, 2011. - 176 s.
8. Bovin B. G. Ekstremal'naya psikhologiya v osobykh usloviyakh deyatel'nosti: monografiya / pod nauch. red. B. G. Bovina, A. V. Kokorina, A. M. Rakova. - Moskva: Nauchno-issledovatel'skiy institut FSIN Rossii, 2015. - 514 s.
9. Beregovoy G. T., Ponomarenko V. A. Psikhologicheskiye osnovy obucheniya cheloveka-operatora gotovnosti k deystviyam v ekstremal'nykh usloviyakh // Voprosy psikhologii. - 1983. - № 1. - S. 51- 58.
10. Berkovits L. Agressiya: prichiny, posledstviya i kontrol'. - Sankt-Peterburg: praym-YEVROZNAK, 2001. - 512 s.
11. Benson A. D. Prostranstvennaya dezoriyentatsiya v polete // Problemy psikhologii i ergonomiki. -2003. - № 5. - S. 42-46.
12. Voronov I. A. Ekstremal'naya psikhologiya: kompleksnyy podkhod: monografiya. - Sankt-Peterburg: CHOUVPO SPblPiA, 2012. - 146 s.
13. Voronov I. A. Teoriya i profilaktika oshibok prinyatiya resheniy sredstvami psikhotekhnologii «Pulsar» / Uchonyye zapiski universiteta imeni P. F. Lesgafta. - 2018. - № 1 (155). - S. 287 - 291.
14. Vil'ver P. Yu., Yurin A. Yu. Spetsializirovannyy programmnyy kompleks «AST» dlya sozdaniya trenazhorov // Programmnyye produkty i sistemy. - 2016. - № 3 (115) [Elektronnyy resurs] // Cyberleninka. ru: sayt. - URL: https://cyberleninka.ru/article/n/spetsializirovannyy-programmnyy-kompleks-ast-dlya-sozdaniya-trenazherov (data obrashcheniya: 24.01.2023).
15. Golikov Yu. Ya. Kontseptsii adaptivnoy avtomatizatsii i podkhody k cheloveku i tekhnike dlya sovremennykh cheloveko-mashinnykh kompleksov // Psikhologiya adaptatsii i sotsial'naya sreda: sovremennyye podkhody, problemy, perspektivy / otv. red. D. G. Dikaya, A. L. Zhurashlets. - Moskva: Izd-vo «Institut psikhologii RATS», 2007. - S. 392-408.
16. Maklakov A. G. Chelovek v ekstremal'nykh usloviyakh deyatel'nosti // Vestnik LGU im. A. S. Pushkina. - 2020. - № 4. - S. 165-179.
17. Dvornikov M. V., Sukholitko V. A. Problemy razrabotki i vnedreniya aktivnoy sistemy bezopasnosti polotov // Problemy psikhologii i ergonomiki. - 2003. - № 5. - S. 33-42.
18. Lvov V. M. Problema bezopasnosti polotov i ergonomicheskiye tekhnologii. Problemy psikhologii i ergonomiki. - 2003. - № 5. - S. 22-26.
19. Lomov B. F., Zabrodin Yu. M. Psikhologicheskiye problemy deyatel'nosti v osobykh usloviyakh. -Moskva: Nauka, 1985. - 231 s.
20. Medenkov A. A. Obespecheniye bezopasnosti manevrennykh poletov // Problemy psikhologii i ergonomiki. - 2003. - № 5. - S. 46-51.
21. Mendelevich V. D. Test antitsipatsionnoy sostoyatel'nosti (prognosticheskoy kompetentnosti) -eksperimental'no-psikhologicheskaya metodika dlya otsenki gotovnosti k nevroticheskim rasstroystvam // Sotsial'naya i klinicheskaya psikhiatriya. - 2003. - № 1. - S. 35-40.
Статья поступила в редакцию 01.02.2023; одобрена после рецензирования 02.03.2023; принята к публикации 27.03.2023.
The article was submitted February 1, 2023; approved after reviewing March 2, 2023; accepted for publication March 27, 2023.
