CC BY
97
Психологические науки
УДК 159.99
К ПОИСКУ АЛГОРИТМА ОБЪЕКТИВИЗАЦИИ «ОБЪЕКТИВНЫХ МЕТОДОВ» В СОВРЕМЕННОЙ РОССИЙСКОЙ ПСИХОЛОГИЧЕСКОЙ ПРАКТИКЕ О.А. Белобрыкина, Н.С. Лемясова
Новосибирский государственный педагогический университет
Аннотация. В статье обсуждается проблема диагностической компетентности психолога, включающая способность к осуществлению оценки психометрической состоятельности диагностических методик. Предложена табличная форма алгоритма элементарной экспертной оценки диагностической методики, позволяющая студентам-психологам на основе компаративного анализа ее описания в разных источниках методической направленности, определить её методологическую состоятельность.
Ключевые слова: психодиагностика, компаративный анализ методики, экспертная оценка, психометрическая состоятельность, методологические требования.
TO SEARCH OF ALGORITHM OF AN OBJECTIVIZATION OF «OBJECTIVE METHODS» IN MODERN RUSSIAN PSYCHOLOGICAL PRACTICE
O.A. Belobrykina, N.S. Lemyasova Novosibirsk State Pedagogical University
Abstract. In article the problem of diagnostic competence of the psychologist including ability to implementation of an assessment of a psychometric solvency of diagnostic techniques is discussed. The tabular form of algorithm of an elementary expert assessment of a diagnostic technique allowing students psychologists on the basis of the comparative analysis of its
description in different sources of a methodical orientation is offered to define its methodological solvency.
Keywords: psychodiagnostics, komparativny analysis of technique, expert assessment, psychometric solvency, methodological requirements.
В последние годы в профессиональном сообществе довольно интенсивно обсуждается проблема диагностической компетентности психологов [7-10; 14]. Значимость научно-практической дискуссии по данному вопросу актуализировалась в связи с включением в функциональные обязанности психолога образования экспертной деятельности.
Согласно проекту «Положения о Службе практической психологии в системе образования Российской Федерации», к одной из ключевых задач психолога образования относят «участие в комплексной психолого-педагогической экспертизе профессиональной деятельности специалистов образовательных учреждений, образовательных программ и проектов, учебно-методических пособий, проводимой по инициативе органов управления образованием или отдельных образовательных учреждений» [11]. Причем, в проекте «Положения ... » экспертная деятельность позиционируется как сквозное направление, реализуемое на всех уровнях управления - федеральном, региональном, муниципальном и на уровне конкретного образовательного учреждения. Её значение состоит в психологическом обеспечении развивающего компонента образования. За психологом в этом случае закрепляется статус независимого эксперта-консультанта по вопросам функционирования образовательной среды и профессиональной деятельности специалистов образовательной сферы [6].
Сегодня в профессиональные обязанности психолога вменяется экспертная оценка:
(а) инновационной деятельности образовательного учреждения (включая образовательные и развивающие
(авторские) программы и проекты, предлагаемые к реализации; методы и формы педагогической работы с учащимися и пр.);
б) психолого-педагогической безопасности
образовательной среды (микроклимат, информационное пространство, характер взаимодействия субъектов образовательного пространства т.п.);
(в) уровня актуального развития ребенка (учащегося, воспитанника);
(г) методического обеспечения образовательного процесса (учебники, дидактические пособия, наглядно-демонстрационный материал, электронные ресурсы и пр.);
(д) коммуникативных средств реализации учебно-воспитательной деятельности (особенности реализации педагогического общения; эмоциональный тонус отношений в диадах «учитель - ученик», «ученик - ученики», учитель -администрация», «учитель - родитель» и др.);
(е) профессиональной деятельности педагогических работников (в том числе, первичная экспертиза аттестационных работ);
и многих других направлений, обусловленных возможными запросами на конкретный вид и тип экспертной деятельности психолога, реализуемый им в пределах уровня своей профессиональной компетентности [4]. Но, даже из этого, минимизированного перечня очевидна востребованность методов психодиагностики, позволяющих специалисту не только осуществить экспертную процедуру, но и объективизировать выводы, представляемые в экспертном заключении. Соответственно, что диагностические методы, избираемые психологом для реализации экспертной оценки, должны полностью отвечать требованиям психометрии и методологии психодиагностики.
В то же время, мы вынуждены констатировать, что многочисленные учебные пособия, практикумы, позиционируемые авторами как методический
инструментарий, необходимый в профессиональной подготовке психологов, включая психодиагностические сборники, выпускаемые в помощь практикующим психологам, в массе своей не являются безупречными. К наиболее типичным «огрехам» в представляемом психодиагностическом инструментарии можно отнести некорректное определение цели применения методики, ошибки в названиях шкал, логике и алгоритме ключа, неполная, искаженная или отсутствующая интерпретация [6; 10]. К сожалению, и на это указывают многие авторы, даже приобретение сертифицированных методик, предлагаемых наиболее авторитетными в России фирмами-производителями, компаниями и издательствами, совсем не гарантирует их безупречности. Фактически
неконтролируемый рынок тиражирования некачественного продукта, якобы предназначенного для получения объективированного знания о клиенте (ребенке, взрослом), повышает риски осуществления «псевдоэкспертной» деятельности, нанесения ущерба субъекту, нуждающемуся в квалифицированной психологической помощи [5; 7; 9].
Вместе с тем, анализ современной психологической практики, представленной, в том числе, во множестве научных и методических публикаций дает основание полагать, что значительная доля специалистов психологического профиля не обременяет себя необходимостью оценки используемого ими арсенала психодиагностических методов и методик [8; 9; 13]. Причем, происходит это не только по причине отсутствия у психолога желания, но, прежде всего потому, что подобный опыт не был актуализирован в процессе профессиональной подготовки на стадии вузовского обучения [1; 7; 10; 15]. Это подтверждается и результатами знакомства с содержанием программ учебных дисциплин, учебно-методических комплексов и общего методического обеспечения курса «Психодиагностика» (в его вариативных наименованиях:
«Основы психодиагностики», «Практикум по психодиагностике», «Психолого-педагогическая
диагностика» и пр.), расположенных на сайтах высших учебных заведений, осуществляющих подготовку по направлениям психологического профиля. Рассмотренные нами учебные и методические материалы свидетельствуют, что основное внимание в преподавании данной дисциплины уделяется обучению студентов работе с определенным перечнем диагностических методов и освоением ими конкретных методик (тестов, опросников и т.п.). Однако практически ни в одном документе, относящемся к обозначенной учебной дисциплине, не представлено информации о формировании у студентов экспертно-аналитической компетентности при осуществлении оценки содержательного качества, психометрической
состоятельности и диагностической информативности методики с точки зрения её адекватности методологическим требованиям, предъявляемым в психодиагностике к психологическому инструментарию [12].
Для восполнения этого пробела были разработаны задания, реализуемые в процессе лабораторно-практических занятий и выполнения студентами психологического факультета самостоятельной работы по учебной дисциплине «Психодиагностика», направленные на формирование диагностической компетентности, предусматривающей освоение алгоритма профессиональной оценки диагностического инструментария [2; 12]. Осваивая схему элементарной экспертной оценки методики (теста, опросника) на практических и лабораторных занятиях, студенты работают в микрогруппах, каждая из которых осуществляет анализ конкретной диагностической методики, сравнивая её описание в разных (не менее трех) источниках. Результаты сравнительно-сопоставительного
(компаративного) анализа обсуждаются в общегрупповом режиме. Навык освоения схемы анализа методики
закрепляется в процессе выполнения студентом самостоятельной работы.
В качестве требований, предъявляемых к подготовке студентами индивидуальных аналитических заключений на методику, выступают следующие (идентичные по ряду пунктов, используемых при групповом анализе):
1) выбор методики для индивидуального анализа осуществляется из предлагаемого преподавателем перечня и по согласованию с ним;
2) анализ методики выполняется не менее, чем по 3 источникам, каждый из которых представляется в полном соответствии с библиографическими требованиями (в обязательном порядке указываются страницы, на которых расположена методика в источнике);
3) допускается использование не более 1 интернет-источника с полным обозначением его выходных данных;
4) выбор идентичных методик разными студентами не допускается;
5) заключение пишется в свободной форме (примерные схемы заключений представлены на сайте Центра Сертификации НОЦ «Психодиагностика» ЮУрГУ [Электронный ресурс]. Режим доступа: http://cc.psytest.ru/ru);
6) анализ методик осуществляется в соответствии с требованиями к методикам, обозначенными в работе Л.Ф.Бурлачука и С.М.Морозова [12];
7) при анализе используются все параметры, представленные в требованиях, включая: наименование методики, автор(ы)-разработчик, год выхода работы, диагностический конструкт (что изучает, по каким параметрам), обследуемая сфера, краткая характеристика методики (структура, наличие параллельных форм или вариаций, тип методики, стимульный материал, область применения, адресная группа, форма проведения), источник (полные выходные данные), достоинства и недостатки;
8) содержание каждого анализируемого показателя конкретизируется и раскрывается с помощью четкой формулировки; его смысловое соответствие методологическим требованиям подтверждается конкретными примерами и фактическими данными из текста методики;
9) обозначается общее и различное в представлении методики в разных источниках;
10) анализируется наличие аналогов, уже имеющихся в арсенале психодиагностики; дается обоснование авторами необходимости модификации методики (если таковая имеется);
11) представляется аргументированная и доказательная собственная точка зрения на методологическое соответствие/несоответствие методики;
12) заключение должно носить аналитический характер, выводы должны быть обоснованы и подтверждаться системой доказательств (с примерами и ссылками по тексту источников, в которых расположены методики, привлечением дополнительных материалов для иллюстративного подтверждения выводов и доказательной базы);
13) работа должна носить аналитический, а не констативно-описательный характер;
14) приветствуется подготовка экспертного заключения на методику в форме текста научной публикации.
Опыт работы с описательной формой подготовки заключений показал, что отдельные студенты испытывают определенные трудности. Это проявляется, в частности, в том, что ими зачастую не учитываются (осознанно или неосознанно) некоторые параметры при оценке методики [3; 4]. «Наибольшую сложность у студентов вызывает необходимость использования логической системы доказательств и аргументации, в том числе, при формулировке выводов, обозначении собственной позиции. Достаточно часто содержание экспертных заключений носит
описательно-констатирующий, а не аналитический характер» [4, с. 97-98]. Это и обусловило необходимость пересмотра схемы оценки диагностических методик для подготовки аналитического заключения.
Таблица 1. Ориентировочная схема анализа и представления методики_
Указать Указать Интернет-
\Источник полные полные источники
выходные выходные (оформляют
данные 1-го данные 2-го ся: Название
источника, источника, методики
включая включая [Электронн
обозначение обозначение ый ресурс]
страниц, на страниц, на //Название
которых которых сайта:
расположена расположена Название
методика методика раздела. -Режим
Параметры \ доступа -http:// (дата
анализа \ обращения))
1. Название
методики Анализ (сходство, различие)
Выводы (как отразится на информативности
№ методики и профессиональном опыте
а Я й специалиста):
- 8 5 1 2. Автор
(модифика-
й * тор) методики
е « а о 2 £ § ! £ 4 &S Л * 3. Цель и предмет (диагностическ
ий конструкт) диагностики Анализ и выводы (с точки зрения влияния на диагностическую состоятельность и информативность методики):
и 4. Краткие исторические
сведения о создании
Анализ (с использованием иллюстративных
диагностики примеров): Выводы доказательные) (аргументированные и
5. Основные аналитичес-кие состав-ляющие методики а) количество шкал (их обозначение)
б) их гомогенность
в) содержание и значение шкал
д) степень психосемантической согласованност и шкал
е) выявление показателей
Анализ (с использованием подтверждающих примеров): Выводы (аргументированные и доказательные):
6. Область применения методики и ее результатов
Анализ (с примеров): Выводы доказательные) использованием конкретных (аргументированные и
7.Характе-
ристика адресной группы и ее соответствие выборочной совокупности Анализ (с использованием иллюстративных примеров): Выводы (аргументированные и доказательные о репрезентативности и возможности экстраполяции результатов методики):
8.Возрастные
границы адресной группы Анализ (с использованием иллюстративных примеров): Выводы (аргументированные и доказательные):
9. Логика
процесса диагностики Анализ (с использованием иллюстративных примеров во времени, условиях проведения диагностической процедуры и пр., представленных (или отсутствующих) в описании методики): Выводы (аргументированные и доказательные):
10. Тип методики а) по объекту оценивания
б) по характеру материала
в) по специфике используемых задач
г) по оцениваемому качеству
11. Специи-
фика инструкции Анализ (с использованием иллюстративных примеров о соответствии формулировок возрасту, особенностям восприятия адресной группы и пр.): Выводы (аргументированные и доказательные):
12. Стимуль-
ный материал Анализ содержания и качества формулировки (смысл, соответствие шкалам, логике ответов по ключу и пр.) каждого утверждения (вопроса и пр.), включенного в стимульный материал Выводы (аргументированные и доказательные):
13. Формы фиксации ответов
Анализ и выводы (с точки зрения проведения диагностической процедуры и удобства обработки эмпирических данных):
14. Обработ-ка результатов
Анализ содержания и качества ключа (логика обработки данных) по каждой шкале и в целом по методики, схемы интерпретации результатов Выводы (аргументированные и доказательные):
Психометрические составляющие 1. Операци-онализация и верификация ключевого понятия, составляющего предмет диагностики
Анализ (с точки зрения влияния на диагностическую состоятельность и информативность методики) с использованием конкретных примеров Выводы (аргументированные и доказательные):
2. Адаптация методики (если таковая проводилась и её вид)
3. Валидизация и проверка теста на надежность в заданной области применения, лонгитюдная стабильность.
Анализ (с точки зрения влияния на диагностическую состоятельность и информативность методики) с учетом представленных в описании методики конкретных статистических сведений и их адекватности Выводы (аргументированные и доказательные):
4. Тип/вид норм (тестовая, школьная, функциональная, возрастная и пр),
характеристика их соответствия для анализа полученных данных и ориентация на обозначен-ную адресную группу, период их разработки или указание времени и места проверки
Анализ (с точки зрения влияния представленных сведений на диагностическую состоятельность и информативность методики)
Выводы (аргументированные и
доказательные):
5. Статистически
обоснован-ные методы подсчета и стандартизации тестовых баллов
Анализ (с точки зрения влияния представленных сведений на диагностическую состоятельность и информативность методики)
Выводы (аргументированные и
доказательные):
а
о
№
ев
Ч о В о
1. Указание на наличие эквивалентных форм
Анализ и выводы (с точки зрения значимости при повторном обследовании и соотносимости результатов в динамике):_
2. Требования к квалификации и уровню подготовки диагноста
Анализ (с точки зрения влияния представленных сведений на диагностическую состоятельность и информативность методики, вероятностное качество ее проведения и достоверности получаемых сведений)
Выводы (аргументированные и доказательные):_
3. Наличие
ссылки на Анализ и выводы (с точки зрения
первоисточ- возможности нахождения аналоговой
ник (оригинальный авторский вариант) методики):
4. Сведения о
сертификации Анализ и выводы (с точки профессиональной
методики (где, компетентности сертификационного органа,
кем, когда) наличия конкретных результатов
сертификации и рекомендаций по
применению):
5. Критические
замечания по
тесту в опубликован- Анализ (степень их содержательности и адекватности):
ных источниках Выводы доказательные) (аргументированные и
1.Достоинст-ва
методики
(теста)
2. Недостатки
и ограничения
сЗ И Соответствие
= и психометрии-
О ческим
к а требованиям
са о Рекомендации
о н по
S применению методики (возможность и условия использования)
Обобщенные
выводы
Для наглядности результатов компаративного анализа текстов методик, представленных в различных источниках методической направленности, исходная схема элементарной экспертной оценки психометрической состоятельности
диагностических методик (тестов, опросников) была преобразована в табличную форму (табл. 1) и апробирована инициативной группой студентов при подготовке индивидуальных заключений.
Заметим, что предложенная схема применима к оценке и проективных методик. Однако, если проективная процедура не является частично стандартизированной, то в аналитическом заключении допускается отсутствие сведений о валидности и других статистических показателях методики.
На основе предложенной схемы к настоящему времени подготовлены (и опубликованы в форме научных статей) аналитические заключения на следующие методики:
Стандартизированные
1. «Анализ семейных взаимоотношений» (АСВ) (Э.Г.Эйдемиллер и В.В.Юстицкис).
2. «Мотивационная структура личности» (В.Э.Мильман).
3. «Школьная мотивация» (Н.Г.Лусканова).
4. «Диагностика «помех» в установлении эмоциональных контактов» (В.В.Бойко).
5. «Дифференциальная диагностика депрессивных состояний» (предложена В.Зунге, в адаптации Т.И.Балашовой).
6. «Методика диагностики агрессивных и враждебных реакций» (А.Басс и А.Дарки).
7. «Определение стрессоустойчивости и социальной адаптации» (Т.Холмс и Р.Раге).
8. «Диагностика эмоциональных барьеров в межличностном общении» (В.В. Бойко).
9. «Диагностика потребности в поисках ощущений» (М.Цукерман).
Проективные
1. «Человек под дождем» (Е.В.Романова и Т.И.Сытько).
2. «Дерево» (Л.П. Пономаренко).
3. «Методика косвенного исследования системы самооценок (КИСС)» (Е.О.Федотова).
4. «Разноцветные двери: ассоциативный тест» (автор не указан).
5. «Кактус» (М.А.Панфилова).
Очевидная эффективность табличной формы позволила использовать её в преподавании ряда учебных дисциплин, содержание которых предполагает ознакомление с диагностическими методами по предметной направленности (например, «Возрастная психология и психология развития», «Социальная психология», «Основы профориентологии», «Экспертная деятельность психолога образования», «Проективная диагностика» и др.).
Список литературы
1. Белобрыкина О.А. Противоречия и парадоксы психодиагностики в деятельности психолога образования // Социально-гуманитарные и экономические науки. XXI век: Материалы (сборник статей участников) Всероссийской научно-практической конференции: к 10-летию филиала РГГУ в г. Магадане (ноябрь 2011 г.) / сост. А.Ю.Волчков, К.А.Логун. Магадан: ИП Кацубина Т.В., 2012. С.147-150.
2. Белобрыкина О.А. Обучение студентов элементарным основам профессиональной оценки диагностического инструментария // Современные проблемы психодиагностики: материалы межвузовской научно-практической конференции / под общ. ред. проф. И.А.Воронова. СПб.: Изд-во Санкт-Петербургского института психологии и акмеологии, 2012. С. 50-56.
3. Белобрыкина О.А. Профессиональное саморазвитие студента в условиях освоения позиции эксперта // Психология саморазвития человека: материалы IV Всероссийской научной конференции с международным
участием (3-5 июня 2014 г.) / ред. Н.А.Низовских. Киров: Изд-во ВятГГУ, 2014. С. 97-104.
4. Белобрыкина О.А. Рефлексия опыта обучения студентов освоению позиции эксперта //Психолого-педагогические технологии в условиях инновационных процессов в медицине и образовании: материалы VI Международной научно-практической конференции (Кемер, Турция, 26 апреля - 7 мая 2015 г.) / под науч. ред. В.И. Хаснулина, М.Г. Чухровой, О.А. Белобрыкиной. -Новосибирск: Немо Пресс, 2015. С. 93-100.
5. Кошенова М.И. Особенности и закономерности личностного и профессионального становления студентов-психологов // Человек в контексте эпохи: материалы региональной научной конференции, посвященной 85-летию М.Е. Бударина (30 ноября 2005 г.). Омск: ОмГПУ, 2005. С. 147-149.
6. Кошенова М.И. Психологическая служба вуза как ресурс для становления личностной и профессиональной идентичности студентов // Психология образования: подготовка кадров и психологическое просвещение: материалы IV Национальной научно-практической конференции (11-13 декабря 2007 г., Москва). М.: Общероссийская общественная организация «Федерация психологов образования России», 2007. С. 383-384.
7. Кошенова М.И. О практическом компоненте подготовки педагога-психолога // Психолого-педагогическое обеспечение инновационных процессов в образовании: материалы Всероссийской научно-практической конференции (12-14 ноября 2007 г.) / ред. колл.: Т.Л. Чепель, Т.П. Абакирова, И.Н. Новичихина. В 2 ч.: Ч. 1. Новосибирск: Изд-во НИПКиПРО, 2007. С. 377-379.
8. Лемясова Н.С., Белобрыкина О.А. Диагностическая компетентность в структуре профессионального самоопределения психологов правоохранительной сферы // Актуальные проблемы профориентологии на современном
этапе развития общества: материалы всерос. науч.-прак. конф. (г. Новосибирск, 22-23 октября 2015 г.). Новосибирск: Изд-во СГУПСа, 2016. С.253-262.
9. Лидерс А.Г. О культуре публикаций психодиагностических методик // Психологическая диагностика. 2003. № 2. С.44-53.
10. Ожеховская Л.В., Белобрыкина О.А. Диагностический инструментарий в работе психолога: проблемы и парадоксы (на примере современной практики психологов г. Новосибирска) // Психодиагностика. 2006. № 4. С.92-112.
11. Положение о Службе практической психологии в системе образования Российской Федерации» (Проект) // Школьный психолог [официальный сайт]. Раздел: Документы. 2006. № 21. URL: https://psy.1september.ru/article.php?ID=200602110; https://psy.1september.ru/article.php?ID=200602111 (дата обращения: 10.09.2016).
12. Стандартные требования к психологическим тестам: Приложение 2 Б // Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. СПб.: Питер, 2009. С.410-450.
13. Чупров Л.Ф. «Федот, да не тот» или метаморфозы методик Э.Ф. Замбацявичене и «Словесных субтестов» // Вестник по педагогике и психологии Южной Сибири. 2012. № 1-2. С. 42-61.
14. Чупров Л.Ф. Работа психолога как судебно-психологического эксперта // NovaInfo.Ru. 2011. № 3. С. 163172.
15. Чупров Л.Ф. Судебно-психологическая экспертиза в работе психолога образования // Вестник по педагогике и психологии Южной Сибири. 2015. № 1. С. 100-113.
References
1. Belobrykina O.A. Protivorechija i paradoksy psihodiagnostiki v dejatel'nosti psihologa obrazovanija // Social'no-gumanitarnye i jekonomicheskie nauki. XXI vek: Materialy (sbornik statej uchastnikov) Vserossijskoj nauchno-prakticheskoj konferencii: k 10-letiju filiala RGGU v g. Magadane (nojabr' 2011 g. ) / sost. A.Ju.Volchkov, K.A.Logun. Magadan: IP Kacubina T.V., 2012. S.147-150.
2. Belobrykina O.A. Obuchenie studentov jelementarnym osnovam professional'noj ocenki diagnosticheskogo instrumentarija // Sovremennye problemy psihodiagnostiki: materialy mezhvuzovskoj nauchno-prakticheskoj konferencii / pod obshh. red. prof. I.A.Voronova. SPb.: Izd-vo Sankt-Peterburgskogo instituta psihologii i akmeologii, 2012. S. 50-56.
3. Belobrykina O.A. Professional'noe samorazvitie studenta v uslovijah osvoenija pozicii jeksperta // Psihologija samorazvitija cheloveka: materialy IV Vserossijskoj nauchnoj konferencii s mezhdunarodnym uchastiem (3-5 ijunja 2014 g.) / red. N.A.Nizovskih. Kirov: Izd-vo VjatGGU, 2014. S. 97-104.
4. Belobrykina O.A. Refleksija opyta obuchenija studentov osvoeniju pozicii jeksperta //Psihologo-pedagogicheskie tehnologii v uslovijah innovacionnyh processov v medicine i obrazovanii: materialy VI Mezhdunarodnoj nauchno-prakticheskoj konferencii (Kemer, Turcija, 26 aprelja - 7 maja 2015 g.) / pod nauch. red. V.I. Hasnulina, M.G. Chuhrovoj, O.A. Belobrykinoj. - Novosibirsk: Nemo Press, 2015. S. 93-100.
5. Koshenova M.I. Osobennosti i zakonomernosti lichnostnogo i professional'nogo stanovlenija studentov-psihologov // Chelovek v kontekste jepohi: materialy regional'noj nauchnoj konferencii, posvjashhennoj 85-letiju M.E. Budarina (30 nojabrja 2005 g.). Omsk: OmGPU, 2005. S. 147-149.
6. Koshenova M.I. Psihologicheskaja sluzhba vuza kak resurs dlja stanovlenija lichnostnoj i professional'noj identichnosti studentov // Psihologija obrazovanija: podgotovka kadrov i
psihologicheskoe prosveshhenie: materialy IV Nacional'noj nauchno-prakticheskoj konferencii (11-13 dekabrja 2007 g., Moskva). M.: Obshherossijskaja obshhestvennaja organizacija «Federacija psihologov obrazovanija Rossii», 2007. S. 383-384.
7. Koshenova M.I. O prakticheskom komponente podgotovki pedagoga-psihologa // Psihologo-pedagogicheskoe obespechenie innovacionnyh processov v obrazovanii: materialy Vserossijskoj nauchno-prakticheskoj konferencii (12-14 nojabrja 2007 g.) / red. koll.: T.L. Chepel', T.P. Abakirova, I.N. Novichihina. V 2 ch.: Ch. 1. Novosibirsk: Izd-vo NIPKiPRO, 2007. S. 377-379.
8. Lemjasova N.S., Belobrykina O.A. Diagnosticheskaja kompetentnost' v strukture professional'nogo samoopredelenija psihologov pravoohranitel'noj sfery // Aktual'nye problemy proforientologii na sovremennom jetape razvitija obshhestva: materialy vseros. nauch.-prak. konf. (g. Novosibirsk, 22-23 oktjabrja 2015 g.). Novosibirsk: Izd-vo SGUPSa, 2016. S.253-262.
9. Liders A.G. O kul'ture publikacij psihodiagnosticheskih metodik // Psihologicheskaja diagnostika. 2003. № 2. S.44-53.
10. Ozhehovskaja L.V., Belobrykina O.A. Diagnosticheskij instrumentarij v rabote psihologa: problemy i paradoksy (na primere sovremennoj praktiki psihologov g. Novosibirska) // Psihodiagnostika. 2006. № 4. S.92-112.
11. Polozhenie o Sluzhbe prakticheskoj psihologii v sisteme obrazovanija Rossijskoj Federacii» (Proekt) // Shkol'nyj psiholog [oficial'nyj sajt]. Razdel: Dokumenty. 2006. № 21. URL: https://psy.1september.ru/article.php?ID=200602110; https://psy.1september.ru/article.php?ID=200602111 (data obrashhenija: 10.09.2016).
12. Standartnye trebovanija k psihologicheskim testam: Prilozhenie 2 B // Burlachuk L.F., Morozov S.M. Slovar'-spravochnik po psihodiagnostike. SPb.: Piter, 2009. S. 410-450.
13. Chuprov L.F. «Fedot, da ne tot» ili metamorfozy metodik Je.F. Zambacjavichene i «Slovesnyh subtestov» //
Vestnik po pedagogike i psihologii Juzhnoj Sibiri. 2012. № 1-2. S. 42-61.
14. Chuprov L.F. Rabota psihologa kak sudebno-psihologicheskogo jeksperta // NovaInfo.Ru. 2011. № 3. S. 163172.
15. Chuprov L.F. Sudebno-psihologicheskaja jekspertiza v rabote psihologa obrazovanija // Vestnik po pedagogike i psihologii Juzhnoj Sibiri. 2015. № 1. S. 100-113.
