CC BY
98
Психологические науки
УДК 316.624+159.9.072
К ВОПРОСУ О КАЧЕСТВЕ ДИАГНОСТИЧЕСКОГО ИНСТРУМЕНТАРИЯ ДЛЯ ВЫЯВЛЕНИЯ СКЛОННОСТИ К ДЕВИАНТНОМУ ПОВЕДЕНИЮ
(НА ПРИМЕРЕ АНАЛИЗА УЧЕБНОГО ПОСОБИЯ)2
М. А. Шаманаева
Новосибирский государственный педагогический университет (Новосибирск, Россия) Л. А. Дудко
Новосибирский государственный педагогический университет (Новосибирск, Россия) Д. С. Стаценко
Новосибирский государственный педагогический университет (Новосибирск, Россия)
Аннотация. В статье рассматривается проблема качества диагностического инструментария, рекомендуемого к применению для выявления склонности к девиантному поведению. На примере анализа учебного пособия по девиантологии анализируется смысловое содержание методик и их соответствие требованиям, предъявляемым к методам психодиагностики.
Ключевые слова: девиантное поведение, психодиагностический инструментарий, методики, психометрические характеристики, учебное пособие
2 Работа выполнена под научным руководством Кошеновой М.И., канд. психол. наук, доцента, зав. кафедры социальной психологии и виктимологии ФГБОУ ВО «НГПУ»
UDC 316.624+159.9.072
TO THE QUESTION OF THE QUALITY OF DIAGNOSTIC TOOLS TO IDENTIFY THE
TENDENCY TO DEVIANT BEHAVIOR (BY EXAMPLE, THE ANALYSIS OF THE TEXTBOOK)
M. A. Shamanayeva
Novosibirsk State Pedagogical University (Novosibirsk, Russia)
L. A. Dudko
Novosibirsk State Pedagogical University (Novosibirsk, Russia)
D. S. Statsenko
Novosibirsk State Pedagogical University (Novosibirsk, Russia)
Abstract. The article considers the problem of the quality of the diagnostic tools recommended for application for detection of deviant behavior tendency. Examining the textbook on deviantology, the semantic maintenance of methods and their compliance to requirements imposed to psychodiagnostics methods are analyzed.
Keywords: deviant behavior, psychodiagnostic tools, methods, psychometric characteristics, textbook
Проблема девиантного поведения личности в настоящее время является актуальной в связи с прогрессирующим ростом количества девиаций в подростковом возрасте, что, в свою очередь, фокусирует внимание исследователей и практиков на наличии релевантного и надежного диагностического инструментария, дефицит которого наблюдается сегодня чрезвычайно остро.
Психологическая диагностика школьников, студентов начальных и средних профессиональных учебных заведений, а также учреждений высшего образования на склонность к суициду, аддиктивному и девиантному поведению фактически становится обязательным элементом
мониторинга социально-психологических проблем развития личности, определения приоритетов организации образовательного пространства и коррекционно-развивающей работы, а также качества воспитательной работы [3; 4].
В то же время вопросы качества диагностического инструментария, применяемого для постановки психологического диагноза и определения психологического прогноза, являются остро дискуссионными, а некомпетентное применение неадекватного инструментария не только приводит к репутационным потерям психологов в области образования и социальной сферы, но и «повышает риск возникновения псевдопрофессионализма, особенно для тех, кто находится в начале своего профессионального пути» [2, с. 68].
Студент-психолог, студент-девиантолог, студент-педагог еще в процессе профессионального становления, обучения в вузе, при выполнении учебных заданий и исследовательских проектов научается некритично применять психологический инструментарий, который предоставляет необъективные данные. Диагностический инструментарий «добывается» в интернете, из различных сборников тестов, случайных «распечаток» и из учебных пособий (так как сложившаяся в России практика психодиагностики характеризуется общей доступностью диагностических материалов и, по сути, не регламентирует требования к уровню квалификации диагноста) [1]. Как правило, диагностический материал, представленный в учебниках и учебных пособиях, предназначенных для специалистов, априори считается наиболее качественным. Именно в надежде на отбор качественного диагностического инструментария, который можно будет уверенно включить в портфолио методического профессионального обеспечения собственной деятельности, нами и было проведено мини-исследование в рамках учебной дисциплины «Психология девиантного поведения».
Целью нашего исследования являлся анализ качества диагностического инструментария для выявления склонности к девиантному поведению, представленного в учебном пособии Е.В. Змановской и В.Ю. Рыбникова «Девиантное поведение личности и группы», вышедшего в 2010 году и адресованного широкому кругу специалистов: психологам, педагогам, юристам, врачам и социальным работникам.
Как указывают авторы учебного пособия, ими была разработана и апробирована методика комплексной диагностики девиантного поведения личности, включающая блок из 7 методик, рекомендуемая в целях выявления склонности к девиантному поведению или психологических особенностей личности с уже сформированной девиацией. В издании предлагаемый блок представлен следующими методиками:3
1. Методика диагностики склонности к отклоняющемуся поведению - СОП. Автор: не указан.
2. Шкала социально-психологической адаптации (СПА). Авторы: К. Роджерс, Р. Даймонд (методика адаптирована Т. В. Снегиревой).
3. Шкала социальной фрустрации (методика определения уровня социальной фрустрации). Автор: в модификации НИИ им. В. М. Бехтерева.
4. Шкала совестливости (методика готовности следовать социальным нормам). Авторы: В. М. Мельников и Л. Т. Ямпольский.
5. Опросник Т. Лири (опросник межличностных отношений). Авторы: Т. Лири, Г. Лефож, Р. Сазек (адаптирован Л.И. Собчик).
3 Название методик, указание на их авторов и модификаторов представлено в полном соответствие с тем, как они обозначаются в пособии.
6. Опросник Плутчика-Келлермана-Конте (опросник психологических защит). Авторы: Плутчик, Келлерман, Конте.
7. Шкала субъективной оценки значимых отношений. Автор: Е.В. Змановская.
Как видим, в блок методик для комплексного психологического обследования потенциальных или состоявшихся девиантов включены 2 методики, явно направленные на выявление склонности к девиантному поведению - «СОП» и «Шкала совестливости» (методика готовности следовать социальным нормам), а также методики на выявление личностных особенностей, которые могут рассматриваться в качестве предиктора формирования девиантного поведения.
Кроме этого, в приложении представлены:
8. Карта риска суицида. Автор: не указан.
9. «Приемы устранения кратковременного стресса» (не является методикой, выступает в роли тренинговых упражнений). Автор: не указан.
10. Методика «Кассандра». Авторы: В. Ю. Рыбников, В. А. Юренкова, Е. Б. Пашечко.
11. Методика «Психологический анализ неуставных отношений» (ПАНО). Авторы: В. Ю. Рыбников, Ф.И. Черногор, А. Б. Акуленко.
Таким образом, еще три методики позиционируются как диагностический инструментарий, позволяющий выявить склонность к девиантному поведению.
Следует отметить, что в пособии структура расположения методик и приложений к ним крайне неудобна для использования. Информация разбросана по тексту и хаотична, что создает путаницу при работе с данным пособием, а также значительно усложняет анализ и восприятие материала.
В нашу задачу входило выявление психометрической состоятельности только тех психодиагностических методик,
которые позиционируются как непосредственно предназначенные для выявления девиантности (методики 1, 4, 8, 10, 11), и в том варианте, в котором они представлены в рассматриваемом методическом пособии.
Анализ методик по критериям диагностической состоятельности психологического инструментария [1] позволил обнаружить следующее: Методика диагностики склонности к отклоняющемуся поведению (СОП):
Методика предназначена для измерения готовности (склонности) и реализации различных форм отклоняющегося поведения.
В первую очередь необходимо отметить отсутствие указания на автора методики, что сразу вызывает настороженность, так как непонятно, на ком лежит ответственность за разработку данной методики. Однако при описании методики авторы делают ссылку на две работы, из которых она бралась для представления в анализируемом учебном пособии - это работа одного из соавторов (Змановская Е.В. Девиантология: учеб. пособие. 5-е издание. М., 2008) и учебное пособие, подготовленное группой авторов (Фетискин Н.П., Козлов В.В., Мануйлов Г.М. Социально-психологическая диагностика развития личности и малых групп. М., 2005), причем, только во втором пособии в качестве автора указан А.Н. Орел.
В источнике, представленном в сети Интернет как официальный психологический ресурс, отмечается, что методика была разработана под руководством А.Н. Орла в Вологодском центре гуманитарных исследований и консультирования «Развитие» в 1992 году.4 Однако источника, в котором был бы представлен оригинальный вариант методики, найти не удалось, хотя во многих изданиях делается ссылка на следующую работу автора: Орел А. Н.
4 Психологи. URL: https://www.Ы7.m/fomm/topic.php?id=14540
Проблемы измерения психологических характеристик девиантного поведения (Стендовый доклад. Вологда. Центр гуманитарных исследований и консультирования «Развитие»), но и её поиски в библиотечных фондах, в том числе и расположенных в сети Интернет, также оказались безрезультатными. Вместе с тем в ряде пособий, в которых представлена данная методика, отмечается, что она включает 108 утверждений в женском варианте и 98 утверждений - в мужском [5]. Нами обнаружено, что в пособии Е.В. Змановской и В. Ю. Рыбникова в методике СОП отсутствует утверждение № 46 («Когда люди стремятся к новым, необычным ощущениям и переживаниям - это нормально») как в мужском, так и в женском вариантах. По какой причине было исключено это утверждение - непонятно. Однако ключ методики (и в женском, и в мужском вариантах) остался прежним, но «сдвинулся» из-за того, что одним утверждением стало меньше и часть утверждений переместилась в другие шкалы, а, соответственно, они потеряли свою информативность и объективность.
Для содержательного анализа мы обратились к рассмотрению женского варианта методики. Знакомство с текстом стимульного материала показало наличие пяти «пустых» утверждений, не задействованных в интерпретации результатов, а также больше двух десятков вопросов, входящих одновременно в несколько диагностических шкал, что свидетельствует о их неспособности дифференцировать измеряемый показатель.
В части шкал были обнаружены значительные содержательно-смысловые ошибки в формулировке ряда утверждений. Например, в шкале «Склонности к нарушению норм и правил» содержится утверждение № 10 («Мне нравится, когда моя одежда и внешний вид раздражают людей старшего поколения») с отрицательным знаком в ключе (предполагается ответ «нет»). Однако вопрос в данной
шкале может быть учтен только в случае изменения знака ключа на противоположный - ответ «да».
В каждой из шкал были обнаружены вопросы, не соответствующие измеряемому показателю. Приведем лишь некоторые примеры.
Шкала склонности к нарушению норм и правил: утверждения № 50 («Мне бы понравилась профессия дрессировщицы хищных зверей»), № 91 («Когда я стою на мосту, то меня так и тянет прыгнуть вниз»).
Шкала склонности к аддиктивному поведению: утверждение № 64 («Некоторые люди побаиваются меня»).
Шкала склонности к самоповреждающему и саморазрушающему поведению: утверждения № 92 («Всякая грязь меня пугает или вызывает сильное отвращение»), № 99 («Чтобы добиться успеха в жизни, девушка должна быть сильной и уметь постоять за себя»).
Шкала склонности к агрессии и насилию: утверждения № 49 («Во время путешествий и поездок я люблю отклоняться от обычных маршрутов»), № 104 («Мне нравится готовить, заниматься домашним хозяйством»).
Шкала волевого контроля эмоциональных реакций: утверждения № 57 («Мне нравится слушать или читать о кровавых преступлениях или о катастрофах»), № 94 («Я считаю, что люди должны отказаться от всякого употребления спиртных напитков»).
Шкала склонности к делинквентному поведению: утверждения № 1 («Я стремлюсь в одежде следовать самой современной моде или даже опережать ее»), № 53 («Бывает, что я с интересом слушаю неприличный, но смешной анекдот»).
Шкала принятия женской социальной роли: утверждения № 51 («Мне нравится ощущать скорость при быстрой езде на автомобиле и мотоцикле»), № 73 («Вредное воздействие на человек алкоголя и табака сильно преувеличивают»).
Таким образом, обнаружено, что из 102 утверждений (так как 5 утверждений маскировочные) 50 утверждений (49 %) не измеряют заданных в шкалах факторов. Отметим также, что больше двух десятков вопросов, входит одновременно в несколько диагностических шкал (например, вопросы № 1, 3, 5, 7, 25, 31, 43, 98, 96, 99 и др.), то есть, по сути, не выполняют дифференцирующую и критериальную функцию.
Все вышесказанное позволяет нам утверждать, что обозначенные шкалы диагностически несостоятельны и не могут объективно интерпретироваться. Кроме того, обнаружено, что в описании методики отсутствуют рекомендации по сопровождению и требования к квалификации и уровню подготовки специалиста, что делает методику доступной для всех желающих. В целом методику нельзя признать психометрически состоятельной.
Дополнительно следует отметить, что методика «СОП», представленная, кроме анализируемого пособия, и во многих других источниках методической и учебной направленности, «не может быть признана методологически состоятельной и пригодной к её практическому применению в диагностической деятельности психолога, равно как и при проведении научных исследований по педагогике и психологии» [5, с. 225].
Шкала совестливости (методика готовности
следовать социальным нормам): Авторы: В. М. Мельников и Л. Т. Ямпольский.
Методика представлена как ориентированная на измерение степени уважения к социальным нормам и этическим требованиям. Однако как свидетельствует содержательный анализ, в данной методике очень мало вопросов, что не охватывает в полной мере свойств измеряемого явления. Кроме того, предлагаемая интерпретация не предоставляет развернутой характеристики полученных результатов, она лишь дифференцирует
полученные данные на низкий, средний и высокий уровни. Сведения о психометрической состоятельности и каких-либо рекомендациях и требованиях к специалисту и проведению методики отсутствуют.
Заметим также, что в методике имеется ряд утверждений, которые вызывают сомнения. В частности, утверждение № 10 («Я думаю, что существует одно-единственное правильное понимание жизни») - неизвестно, какое именно понимание предполагается в варианте правильного ответа и насколько оно соответствует социальным и этическим нормам, а, кроме того, скорее идентифицирует авторитарную или ограниченную, «квадратную» личность; утверждение № 12 («Я человек твердых убеждений») сформулировано весьма неопределенно, так как убеждения могут как соответствовать принятым в обществе нормам, так и противоречить им, например, быть экстремистскими или нацистскими; утверждение № 13 («Я люблю беседы и лекции на серьезные темы») по содержанию формулировки никак не соотносится с социальными нормами, а отражает либо вкус, либо интересы субъекта.
Итого - из 14 утверждений 5 не соответствуют измеряемому параметру, что составляет почти 36%, а, следовательно, методика не может считаться информативной с точки зрения измерения степени уважения к социальным нормам и этическим требованиям.
Карта риска суицида:
Автор методики не указан ни в приложении, ни в основном тексте учебного пособия, равно как и не представлены сведения о валидности и надежности.
Все позиции соответствуют заявленным шкалам (например, утверждения № 2 («Суицидальные попытки у родственников») и № 4 («Недостаток тепла в семье в детстве») относятся к шкале «Биографические данные») и в целом позволяют охватить все стороны жизнедеятельности
личности, включая биографические данные, сведения о текущих конфликтах и личностные склонности к суицидальному поведению. Однако затруднено понимание логики дифференциации баллов по выраженности заявленных в методике характеристик. Например, по утверждению № 1 («Ранее имела место попытка суицида») за ответ «не выявлен» назначается -0,5 баллов, «слабо выражен» - +2 балла, «сильно выражен» - +3 баллов. По утверждению № 3 («Развод или смерть одного из родителей») за вариант ответа «не выявлен» задается -0,5 баллов, «слабо выражен» -+1 балл, «сильно выражен» - +2 балла. Кроме того, не вполне понятно, как, исходя из чего и по какому принципу определялись начисляемые баллы. Что, в частности, могут обозначать «слабо» или «сильно выраженные» смерть и развод? Для нас представить это оказалось более чем проблематично.
Следует также отметить, что в методике «Карта риска суицида» отсутствуют какие-либо теоретические и психометрические сведения о ее разработке, не задано обоснование логики распределения и выставления баллов для утверждений, не представлена схема интерпретации полученных данных. Все это не дает оснований признать ее методологически состоятельной.
Методика «Кассандра»:
Авторы методики: В. Ю. Рыбников, В.А. Юренкова, Е.Б. Пашечко.
Диагностическая методика предназначена для ранней психодиагностики риска наркомании у сотрудников органов внутренних дел, кандидатов на службу и учебу в образовательные учреждения МВД России.
Как отмечают авторы пособия, в методике имеется два варианта: 116 и 241 утверждение. Причем в «полном» варианте в ключе задействовано 241 утверждение, тогда как в стимульном материале, расположенном в приложении, их 260. Вместе с тем, из 260 утверждений, представленных в
приложении, в перечне отсутствует 21 утверждение (с 147 по 166), хотя в ключе они присутствуют. Данный факт не предоставляет возможности оценить, соответствуют ли отсутствующие утверждения шкалам, к которым они отнесены, но в качестве иллюстрации для понимания содержательной состоятельности шкал приведем примеры имеющихся утверждений.
Так, в кратком варианте по шкале «Личностные предпосылки» в ключе не присутствует ни одного номера утверждения.
По шкале «Отношение к проблеме наркомании» в ключе при интерпретации данных отмечается, что «чем больше баллов по шкале, тем терпимее отношение к образу жизни наркоманов». Однако, на наш взгляд, утверждение № 77 («Сначала следует найти стабильный источник финансового благополучия, а потом можно позволить себе любой образ жизни») не имеет прямого отношения к обозначенной шкале.
К шкале «Биогенетические предпосылки» приписаны утверждения № 7 («Я рос и воспитывался без отца») и № 15 «В моей семье есть проблемы»), которые никакого отношения к диагностике биогенетических предпосылок наркомании не имеют.
К шкале «Психосоциальные предпосылки» по смыслу не относится утверждение № 104 («Я не люблю читать книги»), хотя и приписано к ней. Идентичная ситуация со шкалой «Риск нервно-психического срыва», к которой отнесено утверждение № 58 («Среди моих знакомых есть люди, которые меня раздражают»), не имеющее к ней ни прямого, ни косвенного отношения.
В полном варианте в шкалу «Отношение к проблеме наркомании» включены утверждения № 100 («У меня бывают периоды такого сильного беспокойства, когда я не могу долго усидеть на месте»), № 143 («Ненавижу, когда я должен спешить в работе»), № 194 («В моей семье есть очень
нервные люди»), которые содержательно именно к этой шкале не имеют никакого отношения.
К шкале «Личностные предпосылки» приписаны утверждения № 15 и № 50, формулировка которых полностью идентична: «Номер данного пункта следует обвести кружочком». Эти утверждения, на наш взгляд, вообще не несут какой-либо полезной (или понятной нам) информации и смысловой нагрузки, они, вероятно, включены для того, чтобы проверить, читают ли вообще респонденты предлагаемые вопросы.
В шкалу «Биогенетические предпосылки» включены утверждения № 122 («Я никогда не нарушал закона») и № 172 («Иногда я говорю неправду»), не имеющие по содержанию формулировки к ней никакого отношения.
Шкала «Психосоциальные предпосылки» содержит утверждения № 110 («В школе я плохо усваивал материал») и № 196 («Я часто вижу сны»), формулировки которых не отражают измеряемого качества.
В шкалу «Риск нервно-психического срыва» включено утверждение № 9 («Бывали случаи, что я не сдерживал своих обещаний»), не отражающее сути измеряемого явления.
А по шкале «Достоверность» утверждение № 118 («Я люблю детей»), видимо, предполагает, что если вдруг респондент любит детей, то он точно лжёт. Вероятно, такой подход отражает отношение к детям самих разработчиков.
Важно отметить, что в пособии присутствует интерпретация по всем представленным шкалам методики, однако развернутая характеристика указана не для всех показателей по шкалам. Например, в шкале «Осведомленность» присутствует интерпретация только для лиц, которые по ней набрали от 7 до 9 баллов, тогда как интерпретация других результатов не представлена.
Исходя из анализа возможностей диагностических шкал, можно говорить о том, что в методике отсутствуют какие-либо психометрические сведения. Интерпретация
полученных данных по методике недостаточно развернута, большая часть утверждений (22% в неполном варианте методики и 86% в полном варианте) не позволяет измерить заявленный диагностический конструкт.
Методика «Психологический анализ неуставных отношений» (ПАНО):
Авторы: В.Ю. Рыбников, Ф.И. Черногор, А.Б. Акуленко.
Методика предназначена для исследования особенностей мотивации в сфере взаимоотношений и позволяет выделить лиц с психологической готовностью (установкой) поддерживать неуставные отношения (они рассматриваются как вариант делинквентного поведения в специфических условиях военной службы), так называемую дедовщину, и лиц с установкой противодействовать этим негативным явлениям. Методика позволяет также проанализировать отягощенный анамнез (как медицинский, так и социальный) обследуемых, оценить степень их удовлетворенности службой и риска совершения суицида.
Из 9 шкал полностью рабочими могут выступать только 6 шкал, остальные шкалы представляются достаточно проблематичными.
Содержательно-семантический анализ шкал «Активная поддержка НО», «Формальная поддержка НО», «Формальное осуждение НО», «Констатация фактов НО», «Удовлетворенность службой», «Ложь» показал, что утверждения, относящиеся к ним, в целом соответствуют измеряемым показателям. В то же время, по шкале «Активное противодействие» в утверждении № 85 («Лучше работать за двоих на первом году службы, зато на последнем отдыхать») обозначена устаревшая для современной реальности информация, так как в настоящее время служба в армии (кроме контрактной основы) длится всего один год.
В шкале «Отягощенный анамнез» утверждение № 46 («Я не доволен тем, как ко мне относятся в коллективе»)
может рассматриваться как фактор риска, но абсолютно непонятно, почему это «отягощенный анамнез».
Шкала «Риск суицида» включает утверждения № 63 («В подразделении есть люди, которые меня раздражают»), № 89 («В подразделении у меня много друзей»), но их роль в качестве индикаторов суицидального риска весьма сомнительна.
Следует также отметить, что интерпретация по шкалам практически отсутствует, хотя имеются незначительные пояснения лишь по шкале «Риск суицида», которые дифференцированы на три уровня, поясняющих склонность к пессимистическому реагированию, его наличие или депрессивное реагирование, что не может в полной мере отразить все аспекты риска суицида.
Мы полагаем, что методика «Психологический анализ неуставных отношений» (ПАНО) позволяет выявить тенденции к реализации неуставных отношений (как проявление делинквентного поведения). Исходя из этого она может быть рекомендована к использованию на узком круге респондентов, так как измеряет параметр, характерный для лиц, проходящих воинскую службу. Однако с учетом того обстоятельства, что в методике отсутствует дифференцированная интерпретация данных по всем шкалам, ее применение будет достаточно ограничено в столь значимой части, как формулировка индивидуальных рекомендаций для каждого обследуемого по результатам диагностики.
Также в пособии отсутствуют психометрические данные о валидности, надежности и стандартизации данной методики и требования к профессиональной компетентности диагноста.
В целом методика требует незначительной корректировки и дополнений (в части представления интерпретации данных, рекомендаций по дальнейшему
использованию результатов, обозначения психометрических характеристик).
Подводя краткий итог, отметим, что учебное пособие «Девиантное поведение личности и группы» Е.В. Змановской и В.Ю. Рыбникова не может быть рекомендовано в качестве надежного источника представления методико-диагностического инструментария. Это обусловлено тем, что подавляющее большинство методик, заявленных именно как методики изучения склонности к девиантному поведению, не могут выполнять свою прямую функцию. Мы не можем в полной мере судить о качестве методик, так как в пособии отсутствует часть информации, а также имеется много опечаток и ошибок в названиях методик, количестве вопросов и самих приложениях к пособию.
Важно и то, что специалисты (как будущие, так и уже работающие по девиантологическому профилю), не обладающие достаточно сформированной профессиональной рефлексией, адекватной этико-диагностической
компетентностью, желанием и способностью к анализу учебного и методического обеспечения своей деятельности [1; 2], имеют высокий риск депрофессионализации.
Список литературы
1. Белобрыкина О.А., Лемясова Н.С. К поиску алгоритма объективизации «объективных методов» в современной российской психологической практике //PEM: Psychology. Educology. Medicine. 2016. № 2. С. 80 - 99.
2. Белобрыкина О.А., Устинова Е.П. Профессиональный квест: хоть «профи» можешь ты не быть, но быть в команде ты обязан // PEM: Psychology. Educology. Medicine. 2016. № 3. С. 39 - 75.
3. Приказ Министерства образования и науки РФ от 12 апреля 2011 г. № 1474 «О психологическом тестировании обучающихся образовательных учреждений, реализующих
общеобразовательные программы основного /общего, среднего (полного) общего образования и профессиональные образовательные программы начального профессионального, среднего профессионального и высшего профессионального образования, на предмет потребления наркотических средств, психотропных и других токсических веществ» [электронный ресурс] //Справочно-правовая система «Консультант-Плюс» [сайт]. URL:
http://www.consultant.ru/document/cons_doc_LAW_130729/ (дата обращения: 28.10.2018).
4. Приказ Министерства образования и науки Российской Федерации (Минобрнауки России) от 16 июня 2014 г. № 658 г. Москва «Об утверждении Порядка проведения социально-психологического тестирования лиц, обучающихся в общеобразовательных организациях и профессиональных образовательных организациях, а также в образовательных организациях высшего образования» [электронный ресурс] // Российская газета [сайт]. URL: https://rg.ru/2014/08/20/proverka-dok.html (дата обращения: 01.11.2018)
5. Солоницына М.А., Питайкина А.А., Лимонченко Р.А. Диагностическая информативность методики «Определение склонности к отклоняющемуся поведению» (А.Н. Орел): проблемы практического применения // PEM: Psychology. Educology. Medicine. 2016. № 2. С. 199 - 231.
References
1. Belobrykina O.A., Lemyasova N.S. K poisku algoritma obyektivizatsii «obyektivnykh metodov» v sovremennoy rossiyskoy psikhologicheskoy praktike //PEM: Psychology. Educology. Medicine. 2016. № 2. Pp. 80 - 99.
2. Belobrykina O.A., Ustinova E.P. Professionalnyy kvest: khot «profi» mozhesh ty ne byt, no byt v komande ty obyazan // PEM: Psychology. Educology. Medicine. 2016. № 3. Pp. 39 - 75.
3. Prikaz Ministerstva obrazovaniya i nauki RF ot 12 aprelya 2011 g. № 1474 «O psikhologicheskom testirovanii obuchayushchikhsya obrazovatelnykh uchrezhdeniy, realizuyushchikh obshcheobrazovatelnyye programmy osnovnogo /obshchego, srednego (polnogo) obshchego obrazovaniya i professionalnyye obrazovatelnyye programmy nachalnogo professionalnogo, srednego professionalnogo i vysshego professionalnogo obrazovaniya, na predmet potrebleniya narkoticheskikh sredstv, psikhotropnykh i drugikh toksicheskikh veshchestv» [elektronnyy resurs] //Spravochno-pravovaya sistema «Konsultant-Plyus». [sayt]. URL: http://www.consultant.ru/document/cons_doc_LAW_130729/ (data obrashcheniya: 28.10.2018).
4. Prikaz Ministerstva obrazovaniya i nauki Rossiyskoy Federatsii (Minobrnauki Rossii) ot 16 iyunya 2014 g. № 658 g. Moskva «Ob utverzhdenii Poryadka provedeniya sotsialno-psikhologicheskogo testirovaniya lits. obuchayushchikhsya v obshcheobrazovatelnykh organizatsiyakh i professionalnykh obrazovatelnykh organizatsiyakh. a takzhe v obrazovatelnykh organizatsiyakh vysshego obrazovaniya» [elektronnyy resurs] //Rossiyskaya gazeta [sayt]. URL: https://rg.ru/2014/08/20/proverka-dok.html (data obrashcheniya: 01.11.2018).
5. Solonitsyna M.A., Pitaykina A.A., Limonchenko R.A. Diagnosticheskaya informativnost metodiki «Opredeleniye sklonnosti k otklonyayushchemusya povedeniyu» (A.N. Orel): problemy prakticheskogo primeneniya //PEM: Psychology. Educology. Medicine. 2016. № 2. Pp. 199 - 231.
