CC BY
117
УДК 616.31-07:159.923 ББК Ю991+Ю98
ГСНТИ 15.81.61
Код ВАК 19.00.04
Болотина Надежда Владимировна,
аспирант, кафедра педагогики и психологии, Институт развития образования; 620137, г. Екатеринбург, ул. Академическая, 16; e-mail: nadiezhda-2016@mail.ru
КЛЮЧЕВЫЕ СЛОВА: удовлетворенность работой; компетентность; стиль руководства; слаженность.
АННОТАЦИЯ. Данная статья представляет собой стандартизацию инструментария, включает проверку полученных результатов на нормальность распределения и репрезентативность, а также расчет показателей надежности и валидности анкеты «Удовлетворенность работой в образовательной организации» Н. П. Фетискина, В. В. Козлова, Г. М. Мануйлова. Для количественной обработки полученных результатов использовался пакет прикладных программ корпорации Stat Soft Statistica 7.1 для среды Windows (коэффициент корреляции t-Кендалла, факторный анализ (по методу главных компонентов с применением вращения Varimax normalized)). Полученные результаты подвергались проверке на нормальность распределения и репрезентативность выборки. Нормальность распределения данных рассчитывалась и была подтверждена критерием d-Смирнова-Колмогорова. Проверка репрезентативности данных общей генеральной совокупности осуществлялась методом деления испытуемых на две группы по принципу «чет - нечет» с последующим корреляционным анализом по критерию t-Кендалла полученных двух половинок. Оценка надежности определялась при помощи Тета-надежности с применением факторного анализа Варимакс после вращения. В процессе ва-лидизации анкеты вопросы-утверждения подвергались экспертной валидизации с применением критерия альфа Кронбаха. Модификация опросника для проведения исследования в образовательной организации заключается в специфике образовательной организации, проведении опроса в экспресс-форме и смысловом содержании вопросов, соответствующих деятельности педагога в образовательной организации.
Bolotina Nadezhda Vladimirovna,
Post-graduate Student of Department of Pedagogy and Psychology, Institute for the Development of Education, Ekaterinburg,
Russia.
KEYWORDS: job satisfaction; competence; leadership style; coherence.
ABSTRACT. The article presents a standardized toolkit including verification of the results obtained on normal distribution, representation, as well as calculation of reliability and validity of the questionnaire "Job Satisfaction in the Educational Organization" by Fetiskin N.P., Kozlov V.V., Manuylov G.M. The software package Stat Soft Statistica 7.1 for the environment of Windows (correlation coefficient t-Kendall, factor analysis (by the method of main components with rotation Varimax normalized) are used for a quantitative analysis of the results. The results should be examined for normality of distribution and the representativeness of the sample. Normally distributed data were calculated and were confirmed by the criterion of d-Kolmogorov-Smirnov. Checking the data representation of the general population was carried out by dividing those tested into two groups on the principle of "even-odd" followed by correlation analysis by the criterion of t-Kendall received in two halves. Evaluation of reliability was determined using the Theta reliability with factor analysis after Varimax rotation. In the process of validating the questionnaire, questions and statements are subject to peer validation test using Cronbach's alpha criterion. Modification of the questionnaire for the study of the educational organization depends on the specificity of the educational organization, which involves conducting a survey to express the form and semantic content of the relevant questions of the teacher in the educational organization.
неральной совокупности - 100 человек
МОДИФИКАЦИЯ ОПРОСНИКА ДИАГНОСТИКИ ЛИЧНОСТНОЙ И ГРУППОВОЙ УДОВЛЕТВОРЕННОСТИ РАБОТОЙ
MODIFICATION OF DIAGNOSTIC QUESTIONNAIRE OF PERSONAL AND GROUP JOB SATISFACTION
женского и мужского пола, относящиеся к одной профессиональной группе, с разным образовательным уровнем и стажем, в возрасте от 20 до 67 (средний возраст 37,3). Вторая группа выборки стандартизации -41 человек женского пола, относящиеся к одной профессиональной группе в возрасте от 24 до 65 (средний возраст 46 лет). Всего в ходе исследования принял участие 141 человек женского и мужского пола, относя-
в образовательной организации заключается в специфике образовательной организации, которая предполагает проведение опроса в экспресс-форме и смысловом содержании вопросов, соответствующих деятельности педагога в образовательной организации.
В исследовании принимали участие две группы. Первая группа выборки общей ге-
© Болотина Н. В., 2015
щиеся к одной профессиональной группе, с разным образовательным уровнем и стажем, в возрасте от 20 до 67 (средний возраст 37,3 лет).
Для количественной обработки полученных результатов использовался пакет прикладных программ корпорации Stat Soft Statistica 7.1 для среды Windows (коэффициент корреляции t-Кендалла, факторный анализ - по методу главных компонентов с применением вращения Varimax normalized).
Полученные результаты подвергались проверке на нормальность распределения и репрезентативность выборки. Нормальность распределения данных рассчитывалась и была подтверждена критерием d-Смирнова-Колмогорова [1; 2; 3; 12; 13; 14;
15; 17; 19].
Полученные результаты указывают на отсутствие нормального распределения
Данные таблицы 1 показывают отсутствие статистических различий, что говорит о репрезентативности выборки. Уровни статистической значимости в двух половинках выборок при п=50 расположились в диапазоне 0,05<р<0,0001.
Стандартизация анкеты удовлетворенности работой в образовательной организации Процедура стандартизации инструментария включает проверку полученных результатов на нормальность распределения и репрезентативность, а также расчет показателей надежности и валидности.
Стандартизация анкеты осуществлялась на выборке п=41 с учетом всех условий, а также проверки полученных результатов новой выборки на репрезентативность и нормальность распределения. По результатам анализа полученных данных было выявлено, что данные не подчиняются нормальному распределению и выборка не репрезентативна, поэтому было принято ре-
данных. В целом эмпирическое распределение ответов испытуемых не подчиняется теоретическому (нормальному). Полученный результат указывает на ложность ответов испытуемых и желание скрывать свое истинное отношение к образовательной организации.
Проверка репрезентативности данных общей генеральной совокупности осуществлялась методом деления испытуемых на две группы по принципу «чет-нечет» с последующим корреляционным анализом по критерию ^Кендалла полученных двух половинок. Репрезентативной выборку можно считать в том случае, если коэффициенты корреляции одних и тех же пунктов на двух половинках одной и той же выборки оказываются статистически значимыми и не имеют статистических различий [1; 2; 3; 12; 13; 14; 17; 18; 19] (табл. 1).
Таблица 1
шение для определения и повышения показателей надежности и валидности использовать данные испытуемых из общей генеральной совокупности выборки п=100.
Перед началом анкетирования испытуемым предъявлялась следующая инструкция: «Вашему вниманию предлагается опросник для самооценки, а также выбор некоторых эффективных методов мотивации трудовой активности. Он содержит 6 утверждений. Каждое утверждение может быть оценено от 1 до 5 баллов. Сделайте свой выбор по каждому из этих утверждений, отметив соответствующую цифру».
Надежность и валидность анкеты
Надежность — это помехоустойчивость, способность давать надежную информацию независимо от воздействия различных факторов [1; 2; 3; 11; 12; 13; 14; 15; 17; 18; 19]. В процессе адаптации анкеты мы получили данные относительно двух аспектов надежности шкалы: одномоментная (син-
Проверка репрезентативности выборки с применением критерия ^Кендалла отдельных утверждений будущей анкеты удовлетворенности работой в образовательной организации, п=100
№ Вопроса Вопросы анкеты Средние значения коэффициентов корреляций утверждений анкеты (первая половина выборки, П=100, П1=50) «Нечетные» Средние значения коэффициентов корреляций утверждений анкеты (вторая половина выборки, П=100, ш=50) «Четные»
1 Ваша удовлетворенность предприятием (организацией), где вы работаете о,53 о,53
2 Ваша удовлетворенность работой о,45 0,48
3 Ваша удовлетворенность слаженностью о,54 о,37
4 Ваша удовлетворенность стилем руководства вашего директора о,53 о,53
5 Ваша удовлетворенность профессиональной компетентностью вашего директора 0,52 0,50
6 Ваша удовлетворенность тем, как вы можете использовать свой опыт и способности о,49 о,35
хронная) надежность, надежность как устойчивость результатов.
1.Одномоментная (синхронная)
надежность определялась нами при помощи расчета коэффициента а-Кронбаха. Синхронная надежность основана на анализе согласованности ответов испытуемых по каждому пункту анкеты при однократном тестировании [11, с. 135; 12; 13; 15; 17].
Надежность анкеты определялась нами путем измерения распределения ответов испытуемых по вопросам. Все полученные коэффициенты оказались достаточно на-
Таким образом, наблюдаются достаточные показатели надежности, внутренней согласованности утверждений, входящих в состав анкеты.
2. Надежность как устойчивость результатов. Надежность - это характеристика психодиагностической методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов [13, с.
64].
Определение устойчивости вопросов-утверждений осуществлялось нами при помощи нескольких статистических методов и критериев на выборке при п=100, где 12 мужчин и 88 женщин, относящиеся к одной профессиональной группе, с разным образовательным уровнем и стажем, в возрасте от 20 до 67 (средний возраст -37,3).
Сначала оценка надежности определялась нами при помощи Тета-надежнос-
дежными, а=0,80 при п=100, что свидетельствовало о внутренней
согласованности вопросов анкеты. Кроме того, необходимо отметить, что коэффициенты надежности пунктов-утверждений соответствует нормативному показателю критериям синхронной надежности 0,75. Все полученные результаты находятся в пределах 0,65 -0,99 [11; 12; 13; 15; 17], поэтому анкета считается достаточно надежной. Результаты синхронной надежности представлены в таблице 2.
Таблица 2
Значения критерия надежности альфа Кронбаха для вопросов анкеты
Вопросы анкеты Альфа Кронбаха (а=0,80) при п=100
Ваша удовлетворенность предприятием (организацией), где вы работаете 0,74
Ваша удовлетворенность работой 0,78
Ваша удовлетворенность слаженностью 0,81
Ваша удовлетворенность стилем руководства вашего директора 0,74
Ваша удовлетворенность профессиональной компетентностью вашего директора 0,74
Ваша удовлетворенность тем, как вы можете использовать свой опыт и способности 0,80
ти, с применением факторного анализа Варимакс после вращения, главный компонент [2, с. 73; 3, с. 164]. В данном случае факторный анализ выступает одним из методов проверки анкет на их надежность и валидность [18, с. 8; 19]. В результате факторизации полученных данных абсолютный вес главной компоненты составил 4,27, а коэффициент Тета-надежности составил 0,71 (см. таблицу 3), который считается высоким показателем надежности.
Затем надежность анкеты
определялась нами методом
факторной валидизации. Для этого на вопросы анкеты ответили те же п=100 испытуемых. В результате применения факторного анализа Варимакс после вращения, главный компонент была получена двухфакторная модель, где общий процент объяснимой дисперсии составил 0,71.
Таблица 3
Вопросы анкеты Факторы после вращения
Fl F2
Ваша удовлетворенность предприятием (организацией), где вы работаете 0,79 0,32
Ваша удовлетворенность работой 0,23 0,80
Ваша удовлетворенность слаженностью 0,13 0,72
Ваша удовлетворенность стилем руководства вашего директора 0,94 0,13
Ваша удовлетворенность профессиональной компетентностью вашего директора 0,90 0,14
Ваша удовлетворенность тем, как вы можете использовать свой опыт и способности 0,13 0,76
Ехр1.Уаг 2,40 1,87
Ргр.ТоА 0,40 0,31
Факторный анализ вопросов-утверждений анкеты (метод главный компонент, Varimax после вращения, N=100)
Первый фактор является более информативным, его доля дисперсии составляет 40%. С учетом максимальных нагрузок этот фактор можно обозначить «Стиль и компетентность руководства организации».
Второй фактор (31%) с учетом максимальных нагрузок получил название «Общая удовлетворенность работой и ее слаженностью в связи с возможностью использовать свой опыт и способности».
Таким образом, с учетом полученных результатов с помощью факторного анализа можно сделать следующие выводы.
1. Содержание выделенных вопросов-утверждений соответствует содержанию исследуемой с помощью анкеты темы.
2. Анкета имеет факторную структуру, суммарный коэффициент объяснимой дисперсии, которой составил больше 0,51, поэтому и сама анкета является устойчивой и надежной.
В целом, по показателям надежности можно сделать следующие выводы. Полученная анкета достаточно надежна, внутренне согласованна, результаты анкеты являются устойчивыми к действию посторонних случайных факторов, содержание вопросов анкеты соответствует содержанию исследуемой с помощью анкеты темы, анкета имеет факторную структуру, устойчива и надежна.
Валидность анкеты. Валидность — это характеристика, которая указывает на то, что измеряется и насколько хорошо это делается [1, с. 133]. В случае валидизации анкеты в качестве проверки нами были подтверждены следующие типы валидности опросника: содержательная валидность, критериальная внутренняя перекрестная валидность, конст-руктная валидность по внутренней согласованности, конструктная (содержательная) ва-лидность.
1. Содержательная валидность
определяет соответствие вопросов анкеты
изучаемой теме [1; 17]. В процессе вали-дизации анкеты вопросы-утверждения подвергались экспертной валидизации с применением критерия альфа-Кронбаха. Пять экспертов оценивали вопросы-утверждения по шкале от 1 до 5 баллов, анализируя их на соответствие изучаемой анкеты теме. Затем определялась глобальная мера согласованности - коэффициент альфа-Кронбаха, который составил 0,65 (65%). Полученный результат находится в допустимых пределах 0,65 - 0,99 [1; 2; 3; 12; 13; 14; 17; 18; 19], потому анкета является достаточно валидной.
В целом, содержательная валидность анкеты измеряет именно тот характер и содержание, для чего она была разработана.
2. Критериальная внутренняя перекрестная валидность предназначена и используется для определения устой -чивости и внутренней согласованности анкеты [2; 17]. Для определения данного вида валидности в исследовании приняли участие п=100 испытуемых, относящиеся к одной профессиональной группе, с разным образовательным уровнем и стажем, в возрасте от 20 до 67 (средний возраст -37,3). Затем нами был проведен внутренний корреляционный анализ Пирсона между вопросами анкеты. После этого общая генеральная совокупность испытуемых п=100 была разделена по методу «чет-нечет» на две половины одной и той же выборки и повторно произведен корреляционный анализ Пирсона между одними и теми же пунктами анкеты на обеих половинках отдельно. Критериальную внутреннюю перекрестную валидность можно считать удачной, когда корреляции одних и тех пунктов на двух половинках одной выборки оказываются статистически значимыми. Результаты корреляционного анализа представлены в таблицах 4, 5 и 6.
Вопросы анкеты 1 2 3 4 5 6
Ваша удовлетворенность предприятием (организацией), где вы работаете 1,00 0,38 о,45 о,6о о,47 о,47
Ваша удовлетворенность работой 0,38 1,00 0,62 0,16 0,18 о,49
Ваша удовлетворенность слаженностью о,45 0,62 1,00 о,44 о,45 0,46
Ваша удовлетворенность стилем руководства вашего директора о,6о 0,16 о,44 1,00 о,8о 0,27
Ваша удовлетворенность профессиональной компетентностью вашего директора о,47 0,18 о,45 о,8о 1,00 о,38
Ваша удовлетворенность тем, как вы можете использовать свой опыт и способности о,47 о,49 0,46 0,27 о,38 1,00
среднее 0,56 о,47 о,57 о,54 о,55 0,51
Таблица 4
Коэффициенты корреляции вопросов анкеты (первая «нечетная» половина выборки п=100, П1=50)
Уровень статистической значимости р<0,05, р<0,01, р<0,001, р<0,0001.
Таблица 5
Коэффициенты корреляции вопросов анкеты (первая «четная» половина выборки п=100, п2=50)
Вопросы анкеты 1 2 3 4 5 6
Ваша удовлетворенность предприятием (организацией), где вы работаете 1,00 0,46 0,12 0,79 0,71 0,22
Ваша удовлетворенность работой 0,46 1,00 0,29 0,44 0,41 0,46
Ваша удовлетворенность слаженностью 0,12 0,29 1,00 0,05 0,15 0,17
Ваша удовлетворенность стилем руководства вашего директора 0,79 0,44 0,05 1,00 0,83 0,23
Ваша удовлетворенность профессиональной компетентностью вашего директора 0,71 0,41 0,15 0,83 1,00 0,09
Ваша удовлетворенность тем, как вы можете использовать свой опыт и способности 0,22 0,46 0,17 0,23 0,09 1,00
Среднее 0,55 0,51 0,30 0,56 0,53 0,36
Уровень статистической значимости р<0,05, р<0,01, р<0,001, р<0,0001.
Таблица 6
Средние показатели коэффициентов корреляций вопросов анкеты п=100 при проверке внутренней перекрестной валидности
Вопросы анкеты Я Р
Ваша удовлетворенность предприятием (организацией), где вы работаете 0,56 0,0001
Ваша удовлетворенность работой 0,49 0,0001
Ваша удовлетворенность слаженностью 0,42 0,001
Ваша удовлетворенность стилем руководства вашего директора 0,55 0,0001
Ваша удовлетворенность профессиональной компетентностью вашего директора 0,54 0,0001
Ваша удовлетворенность тем, как вы можете использовать свой опыт и способности 0,43 0,001
Таким образом, на основе полученных результатов необходимо отметить, что критериальная внутренняя перекрестная вали-дизация показала высокие результаты, коэффициенты корреляции одних и тех же пунктов на двух половинах выборки достигают или превышают значимый коэффициент корреляции.
3. Конструктная валидность анкеты показывает, насколько результаты анкетирования могут рассматриваться в качестве некоего теоретического конструкта или свойства - в данном случае удовлетворенность работой в образовательной организации [1; 17].
3.1. Конструктная валидность по внутренней согласованности -вид валидности, который предполагает согласованность, непротиворечивость и логичность внутренних связей между переменными входящими в тест [1].
Для подтверждения результатов внутренней согласованности на вопросы анкеты ответили п=100 испытуемых (12 м и 88 ж), относящиеся к одной профессиональной группе, с разным образовательным уровнем и стажем, в возрасте от 20 до 67 (средний возраст - 37,3).
Проверка конструктной валидности по внутренней согласованности осуществлялась с помощью корреляционного и факторного анализа показателей анкеты.
Корреляционный анализ. Сначала обратимся к интерпретации интеркорреляции вопросов анкеты при п=100, р<0,01. С помощью корреляционного анализа были обнаружены положительные корреляционные связи, что свидетельствует о наличии вероятной общности между пунктами анкеты (см. таблица 7).
Таблица 7
Интеркорреляция вопросов анкеты при п=100 при проверке конструктной валидности по внутренней согласованности
Вопросы анкеты 1 2 3 4 5 6
Ваша удовлетворенность предприятием (организацией), где вы работаете 1,00 0,42 0,28 0,71 0,62 0,35
Ваша удовлетворенность работой 0,42 1,00 0,44 0,31 0,31 0,47
Ваша удовлетворенность слаженностью 0,28 0,44 1,00 0,23 0,27 0,31
Ваша удовлетворенность стилем руководства вашего директора 0,71 0,31 0,23 1,00 0,82 0,25
Ваша удовлетворенность профессиональной компетентностью вашего директора 0,62 0,31 0,27 0,82 1,00 0,23
Ваша удовлетворенность тем, как вы можете использовать свой опыт и способности 0,35 0,47 0,31 0,25 0,23 1,00
Уровень статистической значимости р<0,05, р<0,01, р<0,001, р<0,0001, р<0,00001, р<0,000001, р<0,0000001.
Таким образом, на основе анализа согласованности показала высокие
полученных результатов можно отметить, что результаты, коэффициенты корреляции
конструктная валидизация по внутренней общей генеральной совокупности достигают
или превышают значимый коэффициент корреляции.
Факторный анализ. Далее кроме корреляционного анализа был применен факторный анализ с применением метода главных компонент, вращение Varimax с нормализацией. В результате факторизации вопросов анкеты с применением критерия экстракции «каменистой осыпи» Кеттелла, основывающегося на расчете максимальной дисперсии, была получена двухфакторная модель структуры анкеты, объяснимая дисперсия которой составила 71% (см. табл. 3).
Результаты факторного анализа, указанные выше, свидетельствуют о том, что содержание выделенных факторов (вопросов) соответствует содержанию исследуемой темы, а также о том, что анкета имеет факторную структуру, указывая тем самым на ее устойчивость и надежность. Таким образом, данная процедура валидизации
напоминает процедуру подтверждения надежности анкеты.
3.2. Конструктная (содержательная) валидность отражает соответствие утверждений анкеты измеряемому признаку или свойству [16; 17]. Данный вид валидности был установлен также методом экспертной валидизации [12, с. 60; 17]. Его коэффициент составил 0,65 (65%).
Обработка полученных результатов. Уровень личностной и групповой удовлетворенности работой определяется на основе суммарного итогового показателя по всем 6 вопросам анкеты, который может колебаться от 6 до 30.
В результате можно сделать следующий вывод. Анкета удовлетворенности работой в образовательной организации обладает достаточными показателями надежности и валидности, что дает возможность исследователям использовать ее как групповых, так и в индивидуальных исследованиях.
ЛИТЕРАТУРА
1. Анастази А., Урбина. Психологическое тестирование. СПб. : Питер, 2001.
2. Бодалев А. А., Столин В. В., Аванесов В. С. Общая психодиагностика. СПб. : Речь, 2006.
3. Бурлачук Л. Ф. Психодиагностика : учебник для вузов. СПб. : Питер, 2006.
4. Психологическая структура отчуждения личности / И. С. Гусева, В. П. Прядеин // Педагогическое образование в России. 2012. №2. С. 21-24.
5. Диагностика личностной и групповой удовлетворенности работой // Фетискин Н. П., Козлов В. В., Мануйлов Г. М. Социально-психологическая диагностика развития личности и малых групп. М. : Ин-т психотерапии, 2002. C. 473-474.
6. Мягков А. И. Шкала лжи из опросника MMPI: Опыт экспериментальной валидизации. 2002.
7. Носс И. Н. Введение в технологию психодиагностики. М. : Ин-т психотерапии, 2002.
8. Наследов А. Д. Математические методы психологического исследования. Анализ и интерпретация данных : учеб. пособие. СПб. : Речь, 2008.
9. Психологическая диагностика : учеб. пособие / под ред. К. М. Гуревича, Е. М. Борисовой. М. : УРАО, 1997.
10. Осипов Г. В., Андреев Э. П. Методы измерения в социологии. М. : Наука, 1977.
11. Смирнов А. В. Технологии и методы оценки проф. подготовки и компетентности выпускников вуза : метод. пособие. Екатеринбург : Урал. гос. пед. ун-т, 2009.
12. Шмелев А. Г., Похилько В. А. Анализ пунктов при конструировании и применении тест-опросников: ручные и компьютерные алгоритмы // Вопросы психологии. 1985. №4. С. 126-134.
13. Шмелев А. Г. Основы психодиагностики : учеб. пособие для студ. педвузов. М., Ростов н/Д. : Феникс, 1996.
REFERENCES
1. Anastazi A., Urbina. Psikhologicheskoe testirovanie. SPb. : Piter, 2001.
2. Bodalev A. A., Stolin V. V., Avanesov V. S. Obshchaya psikhodiagnostika. SPb. : Rech', 2006.
3. Burlachuk L. F. Psikhodiagnostika : uchebnik dlya vuzov. SPb. : Piter, 2006.
4. Psikhologicheskaya struktura otchuzhdeniya lichnosti / I. S. Guseva, V. P. Pryadein // Pedagogicheskoe obrazovanie v Rossii. 2012. №2. S. 21-24.
5. Diagnostika lichnostnoy i gruppovoy udovletvorennosti rabotoy // Fetiskin N. P., Kozlov V. V., Manuylov G. M. Sot-sial'no-psikhologicheskaya diagnostika razvitiya lichnosti i malykh grupp. M. : In-t psikhoterapii, 2002. C. 473-474.
6. Myagkov A. I. Shkala lzhi iz oprosnika MMPI: Opyt eksperimental'noy validizatsii. 2002.
7. Noss I. N. Vvedenie v tekhnologiyu psikhodiagnostiki. M. : In-t psikhoterapii, 2002.
8. Nasledov A. D. Matematicheskie metody psikhologicheskogo issledovaniya. Analiz i interpretatsiya dan-nykh : ucheb. posobie. SPb. : Rech', 2008.
9. Psikhologicheskaya diagnostika : ucheb. posobie / pod red. K. M. Gurevicha, E. M. Borisovoy. M. : URAO, 1997.
10. Osipov G. V., Andreev E. P. Metody izmereniya v sotsiologii. M. : Nauka, 1977.
11. Smirnov A. V. Tekhnologii i metody otsenki prof. podgotovki i kompetentnosti vypusknikov vuza : metod. posobie. Ekaterinburg : Ural. gos. ped. un-t, 2009.
12. Shmelev A. G., Pokhil'ko V. A. Analiz punktov pri konstruirovanii i primenenii test-oprosnikov: ruchnye i komp'yuternye algoritmy / / Voprosy psikhologii. 1985. №4. S. 126-134.
13. Shmelev A G. Osnovy psikhodiagnostiki : ucheb. posobie dlya stud. pedvuzov. M., Rostov n/D. : Feniks, 1996.
Статью рекомендует д-р психол. наук, проф. В. П. Прядеин.
