Научная статья на тему 'Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности»'

Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности» Текст научной статьи по специальности «Психологические науки»

CC BY
639
132
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Концепт
ВАК
Ключевые слова
АНАЛИЗ КАЧЕСТВА ОПРОСНИКА / ДИАГНОСТИКА КРЕАТИВНОСТИ / КОРРЕЛЯЦИОННЫЙ АНАЛИЗ / ЛАТЕНТНАЯ ПЕРЕМЕННАЯ / МОДЕЛЬ РАША / CORRELATION ANALYSIS / DIAGNOSTICS CREATIVITY / LATENT VARIABLE / RASCH MODEL / THE QUALITY ANALYSIS OF THE QUESTIONNAIRE

Аннотация научной статьи по психологическим наукам, автор научной работы — Поздняков Станислав Александрович, Васильченко Роман Эдуардович

Статья посвящена разработке инструментария измерения уровня креативности студентов, изложены результаты эксперимента по анализу разработанных опросников на основе теории измерения латентных переменных. Основным результатом являются рекомендации по коррекции наборов пунктов опросника.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по психологическим наукам , автор научной работы — Поздняков Станислав Александрович, Васильченко Роман Эдуардович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Quality analysis questionnaire "Measuring levels of creativity" and "Creativity in professional activities"

This paper is devoted to the development of tools measuring the level of creativity of students, experi-mental results are presented on the analysis of questionnaires developed based on the theory of measure-ment of latent variables. The main result is the recommendation for the correction of sets of items of the questionnaire.

Текст научной работы на тему «Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности»»

ART 75106

научно-методический электронный журнал

УДК 378

Поздняков С. А., Васильченко Р. Э. Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности» // Концепт. - 2015. - Спецвыпуск № 07. - ART 75106. -0,4 п. л. - URL: http://e-koncept.ru/2015/75106.htm. -Гос. per. Эл № ФС 77-49965. - ISSN 2304-120Х.

Поздняков Станислав Александрович,

кандидат технических наук, доцент кафедры математики, информатики и методики их преподавания, заведующий аспирантурой ФГБОУ ВПО филиала ФГБОУ ВПО «Кубанский государственный университет», г. Славянск-на-Кубани pozdnyakov sta@mail.ru

Васильченко Роман Эдуардович,

магистрант I года обучения, направление подготовки 44.04.01 «(Педагогическое образование», ООП «(Управление образовательной организацией», филиала ФГБОУ ВПО «(Кубанский государственный университет», г. Славянск-на-Кубани gugromos@mail.ru

Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности»

Аннотация. Статья посвящена разработке инструментария измерения уровня креативности студентов, изложены результаты эксперимента по анализу разработанных опросников на основе теории измерения латентных переменных. Основным результатом являются рекомендации по коррекции наборов пунктов опросника. Ключевые слова: диагностика креативности, модель Раша, латентная переменная, корреляционный анализ, анализ качества опросника.

Раздел: (01) педагогика; история педагогики и образования; теория и методика обучения и воспитания (по предметным областям).

Вопросами изучения и измерения креативности занимались многие исследователи, среди которых наибольшую известность получили Дж. Гилфорд, Е Торранс, Е Фромма, А Маслоу, Х. Айзенк, Дж. Рензулли, Дж. Брунер, среди отечественных исследователей можно выделить Е. Е. Туник, Н. Б. Шумакову, Д. Б. Богоявленскую, О. М. Дьяченко и др. Вместе с тем стоит заметить, что до сих пор не существует общепринятой комплексной методики, позволяющей провести диагностику креативности мышления на линейной шкале.

На основе опросников для определения уровня креативности [1, 2] и опросника креативности Девиса [3] были составлены 2 опросника «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности».

Цель исследования состоит в анализе качества разработанных опросников на основе теории измерения латентных переменных [4, 11]. Эти измерения могут быть использованы для решения многих задач, прежде всего для:

- получения практически значимых рекомендаций по коррекции набора пунктов опросников;

- измерения уровня креативности личности;

- измерения взаимосвязи каждого индикатора с интегральным показателем. Для анализа качества разработанных меток проводился опрос, в котором приняли участие 94 студента I курса центра среднего профессионального образования ФГБОУ ВПО «КубГУ» филиал в г. Славянск-на-Кубани всех направлений.

Измерение исследуемых показателей проводилось в рамках теории измерения латентных переменных на основе дихотомической модели Раша. Эта модель позволяет измерить на одной и той же интервальной шкале (в логитах) уровень креативности по результатам опроса и информативность индикаторных переменных [11-13]. Наиболее полно информация об этой модели измерения представлена на сайте

f\j ■Л f\j

КОНЦЕПТ

Поздняков С. А., Васильченко Р. Э. Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности» _ _ //Концепт.-2015. -Спецвыпуск №07. -ART75106. -

иашнп-мртадичегкий я.лрктпгшный жипигы °'4 п- л- " URL: http://e-koncept.ru/2015/75106.htm. -научно метоаическии электронный журнал Гос Эл No фс 77.4gg65 _ |SSN 2304-120Х.

ART 75106 УДК 378

www.rasch.org [6]. В качестве программного средства используется диалоговая система измерения латентных переменных RUMM (Rasch Unidimensional Measurement Models), разработанная под руководством проф. Д. Эндрича [10].

Для начала, рассмотрим результаты анализа опросника «Самодиагностика уровня креативности».

Уровень креативности личности определяется операционально - с помощью набора индикаторных переменных. Разработанный опросник состоит из 30 индикаторных переменных, респондентам предлагается по 2 варианта ответа (градации) на каждый пункт опросника [4, 8].

Перед прохождением опросника респондентам была предложена следующая инструкция: «Уважаемый респондент, приглашаем к участию в исследовании! Выберете один вариант ответа на каждый вопрос».

В табл. 1 приведен набор индикаторных переменных опросника «Самодиагностика уровня креативности».

Таблица 1

Набор индикаторных переменных

№ п/п Индикаторная переменная Варианты ответа

i1 Я не предпочел бы работу, в которой все четко определено да/нет

i2 Люблю и понимаю абстрактную живопись да/нет

i3 Мне не нравится регламентированная работа да/нет

i4 Не люблю посещать музеи, так как они все одинаковы да/нет

i5 Люблю фантазировать да/нет

i6 Разнообразные увлечения делают жизнь человека богаче да/нет

i7 Один и тот же спектакль можно смотреть много раз, главное - игра актеров, новая интерпретация да/нет

i8 Я предпочел бы быть закройщиком, а не портным да/нет

i9 Мне больше нравится процесс деятельности, чем ее конечный результат да/нет

i10 Даже в отлаженном деле пытаюсь творчески изменить что-то да/нет

i11 Сомневаюсь даже в том, что для других очевидно да/нет

i12 Абстрактные картины дают большую пищу для размышлений да/нет

i13 Я не хотел бы подчинять свою жизнь определенной системе да/нет

i14 Мне нравится работа дизайнера да/нет

i15 Не люблю ходить одним и тем же путем да/нет

i16 Я думаю, что я аккуратен да/нет

i17 Я люблю знать, что делается во всех помещениях здания да/нет

i18 В детстве я любил посещать новые места вместе с родителями, а не один да/нет

i19 Если бы я имел сладости, то стремился их все сохранить у себя да/нет

i20 Я очень волнуюсь, если работа, которую я делаю, не лучшая, не может быть мною сделана наилучшим образом да/нет

i21 Я хочу понять, как все происходит вокруг, найти причину да/нет

i22 В детстве я не был особенно популярен среди сверстников да/нет

i23 Я иногда поступаю по-детски да/нет

i24 Когда я что-либо хочу сделать, то ничего не может меня остановить да/нет

i25 Я предпочитаю работать с другими и не могу работать один да/нет

i26 Если даже я уверен, что прав, я стараюсь менять свою точку зрения, если со мной не соглашаются другие да/нет

i27 Я буду значимым и известным, когда вырасту да/нет

i28 Я предпочитаю знакомые игры, чем новые да/нет

i29 Я люблю исследовать, что произойдет, если я что-либо сделаю да/нет

i30 Когда я играю, то стараюсь как можно меньше рисковать да/нет

«vi ^ г«

КОНЦЕПТ

Поздняков С. А., Васильченко Р. Э. Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности» _ _ //Концепт.-2015. -Спецвыпуск №07. -ART75106. -

наично-метпдичегний ялЪктппнный хипнпл °'4 п- л- " URL: http://e-koncept.ru/2015/75106.htm. -научно метооическии электронный журнал Гос Эл No фс 77.4gg65 _ |SSN 2304-120Х.

ART 75106 УДК 378

Стоит отметить, что полученные результаты опроса оказались неадекватны модели измерения. Адекватность данных модели измерений определялась на основе статистики Хи-квадрат следующим образом. Прежде всего, вычисляются все параметры выше приведенной модели измерения. Затем на основе вычисленных параметров определяются ожидаемые (модельные значения) ответов респондентов. Степень близости полученных экспериментальных данных и ожидаемых ответов определяется на основе критерия Хи-квадрат. Эмпирический уровень значимости статистики Хи-квадрат оказался равным 0,00014, что намного ниже критического значения (0,05).

Необходимо отметить, что латентная переменная «уровень креативности» и информативность индикаторных переменных измеряется на одной и той же интервальной шкале (рис. 1).

Рис. 1. Соотношение между «уровнем креативности» и индикаторными переменными

В верхней части рис. 9 находится гистограмма, показывающая распределение 94 респондентов по уровню креативности, в нижней части рисунка показано распределение индикаторных переменных на той же самой шкале. Здесь persons соответствуют респондентам, а items - индикаторным переменным.

Исходя из представленной на этом рисунке информации, можно сделать следующие выводы:

- уровень креативности по результатам опроса представляет собой нормальное распределение, диапазон варьирования уровня небольшой - 3 логит (от -1,4 до +1,6 логит);

- набор индикаторных переменных распределен по равномерному закону. Индикаторные переменные варьируются в диапазоне - 4,8 логит (от -2,8 до +2 логит);

- между двумя этими наборами (уровнем креативности личности и индикаторными переменными) существует смещение - различие между соответствующими средними равно 0,553 логит.

Далее, рассмотрим результаты анализа опросника «Креативность в профессиональной деятельности».

Уровень креативности в профессиональной деятельности личности, также как и в первом случае, определяется операционально - с помощью набора индикаторных пе-

КОНЦЕПТ

Поздняков С. А., Васильченко Р. Э. Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности» _ _ //Концепт.-2015. -Спецвыпуск №07. -ART75106. -

иашнп-мртадичегкий я.лрктпгшный жипигы °'4 п- л- " URL: http://e-koncept.ru/2015/75106.htm. -научно метоаическии электронный журнал Гос Эл No фс 77.4gg65 _ |SSN 2304-120Х.

ART 75106 УДК 378

ременных. Разработанный опросник состоит из 31 индикаторной переменной, респондентам предлагается по 3 варианта ответа (градации) на каждый пункт опросника [4, 8].

Перед прохождением опросника респондентам была предложена следующая инструкция: «Уважаемый респондент, приглашаем к участию в исследовании! Выберете один вариант ответа на каждый вопрос».

В табл. 2 приведен набор индикаторных переменных опросника «Креативность в профессиональной деятельности».

Таблица 2

Набор индикаторных переменных

№ п/п Индикаторная переменная Варианты ответа

¡1 Я ценю критичность часто/иногда/редко

¡2 Я боюсь отличаться от других часто/иногда/редко

i3 Я чувствую себя некомфортно в ситуациях неопределенности часто/иногда/редко

¡4 Мне нравятся новые лица, места часто/иногда/редко

¡5 Я нуждаюсь в постоянном ощущении порядка в моей жизни часто/иногда/редко

¡6 Я чувствую себя неловко, когда люди проявляют свои чувства часто/иногда/редко

¡7 Я получаю удовольствие играя роли часто/иногда/редко

¡8 Я достигаю большего, когда следую правилам часто/иногда/редко

¡9 Я позволяю своим чувствам руководить мною часто/иногда/редко

¡10 Мне нравится, когда меня считают независим часто/иногда/редко

¡11 Мне нравится заглядывать далеко вперед часто/иногда/редко

¡12 Когда проблема возникает, я становлюсь объективным и аналитичным часто/иногда/редко

¡13 Мне необходимы все факты, чтобы принять решение часто/иногда/редко

¡14 Я рассчитываю на свои прошлые знания сходных проблем часто/иногда/редко

¡15 Я ненавижу работать над деталями часто/иногда/редко

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

¡16 Секрет успеха - в укомплектованном штате персонала часто/иногда/редко

¡17 Статистические данные и диаграммы дают искаженную картину часто/иногда/редко

¡18 К проблемам следует подходить одним и тем же образом часто/иногда/редко

¡19 Меня воспринимают как человека, решающего проблемы оригинально часто/иногда/редко

¡20 У меня есть трудности с обнаружением проблем часто/иногда/редко

¡21 Я использую специальные техники для решения проблем часто/иногда/редко

¡22 Я впадаю в уныние, если проблема кажется слишком сложной часто/иногда/редко

¡23 Когда другие не берутся за решение, я делаю это, если смогу часто/иногда/редко

¡24 Я люблю читать инструкции, прежде, чем начать что-либо новое часто/иногда/редко

¡25 Я верю, что процесс нахождения решения - творческий часто/иногда/редко

¡26 На работе (учебе, дома) границы моих полномочий точно определены часто/иногда/редко

¡27 Когда соревнование между коллегами (по учебе или работе) воспринимается как здоровое явление часто/иногда/редко

¡28 Я бы мог охарактеризовать свое окружение как дружелюбное и ориентированное на сотрудничество часто/иногда/редко

¡29 Организационные процедуры убивают идеи часто/иногда/редко

¡30 Я могу свободно рассказывать о своих идеях, не опасаясь, что надо мной будут смеяться часто/иногда/редко

¡31 Новые идеи должны быть подробно описаны часто/иногда/редко

Стоит отметить, что полученные результаты опроса также оказались неадекватны модели измерения. Эмпирический уровень значимости статистики Хи-квадрат оказался равным 0,00002, что намного ниже критического значения (0,05), что также свидетельствует о несовместимости некоторых индикаторных переменных с другими.

ГУ ГУ

КОНЦЕПТ

Поздняков С. А., Васильченко Р. Э. Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности» _ _ //Концепт.-2015. -Спецвыпуск №07. -ART75106. -

наично-метпдичегний ялЪктппнный хипнпл °'4 п- л- " URL: http://e-koncept.ru/2015/75106.htm. -научно метооическии электронный журнал Гос Эл No фс 77.4gg65 _ |SSN 2304-120Х.

ART 75106 УДК 378

Необходимо отметить, что латентная переменная «Креативность в профессиональной деятельности» и информативность индикаторных переменных измеряется на одной и той же интервальной шкале (рис. 2).

PERSONS

30

25 — ■

20 —

1Е- — ■

10 -■

Е- — ■

ÍTEMS 0

-2

S

Person-Item Location Distribution

(Grouping Set to Interval Length of 0,20 making 20 Groups)

i 1 Nü. Mean letal [94] 0,23a

1

1 1 1

ш 1 ш i

-1- 1 1 1 1 1 kVWI

31,9*

■- 21.3%

■- 5,314

0.0%

Ж -у// m

;

2 Location (logits) 0.0%

16.1%

32.3%

Рис. 2. Соотношение между «уровнем креативности» и индикаторными переменными

В верхней части рисунка 2 находится гистограмма, показывающая распределение 94 респондентов по уровню креативности в профессиональной деятельности, в нижней части рисунка показано распределение индикаторных переменных на той же самой шкале. Здесь persons соответствуют респондентам, а items - индикаторным переменным.

Исходя из представленной на этом рисунке информации, можно сделать следующие выводы:

- уровень креативности в профессиональной деятельности респондентов по результатам опроса представляет собой нормальное распределение, диапазон варьирования уровня небольшой - 1,8 логит (от -0,4 до +1,4 логит);

- набор индикаторных переменных распределен по равномерному закону. Индикаторные переменные варьируются в диапазоне - 3 логит (от -1,4 до +1,6 логит);

- между двумя этими наборами (уровнем креативности в профессиональной деятельности респондентов и индикаторными переменными) существует смещение - различие между соответствующими средними равно 0,238 логит.

Применение статистических методов при обработке материалов психологических исследований дает большую возможность извлечь из экспериментальных данных полезную информацию. Одним из самых распространенных методов статистики является корреляционный анализ.

Корреляционный анализ - это проверка гипотез о связях между переменными с использованием коэффициентов корреляции, двумерной описательной статистики, количественной меры взаимосвязи (совместной изменчивости) двух переменных. Таким образом, это совокупность методов обнаружения корреляционной зависимости между случайными величинами или признаками.

PU г М

КОНЦЕПТ

Поздняков С. А., Васильченко Р. Э. Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности» // Концепт. - 2015. - Спецвыпуск № 07. - ART 75106. -0,4 п. л. - URL: http://e-koncept.ru/2015/75106.htm. -Гос. per. Эл № ФС 77-49965. - ISSN 2304-120Х.

научно-методический электронный журнал ART 75106 УДК 378

Основное назначение корреляционного анализа - выявление связи между двумя или более изучаемыми переменными, которая рассматривается как совместное согласованное изменение двух исследуемых характеристик.

Для линейной корреляционной связи можно выделить два основных направления: положительное («прямая связь») и отрицательное («обратная связь»).

Сила связи напрямую указывает, насколько ярко проявляется совместная изменчивость изучаемых переменных. В психологии функциональная взаимосвязь явлений эмпирически может быть выявлена только как вероятностная связь соответствующих признаков [9].

В табл. 3 приведен фрагмент матрицы полученных значений уровня сформиро-ванности исследуемых показателей по результатам опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности».

Таблица 3

Фрагмент матрицы значений показателей опросников

Идентификатор респондента Значение показателя «Самодиагностика креативности» (логиты) Значение показателя «Креативность в профессиональной деятельности» (логиты)

ID1 0,340 0,280

ID2 -0,595 -0,340

ID3 0,496 -0,063

ID4 -0,941 0,142

ID5 0,186 0,074

ID88 0,820 0,005

ID89 0,033 0,349

ID90 1,577 0,636

ID91 0,340 0,074

ID92 0,496 0,491

ID93 1,577 0,563

ID94 0,186 0,866

В результате расчетов, коэффициент корреляции между множествами, представленными в табл. 3, получился равным 0,377. Данное значение коэффициента свидетельствует о наличии слабой положительной корреляции. Это означает, что при росте интегрального показателя «самодиагностика креативности» происходит увеличение значения показателя «креативность в профессиональной деятельности». Также наличие слабой корреляции свидетельствует о том, что разработанные опросники направлены на выявление уровня сформированности разных аспектов общего показателя «креативность».

Подводя итоги анализа качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности», можно отметить следующее:

1) на основе методики измерения латентных переменных на интервальной шкале проанализировано качество опросников;

2) полученные результаты опроса оказались неадекватны модели измерений. Определены виды неадекватности индикаторных переменных модели измерения;

3) по результатам анализа рекомендуется скорректировать пункты опросника на предмет большей выраженности градации вариантов ответов, а также уменьшения возможности проявления субъективности мнения респондента;

ART 75106

научно-методический электронный журнал

УДК 378

Поздняков С. А., Васильченко Р. Э. Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности» // Концепт. - 2015. - Спецвыпуск № 07. - ART 75106. -0,4 п. л. - URL: http://e-koncept.ru/2015/75106.htm. -Гос. per. Эл № ФС 77-49965. - ISSN 2304-120Х.

4) полученные результаты опросов взаимосвязаны, присутствует слабая положительная корреляция;

5) разработанные опросники целесообразно применять в комплексе для выявления уровня креативности личности.

Ссылки на источники

1. Практикум по психологии менеджмента и профессиональной деятельности / под ред. Г. С. Никифорова, М. А. Дмитриевой и В. М. Снеткова. - СПб.: Речь, 2003. - С. 293-298.

2. Ильин Е. П. Психология творчества, креативности, одаренности. - СПб.: Питер, 2012 г. - С. 341-345.

3. Мотков О. И. Психология самопознания личности: практ. пособие. - М., 1993. - С. 73-74.

4. Маслак А. А., Анисимова Т. С., Осипов С. А. Исследование точности модели Раша на основе имитационного моделирования // Сборник трудов участников XI конференции-выставки «Информационные технологии в образовании». Ч. V. - М.: МИФИ, 2001. - С. 38-40.

5. Маслак А. А. Измерение латентных переменных в социальных системах. - Славянск-на-Кубани: Изд. центр КубГУ в г. Славянске-на-Кубани, 2012. - 432 с.

6. Institute for Objective Measurement, Inc.: официальный сайт. - URL: http://www.rasch.org (дата обращения: 24.11.2014).

7. Поздняков С. А., Горбачев М. Н. Анализ качества опросника «Удовлетворенность населения качеством предоставляемых жилищно-коммунальных услуг» // Материалы XVII (01-02 февраля 2012 г.), XVIII (25-26 июня 2012 г.) Всероссийских (с международным участием) научно-практических конференций / отв. ред. А. А. Маслак; филиал КубГУ в г. Славянске-на-Кубани. -Славянск-на-Кубани: Изд. центр филиала КубГУ в г. Славянске-на-Кубани, 2012. - С. 109-123.

8. Поздняков С. А. Исследование точности измерения латентных переменных в образовании. -Славянск-на-Кубани: Изд. центр СГПИ, 2007. - 118 с.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

9. Шишлянникова Л. М. Применение корреляционного анализа в психологии // Психологическая наука и образование. - 2009. - № 1. - URL: http://psyjournals.ru/psyedu/2009/n1/Shishlyannikova.shtml (дата обращения: 11.01.2015).

10. Getting Started RUMM 2010. Rasch Unidimensional Measurement Models - Pert: RUMM Laboratory Ltd, 2001. - 87 p.

11. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright). - Chicago: University of Chicago Press, 1980. - 199 p.

12. Wright B. D., Masters G. N. Rating Scale Analysis. - Chicago: MESA PRESS, 1982. - 206 p.

13. Wright B. D., Stone M. H. Best Test Design. - Chicago: MESA PRESS, 1979. - 222 p.

Stanislav Pozdnyakov, ISSN 2304-120X

Candidate of Technical Sciences, the Associate Professor of mathematics, щи

informatics and technique of their teaching, the manager of postgraduate study, Kuban State University, branch in Siavyansk-on-Kuban, Siavyansk-on-Kuban pozdnyakov sta@mail.ru

Roman Vasilchenko, 9 .... ....... ""

undergraduate of the I year of training, direction of preparation: 44.04.01

"Pedagogical education", OOP "Management of the Educational Organization", Kuban State University,

branch in Slavyansk-on-Kuban, Slavyansk-on-Kuban

gugromos@mail.ru

Quality analysis questionnaire "Measuring levels of creativity" and "Creativity in professional activities" Abstract. This paper is devoted to the development of tools measuring the level of creativity of students, experimental results are presented on the analysis of questionnaires developed based on the theory of measurement of latent variables. The main result is the recommendation for the correction of sets of items of the questionnaire.

Key words: diagnostics creativity, Rasch model, latent variable, correlation analysis, the quality analysis of the questionnaire.

Рекомендовано к публикации:

Анисимовой Т. С., доктором исторических наук, профессором кафедры общей и профессиональной педагогики ФГБОУ ВПО филиал «КубГУ» в г. Славянске-на-Кубани

пи ~7 пи

9772304120159

i Надоели баннеры? Вы всегда можете отключить рекламу.