CC BY
172
YAK 316.353 ББК 60.543.172
Д.В. ШКУРИН
D.V. SHKURIN
ОБРАБОТКА И АНАЛИЗ ВОПРОСОВ С МНОЖЕСТВЕННЫМ ВЫБОРОМ НА ПРИМЕРЕ ЗДОРОВЬЕСБЕРЕГАЮШИХ ПРАКТИК СОВРЕМЕННЫХ СТУДЕНТОВ
PROCESSING AND ANALYSIS OF MULTIPLE CHOICE QUESTIONS ON THE EXAMPLE OF MODERN STUDENTS' HEALTH-SAVING STRATEGIES
В статье рассматривается проблема обработки и анализа данных по вопросам, предполагающим возможность множественного выбора вариантов ответа. На примере данных всероссийского исследования РОС, посвященного Году экологии в России (2017), решается задача выявления различных стратегий по здоровьесбережению, характерных для современных студентов. Используются методы комбинаторики, последовательного (логического) кластерного анализа, многомерной проекции, описания группы и сравнения двух групп.
The article raises the problem of processing and analyzing data on issues that involve the possibility of multiple choice of answers. Based on the data of the All-Russian ROS survey in the year of ecology in Russia (2017) the task is to identify the various strategies for health savings that are specific for modern students. Combinatorial methods, methods of sequential (logical) cluster analysis, multi-dimensional projection method, group description method and method of comparison of two groups are used.
Ключевые слова: студенты, экологическое сознание, здоровьесбережение, вопросы с множественным выбором, комбинаторика, кластерный анализ, сравнение двух групп, описание группы, двухмерная проекция, многомерная проекция, Vortex, SPSS.
Key words: students, environmental awareness, health-saving, multiple choice questions, combinatorial, cluster analysis, comparison of two groups, group description, two-dimensional projection, multi-dimensional projection Vortex, SPSS.
Вопросы с возможностью множественного выбора (вопросы типа «меню», multiple response, поливариантные вопросы и т.д.) часто присутствуют в социологическом инструментарии опросного типа и всегда вызывают определенные трудности в обработке и анализе данных. Если взять в качестве примера пять последних крупных опросов российского студенчества, проведенных Российским обществом социологов (автор статьи принимал непосредственное участие в организации процессов сбора, обработки и анализа данных этих опросов), то получается следующая картина: в исследовании «Олимпиада и Паралимпиада в мнениях и оценках» (2014) вопросы с множественным выбором составили 48% всех содержательных вопросов, в исследовании «Студенты о Великой Отечественной войне» (2015) - 62% [3], в исследовании «Студенты о социальном неравенстве и социальной несправедливости» (2016) - 11% [4], в исследовании «Исследование РОС, посвященное Году экологии в России» (2017) - 48%, в исследовании «Чемпионат мира по футболу в России» (ЧМ-2018) - 37%. Речь идет о доле среди содержательных вопросов, исключая вопросы социально-демографического блока анкеты, которые практически всегда предполагают единственный ответ.
Одномерная и двухмерная обработка подобных вопросов, как правило, не вызывает затруднений - в современных программах обычно представлены процедуры формирования таблиц частотно-процентных распределений для переменных с множественным выбором [5, с. 207-219]. Дальнейший ана-
лиз подобных вопросов обычно сводится к использованию отдельных значений подобных переменных в качестве бинарных (переменных принимающих 0, если данный ответ не выбран и 1, если ответ выбран). Вместе с тем подобный подход (заключающийся в использовании значений переменных с множественным выбором по отдельности друг от друга и в описании частотно-процентных таблиц, а также и в других методах анализа в качестве бинарных переменных), по мнению автора статьи, является недостаточным, поскольку при этом теряется весьма важная информация о совместном выборе сразу нескольких ответов одновременно. Получается, что сложившаяся практика обработки и анализа вопросов с множественным выбором зачастую противоречит самой сути данных вопросов, заключающейся в том, что респонденты указывают нам определенные комбинации ответов, и данная информация совместного выбора не должна утратиться в процессе анализа данных.
В данной статье будет приведен обзор и сравнительный нескольких процедур анализа, которые позволяют не утратить информацию совместного множественного выбора ответов. В качестве основного инструмента будет использована Программа обработки и анализа социологической и маркетинговой информации Vortex, версия 10 [8], разработанная автором данной статьи, но аналогичные процедуры можно применять и в других программах обработки данных, например, в пакете SPSS. В качестве рассматриваемого кейса взят пример из недавно завершенного исследования РОС, посвященного Году экологии в России (научный руководитель, автор анкеты - Г.С. Широка-лова). В течение апреля-сентября 2017 г. было собрано 3 010 анкет, однако в процессе оценки качества данных ряд анкет был исключен. В результате, в основной базе присутствует 2 696 анкет, что, на наш взгляд, более чем достаточно для иллюстрации используемых методов.
Один из вопросов данного исследования, направленный на изучение особенностей личного экологического поведения студентов, звучал так: «Что Вы предпринимаете, чтобы сберечь свое здоровье?» Вопрос предполагал возможность любого количества вариантов ответа и возможность дописать собственный ответ («другое»). Столь длинный список ответов сформировался на основе предшествующих и пилотажных исследований, поэтому вариант «Другое» оказался практически бесполезным - свой вариант добавили только 39 опрошенных (менее 1,5% от числа ответивших на данный вопрос). Как видно из данных, представленных в таблице 1, всего на данный вопрос ответило 2 655 человек из 2 696 опрошенных, причем в сумме они дали 14 тыс. 609 ответов. Таким образом, каждый опрошенный дал в среднем 5,5 ответов одновременно, что можно увидеть в таблице 1 по суммарному проценту из последней колонки (% от ответивших) - 550,24%.
Таблица 1
Ответы на вопрос: «Что вы предпринимаете, чтобы сберечь свое здоровье?»
Валидные Значения Чело- % от от- % от опро- % от от-
век ветов шенных ветивших
1 Не употребляю наркотики 2116 14,48 78,49 79,70
2 Не курю 1906 13,05 70,70 71,79
3 Не вступаю в случайные половые связи 1734 11,87 64,32 65,31
4 Не забываю отдыхать 1553 10,63 57,60 58,49
5 Не употребляю алкоголь 1306 8,94 48,44 49,19
6 Занимаюсь спортом 1250 8,56 46,36 47,08
7 Слежу за своим питанием 1057 7,24 39,21 39,81
8 Заболев, сразу обращаюсь к врачам 544 3,72 20,18 20,49
Окончание табл.1
Валидные Значения Чело- % от от- % от опро- % от от-
век ветов шенных ветивших
9 Соблюдаю режим дня 519 3,55 19,25 19,55
10 Не смотрю ТВ, не читаю газет, чтобы не расстраиваться 409 2,80 15,17 15,40
11 Ничего не делаю, живу как живется 329 2,25 12,20 12,39
12 Смотрю передачи о здоровье, читаю литературу 305 2,09 11,31 11,49
13 Помогают отвлечься компьютерные игры 291 1,99 10,79 10,96
14 «Ухожу от проблем» в социальные сети 287 1,96 10,65 10,81
15 Делаю по утрам зарядку 279 1,91 10,35 10,51
16 Стараюсь дружить с теми, у кого нет проблем 257 1,76 9,53 9,68
17 Для успокоения хожу в церковь, общину 168 1,15 6,23 6,33
18 Моя семья хочет сменить/
сменила место жительства на более экологически чи- 156 1,07 5,79 5,88
стыи район
19 Занимаюсь аутотренингом 104 0,71 3,86 3,92
20 Другое 39 0,27 1,45 1,47
Сумма 14609 100,00 541,88 550,24
Итого ответивших 2655 98,48 100,00
Пропуски пустые ячейки 41 1,52
Итого 2696 100,00
Из анализа % от ответивших таблицы 1 видно, что большинство студентов ради сбережения здоровья в первую очередь отказывается от вредных привычек (наркотики, курение, алкоголь, случайные половые связи), во вторую очередь занимаются активными действиями - спортом, следят за питанием, не забывают отдыхать, соблюдают режим дня, смотрят передачи и читают литературу о здоровье и в последнюю очередь выбирают формы определенной изоляции: избегают новостей, чтобы не расстраиваться, уходят от проблем в социальные сети, компьютерные игры, стараются дружить с тем у кого «нет проблем», уходят для успокоения в церковь, общину и т.п. Однако при этом возникает закономерный вопрос: «А какие практики сбережения здоровья наиболее распространены среди студентов?» Ведь на основании данной таблицы нельзя утверждать, что не курят и не употребляют алкоголь одни и те же люди: возможно, кто-то допускает для себя одну, а кто-то -другую вредную привычку, комбинируя их с определенной формой активного поведения или изоляционизма. Для решения этой проблемы сначала обратимся к самому простому средству: определим, какие комбинации ответов на данный вопрос встречаются наиболее часто.
Однако здесь нас подстерегает другая проблема: число возможных сочетаний от 1 до 19 из 19 ответов составляет 19, или 2,216*1017. Просчитать частоту всех возможные сочетания практически не представляется возможным. На самом деле, используемый алгоритм не предполагает оценку всех возможных комбинаций: наличие комбинации определяется по факту - программа перебирает анкету за анкетой и, если новая комбинация встретилась, добавляет ее к списку. Поэтому число комбинаций не может превысить число документов (анкет) в базе. Вместе с тем перебор комбинаций в нашем слу-
чае не дает удовлетворительный результат (см. данные табл. 2). Дело в том, что, когда опрошенные дают сразу много вариантов (в данном случае в среднем 5,5), каждая оригинальная комбинация из большого количества вариантов будет характеризоваться достаточно низкой частотой. Поэтому почти 90% у нас ушло в «Другое» - сумма комбинаций, которых придерживается менее чем 20 опрошенных. Таким образом, анализ комбинаций будет эффективным только при условии существенного ограничения числа возможных ответов на вопрос («выберите не более 2-3 ответов», «не более трех ответов» и т.п.).
Таблица 2
Комбинации ответов на вопрос «Что вы предпринимаете, чтобы сберечь свое здоровье?»
Комбинация: Частота % от ответивших
Живу, как живется 48 1,81
Не употребляю алкоголь + Не курю + Не вступаю в случ. половые связи + Не употребляю наркотики + Не забываю отдыхать 42 1,58
Не употребляю алкоголь + Не курю + Не вступаю в случ. половые связи + Не употребляю наркотики 33 1,24
Не употребляю алкоголь + Не курю + Слежу за питанием + Занимаюсь спортом + Не вступаю в случ. половые связи + Не употребляю наркотики + Не забываю отдыхать 29 1,09
Не курю + Занимаюсь спортом + Не вступаю в случ. половые связи + Не употребляю наркотики + Не забываю отдыхать 26 0,98
Не употребляю алкоголь + Не курю + Занимаюсь спортом + Не вступаю в случ. половые связи + Не употребляю наркотики + Не забываю отдыхать 24 0,90
Не вступаю в случ. половые связи + Не употребляю наркотики + Не забываю отдыхать 24 0,90
Не курю + Не вступаю в случ. половые связи + Не употребляю наркотики + Не забываю отдыхать 24 0,90
Не курю + Слежу за питанием + Не вступаю в случ. половые связи + Не употребляю наркотики + Не забываю отдыхать 23 0,87
Не употребляю алкоголь + Не курю + Занимаюсь спортом + Не вступаю в случ. половые связи + Не употребляю наркотики 22 0,83
Не употребляю алкоголь + Не курю + Не употребляю наркотики 20 0,75
Другие комбинации с частотой меньше 20 2337 88,12
Итого ответивших: 2652 100,00
Итак, поскольку в нашем случае метод комбинаций оказался неэффективным из-за большого числа одновременно выбираемых ответов, то обратимся к многомерному методу, допускающему неоднозначное разделение по совокупности выбранных ответов - кластерному анализу. Так как разделению на кластеры подлежат бинарные переменные, то рекомендуется использовать методы анализа, учитывающие этот момент [1, с. 22].
При проведении кластерного анализа возможно получение достаточно большого числа кластерных решений, из которых необходимо выбрать оптимальное. Обычно в качестве критерия оптимальности служит Силуэтная мера связности и разделения кластеров. Силуэтная мера усредняет по всем объектам величину (В—А) / тах(А,В), где А - это расстояние от объекта до центра его кластера, а В - это расстояние от объекта до центра ближайшего кластера, к которому он не принадлежит [1, с. 83]. Таким образом, чем выше значение Силуэтной меры (ближе к 1), тем лучше данное решение рас-
пределяет объекты по кластерам. Как следует из данных, представленных на рис. 1, с увеличением числа кластеров (ось X) увеличивается плотность кластеров (сокращается среднее расстояние до центра кластера) и растет дифференцированность кластеров (увеличивается среднее расстояние между центрами кластеров). Силуэтная мера проявляет себя нелинейно - наблюдается повышенное значение (0,190) силуэтной меры при трех кластерах, затем происходит спад и рост Силуэтной меры проявляется при числе кластеров 9 и более. Судя по графику Силуэтной меры, оптимальным является решение из 11 кластеров (значение 0,201). Однако при таком числе кластеров численность каждого кластера становится незначительной (минимально - 59 человек в кластере), и, учитывая выборочный характер данных, кластеры становятся нерепрезентативными. Поэтому отдано предпочтение решению из трех достаточно объемных кластеров (см. данные табл. 3).
6 7 8 9 10 11 Число кластеров в решении
Среднее расстояние до центра кластера
Среднее
расстояние
между
центрами
кластеров
Силуэтная мера
связности и разделения кластеров
Рис. 1. Значение Силуэтной меры в зависимости от числа кластеров
Таблица 3
Объем и конечные центры для решения из трех кластеров
(% от числа студентов в кластере)
Характеристики/Кластер: Кластер 1 (не ориентированный на ЗОЖ) Кластер 2 (отказ от вредных привычек) Кластер 3 (активный ЗОЖ) В целом
Объем кластера (человек) 712 1035 905 2652
Слежу за питанием 21,30% 0,00% 100,00% 39,90%
Живу как живется 26,40% 10,80% 3,20% 12,40%
Делаю по утрам зарядку 6,30% 6,50% 18,50% 10,50%
Соблюдаю режим дня 11,70% 12,40% 34,00% 19,60%
Не употребляю алкоголь 4,60% 65,40% 65,90% 49,20%
Не курю 10,00% 98,10% 90,60% 71,90%
Смотрю, читаю о здоровье 7,20% 8,90% 17,90% 11,50%
Занимаюсь аутотренингом 2,20% 3,50% 5,70% 3,90%
Занимаюсь спортом 29,40% 41,00% 68,20% 47,10%
Хожу в церковь, общину 6,00% 4,30% 9,00% 6,30%
«Ухожу от проблем» в соц.сети 16,30% 10,20% 7,20% 10,80%
Не вступаю в случ. половые связи 42,40% 73,60% 74,00% 65,40%
Отвлекаюсь в компьютерных играх 12,60% 12,50% 8,00% 11,00%
Окончание табл. 2
Характеристики/Кластер: Кластер 1 (не ориентированный на ЗОЖ) Кластер 2 (отказ от вредных привычек) Кластер 3 (активный ЗОЖ) В целом
Сразу обращаюсь к врачам 15,70% 19,40% 25,50% 20,50%
Не употребляю наркотики 56,70% 87,80% 88,70% 79,80%
Дружу с теми, у кого «нет проблем» 8,70% 11,00% 9,00% 9,70%
Хочу переехать в «чистый» район 4,80% 5,90% 6,70% 5,90%
Не забываю отдыхать 50,70% 59,10% 64,10% 58,60%
Не смотрю ТВ, не читаю газет 17,10% 15,30% 14,30% 15,40%
Анализ конечных центров решения из трех кластеров выявил три содержательных здоровьесберегающих стратегии, характерных для опрошенных студентов:
1 кластер (в среднем 3,5 ответа на 1 человека) характеризуется меньшим количеством предпринимаемых мер для сохранения собственного здоровья. Представители данного кластера вполне допускают для себя различные вредные привычки - курение, употребление алкоголя и даже наркотиков, допускают случайные половые связи. Редко занимаются спортом, практически не интересуются вопросами здоровья, не соблюдают режим дня и не делают зарядку. В общем, действуют по принципу «живу как живется». Условно назовем такой тип студентов «Не ориентированные на здоровый образ жизни (ЗОЖ)».
2 кластер (в среднем 5,5 ответа на человека) характеризуется отказом от вредных привычек. Студенты-представители данного кластера практически не курят (98,1%), не употребляют алкоголь (65,4%), наркотики (87,8%), избегают случайных половых связей (73,6%). Однако, отказавшись от вредных привычек, студенты второго типа не очень активно вовлечены в спорт, редко делают зарядку, соблюдают режим дня, совершенно не следят за своим питанием.
3 кластер (в среднем 7,1 ответа на человека) характеризуется большим количеством активных мер, направленных на сохранение собственного здоровья. Помимо отказа от вредных привычек студенты данного кластера следят за своим питанием (100%), чаще других занимаются спортом (68,2%), соблюдают режим дня (34%), делают по утрам зарядку (18,5%). Стоит отметить, что представители данного кластера чаще целенаправленно интересуются вопросами здоровья: читают литературу, смотрят передачи (17,9%) и, в случае заболевания, предпочитают сразу обращаться к врачам (25,5%). Еще одно отличие данного кластера - данные студенты реже используют формы эскапистского поведения, реже «уходят от проблем» в социальные сети, отвлекаются в компьютерных играх, отказываются от новостей. Условно данный кластер был назван «активный ЗОЖ».
Анализ отличительных черт представителей каждого кластера по всему спектру переменных исследования выявил, что три выявленных типа здо-ровьесбережения практически не связан с социально-демографическими признаками (исключение - пол), а связан с особенностью выбора продуктов питания и степенью беспокойства различными экологическими проблемами.
Среди первого кластера чаще встречаются мужчины (на 10,6% чаще, чем в целом по массиву), те, кто оценивает свое здоровье как удовлетворительное (на 8,6% чаще, чем в целом по массиву). Они реже при выборе продуктов обращают внимание на их свежесть (на 13% реже, чем в целом по массиву), наличие ГМО (на 10% реже), на состав, дату изготовления продуктов и маркировку ГОСТ (на 7-7,5% реже, чем в целом по массиву), их, как правило, реже беспокоят экологические проблемы.
Представители второго кластера не имеют существенных отличий от всего массива. Это связано с тем, что второй кластер содержательно находится между первым («не ориентированные на ЗОЖ») и третьим («активный ЗОЖ»). Соответственно, студенты третьего кластера становятся типичными и не имеют значимых различий со всем массивом опрошенных - где-то они близки к представителям первого, где-то к представителям третьего кластера. Единственная черта, статистически значимо отличающая представителей данного кластера, - выбирать еду по принципу «что я люблю, к чему привык» (чаще на 8,1%, чем в целом по массиву).
Для представителей третьего кластера, наоборот, характерны обязательное изучение состава продукта (на 14,3% чаще, чем в целом по массиву) и, соответственно, выбор продуктов без консервантов (на 13,44), без ГМО (на 10,5% чаще), без пальмового масла (на 9,8% чаще), без улучшителей вкуса (на 9,4% чаще) и только свежих продуктов (на 9,6% чаще). Представители данного кластера не очень доверяют качеству продуктов общепита, предпочитая приносить еду из дома (на 8,9% чаще). Они чаще других (на 7%) делают замечания тем, кто мусорит или наносит вред окружающей среде. Подобная разборчивость в питании обычно вынуждает идти на дополнительные расходы, и они готовы их понести. Они реже других покупают продукты по принципу «На что денег хватит» (на 7,1% реже, чем в целом по массиву) и даже готовы отказаться от своих привычек и вкусовых предпочтений в пользу более полезных продуктов (разница со всем массивом - 8,7%).
Таким образом, кластерный анализ [6] помог решить проблему необходимости совместного использования информации по различным значениям переменной с множественным выбором и сформировать модели здоровьесбе-режения студентов.
Еще одним методом, который может быть использован в анализе вопросов с множественным выбором, является метод многомерного шкалирования [5]. Суть метода заключается в том, что подобно кластерному анализу строится матрица расстояний. Только если в кластерном анализе считаются расстояния между объектами по совокупности значений, то в данном случае считаются расстояния между значениями по совокупности объектов. Далее находится решение, при котором многомерную совокупность расстояний между объектами можно перевести в меньшее количество измерений с минимальным искажением. Наиболее наглядно выглядит перевод в двухмерную проекцию, когда число измерений равно двум и объекты можно расположить на плоскости.
На рисунке 2 приведен результат двухмерной проекции [5] здоровьес-берегающих действий опрошенных студентов, наложенный на некоторые социально-демографические параметры. Поскольку цель двухмерной проекции - максимально корректно отразить расстояния, то визуально можно заметить следующие закономерности:
1. Для мужчин чаще характерны обучение по технической или военной специальности и активные здоровьесберегающие практики: занятия спортом, соблюдение режима дня и утренняя зарядка. Вместе с тем мужчины чаще предпочитают и эскапистское поведение - отказ от новостей, компьютерные игры, социальные сети.
2. Для женщин (предпочитающих широкий спектр специальностей -естественнонаучная, экономическая, гуманитарная, медицинская) характерен прежде всего отказ от опасных привычек (не курят, не употребляют алкоголь, наркотики, не вступают в случайные половые связи), они чаще в случае заболевания сразу обращаются к врачам.
3. Для студентов, не имеющих детей, характерно внимательное, активное отношение к собственному здоровью: они занимаются спортом, делают зарядку, следят за питанием, соблюдают режим дня, смотрят передачи и читают литературу о здоровье.
4. Для студентов, имеющих детей (причем не важно - одного или более), ситуация значительно меняется: они больше внимания уделяют детям (как правило, еще маленьким) и вынуждены отказаться от активной заботы о собственном здоровье, комбинируя отказ от вредных привычек с эскапистскими мерами.
Технинеская
¿—А Мужской.
□
Занимаюсь спортом
Делаю по утрам зарядку
О Отвлекаюсь в компьютерных играх
\—7 Не смотрю ТВ^Н"
▼ О
те и нет
Не смотрю ТВ,не читаю газет О
Слежу з^питанием
Детей нет
Соблюдаю_|эеж им дня
Военная
Смотрю, читдю о здоровье
Не забываю отдыхать
Живу, как живется Другая 0
Друж^^еми, у^дого "нет проблем"
Хочу переехать в "чистый" район ^потребл я ю ал ко гол ь О
есЗр °
Не употреблдю наркотики
Хожу в це^швь, общину
Т
¡а ибс
Два и более
Сразу обраи^юсь к врачам Не вступаю в случ. половые связи
сл^ч.
Медицинская
1н^бе1
Один ребенок
Ьт ест в еннонау чная
Гуманитарная *—* Экономическая /\
Женский. А / \
□ А
о ЧТО ВЫ ПРЩЦПРИ НИ МАЕТЕ, ЧТОБЫ СБЕРЕЧЬ СВОЕ ЗДОРОВЬЕ? □ Пол
А Специальность ▼ Есть ли в ВАСдети?
Рис. 2. Двухмерная проекция здоровьесберегающих мер студентов, наложенная на некоторые социально-демографические характеристики
Таким образом, использование многомерной проекции при анализе вопросов с множественным выбором позволяет решить одновременно две задачи - выявить типичные сочетания здоровьесберегающих практик (активно-спортивная, эскапистская, отказ от вредных привычек) и обнаружить различия в использовании данных практик. В нашем случае это оказались типовые гендерные различия и изменения, произошедшие в результате рождения детей.
Литература
1. Бююль, А. SPSS: искусство обработки информации Анализ статистических данных и восстановление скрытых закономерностей [Текст] / А. Бююль, П. Цефель. - СПб. : ДиаСофтЮп, 2005. - 608 с.
2. Толстова, Ю.Н. Основы многомерного шкалирования [Текст] / Ю.Н. Толсто-ва. - М. : КДУ, 2006. - 160 с.
3. Через исследования к доверительному сотрудничеству [Текст] / Ю.Р. Вишневский [и др.] // Война была позавчера... : Российское студенчество о Великой Отечественной войне : мат-лы мониторинга Современное российское студенчество о Великой Отечественной войне / под общ. ред. Ю.Р. Вишневского. - Екатеринбург : Изд-во Урал. ун-та, 2015. - С. 80-83.
4. Шкурин, Д.В. Вопросы методики исследования РОС «Студенчество о социальном неравенстве и социальной справедливости» (организация сбора и обработки информации, оценка репрезентативности и качества данных [Электронный ресурс] / Д.В. Шкурин // Студенчество России о социальном неравенстве и социальной справедливости : сб. науч. статей / под общ. ред. Ю.Р. Вишневского. - М. : Российское общество социологов ; Екатеринбург : Изд-во УМЦ УПИ. - 2016. - С. 106-120. - Режим доступа: http://elar.urfu. ru/bitstream/10995/41255/1/978-5-904804-22-0_2016.pdf (дата обращения: 30.09.2017).
5. Шкурин, Д.В. Двухмерная проекция [Электронный ресурс] / Д.В. Шкурин // Руководство пользователя к программе обработки и анализа социологической и маркетинговой информации «Vortex». - Режим доступа: http://cawi. fsocium.com/vortex/help/analyz/d2scale.html.
6. Шкурин, Д.В. Кластерный анализ [Электронный ресурс] / Д.В. Шкурин // Руководство пользователя к программе обработки и анализа социологической и маркетинговой информации «Vortex». - Режим доступа: http://cawi. fsocium.com/vortex/help/analyz/k_means.html.
7. Шкурин, Д.В. Описание группы [Электронный ресурс] / Д.В. Шкурин // Руководство пользователя к программе обработки и анализа социологической и маркетинговой информации «Vortex». - Режим доступа: http://cawi. fsocium.com/vortex/help/analyz/qroup_descr.html.
8. Шкурин, Д.В. Программа обработки и анализа социологической и маркетинговой информации «Vortex» [Электронный ресурс] / Д.В. Шкурин. - Режим доступа: http://www.vortex10.ru (дата обращения: 30.09.2017).
9. Шкурин, Д.В. Процедура «Комбинировать ответы Поливариантной переменной» [Электронный ресурс] / Д.В. Шкурин // Руководство пользователя к программе обработки и анализа социологической и маркетинговой информации «Vortex». - Режим доступа: http://cawi.fsocium.com/ vortex/help/ transform/combine_poly.html (дата обращения: 30.09.2017).
10. Шкурин, Д.В. Сравнительная оценка качества данных офлайн и онлайн опросов [Электронный ресурс] / Д.В. Шкурин // Дискуссия : политематический журнал научных публикаций. - 2015. - № 8 (60). - С. 101-105. - Режим доступа: http://journal-discussion.ru/publication.php?id=1426 (дата обращения: 30.09.2017).
11. Dulina, N.V. Ecological Culture of Students in Modern Russia [Electronic resource] / N.V Dulina, E.N. Ikingrin, D.V. Shkurin // (Un)Making Europe: Capitalism, Solidarities, Subjectivities: View from Russia : 13th Conference of the European Sociological Association / Ed. V Mansurov. - Moscow : RSS, 2017. - URL: http://www.ssa-rss.ru/files/File/PublikaciiROS/ (Un)MakingEurope Capitalism Solidarities SubjectivitiesViewFromRussia.pdf (date of access: 30.09.2017).
12. Kaufman, L. Finding Groups in Data: An Introduction To Cluster Analysis [Text] / L. Kaufman, P. Rousseeuw // Hoboken, New Jersey: J. Wiley & sons, Inc., 1990 (2005). - 355 p.
