CC BY
59
УДК 81-139
ПОТЕНЦИАЛ ИСПОЛЬЗОВАНИЯ МЕТОДА КРАУДСОРСИНГА В РАМКАХ ЛИНГВИСТИЧЕСКОГО ЭКСПЕРИМЕНТА
Мария В. Данильчук а• @ т
аРоссийский государственный педагогический университет им. А. И. Герцена, 191186, Россия, Санкт-Петербург, Наб. реки Мойки, 48 @ [email protected] 1В http://www.researcherid.com/rid/W-9170-2018
Поступила в редакцию 17.06.2018. Принята к печати 26.10.2018.
Ключевые слова: Аннотация: В статье рассмотрен метод краудсорсинга в рамках лингвистиче-
краудсорсинг, краудсор- ского эксперимента. Предложен алгоритм проведения эксперимента, включа-синговый проект, линг- ющий этапы постановки задачи, создания и тестирования анкеты. Даны реко-вистический экспери- мендации по организации краудсорсингового проекта, рассмотрены вопросы мент, фоносемантика мотивации респондентов, привлекательности анкеты для сбора данных, выбора краудсорсинговой платформы, экспорта данных. На примере проведенного методом краудсорсинга лингвистического эксперимента установлена возможность получения информации по оценке потенциала фоносемантиче-ского анализа при решении вопросов номинации в маркетинге. Полученные данные выявили возможность совпадения ассоциаций разработчика названия с ассоциациями, возникающими в большой группе респондентов, находящейся в сети Интернет. Эксперимент показал, что краудсорсинг в условиях становления общества как сетевого является доступным методом, позволяющим получить объективные данные и показывающим высокий исследовательский потенциал. Описанная процедура по организации краудсорсингового проекта может быть использована в качестве руководства и рекомендована к применению в рамках других лингвистических исследований.
Для цитирования: Данильчук М. В. Потенциал использования метода краудсорсинга в рамках лингвистического эксперимента // Вестник Кемеровского государственного университета. 2018. № 4. С. 198-204. DOI: https://doi.org/10.21603/2078-8975-2018-4-198-204
Введение
Термин краудсорсинг1 введен Д. Хау в январе 2006 г. в журнале Wired, издающемся в Сан-Франциско и в Лондоне [1]. Уже через полгода автором отмечена2 высокая скорость распространения как термина, так и самого метода. В настоящее время метод краудсорсинга находит применение в области маркетинга, политики, различных областях науки. Оценка потенциала использования краудсорсинга в лингвистике является целью данной статьи.
Под краудсорсингом в работах Д. Хау понималось действие организации, принимающей на себя функцию, ранее выполняемую ее сотрудниками, и передача выполнения этой функции произвольной (и обычно большой) группе лиц в сети Интернет, работающей бесплатно. С течением времени толкование термина несколько изменилось. Делегирование задач стало возможным не только
организацией, но и частным лицом, спектр делегируемых задач расширился. Для оптимального выполнения задачи её делегирование может производиться не произвольной группе лиц, а целевой аудитории, для которой можно задать определенные параметры: территория проживания, возраст, пол, профессия и т. д., что позволяет исключить тех, кто не подходит для решения конкретной задачи. Далее под термином краудсорсинг будем понимать привлечение респондентов в сети Интернет на добровольной основе или за вознаграждение для сбора данных в рамках лингвистического эксперимента.
Метод краудсорсинга можно сравнить с методом Дельфи или методом фокус-групп. Несмотря на внешнюю схожесть, эти методы имеют существенные различия. Под методом фокус-групп понимается групповая дискуссия, в которой внимание концентрируется
1 Портал крауд-сервисов. Режим доступа: http://crowdsourcing.ru/article/what_is_the_crowdsourcing (дата обращения: 01.05.2018); The rise of crowdsourcing // Wired. Режим доступа: https://www.wired.com/2006/06/crowds/ (дата обращения: 01.05.2018).
2 Howe J. Crowdsourcing. 02.06.2006. Режим доступа: http://crowdsourcing.typepad.com/cs/2006/06/Crowdsourcing_a.html (дата обращения: 01.05.2018).
на конкретном вопросе, а итоговыми данными для анализа являются ответы респондентов, информация о которых фиксируется и может учитываться [2]. Метод Дельфи отличается от метода фокус-групп анонимностью ответов, отсутствием дискуссии (нет возможности поменять точку зрения, слушая ответы других респондентов) и опорой на мнение экспертов. В дискуссии, проводимой по методу фокус-групп, присутствует модератор, который фиксирует ответы, анализирует их и делает выводы. В случае с использованием метода Дельфи сбором и анализом ответов может заниматься организованная группа исследователей. Преимуществом метода краудсорсинга является способность расширить количество участников дискуссии или группу экспертов до всех пользователей сети Интернет и существенно отличается тем, что опирается на мнение большого количества непрофессионалов [3]. Однако есть мнение [4-7], что «толпа» при решении, например, задач компании, которые ранее решались ограниченным количеством штатных специалистов, при определенных условиях практически всегда превзойдет любое число штатных сотрудников по всем возможным параметрам: скорость решения задачи, оригинальность и др. Такой задачей, например, может быть оценка перевода названия бренда, выходящего на новый рынок. При решении подобной задачи метод краудорсинга способен дать широкий обзор мнений от потенциальных потребителей продукции, а значит обеспечит возможность получения максимально объективной оценки и, как следствие, будет способствовать коммерческому успеху бренда.
Для создания успешного краудсорсингового проекта (сбора данных методом краудсорсинга) необходимо принять во внимание несколько аспектов: мотивацию респондентов, привлекательность анкеты, предлагаемой для сбора данных, выбор платформы для краудсорсинга [6]. Рассмотрим особенности указанных аспектов краудсорсинго-вого проекта, определяющих его результаты.
Мотивация респондентов
Несмотря на то, что коммуникация в сети Интернет является наиболее актуальной и востребованной в современном мире, и для респондента подключиться к какому-либо краудсорсинговому проекту психологически легко, необходимо наличие дополнительных мотивирующих факторов. При рассмотрении краудсорсингового проекта с точки зрения мотивации респондентов должны быть приняты во внимание следующие факторы: экономический, социальный и психологический.
Экономическая мотивация заключается в получении респондентом дополнительного заработка или иного вида вознаграждения в рамках краудсор-сингового проекта.
Кроме того, при реализации проекта могут быть задействованы внеэкономические факторы: социальные и психологические. При участии в кра-удсорсинговом проекте действие социально-психологических факторов может быть реализовано следующими способами:
- респонденты повышают свою самооценку и социальный статус в обществе, осознавая себя частью масштабного проекта, например, решают маркетинговые задачи известной компании-производителя: расширить линейку продуктов, выбрать название для нового продукта, придумать дизайн упаковки и др.;
- респонденты реализуют потребность в общении, осознавая, что они являются частью массового проекта - они - частица большой «толпы», участвующей в глобальном проекте - «философия соучастия» [8];
- респонденты реализуют потребность в творчестве, имея возможность реализовать свой талант, например, выполняют творческие задания в рамках конкурса [4];
- респонденты реализуют потребность в получении новых знаний, понимая, что они смогут ознакомиться с итоговыми результатами исследования;
- респонденты реализуют потребность в развлечении, находясь в «атмосфере состязательности или детского веселья» [8].
Метод краудсорсинга предполагает использование средств электронной коммуникации, в том числе социальных сетей, для привлечения к участию в решении конкретной задачи. Таким образом, перечисленным мотивирующим факторам способствует становление общества как сетевого [9], что связано с активным развитием технологий социальных сетей [3]. Респонденты наиболее мотивированы во время коммуникации в сети Интернет, чем при сборе данных во время живого общения или по телефону.
Привлекательность анкеты для сбора данных
Для исследования в рамках краудсорсингового проекта используются анкеты, привлекающие внимание потенциальных участников и оформленные определенным образом. Существенными обстоятельствами при формировании анкеты являются:
- наличие инструкции по заполнению анкеты;
- время заполнения анкеты;
- дизайн анкеты.
Анкета с заданиями или вопросами должна содержать простую и логичную инструкцию по заполнению, чтобы на ее изучение респонденту не пришлось тратить много времени. Количество вопросов может варьироваться в зависимости от сложности самих вопросов и их типа (открытые или закрытые). Время для ответов на вопросы не должно занимать более 10 минут, чтобы снизить риск преждевременного прекращения заполнения и быть комфортным
для респондента. На платформах для размещения опросов в Интернете предлагаются готовые шаблоны анкеты, включающие нейтральные по цвету варианты, которыми можно воспользоваться. Некоторые платформы за дополнительную оплату предоставляют возможность создания собственного дизайна, загрузки логотипа и изображений.
Выбор краудсорсинговой платформы
Краудсорсинговая платформа - это Интернет-ресурс, на котором имеется возможность создать анкету для проведения эксперимента методом краудсорсинга. Такими платформами являются, к примеру, сервисы для проведения онлайн-опросов SurveyMonkey и Google Forms. Сервис SurveyMonkey в бесплатной версии имеет определенные ограничения: количество вопросов не более 10 и ответов не более 100, а также в нем отсутствуют некоторые функции, доступные в платной версии: загрузка изображений в вопросы, создание собственного дизайна анкеты (загрузка логотипа) и др.
Сервис Google Forms является бесплатным и имеет оптимальный набор функций, необходимых для создания анкеты: создание открытых и закрытых вопросов без ограничений по их количеству с выбором вариантов ответа, возможность экспорта данных как с помощью графиков и круговых диаграмм, так и в формате Excel, возможность просмотра каждого ответа по отдельности. При организации краудсорсингового проекта частным лицом целесообразнее воспользоваться платформой Google Forms, оптимальной по функциям для решения частных задач. Если же проект организовывается представителями того или иного бренда, фирмой, то рекомендуется использовать сервис SurveyMonkey, т. к. на данном сервисе компания сможет дополнить дизайн элементами своего фирменного стиля и разместить графики, фотографии и другие изображения.
Основные типы краудсорсингового проекта
Выделим два основных типа краудсорсинговых проектов:
- решение конкретной задачи в формате открытого конкурса (например, придумать дизайн продукта, название компании и т. д.);
- организация исследования и последующий сбор статистически достоверных данных для анализа (мнение о вкусе продукта, определение предпочтений целевой аудитории, мнение о звучании названия бренда, о качестве перевода и т. д.).
Применительно к лингвистическому исследованию потенциала фоносемантического анализа в процессе номинации в маркетинге краудсорсинговый проект второго типа может помочь получить актуальные данные по восприятию потенциальными потребителями тех или иных звуков и их комбинаций.
Основные этапы организации краудсорсингового проекта
Рассмотрим основные этапы организации краудсорсингового проекта на примере создания краудсорсингового проекта на платформе Google Forms - площадки для проведения опросов.
Этап 1. Постановка задачи. При постановке задачи необходимо оценить ожидания от краудсорсингового проекта: какие и в каком виде данные должны быть получены для успешной реализации проекта.
Этап 2. Выбор целевой аудитории. Если поставленная задача на этапе 1 требует получения данных только от конкретной группы респондентов, вносятся ограничения по возрасту, полу, виду деятельности, локации или другим параметрам для привлечения к проекту необходимой аудитории.
Этап 3. Создание и оформление анкеты. Вопросы анкеты составляются так, чтобы полученные ответы предоставили необходимые данные для выполнения задач.
Этап 4. Тестирование анкеты и внесение корректировок. Тестирование анкеты проводится методом фокус-групп или методом Дельфи. При этом исследователи оценивают время, которое тратят респонденты на ответ, при необходимости корректируют количество вопросов, оценивают уровень мотивации респондента при ответе. Проводится оценка совпадения полученных результатов с заданными ожиданиями от краудсорсингового проекта, оценка уровня выполнения поставленных задач на этапе 1.
Этап 5. Перенос анкеты на платформу Google Forms. Тестирование процесса анкетирования на платформе Google Forms, внесение корректировок.
Этап 6. Распространение ссылки на анкету в социальных сетях (Вконтакте, Facebook и др.). Размещение ссылки на анкету в сообществах с большим количеством участников способствует максимально быстрому достижению необходимого количества ответов.
Этап 7. Экспорт полученных данных с последующим анализом. Способ выгрузки данных должен способствовать анализу и получению выводов.
Краудсорсинговый проект на примере лингвистического эксперимента
Рассмотрим этапы краудсорсингового проекта на конкретном примере проведенного лингвистического эксперимента.
Основная задача в проводимом эксперименте состояла в оценке потенциала фоносемантичес-кого анализа при разработке нового названия для бренда и получении ответа на вопрос: может ли разработчик названия, заложив определенные ассоциации посредством специфического звучания названия бренда, ожидать аналогичное восприятие названия от респондентов.
В данном случае целевая аудитория была представлена всеми людьми, проживающими на территории Российской Федерации и являющимися носителями русского языка, поэтому специальные ограничения при формировании тестовой группы респондентов, а также при распространении анкеты в сети Интернет не вводились.
Анкета для предварительного тестирования состояла из 14 закрытых вопросов, предлагающих варианты ответа и тестирующих пары фантазийных (искусственно созданных) слов Эвелоун и Зиппег, Тикитон и Раола. Каждая пара относится к разным типам звукосимволизма [10]. Первая пара слов, принадлежащая одному из основоположников экспериментальной фоносемантики А. П. Журавлеву [11], была использована в рамках его эксперимента с подбором изображений для краев озера. Эксперимент показал, что озеро с названием Зиппег для большинства респондентов должно иметь острые края, а с названием Эвелоун - пологие. Эксперимент в рамках данного исследования проводился с целью проверить, как будут работать данные слова применительно к названиям товаров. Будет ли ассоциация, причина которой - явление звукосимволизма, так же приоритетна, как и в эксперименте А. П. Журавлева, или появятся другие, более весомые факторы, влияющие на выбор, сделанный респондентами. Пара Тикитон - Раола была создана самостоятельно по аналогии с фантазийными словами mil и mal Сепира [12]: задачей было придумать такие слова, в одном из которых были бы преимущественно узкие (по широте раствора рта) гласные верхнего подъема, а в другом - широкие (по широте раствора рта) гласные нижнего подъема.
Тестирование анкеты производилось методом фокус-групп. Респондентами в рамках групповой дискуссии были 34 студента филологического факультета РГПУ им. А. И. Герцена. Им было предложено заполнить анкету и письменно дать комментарии к выбранным вариантам ответов, если они могли это сделать. После сбора анкет была проведена групповая дискуссия, во время которой респонденты могли вслух обсудить выбранные варианты ответов. Уже в ходе данной дискуссии стало понятно, что кроме непосредственно звуковых ассоциаций, вызванных явлением звукосимволизма, оказались важны звуковые ассоциации с конкретными языками: респондент подсознательно пытается определить происхождение того или иного продукта (Зиппег - что-то немецкое, Раола - что-то финское и т. д.). В случае с экспериментом с названиями озер данная особенность не могла проявиться, т. к. характеристика по месту происхождения при постановке вопроса о форме краев озер не являлась релевантной.
После тестового эксперимента был проведен анализ ответов и корректировка анкеты. Для чистоты эксперимента были добавлены пары фантазийных слов (Лиовьель - Бритринг и Ринти - Гауварра). Так как метод краудсорсинга не предполагает групповой дискуссии, были добавлены открытые вопросы, при ответе на которые респондент мог бы описать ассоциации, вызванные словом. Таким образом, количество вопросов увеличилось до 36. Все вопросы были перенесены на платформу Google Forms. Дополнительно анкета тестировалась на двух испытуемых мужского и женского пола, ранее не принимавших участия в тестовом эксперименте, чтобы оценить время, которое затратят респонденты. При проверке оба испытуемых ответили на 36 вопросов менее чем за 10 минут, что являлось для них комфортной временной отметкой.
Ссылка на анкету рассылалась в мессенджерах, а также в социальных сетях Facebook и Вконтакте. Разместить ссылку на анкету в группах с большим количеством пользователей и высокой активностью можно было за дополнительную оплату. Количественные характеристики ответов на вопросы, предполагающие выбор ответа из предложенных, показаны в виде круговой диаграммы (рис. 1). Количественные характеристики ответов на открытые вопросы показаны отдельно и предполагают редакцию и анализ данных «вручную» в связи с необходимостью приведения разных токенов к лексеме (рис. 2). Способ экспорта данных позволяет анализировать анкету каждого респондента по отдельности и выгрузить все ответы в формате Excel.
Для определения объема выборки (количества респондентов, заполнивших анкету) использовался онлайн-калькулятор3. Расчет проводился с целью определения количества респондентов, обеспечивающих экстраполяцию на генеральную совокупность (все люди, постоянно проживающие на территории
Рис. 1. Соотношение ответов респондентов на конкретные стимулы
Fig. 1. The percentage of respondents' answers on the concrete stimuli
3 Как правильно рассчитать объем выборки // Анкетолог. Режим доступа: https://blog.anketolog.ru/2015/12/vyborka/ (дата обращения: 01.05.2018).
Напишите несколько определений, которые могли бы охарактеризовать
Рис. 2. Представление информации в виде таблицы с ответами респондентов на открытые вопросы в Google Forms Fig. 2. The présentation of information in a table format with answers on the open questions in Google Forms
Российской Федерации и являющиеся носителями русского языка). В данном эксперименте для максимальной точности необходимо 666 респондентов. Для дополнительного контроля полученных результатов на определенном этапе необходимо сделать срез ответов респондентов, зафиксировать их. В данном эксперименте было решено сделать срез на этапе, когда на вопросы анкеты ответили 300 респондентов. Затем после увеличения количества респондентов на 50 % от имеющегося количества необходимо было проследить изменения результатов: оценить, произошли ли существенные отклонения от уже ранее полученных данных. На основании сравнения срезов с полученными ответами можно сделать вывод о возможности завершения сбора данных и об окончании проведения эксперимента. После завершения эксперимента данные подлежат выгрузке, обработке и анализу, после чего формулируются выводы.
На момент написания статьи сбор данных находился на этапе первого среза, когда имелась возможность сделать предварительные выводы и сравнить их с ожиданиями, которые были сформулированы на первом этапе краудсорсингового проекта. Предположения, сделанные на этапе постановки задачи, были подтверждены данными, полученными во время тестирования анкеты методом фокус-групп, и затем подтверждены данными первого среза, полученными методом краудсорсин-га. По результатам эксперимента можно сделать предварительные выводы:
- благодаря явлению звукосимволизма в фантазийное слово, используемое для названия бренда, можно заложить определеные характеристики товара или услуги (консистенция, геометрическая форма, размер, скорость) и ожидания по их стоимости и стране происхождения;
- респонденты оценивают название бренда с точки зрения страны его происхождения и на основании звучания слова делают определенные выводы;
- на ассоциации респондентов кроме звучания влияет также длина слова, скорость артикуляции и другие факторы.
Результаты, полученные с помощью метода кра-удсорсинга в рамках описанного лингвистического эксперимента, в дальнейшем помогут сформировать рекомендации по созданию новых имен для брендов, которые будут создавать необходимый для разработчика образ в сознании потребителей и привлекать нужную целевую аудиторию.
Заключение
В XXI в. краудсорсинг является доступным методом, позволяющим получить объективные данные для исследований в области лингвистики. Нами предложен алгоритм проведения лингвистического эксперимента методом краудсорсинга, включающий в себя этапы постановки задачи, тестирования анкеты, переноса анкеты на краудсорсинговую платформу, экспорта полученных данных с последующим анализом. На примере конкретного лингвистического эксперимента с использованием метода краудсорсинга показана возможность получения объективных данных при решении вопросов номинации в маркетинге. Эксперимент показал возможность совпадения ассоциаций, закладываемых в название его разработчиком, и ассоциаций, возникающих у большой группы респондентов в сети Интернет, что свидетельствует о высоком потенциале фоносемантического анализа.
Предложенная процедура по проведению эксперимента методом краудсорсинга показала свою состоятельность, удобство, высокий исследовательский потенциал и может быть использована для решения различных задач в рамках лингвистических исследований.
Литература
1. Howe J. The Rise of Crowdsourcing // Wired. 06.01.2006. Режим доступа: https://www.wired. com/2006/06/crowds/ (дата обращения: 01.05.2018).
2. Дмитриева Е. Фокус-группы в маркетинге и социологии. М.: Центр, 1988. 144 с. Режим доступа: http://www.e-reading.by/bookreader.php/144428/Fokus-gruppy_v_marketinge_i_sociologii.pdf (дата обращения: 01.05.2018).
3. Kietzmann Jan H. Crowdsourcing: a revised definition and introduction to new research // Business horizons. 2016. P. 1-3.
4. Хау Дж. Краудсорсинг. Коллективный разум как инструмент развития бизнеса. М.: Альпина Паблишер, 2012. 288 с.
5. Шуровьески Дж. Мудрость толпы. Почему вместе мы умнее, чем поодиночке, и как коллективный разум формирует бизнес, экономику, общество и государство. М.: И. Д. Вильямс, 2007. 304 с.
6. Cibej Jaka, Fiser Darja, Kosem Iztok. The role of crowdsourcing in lexicography // Electronic lexicography in the 21st century: linking lexical data in the digital age. Proc. eLex 2015 Conf. (11-13 August, 2015). P. 70-83.
7. Ивашнева С. В. Возможности использования краудсорсинга в системе повышения квалификации педагогических работников // Вестник Северного (Арктического) федерального университета. Серия: Гуманитарные и социальные науки. 2014. № 5. С. 157-162.
8. Панкрухин А. П. Краудсорсинг - соблазнительный маркетинговый агрессор: принципы, содержание, технологии // Практический маркетинг. 2011. № 1. С. 3-10.
9. Курочкин А. В. Краудсорсинг как новый метод политического управления в условиях сетевого общества // Исторические, философские, политические и юридические науки, культурология и искусствоведение. Вопросы теории и практики. 2013. № 9-1. С. 78-81.
10. Данильчук М. В. Потенциал фоносемантического анализа в процессе номинации в маркетинге // Известия Российского государственного педагогического университета им. Герцена. 2016. № 181. С. 29-35.
11. Журавлев А. П. Звук и смысл. М.: Просвещение, 1991. 177 с.
12. Wagner R. The Psychological Reality of Iconism and its Impact on the English Language. The Psychological Reality of Iconism and its Impact on the English LanguageReid Wagner. California State University, Chico. 64 p. Режим доступа: https://www.academia.edu/7038443/The_Psychological_Reality_of_Iconism_and_its_ Impact_on_the_English_Language (дата обращения: 01.05.2018).
THE POTENTIAL OF THE CROWDSOURCING AS A METHOD OF LINGUISTIC EXPERIMENT Maria V. Danilchuka @ID
aHerzen State Pedagogical University of Russia, 48, Moika River Embankment, Saint-Petersburg, Russia, 191186 @ [email protected] ID http://www.researcherid.com/rid/W-9170-2018
Received 17.06.2018. Accepted 26.10.2018.
Abstract: The present research considers crowdsourcing as a method of linguistic experiment. The paper features an experiment with the following algorithm: 1) problem statement, 2) development, 3) and questionnaire testing. The paper includes recommendations on crowdsourcing project organization, as well as some issues of respondents' motivation, questionnaire design, choice of crowdsourcing platform, data export, etc. The linguistic experiment made it possible to obtain data on the potential of the phonosemantic analysis in solving naming problems in marketing. The associations of the brand name designer matched those of the majority of the Internet pannellists. The experiment showed that crowdsourcing proves to be an available method within the network society. It gives an opportunity to receive objective data and demonstrates high research capabilities. The described procedure ofthe crowdsourcing project can be used in various linguistic experiments.
For citation: Danilchuk M. V. Potentsial ispol'zovaniia metoda kraudsorsinga v ramkakh lingvisticheskogo eksperimenta [The Potential of the Crowdsourcing as a Method of Linguistic Experiment]. Bulletin of Kemerovo State University, no. 4 (2018): 198-204. DOI: https://doi.org/10.21603/2078-8975-2018-4-198-204
References
1. Howe J. The Rise of Crowdsourcing. Wired. 06.01.2006. Available at: https://www.wired.com/2006/06/ crowds/ (accessed 01.05.2018).
2. Dmitrieva E. Fokus-gruppy v marketinge i sotsiologii [Focus groups in marketing and sociology]. Moscow: Tsentr, 1988, 144. Available at: http://www.e-reading.by/bookreader.php/144428/Fokus-gruppy_v_marketinge_i_ sociologii.pdf (accessed 01.05.2018).
Keywords:
crowdsourcing, crowdsourcing project, linguistic experiment, phonosemantics
3. Kietzmann Jan H. Crowdsourcing: a revised definition and introduction to new research. Business horizons, (2016): 1-3.
4. Howe J. Kraudsorsing. Kollektivnyi razum kak instrument razvitiia biznesa [Crowdsourcing. Collective mind as an instrument of business development]. Moscow: Al'pina Pablisher, 2012, 288.
5. Surowiecki J. Mudrost' tolpy. Pochemu vmeste my umnee, chem poodinochke, i kak kollektivnyi razum formiruet biznes, ekonomiku, obshchestvo i gosudarstvo [The wisdom of crowds. Why the many are smarter than the few and how collective wisdom shapes business, economies, societies, and nations]. Moscow: I. D. Vil'iams, 2007, 304.
6. Cibej Jaka, Fiser Darja, Kosem Iztok. The role of crowdsourcing in lexicography. Electronic lexicography in the 21st century: linking lexical data in the digital age. Proc. eLex 2015 Conf. (11-13 August, 2015), 70-83.
7. Ivashneva S. V. Vozmozhnosti ispol'zovaniia kraudsorsinga v sisteme povysheniia kvalifikatsii pedagogicheskikh rabotnikov [Possibilities of crowdsourcing use in the skills development system of the teaching stuff]. Vestnik Severnogo (Arkticheskogo) federal'nogo universiteta. Seriia: Gumanitarnye i sotsial'nye nauki = Vestnik of Northern (Arctic) Federal University. Serires "Humanitarian and Social Sciences", no. 5 (2014): 157-162.
8. Pankrukhin A. P. Kraudsorsing - soblaznitel'nyi marketingovyi agressor: printsipy, soderzhanie, tekhnologii [Crowdsourcing - seductive marketing aggressor: principles, content, and technologies]. Prakticheskii marketing = Practical marketing, no. 1 (2011): 3-10.
9. Kurochkin A. V Kraudsorsing kak novyi metod politicheskogo upravleniia v usloviiakh setevogo obshchestva [Crowdsourcing as a new method of the political management under network society]. Istoricheskie, filosofskie, politicheskie i iuridicheskie nauki, kul'turologiia i iskusstvovedenie. Voprosy teorii i praktiki = Historical, philosophical, political and legal sciences, cultural studies and art history. Theory and practice, no. 9-1 (2013): 78-81.
10. Danil'chuk M. V Potentsial fonosemanticheskogo analiza v protsesse nominatsii v marketing [Phonosemantic analysis potential in the process of naming in marketing]. Izvestiia Rossiiskogo gosudarstvennogo pedagogicheskogo universiteta im. Gertsena = Izvestia: Herzen University Journal of Humanities & Science, no. 181 (2016): 29-35.
11. Zhuravlev A. P. Zvuk i smysl [Sound and sense]. Moscow: Prosveshchenie, 1991, 177.
12. Wagner R. The Psychological Reality of Iconism and its Impact on the English Language. California State University, Chico, 64. Available at: https://www.academia.edu/7038443/The_Psychological_Reality_of_Iconism_ and_its_Impact_on_the_English_Language (accessed 01.05.2018).
