CC BY
1
ТЕОРЕТИЧЕСКАЯ, ПРИКЛАДНАЯ И СРАВНИТЕЛЬНО-СОПОСТАВИТЕЛЬНАЯ ЛИНГВИСТИКА / THEORETICAL, APPLIED AND COMPARATIVE LINGUISTICS
DOI: https://doi.org/10.18454/RULB.2023.48.50
ИССЛЕДОВАНИЕ ЗНАЧЕНИЯ СЛОВА В ИНДИВИДУАЛЬНОМ ЯЗЫКОВОМ СОЗНАНИИ С ИСПОЛЬЗОВАНИЕМ МЕТОДА СЕМАНТИЧЕСКОЙ ПРОЕКЦИИ
Научная статья
Литвинова Т.А.1' *, Котлярова Е.С.2, Любова С.Г.3, Паничева П.В.4
1 ORCID : 0000-0002-6019-3700;
2 ORCID : 0000-0002-4162-5002;
3 ORCID : 0000-0002-2586-410X;
4 ORCID : 0000-0002-9229-6456;
1 2 3 4 Воронежский государственный педагогический университет, Воронеж, Российская Федерация
* Корреспондирующий автор (centr_rus_yaz[at]mail.ru)
Аннотация
В статье представлены результаты эксперимента, направленного на исследование влияния на базовые характеристики значения слова, измеренные по шкалам семантического дифференциала, эмоционального состояния респондента и его устойчивых психологических характеристик, с использованием смешанных линейных моделей. Оценки слов по шкалам семантического дифференциала впервые были получены автоматически, с использованием метода семантической проекции векторов слов, входящих в ассоциативный ряд, в предобученной семантической модели word2vec. Таким образом, для каждого ассоциативного ряда к стимулам - наиболее частотным словам русского языка были получены численные значения, отражающие положение слов-стимулов по шкалам семантического дифференциала; характеристики респондентов выступали как фиксированные эффекты, «стимул» и «респондент» как случайные. Было показано, что с полученной подобным образом оценкой слов по разным шкалам семантического дифференциала связаны различные характеристики респондентов, и продемонстрирована перспективность предложенного метода как для интерпретации результатов ассоциативного эксперимента, так и для разработки автоматизированных методик оценки эмоционального состояния и психологического профилирования респондентов.
Ключевые слова: значение слова, семантический дифференциал, дистрибутивная семантика, дистрибутивные семантические модели, ассоциативный эксперимент.
A STUDY OF WORD MEANING IN INDIVIDUAL LINGUISTIC CONSCIOUSNESS USING THE METHOD OF
SEMANTIC PROJECTION
Research article
Litvinova T.A.1' *, Kotljarova E.S.2, Ljubova S.G.3, Panicheva P.V.4
1 ORCID : 0000-0002-6019-3700;
2 ORCID : 0000-0002-4162-5002;
3 ORCID : 0000-0002-2586-410X;
4 ORCID : 0000-0002-9229-6456;
12 3 4 Voronezh State Pedagogical University, Voronezh, Russian Federation
* Corresponding author (centr_rus_yaz[at]mail.ru)
Abstract
The article presents the results of an experiment aimed at studying the influence of the respondent's emotional state and their stable psychological characteristics on the basic characteristics of word meaning measured on semantic differential scales using mixed linear models. The word scores on the semantic differential scales were first obtained automatically, using the method of semantic projection of the vectors of words included in the associative series in the pre-trained word2vec semantic model. Thus, for each associative series for the stimuli - the most frequent words of the Russian language - numerical values reflecting the position of the stimulus words on the scales of the semantic differential were obtained; the respondents' characteristics acted as fixed effects, "stimulus" and "respondent" as random effects. It was shown that different characteristics of respondents were associated with the similarly obtained evaluation of words on different scales of the semantic differential, and the promising potential of the proposed method was demonstrated both for interpreting the results of the associative experiment and for developing automated techniques for assessing the emotional state and psychological profiling of respondents.
Keywords: word meaning, semantic differential, distributive semantics, distributive semantic models, associative experiment.
Введение
Проблема разграничения значения и смысла слова является одной из ключевых в семасиологических исследованиях. Известный отечественный психолог Л.С. Выготский указывал, что значение - это объективно сложившаяся в процессе истории система связей, стоящая за словом, одинаковая для всех людей. Значения слов фиксируют толковые словари. Смыслом Л.С. Выготский называл индивидуальное значение слова [1, С. 25]. Попытки исследовать смысл слова, то есть его значение в индивидуальном языковом сознании, неоднократно предпринимались
лингвистами и психологами, при этом для описания различий в смыслах предлагались различные классификации базовых аспектов значения.
Одна из таких классификаций была предложена в работе [10] и стала известна в дальнейшем как семантический дифференциал Ч. Осгуда. В названной работе описываются результаты эксперимента, в котором испытуемым предлагалось оценить стимулы по нескольким десяткам антонимичных шкал ("dirty/clean," "good/bad," "big/small" и т.п.), затем полученные оценки были подвергнуты факторному анализу для выявления системных различий в индивидуальных значениях стимулов. Было установлено, что малое число факторов объясняют большой процент вариации в оценках стимулов. Это три ортогональных (то есть не зависящих друг от друга) фактора: оценки, силы, активности, при этом фактор оценки является ведущим. Полученный результат свидетельствовал о перспективности рассмотрения семантики слова как многомерного пространства, в котором семантические различия слов преимущественно определяются различиями по аффективным измерениям.
Интенсивность применения семантического дифференциала как инструмента лингвистических изысканий в последние годы снизилась, хотя он активно используется, к примеру, в маркетинговых исследованиях [3]. Однако в области изучения семантики идея об описании значения слова как многомерного пространства с интерпретируемыми измерениями является активно разрабатываемой, чему способствовало бурное развитие компьютерных моделей семантики, основанных на векторном представлении значения слова [9]. Основываясь на данных о совместной встречаемости слов в многомиллионных корпусах текстов, подобные алгоритмы представляют значение слова в виде вектора в многомерном пространстве, где близость между векторами увеличивается с увеличением вероятности совместной встречаемости соответствующих слов. Получившееся в результате векторное пространство называется эмбеддингами слов или дистрибутивной семантической моделью (далее также - ДСМ) [13].
Исследователи предпринимают попытки выявить универсальные семантические измерения (то есть пригодные для описания любых слов) путем понижения размерности дистрибутивных семантических моделей и интерпретации получившихся в результате таких трансформаций компонент (см., например, [7]). В указанной работе было установлено, что, как и респонденты в экспериментах Ч. Осгуда, дистрибутивные семантические модели преимущественно опираются на аффективные измерения значения слова, традиционно выделяемые в зарубежной семасиологии [14]: оценка (valence или pleasantness - позитивная или негативная оценка и связанное с этим состояние удовольствия (или неудовольствия), фактор, близкий к фактору «Оценка» в экспериментах Ч. Осгуда), возбуждение (arousal; интенсивность эмоции, вызванной стимулом; аналог фактора «Сила»), и доминантность (dominance; степень контроля, проявляемая стимулом; фактор «Активность») (то есть, к примеру, слова с векторами, близкими к словам с негативной оценкой, также с высокой вероятностью будут иметь негативные оценки).
Основываясь на подобных результатах, исследователи показали, что ДСМ могут быть использованы для получения оценок по различным психолингвистическим параметрам (например, субъективная частот встречаемости слова [16], образность [15]), если для обучения моделей в наличии имеется размеченный вручную датасет для нескольких сотен слов.
Техникой, которая позволяет получить основанные на эмбеддингах оценки слова по шкалам семантического дифференциала (это могут быть любые антонимические пары), является техника семантической проекции. Семантическая проекция - метод сравнения векторов слов по какому-либо признаку. Например, если мы хотим сравнить животных по признаку «размер», мы строим шкалу, то есть прямую линию в векторном пространстве, по которой мы можем ранжировать животных в зависимости от размера.
Эта шкала строится на основании простых эвристик. Мы проводим линию между антонимами (например, «большой/маленький»), что соответствует операции вычитания векторов. Затем, путем проекции векторов слов, обозначающих животных, на эту линию мы можем определить их размер относительно друг друга. Подобный метод был использован, например, в работе [6], в которой было продемонстрировано, что с его помощью можно автоматически извлечь из ДСМ близкие к экспертным оценкам объектов и предметов по множеству свойств. Указанная работа показала, что «геометрия эмбеддингов» отражает организацию ментального лексикона.
В названной работе семантическая проекция была применена к отдельным словам. Авторы работ [11], [12] модифицровали метод семантической проекции, сделав возможным его применение по отношению к текстам.
В нашей работе мы впервые демонстрируем возможность применения метода семантической проекции для получения оценок по шкалам семантического дифференциала элементов ассоциативного ряда с целью дальнейшего исследования влияния индивидуальных характеристик респондентов на полученные оценки.
Материал и методы исследования
Материалом нашего исследования выступил собранный нами датасет ассоциаций к 50 самым частотным словам русского языка. Датасет содержит, помимо индивидуальных ассоциативных рядов, данные об эмоциональном состоянии респондентов и их устойчивых психологических характеристиках, входящих в «Большую пятерку» (подробнее о датасете см.: [2]).
Для данного эксперимента нами были отобраны ассоциативные ряды (n= 2088) с одинаковым числом элементов
(5).
Результаты тестов, оценивающих эмоциональное состояние и психологические характеристики респондентов, были преобразованы в факторы: данные об эмоциональном состоянии кодировались как бинарная переменная, данные о чертах «большой пятерки» - как фактор с тремя уровнями (высокий, средний, низкий).
Для вычисления оценок по шкалам семантического дифференциала была использована предобученная на корпусах НКРЯ и Википедии за ноябрь 2021 года модель ruwikiruscorpora_upos_cbow_300_10_2021 (https://rusvectores.org/ru/models/).
В качестве шкал семантического дифференциала (далее также - СД) нами были использованы прототипические названия шкал из работы Ч. Осгуда, отражающие три выделенные в ней ортогональных фактора:
1) оценки (нами была использована антонимическая пара «хороший - плохой», отражающая оценку в общем виде, а также шкала «приятный - неприятный».);
2) силы («сильный - слабый»),
3) активности («активный - пассивный»).
Отметим, что исследователи выделяют разное число шкал семантического дифференциала [4], однако в нашей работе мы ограничились «классическими» шкалами, отражающими выделенные в эксперименте Ч. Осгуда ортогональные факторы.
Для получения оценок по названным шкалам мы использовали библиотеку на языке Rtext2map.
Для оценки влияния характеристик автора мы использовали смешанные линейные модели (использовалась библиотека 1те4). Было проведено две серии экспериментов: в первой серии в качестве фиксированных эффектов выступали эмоциональные состояния респондента, во второй - психологические характеристики. В качестве случайных эффектов в обеих сериях экспериментов выступали «респондент» и «стимул».
Фиксированные эффекты отражают эффекты, которые должны воспроизводиться в других экспериментах для других респондентов и стимулов. Случайные эффекты отражают, насколько тренды, отраженные в фиксированных эффектах, варьируют по уровням какого-либо группирующего фактора (н-р, по респондентам/стимулам). Они включаются в модель для того, чтобы учесть, что поведение отдельного респондента/стимула может отличаться от общего тренда [5].
В нашем эксперименте респонденты и стимулы были выбраны как случайные эффекты, поскольку мы случайно отобрали их из генеральной совокупности и хотим учесть возможное варьирование внутри этих факторов.
Для того чтобы оценить влияние интересующих нас переменных (фиксированные эффекты) на зависимую переменную (оценку по шкалам СД), мы использовали стандартный метод сравнения модели без фиксированных эффектов с моделью с фиксированными эффектами при помощи теста LLR [5]. Малые значения р указывают на то, что модель с фиксированными эффектами лучше соответствует данным.
Поскольку у нас в модели присутствует несколько фиксированных эффектов, мы должны выделить те из них, которые действительно являются значимыми. Для оценки значимости эффектов мы опирались на значение р, полученное с использованием аппроксимации Satterthwaite [8] (реализация в библиотеке ^ооЬ).
Основные результаты и обсуждение
Начнем со сравнения близких в смысловом отношении шкал
- «хороший/плохой» и «приятный/неприятный», которые отражают семантическое измерение «оценка».
Слова с наиболее высокими показателями по шкале «хороший/плохой» (здесь и далее таковым эмпирически выбрано значение от 0,4 и выше) - бабушка, дерево, дорогой, душа, лес, мама, настоящий, радость, семья, счастье.
Слова с наиболее низкими показателями по шкале «хороший/плохой» (здесь и далее низкими считаем значения от -1 и ниже): враг, глупый, ненавидеть, обман, плохо, смерть.
Отметим, что при построении модели, в которой тип стимула выступает как фиксированный эффект, только 20 значений этого фактора (то есть 20 разных слов-стимулов) значимо отличаются друг от друга.
Слова с наиболее высокими показателями по шкале «приятный/неприятный»: бабушка, глаз, дерево, добро, дом, друг, душа, лес, мама, настоящий, простой, радость, русский, семья, счастье.
Слова с наиболее низкими показателями по шкале «приятный/неприятный»: враг, глупый, ненавидеть, обман, смерть.
В модели, где тип стимула выступает как фиксированный эффект, практически все (за исключением 4-х) стимулы отличаются друг от друга по значениям на данной шкале.
Как показывают приведенные результаты, несмотря на то что названные шкалы отражают во многом близкие значения (на что указывает пересечение в словах с наиболее высокими и низкими значениями), исследуемые шкалы не являются полностью идентичными: по-видимому, степень выраженности измерения «приятный/неприятный» в ДСМ выше, на что указывает то, что практически все исследованные стимулы отличаются друг от друга по данному признаку. Отметим также более высокие средние значения стимулов по данному измерению («все хорошее также и приятно, но не все приятное хорошее»).
Что касается влияния психологических характеристик респондентов на оценки стимулов, то мы не обнаружили его ни для шкалы «хороший/плохой» (р=0.1751), ни для шкалы «приятный/неприятный» (р=0.1111), тогда как эмоциональное состояние респонлентов оказывает влияние на оценки стимулов по обеим шкалам (р=1.007е-08, Chisq = 45.779, Df = 5; р = 0.00316, = 17.836 Df = 5, соответственно).
В частности, по шкале «хороший/плохой» выявлены отличия (р=0,03) у респондентов с разными уровнями выраженности эмоции удивления: у лиц с более низкими значениями по данному показателю ассоциативные ряды характеризовались более высокими оценками (в среднем на 0.14) на исследуемой шкале.
Низкий уровень страха (р=0.04) и интереса (р=0.03) связан с более низкими в среднем оценками по шкале «приятный/неприятный» (-0.17 и -0.15 соответственно).
Таким образом, если общее направление связи между автоматическими оценками стимулов по шкалам «хороший/плохой» и «приятный/неприятный» оказывается близким (имеется связь с эмоциональными состояниями, а не психологическими характеристиками респондентов), то в группах исследуемых признаков обнаруживаются различия в части связи со шкалами.
Слова с наиболее высокими значениями по шкале «сильный/слабый»: враг, встретить, лес, любить, мир, ненавидеть, огонь, радость, русский, с низкими: делать, думать, много, смысл, учиться.
Была обнаружена связь психологических характеристик респондентов и автоматических оценок продуцированных ими ассоциативных рядов по данной шкале (р=0.04627, Chisq = 18.557, Df=10), в частности, было обнаружено
влияние характеристики «Открытость опыту»: ассоциаты лиц с низким и средним (р< 0.001) уровнями выраженности этой черты характеризуются более низкими (в среднем на 0.28 и 0.14) оценками по шкале «сильный/слабый».
Была также установлена связь оценок стимулов по данному измерению с эмоциональным состоянием респондентов (р=2.2е-16, Chisq = 461.82, Df=5), в частности, с интересом (р=0.04): более низкие значения по этому фактору связаны с более низкими оценками по шкале (в среднем на -0.14), тогда как низкие значения по фактору «Удивление» связаны с более высокими оценками стимулов (0.14).
Стимулы с наиболее высокими оценками по шкале «активный/пассивный»: богатый, делать, дерево, история, мир, огонь, помощь, путь, русский, труд, с низкими: глупый, маленький, обещать, обман, плохо, увидеть (оценки 22 стимулов достоверно отличаются от других).
Была обнаружена связь с психологическими характеристиками респондентов и оценками стимулов по данной шкале (р=0.01099, Chisq =22.934, Df= 10): в частности, респонденты со средним уровнем доброжелательности характеризуются более низкими (в среднем на 0.25) оценками по данной шкале (р<0.001).
Была также обнаружена связь с фактором «Нейротизм» (р=0,04): ассоциаты респондентов с низким и средним уровнем нейротизма имеют более низкие оценки по данной шкале (в среднем на 0.15).
Связь с эмоциональными состояниями и оценками по данному семантическому измерению не прослеживалась (р=0.3048).
Заключение
Проведенный нами анализ показал перспективность применения метода семантической проекции векторных представлений значений слов для автоматического извлечения оценок значения слова по шкалам семантического дифференциала, представляющим собой базовые аффективные измерения семантики слова, в индивидуальном языковом сознании, полученных в ходе ассоциативного эксперимента. Было выявлено влияние ряда устойчивых психологических характеристик и эмоциональных состояний респондентов на значения оценок стимулов -высокочастотных слов русского языка: шкала оценки связана только с эмоциональными состояниями респондентов, шкала, связанная с наличием/отсутствием контроля, оказалась связана только с психологическими характеристиками, шкала, связанная с силой воздействия стимула, связана как психологическими характеристиками, так и с эмоциональными состояниями.
В ходе дальнейших исследований нами будет расширен репертуар семантических шкал, а также будет проведен анализ, учитывающий возможные взаимокорреляции как между личностными характеристиками, так и между семантическими измерениями (анализ с использованием метода главных компонент с последующим анализом связи компонент с факторами).
Метод семантической проекции позволяет извлекать семантические отношения из языковых данных с наименьшими усилиями по разметке датасета. Используя существующие модели, обученные на многомиллионных корпусах слов, и метод семантической проекции, возможно получать оценки исследуемых единиц (слов, ассоциативных рядов, текстов) по различным семантическим измерениям. Использование подобной методологии позволит, как нам представляется, на новом уровне исследовать структуру индивидуального значения слова - его смысл.
Финансирование
Исследование выполнено в Воронежском государственном педагогическом университет при поддержке гранта РНФ № 21-78-10148 «Моделирование значения слова в индивидуальном языковом сознании на основе дистрибутивной семантики».
Благодарности Российский научный фонд
Конфликт интересов
Не указан.
Рецензия
Сообщество рецензентов Международного научно-
исследовательского журнала
DOI: https://doi.Org/10.18454/RULB.2023.48.50.1
Funding
The research was carried out at Voronezh State Pedagogical University with the support of the Russian Science Foundation, grant No. 21-78-10148 "Modeling the Meaning of a Word in Individual Linguistic Consciousness Based on Distributive Semantics".
Acknowledgement The author expresses their gratitude to Russian Science Foundation
Conflict of Interest
None declared.
Review
International Research Journal Reviewers Community DOI: https://doi.org/10.18454/RULB.2023.48.50.!
Список литературы / References
1. Выготский Л.С. Мышление и речь / Л.С. Выготский. — М.: Лабиринт, 1999. — 352 с.
2. Литвинова Т. А. База данных ассоциативных реакций, содержащая информацию о клавиатурном поведении респондентов / Т. А. Литвинова, В. А. Заварзина, С. Г. Любова // Известия Воронежского государственного педагогического университета. — 2022. — № 4. — С. 240-249.
3. Михайлова В. М. Опыт использования метода семантического дифференциала при оценке качества обслуживания потребителей / В. М. Михайлова, Д. Г. Куренова, Е.В. Кривошеева // Практический маркетинг. — 2017. — №6 (244). — C. 881-889.
4. Петренко В. Ф. Основы психосемантики / В. Ф. Петренко. — 2-е изд., доп. — М., СПб: Питер, 2005. — 480 с.
5. Brown V.A. An Introduction to Linear Mixed-Effects Modeling in R / V. A. Brown // Advances in Methods and Practices in Psychological Science. — 2021. — Vol. 4(1).
6. Grand G. Semantic Projection Recovers Rich Human Knowledge of Multiple Object Features from Word Embeddings / G. Grand [et al.] // Nat Hum Behav. — 2022. — Vol. 6(7). — P. 975-987.
7. Hollis G. The Principals of Meaning: Extracting Semantic Dimensions from Co-occurrence models of Semantics / G. Hollis, C. Westbury // Psychon Bull Rev. — 2016. — Vol. 23. — P. 1744-1756.
8. Luke S.G. Evaluating Significance in Linear Mixed-effects Models in R / S.G. Luke // Behav Res. — 2017. — Vol. 49.
— P. 1494-1502.
9. Mikolov T. Distributed Representations of Words and Phrases and Their Compositionality / T. Mikolov [et al.] // Advances in Neural Information Processing Systems. — Cambridge, MA: MIT Press, 2013. — Vol. 26. — P. 3111-3119.
10. Osgood C. E. The Measurement of Meaning / C. E. Osgood, G. J. Suci, P. H. Tannenbaum. — Urbana, IL: University of Illinois Press, 1967. — 360 p.
11. Stoltz D. S. Concept Mover's Distance / D. S. Stoltz, M. A. Taylor // Journal of Computational Social Science. — 2019. — Vol. 2. — P. 293-313.
12. Taylor M. A. Integrating Semantic Directions with Concept Mover's Distance to Measure Binary Concept Engagement / M. A. Taylor, D. S. Stoltz // Journal of Computational Social Science. — 2021. — Vol. 4. — P. 231-242.
13. Turney P.D. From Frequency to Meaning: Vector Space Models of Semantics / P.D. Turney, P. Pantel // J. Artif. Intell. Res. — 2010. — Vol. 37. — P. 141-188.
14. Warriner A.B. Norms of Valence, Arousal, and Dominance for 13,915 English Lemmas / A.B. Warriner, V. Kuperman, M. Brysbaert // Behav Res. — 2013. — Vol. 45. — P. 1191-1207.
15. Westbury C. F. Now You See It, Now You Don't: On Emotion, Context, and the Algorithmic Prediction of Human Imageability Judgments / C. F. Westbury [et al.] // Frontiers in Psychology. — 2013. — Vol. 4.
16. Westbury C. You Can't Drink a Word: Lexical and Individual Emotionality Affect Subjective Familiarity Judgments / C. F. Westbury // Journal of Psycholinguistic Research. — 2014. — Vol. 43. — P. 631-649.
Список литературы на английском языке / References in English
1. Vygotskij L.S. Myshlenie i rech' [Cognition and Speech] / L.S. Vygotskij. — M.: Labirint, 1999. — 352 p. [in Russian]
2. Litvinova T. A. Baza dannyh associativnyh reakcij, soderzhashhaja informaciju o klaviaturnom povedenii respondentov [Database of Associative Reactions Containing Information about the Keyboard Behavior of Respondents] / T. A. Litvinova, V. A. Zavarzina, S. G. Ljubova // Izvestija Voronezhskogo gosudarstvennogo pedagogicheskogo universiteta [Proceedings of the Voronezh State Pedagogical University]. — 2022. — № 4. — P. 240-249. [in Russian]
3. Mihajlova V. M. Opyt ispol'zovanija metoda semanticheskogo differenciala pri ocenke kachestva obsluzhivanija potrebitelej [Experience in Using the Semantic Differential Method in Assessing the Quality of Customer Service] / V. M. Mihajlova, D. G. Kurenova, E.V. Krivosheeva // Prakticheskij marketing [Practical Marketing]. — 2017. — №6 (244). — P. 881-889. [in Russian]
4. Petrenko V. F. Osnovy psihosemantiki [Basics of Psychosemantics] / V. F. Petrenko. — 2nd ed. — M., SPb: Piter, 2005.
— 480 p. [in Russian]
5. Brown V.A. An Introduction to Linear Mixed-Effects Modeling in R / V. A. Brown // Advances in Methods and Practices in Psychological Science. — 2021. — Vol. 4(1).
6. Grand G. Semantic Projection Recovers Rich Human Knowledge of Multiple Object Features from Word Embeddings / G. Grand [et al.] // Nat Hum Behav. — 2022. — Vol. 6(7). — P. 975-987.
7. Hollis G. The Principals of Meaning: Extracting Semantic Dimensions from Co-occurrence models of Semantics / G. Hollis, C. Westbury // Psychon Bull Rev. — 2016. — Vol. 23. — P. 1744-1756.
8. Luke S.G. Evaluating Significance in Linear Mixed-effects Models in R / S.G. Luke // Behav Res. — 2017. — Vol. 49.
— P. 1494-1502.
9. Mikolov T. Distributed Representations of Words and Phrases and Their Compositionality / T. Mikolov [et al.] // Advances in Neural Information Processing Systems. — Cambridge, MA: MIT Press, 2013. — Vol. 26. — P. 3111-3119.
10. Osgood C. E. The Measurement of Meaning / C. E. Osgood, G. J. Suci, P. H. Tannenbaum. — Urbana, IL: University of Illinois Press, 1967. — 360 p.
11. Stoltz D. S. Concept Mover's Distance / D. S. Stoltz, M. A. Taylor // Journal of Computational Social Science. — 2019. — Vol. 2. — P. 293-313.
12. Taylor M. A. Integrating Semantic Directions with Concept Mover's Distance to Measure Binary Concept Engagement / M. A. Taylor, D. S. Stoltz // Journal of Computational Social Science. — 2021. — Vol. 4. — P. 231-242.
13. Turney P.D. From Frequency to Meaning: Vector Space Models of Semantics / P.D. Turney, P. Pantel // J. Artif. Intell. Res. — 2010. — Vol. 37. — P. 141-188.
14. Warriner A.B. Norms of Valence, Arousal, and Dominance for 13,915 English Lemmas / A.B. Warriner, V. Kuperman, M. Brysbaert // Behav Res. — 2013. — Vol. 45. — P. 1191-1207.
15. Westbury C. F. Now You See It, Now You Don't: On Emotion, Context, and the Algorithmic Prediction of Human Imageability Judgments / C. F. Westbury [et al.] // Frontiers in Psychology. — 2013. — Vol. 4.
16. Westbury C. You Can't Drink a Word: Lexical and Individual Emotionality Affect Subjective Familiarity Judgments / C. F. Westbury // Journal of Psycholinguistic Research. — 2014. — Vol. 43. — P. 631-649.
