CC BY
37
УДК 81-13
DOI 10.51955/2312-1327_2021_4_123
ЦИФРОВЫЕ ИНСТРУМЕНТЫ В ПРОВЕДЕНИИ ПСИХОЛИНГВИСТИЧЕСКОГО
ИССЛЕДОВАНИЯ
Ксения Суфьяновна Карданова-Бирюкова, orcid. org/0000-0002-6773-1129, кандидат филологических наук, доцент, заведующий кафедрой языкознания и переводоведения института иностранных языков Московский городской педагогический университет,
Малый Казенный пер., д. 5б, Москва, 105064, Россия, kardanova-birukovaks@mgpu. ru
Аннотация. В статье рассматриваются возможности применения современных цифровых инструментов для оптимизации проведения психолингвистического экспериментального исследования. Поскольку психолингвистика исконно сформировалась как наука, ориентированная на решение задач экспериментальным путем, за последние 60-70 лет были выстроены и отработаны процедуры проведения эксперимента и статистической обработки полученных данных. Однако современные технологии позволяют упростить и оптимизировать некоторые этапы проведения подобных исследований и решить ряд проблем, которые, как правило, возникают при построении дизайна и проведении эмпирических исследований. На примере ряда экспериментов, проведенных лично или совместно с учениками, автор рассматривает некоторые из таких проблем и анализирует возможности их решения за счет привлечения современных цифровых технологий. Особое внимание уделяется описанию онлайн-платформ для проведения массовых опросов и пакетов для статистической обработки данных. Как представляется, применение этих инструментов позволяет обеспечить соответствие нормам международного научного сообщества и вывести отечественные экспериментальные исследования, отличающиеся интересной постановкой задач, нетривиальным дизайном и грамотной исследовательской логикой, на международный уровень.
Ключевые слова: психолингвистика, экспериментальное исследование, цифровые инструменты, статистическая обработка данных, дизайн эксперимента.
DIGITAL TOOLS IN PSYCHOLINGUISTIC RESEARCH
Ksenia S. Kardanova-Biryukova, orcid. org/0000-0002-6773-1129, candidate of philology, associate professor, head of chair of linguistics and translation studies Institute of Foreign Languages Moscow City University, Maly Kazenny per. 5b Moscow, 105064, Russia, kardanova-birukovaks@mgpu. ru
Abstract. The paper looks into new ways of designing and conducting a psycholinguistic experiment through the use of modern digital tools. It is a well-known fact that psycholinguistics first appeared as a science aimed at resolving research issues by means of an experiment. As a result, it focused on developing various experimental tools and approaches to process the experimental data obtained. Yet, as of today, there are various digital tools which can assist in
conducting such research and facilitate some of the procedures involved. The author analyses a number of experiments run in person or as a team with PhD students to identify such problems and suggest ways of adopting digital tools to overcome them. Central to the research are online platforms for conducting large-scale social experiments and statistical packages for processing the experimental data. The findings of the current analysis suggest that digital tools may be instrumental in helping experiments run by Russian researchers stand up to the international academic standards and bringing such experiments which are characterized by non-trivial designs, novel objectives and consistent experimental logic to the fore on the international scale.
Keywords: psycholinguistics, experimental research, digital tools, statistical analysis, design of the experiment.
Введение
В последние десятилетия применение цифровых технологий превратилось в своего рода «знак качества» научного исследования. Цифровизация затронула все научные отрасли: от точных наук до гуманитарных, при этом последние предъявляют столь же жесткие требования к качеству цифровой обработки эмпирического материала (ср. появившиеся в последние годы программы типа Vaal-mini, Sentistrength и многие др.). Анализ тематического спектра ряда последних конференций демонстрирует особый интерес научного сообщества к уточнению методов цифровой обработки данных, расширению и диверсификации материалов, привлекаемых в подобных исследованиях (ср. «Цифровые инструменты и образовательные ресурсы как средство подготовки обучающихся к межкультурной коммуникации» - одна из тем, по которым идет прием заявок на международную научно-практическую конференцию «Тенденции развития языкового образования в современном мире - 2021» (МГЛУ (г. Минск, Беларусь), ноябрь 2021 г.), «Использование цифровых технологий при анализе языка в переводческих целях» - тема, входящая в проблематику международного форума «Лингвистика и вызовы современной парадигмы общественных отношений: междисциплинарное, межкультурное, межъязыковое взаимодействие» (ВГУ (г. Воронеж, Россия), ноябрь 2021 г.) и др.).
Столь очевидный интерес к этим и смежным проблемам выявляет и ряд нерешенных вопросов, поскольку эта область на настоящий момент, безусловно, является лакунарной.
Цель настоящего исследования состоит в анализе возможностей, открываемых использованием цифровых технологий в психолингвистическом исследовании.
Совершенно очевидно, что психолингвистика всегда отличалась широкими возможностями цифровизации исследовательского процесса за счет применения экспериментальных методик и последующей математической обработки полученных данных. Однако, как представляется, многие молодые исследователи видят в этом исключительно возможность применения базовых операций статистического анализа (вроде расчёта процентного соотношения для выявления доминантных трендов). На наш
взгляд, это вряд ли может считаться удовлетворительным в глазах представителей современного научного сообщества.
Рассмотрим новые и нетривиальные возможности применения цифровых технологий в проведении психолингвистического исследования.
Материалы и методы
В статье приводятся фрагменты направленных на решение разных задач экспериментов, которые были проведены лично автором статьи и совместно с учениками (студентами и аспирантами), с целью демонстрации возможностей применения цифровых технологий в психолингвистических исследованиях разной направленности.
В процессе анализа отдельных этапов проведенных экспериментов описываются некоторые сложности, с которыми может потенциально столкнуться исследователь, и предлагаются пути решения выявленных проблем. Уточняется методика проведения экспериментального исследования на основе применения цифровых инструментов.
Дискуссия
Поскольку психолингвистика сформировалась именно как путь решения задач, которые вряд ли могут быть решены инструментами традиционной лингвистики (и в целом не ставятся ею), исследователь-психолингвист оперирует широким спектром экспериментальных методик. В число таких задач входят, например, исследование природы и структуры языковой способности человека; вопросы психолингвистики развития; изучение этнокультурной специфики языкового сознания; выявление различных аспектов взаимодействия языков и культур; анализ особенностей понимания текста; выявление особенностей слова как единицы индивидуального лексикона; выявление стратегий овладения и пользования вторым языком и т. д.
Как известно, эксперимент представляет собой метод познания, при помощи которого в контролируемых и управляемых условиях исследуются явления действительности [Философский энциклопедический словарь, 1983]. Действительно, для решения тех задач, которые ставит перед собой ученый-психолингвист, эксперимент представляется единственно возможным методом исследования, на базе которого далее осуществляется моделирование ненаблюдаемого процесса. Под моделированием в современной психолингвистике понимается «конструирование реального или воображаемого объекта, изоморфного моделируемому в каких-то существенных признаках. При подобном конструировании мы обязательно воспроизводим специфические свойства, обычно принципы организации и функционирования исследуемого объекта» [Леонтьев, 2003, с. 41].
Такая исследовательская логика, задаваемая научной парадигмой, требует очень бережного обращения с экспериментом и не позволяет игнорировать процедурные моменты. С учетом этого, настольными книгами исследователя-психолингвиста, приступающего к проведению
экспериментального исследования, становятся работы по планированию эксперимента (см. в этой связи, например, [Стивенс, 1960; Дружинин, 1994; Дружинин, 1997] и др.) и пособия по математической обработке экспериментальных данных (см., например, [Гласс и др., 1976; Сидоренко, 2001] и др.). Многие работы написаны специалистами в области гуманитарных наук для гуманитариев, поэтому и описанные в них операции понятны, доступны и переложимы на изучаемый ими материал.
Итак, исследователь определился с выбором экспериментальной методики и выстроил дизайн эксперимента. (Мы оставляем за рамками текущей статьи вопросы, связанные с принципами формулирования экспериментальных гипотез, выбором экспериментальных заданий, направленных на верификацию поставленных гипотез, принципам отбора экспериментального материала и формирования экспериментальной выборки - см. подробное описание планирования эксперимента в [Карданова-Бирюкова и др., 2012]). Следующий шаг - собственно проведение эксперимента, или сбор экспериментальных анкет. Процедурных вопросов эта часть работы, как правило, не вызывает, однако является трудоемкой и ресурсозатратной, поскольку требуется подобрать соответствующую критериям и однородную экспериментальную выборку, найти способ выйти на эту аудиторию, распространить экспериментальную анкету и далее на протяжении некоторого времени осуществлять сбор экспериментальных данных. На последнем этапе приступаем к систематизации ответов испытуемых и анализу результатов эксперимента. Здесь как никогда важна стройная логика анализа, поскольку необходимо убедить читателя в том, что результаты валидны, что в эмпирических данных не было выявлено искажений, что выводы сделаны с опорой на тщательную статистическую обработку материала и пр. (пример выстраивания исследовательской логики и оформления полученных результатов в тексте статьи см. в [Карданова-Бирюкова, 2018]).
Следует особо отметить, что именно последовательная математическая обработка данных и отражение всех этапов этой обработки в опубликованном тексте (статье, монографии или диссертационном сочинении) является обязательным требованием, предъявляемым к текстам, в которых представлены экспериментальные данные. Так, анализ ряда англоязычных статей, опубликованных в ведущих мировых научных изданиях (научных журналах, входящих в наукометрические базы Scopus и Web of Science) демонстрирует важность представления этих статистических параметров в тексте - см. [Caselli et al., 2021; Craik et al., 2015; Dorison et al., 2019; Krebs et al., 2021] и др. В каждой из перечисленных выше научных статей эксплицированы процедурные составляющие исследования, представлены результаты математической обработки экспериментальных данных, использованы статистические фильтры.
Совершенно очевидно, что на каждом исследовательском этапе цифровые технологии могут помочь оптимизировать процесс работы,
сэкономить время и усилие. Рассмотрим некоторые из открываемых цифровизацией исследовательского процесса возможностей.
Результаты
На всех этапах проведения психолингвистического эксперимента и обработки статистических данных возможно и целесообразно применение цифровых технологий.
Пожалуй, наибольшую сложность для экспериментатора еще десятилетие назад составлял сбор экспериментальных данных - печатались многочисленные экземпляры анкет, подбиралась аудитория для проведения эксперимента, исследователь (как правило, лично) договаривался о возможности проведения эксперимента и приходил в назначенное время, чтобы раздать испытуемым экспериментальные анкеты. Далее заполненные от руки анкеты систематизировались, данные вручную переносились в таблицы, производились необходимые подсчеты (ср. таблица 1 и таблица 2).
Таблица 1 - Фрагмент систематизации ответов испытуемых, полученных при выполнении задания на ранжирование
№ iron возрас Ранг 1 Ранг 2 Ранг 3 Ранг 4 Ранг 5
1 жен 00 аргументированность позиций информацию, представленную в интернете, других источниках возможность нахождения компромиссной точки зрения
2 жен г- настроение сокурсника доказательства сокурсника в защиту своей точки зрения насколько для него важно оказаться правым
3 жен 00 аргументы сокурсника настроение (атмосфера) является ли эта проблема дискуссионной или нет
4 жен 00 факты эмоциональность аргументированность
5 жен 2 2 аргументированность точки зрения оппонента ее научная обоснованность готовность противоположной стороны к компромиссу особенности физиологичес ких реакций оппонента впечатл ение, произво димое оппонен том на окружа ющих
Таблица 2 - Фрагмент систематизации ассоциатов, аккумулированных в ходе проведения ассоциативного эксперимента (из работы [Карданова, 2006])
Absolute alcohol, always, certain, correct, czar, definite, deity, exactly, final, fuck, god 2, ideal, infinity, measure, never changing, not, not at all 2, nothing 6, peace, perfect 2, positive 3, poverty, power 2, really, relative 2, right 2, terror 2, total 2, true, truth 2, uncertain, universe, vodka 14, wrong, zero 3 44+35+22+0
USA Americ, America 22, of America, the best, big, Britain, Bush 3, Canada 2, Capitol, change, Columbus, country 10, Eagles, English 2, flag 17, free, freedom 6, greedy, green, happy, hockey, home 8, horrible, jobs 2, me, my country, large, nation 2, Olympics 2, overruled, patriot, Patriot act, patriotism, people, popcorn, power, race, red, red white blue, restrictions, rich, Russia 5, sex, shape, stars 2, stars and stripes, stars and strips on the flag, states 5, suck, Superman, today 7, UBU, United States 2, US, us, war 2, yes 2, 50 101+58+40+0
Importance bells, big, correct, culture, earnest, essential 2, family, first, friend, god, great, heavy, height, help, high 2, matters, meaning, none, imperative, insignificant, international affairs, irrelevance 2, key, knowledge, love, many, must, needed, night 2, nothing, of being earnest 2, of homework, of what?, patience, priority 2, prominence, serious 2, significance 2, size, strength, stress, test, top, truth 2, understand, urgency, urgent, valuable, very, what 2 60+50+40+1
Безусловно, сбор экспериментальных анкет возможно оптимизировать за счет опоры на различные интернет-платформы для проведения массовых опросов, среди которых, пожалуй, наиболее популярны www.survio.com, www.mentimeter.com,www.alchemer.com.
Каждый из представленных в перечне ресурсов позволяет создавать экспериментальные анкеты (опросники) с заданиями разного типа: выбор одной или нескольких позиций из списка, ранжирование объектов, семантический дифференциал, шкалирование, поле для текстового ответа и др. Эти интернет-платформы разработаны специально для проведения масштабных опросов, которые распространяются через любой канал связи: ссылка может быть скопирована в текстовое сообщение, отправлена по электронной почте, размещена на любом интернет-сайте или в социальных сетях. При переходе по ссылке испытуемый попадает непосредственно на страницу экспериментальной анкеты, в которую он мгновенно может вносить ответы. При этом результаты опроса в режиме реального времени отображаются в окне демонстрации данных у экспериментатора, что оказывается крайне удобно при применении подобных опросов, например, непосредственно на учебном занятии (см. рис. 1-3).
□ 1
Рисунок 1 - Окно демонстрации данных на платформе www.mentimeter.com
(задание с вводом текстового ответа)
Рисунок 2 - Окно демонстрации данных на платформе www.survio.com (задание на перевод текстового фрагмента)
* * - * *
Рисунок 3 - Окно демонстрации данных на платформе www.survio.com (задание на выбор одного из двух вариантов, предложенных
экспериментатором)
Описанные интернет-платформы для проведения масштабных опросов представлены бесплатными и платными доступами, различающимися масштабами экспериментальной выборки, общим количеством закладываемых в одну анкету вопросов, выбором типов заданий и возможностями систематизации полученных данных, однако даже бесплатные версии представляют собой эффективный способ оптимизации сбора экспериментальных данных и их первичной систематизации. В случае, если выбранная платформа не позволяет включить в одну анкету большое количество заданий, экспериментатор может разбить анкету на несколько, представив в каждой только один вопрос. А если имеются ограничения по количеству испытуемых (иногда максимально допустимое число участников при использовании бесплатной версии составляет 100 человек), можно создать два опроса с одинаковым набором заданий, либо растянуть эксперимент во времени (т.к. иногда ограничение составляет 100 человек в месяц).
Вторая проблема состоит в статистической обработке уже аккумулированных экспериментальных данных. Еще пару десятилетий назад неопытные исследователи-психолингвисты содрогались при мысли о том, что им предстоит осуществлять статистическую обработку данных, поскольку она производилась вручную. Как показывает анализ ряда диссертационных исследований, во многих случаях статистическая обработка и вовсе подменяется простейшими математическими операциями, что, в свою очередь, заставляет усомниться в валидности результатов и сделанных далее выводов (ср. таблица 3).
Таблица 3 - Фрагмент систематизации данных, полученных в ходе проведения ассоциативного эксперимента
Полученный ассоциат Общее количество (процент от общего числа аккумулированных ассоциатов)
Ассоциаты носителей русского языка (100 человек) Ассоциаты носителей английского языка (30 человек)
дом / house 15% 13%
я /1 7% 15%
работа / work 2% 10%
В таблице 3 представлен фрагмент систематизации данных, полученных в ходе проведения ассоциативного эксперимента с носителями русского и английского языков: ассоциаты оформлены в таблицу, высчитан процент от общего количества полученных реакций в каждой экспериментальной подгруппе. Далее делается вывод о разной структуризации ядра ассоциативных полей, выстроенных на основе анализа реакций носителей русского и английского языков. Однако даже простая обработка данных инструментами статистических программ демонстрирует, что экспериментальные подгруппы не обнаруживают значимых расхождений в отношении ассоциата дом / house, маргинальные различия наблюдаются в
случае с ассоциатом я /I и только различие в процентном соотношении ассоциата работа / work в двух экспериментальных подгруппах является значимым. Такие же проблемы возникают и в ряде других исследований, касающихся, например, понимания текста, анализа мотивов и пр. Надо ли говорить, что точность в подобном исследовании важна как никогда. Иначе модель, претендующая на описание речевой деятельности либо когнитивных процессов, лежащих в ее основе, рассыпается.
Эта и многие другие неточности систематизации и обработки данных могут быть сравнительно легко решены благодаря тому, что в арсенале современного исследователя имеется значительное количество удобных в использовании пакетов статистической обработки данных, в которых заложены алгоритмы всех известных статистических процедур. Среди них особой популярностью пользуются пакеты SPSS, SAS, SYSTAT, Minitab, Statistica, STADIA и некоторые др. Такие программы позволяют быстро и эффективно анализировать полученные экспериментальные данные и осуществлять контроль качества эксперимента (с их помощью возможно, например, оценить валидность результатов, репрезентативность выборки испытуемых и пр.).
Поскольку в статье невозможно осветить все исследовательские задачи, которые возможно решить с помощью программ статистической обработки данных, мы вынуждены ограничиться демонстрацией отдельных проблем, возникающих на этом этапе экспериментального исследования, и соответствующих им решений.
1. Сопоставляются разные по числу участников экспериментальные группы
Пожалуй, одна из самых типичных проблем, стоящих перед исследователем, состоит в том, что в эксперименте задействовано разное количество участников, входящих в две или более экспериментальные подгруппы. Действительно, обеспечить одинаковые экспериментальные подгруппы часто оказывается довольно проблематично, что может быть связано с меньшей доступностью участников, подходящих по заявленным в эксперименте критериям (например, если в эксперименте сопоставляются молодые и пожилые люди, совершенно очевидно, что молодежь легко найти в университетской среде, в то время как испытуемых преклонного возраста часто приходится подбирать вручную; если в сопоставлении участвуют носители русского и французского языков, первых можно набирать в ближайшем окружении, в то время как вторых приходится искать в социальных сетях и на иных электронных платформах).
Вполне типичны сценарии, когда исследователь-психолингвист вынужден объясняться на страницах работы: «количественные несоответствия экспериментальных подгрупп связаны с...; в экспериментальные группы вошло разное число участников в связи с тем, что.».
Однако статистические программы позволяют определить значимость различий, на выявление которых направлен проводимый эксперимент, даже тогда, когда выборки не равны. Например, проводим %2 анализ с помощью пакета SPSS (выбираем в меню Analyze -> Descriptive Statistics -> Crosstabs). В графе "Rows" задаем независимую переменную, в графе "Column" задаем зависимую переменную. Дополнительно ставим галочку в графе "Statistics" -X . Программа SPSS автоматически составляет таблицу, в которой искомый критерий отражен в первой строке (таблица 4).
Таблица 4 - Выдача результатов статистической обработки данных в пакете
2
SPSS (критерий x )
Chi-Square Tests
Value df Asymp. Sig. (2-sided)
Pearson Chi-Square 19,040a 4 ,001
Likelihood Ratio 22,479 4 ,000
Linear-by-Linear Association 2,932 1 ,087
N of Valid Cases 122
3. 2 cells (20,0%) have expected count less than 5. The minimum expected count is ,85.
Уровень значимости исследуемого различия отражен в первой строке (в социальных науках низшим уровнем статистической значимости принято считать 5%-ный уровень): так, при Sig.=>0,05 нет оснований отвергнуть Н0, поэтому она принимается (выборки однородны), в противном случае Н0 отвергается (и, возможно, при этом верна Н1, согласно которой выборки считаются неоднородными).
2. В ответах испытуемых обнаруживаются искажения
На протяжении порядка 85 лет специалистами в области психометрики изучаются так называемые экспертные ошибки [Landy et al., 1980; Myford et al., 2003; Myford et al., 2004; Saal et al., 1980], или искажения, обнаруживаемые в ответах людей, чья задача состоит в оценке того или иного явления или объекта (отсюда и англоязычный термин "rater effect"). В число наиболее хорошо изученных экспертных ошибок входят эффект центральной тенденции (эксперт избегает крайних оценок и отдает предпочтение баллам, близким к середине шкалы); эффект гало (эксперт склонен ставить близкие оценки вне зависимости от того, какая шкала ему предъявляется); эффект строгости / мягкости (эксперт склонен завышать или занижать оценки в той или иной ситуации оценивания); эффект ограничения спектра (эксперт не демонстрирует разнообразия при проставлении баллов); эффект случайности (эксперт понимает и применяет шкалу не так, как другие участники эксперимента) и др.
Подобные искажения достаточно подробно описаны в англоязычной литературе, однако в работах русскоязычных авторов упоминаются реже
(например, [Карданова, 2007; Карданова, 2016; Нежнов и др., 2011]). Тем не менее, важность учета этих искажений для аргументации валидности полученных результатов сложно переоценить. Специалистами разработаны алгоритмы нивелирования этих искажений за счет применения соответствующих статистических операций (см. подробно в [Myford et al., 2003; Myford et al., 2004]).
В этом разделе были рассмотрены некоторые проблемы, с которыми может потенциально столкнуться исследователь, приступающий к проведению эксперимента, и предложены решения, позволяющие оптимизировать процедуру проведения эксперимента и обработки полученных экспериментальным путем данных.
Заключение
Процедура проведения экспериментального исследования, безусловно, хорошо известна и описана в психологической и психолингвистической научной литературе, однако некоторые этапы оказываются сравнительно энергозатратными. Оптимизация усилий возможна за счет привлечения цифровых технологий, поскольку они дают возможность оперативно осуществлять сбор экспериментальных данных, выполнять статистическую обработку эмпирического материала и выявлять доминантные тренды.
Кроме того, применение цифровых технологий гарантирует более качественный результат в силу того, что цифровизация процесса обработки данных позволяет нивелировать искажения, неизбежные при работе со столь массовой аудиторией, и повысить валидность сделанных на основе анализа экспериментальных данных выводов.
Следует отметить и тот факт, что благодаря цифровизации процесса обработки ответов испытуемых исследователь-психолингвист получил возможность оперировать сложными математическими операциями, которые раньше были менее доступны и прозрачны для специалиста в области гуманитарных наук. А это, в свою очередь, обеспечивает соответствие нормам международного научного сообщества и выводит отечественные исследования, отличающиеся интересной постановкой задач, нетривиальным дизайном и грамотной исследовательской логикой, на международный уровень.
Библиографический список
Гласс, Дж. Статистические методы в педагогике и психологии / Дж. Гласс, Дж. Стэнли. М.: Прогресс, 1976. 495 с.
Дружинин, В. Н. Структура и логика психологического исследования. М.: ИП РАН, 1994. 163 с.
Дружинин, В. Н. Выборочное наблюдение и эксперимент. М.: Статистика, 1997. 176 с. Карданова, К. С. Лингво-психологическое исследование реструктурации образа сознания империя / empire: дис. ... канд. филол. наук: 10.02.19 / К. С. Карданова. Москва, 2006. 206 с.
Карданова, Е. Ю. Выравнивание показателей в случае экспертного оценивания заданий // Известия Томского политехнического университета. 2007. Т. 310. № 3. С. 233-237.
Карданова, Е. Ю. Моделирование и параметризация тестов: основы теории и приложения // Journal of European Social Policy. 2016. Т. 26. № 3. С. 1-20.
Карданова-Бирюкова, К. С. Принципы организации психолингвистического эксперимента и обработки его результатов / К. С. Карданова-Бирюкова, А. Г. Сонин // Годишник на департамент „Чужди езици и литератури" 2011-2012", Нов български университет (НБУ). София, 2012. С. 369-395.
Карданова-Бирюкова, К. С. Особенности коммуникативного поведения носителей русского языка в межличностном общении (экспериментальное исследование) // Вестник Волгоградского государственного университета. Серия 2: «Языкознание». 2018. Т. 17. № 1. C. 85-97. https://doi.org/10.15688/jvolsu2.2018.1.9
Леонтьев, А. А. Слово в речевой деятельности: Некоторые проблемы общей теории речевой деятельности. М.: УРСС, 2003. 248 с.
Нежнов, П. Г. Оценка результатов школьного образования: структурный подход / П. Г. Нежнов, Е. Ю. Карданова, Б. Д. Эльконин // Вопросы образования. 2011. № 1. С. 2644.
Сидоренко, Е. В. Методы математической обработки в психологии. СПб.: Речь, 2001. 350 с.
Стивенс, С. С. Математика, измерение и психофизика // Экспериментальная психология. Т. 1. Физиологические механизмы. Рост и развитие. Мотивация. М.: Изд-во иностранной литературы, 1960. С. 19-92.
Философский энциклопедический словарь. М.: Советская энциклопедия, 1983. 840 с. Caselli, N. K. The Signed Mental Lexicon: Effects of Phonological Neighborhood Density, Iconicity, and Childhood Language Experience / N. K. Caselli, K. Emmorey, A. M. CohenGoldberg // Journal of Memory and Language. 2021. Vol. 121. https://doi.org/10.1016/j.jml.2021.104282 [Electronic resource] - URL: https://www.sciencedirect.com/science/article/pii/S0749596X21000656
Craik, F. I. M. Recognition Without Awareness: Encoding and Retrieval Factors / F. I. M. Craik, N. S. Rose, N. Gopie // Journal of Experimental Psychology: Learning, Memory, and Cognition. 2015. Vol. 41. No. 5. Pp. 1271-1281. https://doi.org/10.1037/xlm0000137 Dorison, Ch. A. Selective Exposure Partly Relies on Faulty Affective Forecasts / Ch. A. Dorison, J. A. Minson, T. Rogers // Cognition. Special Edition. 2019. Vol. 188: The Cognitive Science of Political Thought. Pp. 98-107. DOI: 10.1016/j.cognition.2019.02.010
Krebs, J. Psycholinguistic Mechanisms of Classifier Processing in Sign Language / J. Krebs, E. Malaia, R. B. Wilbur, D. Roehm // Journal of Experimental Psychology: Learning, Memory, and Cognition. 2021. Vol. 47. No. 6. Pp. 998-1011. https://doi.org/10.1037/xlm0000958 Landy, F. L. Performance Rating / F. L. Landy, J. L. Farr // Psychological Bulletin. 1980. # 87(1). Pp. 72-107.
Myford, C. M. Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part I / C. M. Myford, E.W. Wolfe // Journal of Applied Measurement. 2003. # 4. Pp. 386-422. Myford, C. M. Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part II / C. M. Myford, E.W. Wolfe // Journal of Applied Measurement. 2004. # 5. Pp. 189-227. Saal, F. E. Rating the Ratings: Assessing the Psychometric Quality of Rating Data / F. E. Saal, R. G. Downey, M. A. Lahey // Psychological Bulletin. 1980. # 88(2). Pp. 413-428. https://doi.org/10.1037/0033-2909.88.2.413
References
Caselli, N. K. (2021) The Signed Mental Lexicon: Effects of Phonological Neighborhood Density, Iconicity, and Childhood Language Experience / N. K. Caselli, K. Emmorey, A. M. Cohen-Goldberg. Journal of Memory and Language. Vol. 121. https://doi.org/10.1016/j.jml.2021.104282 [Electronic resource] - URL: https://www.sciencedirect.com/science/article/pii/S0749596X21000656
Craik, F. I. M.(2015) Recognition Without Awareness: Encoding and Retrieval Factors /
F. I. M. Craik, N. S. Rose, N. Gopie. Journal of Experimental Psychology: Learning, Memory,
and Cognition. Vol. 41. 5: 1271-1281. https://doi.org/10.1037/xlm0000137
Dorison, Ch. A. (2019) Selective Exposure Partly Relies on Faulty Affective Forecasts /
Ch. A. Dorison, J. A. Minson, T. Rogers. Cognition. Special Edition. Vol. 188: The Cognitive
Science of Political Thought: 98-107. DOI: 10.1016/j.cognition.2019.02.010
Druzhinin, V. N. (1994) Structure and Logic of Research in Psychology. Moscow: RAS Institute
of Psychology, 163 p. (in Russian)
Druzhinin, V. N. (1997) Partial Observation and Experiment. Moscow: Statistics, 176 p. (in Russian)
Encyclopedic Dictionary of Philosophy. M: Sovetskaya encyclopedia, 1983. 840 p. (in Russian) Glass, J. (1976) Statistical Methods in Pedagogy and Psychology / J. Glass, J. Stanley. Moscow: Progress, 495 p. (in Russian)
Kardanova, E. Yu. (2007) Equating Indicators in Case of Raters' Assessment of Tasks. Izvestia of Tomskpolytechnical university. T. 310. 3: 233-237. (in Russian)
Kardanova, E. Yu. (2016) Modelling and Parametrization of Tests: Foundations of Theory and Applications. Journal of European Social Policy. Т. 26. 3: 1-20.
Kardanova, K. S. (2006) Lingvo-psychological study of restructuring of imperia / empire as a cognitive structure: thesis ... candidate of philology: 10.02.19 / K.S. Kardanova. Moscow, 206 p. (in Russian)
Kardanova-Biryukova, K. S. (2012) Principles of Organization of a Psycholinguistic Experiment and Processing the Data Obtained / K. S. Kardanova-Biryukova, A. G. Sonin. Годишник на департамент „Чужди езици и литератури" 2011-2012", Нов български университет (НБУ). Sofia, 369-395. (in Russian)
Kardanova-Biryukova, K. S. (2018) Specifics of Communicative Behaviour of Russian Native Speakers in Inter-Personal Communication (Experimental Research) // Vestnik of Volgograd State University. Series 2: Linguistics. Vol. 17. 1: 85-97. https://doi.org/10.15688/jvolsu2.2018.L9 (in Russian)
Krebs, J. (2021) Psycholinguistic Mechanisms of Classifier Processing in Sign Language / J. Krebs, E. Malaia, R. B. Wilbur, D. Roehm. Journal of Experimental Psychology: Learning, Memory, and Cognition. Vol. 47. 6: 998-1011. https://doi.org/10.1037/xlm0000958 Landy, F. L. Performance Rating / F. L. Landy, J. L. Farr. Psychological Bulletin. 87(1): 72-107. Leontiev, A. A. (2003) Word in Speech Activity: Some Issues of General Theory of Speech Activity. Moscow: URSS, 248 p. (in Russian)
Myford, C. M. (2003) Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part I / C. M. Myford, E.W. Wolfe. Journal of Applied Measurement. 4: 386-422. Myford, C. M. (2004) Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part II / C. M. Myford, E.W. Wolfe. Journal of Applied Measurement. 5: 189227.
Nezhnov, P. G. (2011) Assessment of the Results of Secondary School Learning: Structural Approach / P. G. Nezhnov, E. Yu. Kardanova, B. D. Elkonin. Education studies. 1: 26-44. (in Russian)
Sidorenko, E. V. (2001) Methods of Mathematical Data Processing in Psychology. Saint-Petersburg: Rech', 350 p. (in Russian)
Stevens, S. S. (1960) Mathematics, Measurement and Psychophysics // Experimental psychology. Vol. 1. Physiological Mechanisms. Growth and Development. Motivation. Moscow: Publishing House of Foreign Literature, Pp. 19-92. (in Russian)
Saal, F. E. (1980) Rating the Ratings: Assessing the Psychometric Quality of Rating Data / F. E. Saal, R. G. Downey, M. A. Lahey. Psychological Bulletin. 88(2): 413-428. https://doi.org/10.1037/0033-2909.88.2.413
