CC BY
27
Вестник Томского государственного университета. 2019. № 442. С. 22-31. DOI: 10.17223/15617793/442/3
УДК 81'1
А.С. Душейко, З.И. Резанова, Е.А. Аленина
ПАРАМЕТР СЛОЖНОСТИ СЛОВА В ДИАГНОСТИКЕ ЛЕКСИЧЕСКОГО КОМПОНЕНТА ЯЗЫКОВОЙ СПОСОБНОСТИ
Исследование выполнено при финансовой поддержке Министерства образования и науки Российской Федерации (грант № 14.Y26.31.0014).
Определена степень корреляции лингвистически релевантных параметров сложности слова с его диагностическим потенциалом в двух вариантах тестовых заданий, направленных на измерение лексического компонента языковой способности. При выполнении тестовых заданий на поиск синонима установлена коррелятивная связь между признаками частотности и длины стимула и количеством правильных ответов, в тестовых заданиях на определение лексического значения - между количеством правильных ответов, частотностью и количеством синонимов у стимула.
Ключевые слова: сложность слова; длина слова; частотность; многозначность; деривационная сложность; словарный тест; лексический компонент языковой способности.
Одним из ключевых объектов лингвистических, психологических и социальных исследований являются способности, т.е. «свойства функциональных систем, реализующих отдельные психические функции, имеющие индивидуальную меру выраженности и проявляющиеся в успешности и качественном своеобразии освоения и реализации деятельности» [1. С. 441]. Актуальность подобных исследований обусловлена в первую очередь значимостью способностей для успешной реализации личности на всех этапах жизни. Одной из важнейших способностей, определяющих успех деятельности индивида, является языковая способность (ЯС). Таким образом, значимость изучения ЯС в системе других способностей человека обусловлена, во-первых, ее важной ролью в процессе овладения языком, во-вторых, тем, что она выступает посредником в развитии других способностей.
Как и любая другая способность, ЯС тесно связана с деятельностью, в данном случае - с речевой, динамична, т.е. развивается на протяжении всей жизни, индивидуальна, так как степень выраженности языковой способности индивида зависит от возраста, социально-экономического статуса индивида, профессии и других факторов [1-8].
Вследствие этого в настоящее время приобретают особое значение не только собственно теоретические исследования ЯС, но и прикладные разработки, позволяющие провести измерение ЯС отдельного человека на разных этапах его развития, сформированно-сти ЯС представителей различных социальных групп [6, 9-16]. Результаты таких измерений могут послужить источником данных для создания коррекцион-ных программ в преподавании языка, применение которых будет иметь значение для повышения успешности социализации индивида.
ЯС имеет сложную структуру, складывается из совокупности видов деятельности, связанных с использованием единиц разных языковых уровней, вследствие чего разрабатываются измерительные процедуры, системы тестирования, направленные на диагностику разных аспектов ЯС. Структура ЯС интерпретируется в настоящее время в разных направлениях
психолингвистики в соотношении со структурой речевой деятельности и системы языка [5, 17-26].
В нашем исследовании мы придерживаемся подхода, интерпретирующего структуру ЯС как коррелирующую с уровневой системой языка, специфика компонентов которой проявляется непосредственно в деятельности. С одной стороны, как отмечает А.М. Шахнарович, ЯС представляет собой «некий конструкт, организованный иерархически, состоящий из ряда компонентов: фонетического, лексического, морфологического (включающего словообразовательный субкомпонент), синтаксического, семантического» [26. С. 190]. С другой стороны, следует подчеркнуть, что деятельностный характер ЯС предопределяет необходимость динамического определения и ее структурных компонентов. Подчеркнем, что каждый из выделяемых компонентов ЯС - это динамическая структура, это аспект способности использования единиц и структур определенного уровня языковой системы при порождении речи в соответствии с текущими задачами коммуникации.
При таком подходе и лексический компонент ЯС (ЛКЯС) интерпретируется не только как совокупность словарных единиц, которыми человек владеет, но и как его способность эффективно оперировать ими в различных условиях коммуникации. При этом отметим важность понимания того, что результативность использования слов в процессе порождения речи базируется на эффективном использовании потенциала их парадигматических и синтагматических отношений [26].
Как было отмечено, в настоящее время ведется интенсивная работа по созданию разнообразных инструментов, тестов, способных измерить ЯС человека в целом и ее отдельные компоненты. ЛКЯС является, с одной стороны, наиболее репрезентативным компонентом структуры ЯС [27, 28], с другой - поддается измерению, вследствие чего служит основой для создания инструментов, направленных на измерение ЯС в целом.
В данной статье представлен один из этапов решения задач создания, применения, валидации и анализа тестов, позволяющих измерить один из компонентов
ЯС человека, - лексический. На предыдущих этапах исследования нами был создан и апробирован тест на определение сформированности ЛКЯС на материале русского языка. Создание теста опирается на методику случайной выборки единиц словаря с последующей их экспертной оценкой. В результате апробирования теста были выявлены слова, на которые респонденты дают примерно одинаковое количество правильных и неправильных ответов, и пул слов, которые попадают в зону наибольшего варьирования и выступают своеобразными маркерами степени выраженности ЛКЯС в той или иной возрастной группе.
Была выдвинута гипотеза, что количество правильных ответов зависит от сложности слова. Сложность слова - психолингвистическая характеристика лексемы, складывающаяся из нескольких параметров. Мы задались целью установить диагностирующий потенциал слов-стимулов, выявив наличие / отсутствие корреляций между параметрами, обусловливающими сложность слова, и количеством правильных ответов.
Под диагностирующим потенциалом мы понимаем способность слова вызывать разброс правильных и неправильных ответов в тесте в разных возрастных и социальных группах респондентов и служить основанием дифференциации развитости ЛКЯС.
Цель данной статьи - выявить корреляционные зависимости формальных, семантических, формально -семантических и функциональных параметров сложности слова и его диагностирующего потенциала в системе теста, направленного на измерение ЛКЯС.
Выявление таких корреляционных зависимостей между психолингвистически релевантными параметрами сложности слова и его диагностирующим потенциалом должно использоваться в практике формирования тестовых заданий на определение ЛКЯС, что определяет, наряду с теоретической, прикладную направленность проведенного исследования. Как отмечено в аналитических работах, отечественная методологическая база в области психодиагностического тестирования лишь на 25% соответствует международным требованиям надежности и валидности [29], что определяет необходимость продолжать работу в данном направлении для создания надежного инструментария психолингвистической и лингвистической диагностики.
Прежде чем перейти к изложению основных результатов проведенного исследования названных коррелятивных зависимостей, кратко охарактеризуем созданный нами тест, его результаты, полученные в процедурах апробации, - группы слов, характеризующихся наибольшим варьированием диагностирующего потенциала, а также охарактеризуем понятие «сложность слова» и его компоненты.
При разработке русскоязычной версии для измерения ЛКЯС мы использовали оригинальную версию «Словарного теста Милл Хилл» (Mill Hill Vocabulary Scale)1. Этапы разработки русскоязычной версии теста подробно описаны в предыдущих публикациях авторов данной статьи [30-32].
Оригинальная версия теста состоит из 88 слов, разделенных на две параллельных формы из 44 слов
(Форма 1 и Форма 2), расположенных в порядке возрастания сложности лексем, владение которыми проверяется. В Форме 1 первая половина теста (Сет А) представлена в формате открытого вопроса, а вторая половина (Сет В) - в формате выбора варианта ответа. В Форме 2 Сет А представлен в формате выбора варианта ответа, а вторая половина (Сет В) - в формате открытого ответа.
На данном этапе разработки русскоязычной версии сет с выбором варианта ответа состоит из 144 слов. Слова в сете организованы согласно оригинальной методике (табл. 1).
Таблица 1
Пример организации слов в Сете А теста на подбор синонима
Экспорт
Приезд Налог
Купюра Вывоз
Йота Выезд
Синонимы и дистракторы (неверные варианты ответа) расположены случайным образом по отношению к стимульному слову, выделенному жирным шрифтом. Синоним располагается произвольно по отношению к стимульному слову, в примере обозначен курсивом.
Сеты с выбором варианта ответа предназначены для измерения репродуктивной способности с минимальным вовлечением продуктивной деятельности. При проведении тестирования на основе первого сета испытуемые должны определить синоним к стимуль-ному слову.
Сеты с использованием открытого вопроса позволяют дать более детальную качественную оценку использования слов и знаний. В разрабатываемой версии сет с открытым вариантом ответа содержит 154 слова-стимула. Разница в 10 слов обусловлена модификацией теста на поиск синонима и исключением 10 слов в процессе модификации. Пример организации слов в данном сете представлен в табл. 2. Респондентам при этом предлагается дать определение стимульных слов.
К настоящему времени проведены 2 апробации теста на выбор синонимов и одна - на определение значения слов в группах, находящихся на разных этапах сформированности ЯС, для определения их диагностирующей способности2. Результаты первой и второй апробации тестирования с заданием на подбор синонима показали воспроизводимость результатов (подробнее см.: [30-32]).
На рис. 1 представлены результаты апробации теста на подбор синонима в различных возрастных группах.
При формировании тестового задания второго типа 154 слова были сгруппированы в 4 сета по 38 или 39 слов. Ограниченное количество слов-стимулов в одном экспериментальном сете было мотивировано, во-первых, высокой когнитивной нагрузкой, которую испытывают респонденты при выполнении задания, что критично для школьников младших классов, во-вторых, большими временными затратами при выполнении задания, нежели при выполнении заданий на поиск синонима. Тестовые задания на определение
значения слова были представлены также ограниченному количеству респондентов в связи с тем, что его выполнение требует значительных временных и когнитивных ресурсов. Тестовое задание выполнили
14 учащихся третьих классов и 12 учащихся пятых классов. Ограниченность стимульного материала при выполнении второго задания повлияла на методику обработки данных.
Таблица 2
Пример организации слов в Сете В теста на определение лексического значения слова
Сформулируйте значение слов, предложенных далее. Старайтесь давать развернутое определение, например: машина — транспортное средство для перевозки людей или грузов. Нельзя определять слово через другое слово, например: машина - автомобиль.
1. Понимать
2. Залить
3. Сохраниться
90%
97%
77% 75о/о 77% 78%
64%
И
3 класс 5 класс 6-7 класс 8 класс 9-10 класс 10-11 Студенты >20
класс
Рис. 1. Результаты выполнения теста с выбором варианта ответа
Максимальное количество ответов варьируется от 34 до 38, так как в процессе модификации теста 10 слов были исключены из выборки. При анализе учитывались только те слова-стимулы, на которые были даны ответы при выполнении основного теста (поиск синонима) и при выполнении дополнительного задания. Таким образом, правильный ответ к слову-стимулу соотносился отдельно с определением. Правильный ответ оценивался в один бал, неправильный - 0 баллов. В качестве правильного оценивался вариант ответа, в котором содержались компоненты, соотносящие слово с родовым или близким видовым понятием (согипоним или гипероним) и выделяющие
какие-либо отличительные признаки, например: сдаться - уступить кому-то победу или что-то другое (5-й класс); пища — еда, которую едят (3-й класс). Примеры неправильных ответов: аналогия - наука, изучающая человека и его внутренности (5-й класс); лакей - скачка на конях (3-й класс).
Далее высчитывался процент выполнения исходя из общего количества представленных слов-стимулов. Полученные результаты соотносились с результатами теста на поиск синонима, выполненного тем же респондентом. На рис. 2 представлены результаты соотнесения слов, для которых респонденты выбирали синоним и давали определение.
Рис. 2. Соотношение результатов тестов на выбор синонимов и на определение лексического значения
Как можно видеть на графике, два тестовых задания выявляют общую тенденцию возрастания успешности выполнения теста с увеличением возраста респондентов. Ученики пятого класса справляются с заданием в среднем на 20-30% лучше. Вторая закономерность, выявляемая сравнением результатов выполнения заданий первого и второго типа, - это большая успешность респондентов первой и второй групп при выполнении заданий на поиск синонимов по сравнению с выполнением заданий на определение слова. При этом разрыв в успешности выполнения заданий второго сета сокращается с возрастом, в ответах учеников третьего класса разрыв в количестве правильных ответов на задания первого и второго типа составляет более 20%, в группе школьников пятого класса - менее 10%.
Данные описательной статистики, свидетельствующие о совпадении тенденций в эффективности использования одних и тех же групп слов при выполнении заданий разного типа, позволяют поставить вопрос о диагностирующем потенциале различных слов в составе тестовых батарей при выполнении разного типа заданий.
Диагностирующий потенциал лексических единиц теста мы соотносим с параметром их сложности, то есть качества слова, затрудняющего его обработку в процессах восприятия и порождения речи. Сложность слова - это комплексная характеристика лексической единицы. В разных исследованиях при характеристике сложности слова выделяются аспекты формальной (фонетическая [37-39], графическая [37-38] сложность, в том числе длина слова [38], а также синфор-мизм (омофония / омография)) [Ibid. P. 13], семантической (семантическая сложность как комплексная единица [37, 39], многозначность [38], степень образности или абстрактности [38-40], специфичность и регистр [37. P. 15]), формально-семантической (морфологическая и деривационная сложность, идиома-тичность, частеречная принадлежность) сложности. В качестве важнейших выделяются также частотность, степень известности слова (familiarity) и возраст усвоения [39, 41-42].
Кратко охарактеризуем данные параметры.
Лингвисты, психологи и специалисты смежных областей в качестве основного параметра для измерения сложности слов рассматривают их частотность, выделяя и соотнося субъективный и объективный аспекты. Объективная частотность измеряется на основе анализа частоты использования слова в обширных корпусах текстов, устанавливается соотношение частного количества употреблений целевого слова (вхождений) и общего количества словоупотреблений в корпусе (ipm - item per million). Субъективная частотность устанавливается в системе тестирования, обычно с использованием шкалы Ликерта. В психолингвистических исследованиях доказано влияние частотности слова на время реакции при распознавании слов [40. P. 1], а также соотнесенность с другими параметрами - длиной, звуковой, семантической сложностью [39, 43].
Корреляция частотности и степени известности слов активно дискутируется в настоящее время. Сте-
пень известности слова (familiarity) - свойство слова, которое обеспечивает его узнаваемость и легкость восприятия, другими словами, «знакомость» слова.
Ц. Койрала определяет фонетическую сложность как аспект сложности слова, затрагивающий его восприятие и воспроизведение [44. P. 319]. Корреляция фонетической сложности и частотности слов незначительная [Ibid].
Некоторые ученые соотносят графическую и фонетическую сложность слова. Соотношение графем и фонем определяет сложность слова. Если данное соотношение неконгруэтно, т.е. количество графических знаков не совпадает с количеством фонетических знаков, например купаться - [купаца], сложность слова возрастает [36-38]. Другим вариантом формальной сложности, определяемым через соотношение фонетического и графического аспектов слова, является синформизм. Под синформизмом понимается схожесть звуковой оболочки слов (омофония) и их графической репрезентации (омография) [38. P. 13].
Влияние длины слова тесно связано с его графической сложностью. Существуют экспериментальные данные, свидетельствующие, что короткие слова запоминаются и воспроизводятся быстрее, чем длинные. Однако некоторые длинные слова могут быть морфологически более прозрачны, т.е. значение слова может угадываться из составляющих его морфем, что, следовательно, снижает его сложность [Ibid. С. 11]. Более частотные слова, как правило, характеризуются меньшей длиной [39. С. 70].
Роль морфемной сложности в определении общей сложности слова варьируется от языка к языку и зависит от своеобразия морфемных структур языков, диапазона варьирования морфемных структур отдельных слов [37. P. 145]. Деривационная сложность слова как вариант морфемной сложности складывается из количественного (количество деривационных морфем в слове) и качественного (степени идиоматичности семантики деривационно сложного слова) параметров. Способность индивида разбивать слова на морфемы может способствовать извлечению значения нового слова, его восприятию и последующему употреблению. С другой стороны, переносное значение морфем или их многозначность могут затруднить понимание и восприятие, тем самым повысив степень сложности [38. С. 146].
Семантическая сложность слова - один из наиболее сложных параметров, включает частные аспекты образности, абстрактности, многозначности. Т. Ахутина отмечает, что «оперирование семантически более сложным словом требует больше времени, чем семантически менее сложным словом» [39. С. 186]. Семантическая сложность слова тесно связана с возрастом усвоения, так как в первую очередь дети усваивают слова, которые обладают более высокой наглядностью (образностью). Семантическая сложность и время усвоения обусловливают частотность слова: чем позднее усваивается слово, тем сложнее его значение и меньше частотность [Там же. С. 188; 45].
Несмотря на то, что возраст усвоения не влияет напрямую на сложность слова, он является одним из
ключевых параметров в понимании степени его сложности. Исследователи К. Моррисон и А. Эллис также отмечают, что существует сильная корреляция между фактором возраста усвоения и частотностью [42, 45]. Таким образом, в оценке сложности слова перечисленные параметры являются не изолированными, а взаимно соотнесенными.
В данной статье при решении проблемы значимости параметров сложности слова в выборе правильного ответа мы включили по одному параметру различных аспектов сложности слова: формального - длина слова, семантического - многозначность, формально-семантического - наличие формально-семантических соседей (деривационно связанных слов), функционального - объективная частотность, чтобы выяснить, насколько коррелятивны данные параметры с диагностирующим потенциалом единицы.
Для этого мы провели количественный анализ признаков сложности каждого стимульного слова по соответствующим академическим источникам. При этом мы предполагаем, что правильность выполнения первого тестового задания зависит и от характеристик синонимов, выбор которых должен осуществить респондент, поэтому перечисленные количественные параметры определяются как для стимульных слов, так и для слов-синонимов.
Длина слов-стимулов и слов-синонимов высчиты-валась автоматически в Microsoft Excel. Длина слов-стимулов варьируется от 4 до 18 знаков. Минимальное количество знаков слов-синонимов - 3, максимальное - 21. Самые короткие слова-стимулы - ложь, боец, пища. Самое длинное - естествоиспытатель. Самые короткие синонимы - еда, миф; самый длинный синоним - легковоспламеняющийся.
Семантическая сложность слова, количество выделяемых лексико-семантических вариантов определялось по данным «Словаря русского языка» [46]. Диапазон количества значений варьируется от 1 до 9 для слов-стимулов и от 1 до 12 - для синонимов. Единичным значением обладают 43,4% слов-стимулов и 38,6% слов-синонимов. Наиболее многозначным среди стимулов является слово открывать. Двенадцатью значениями обладает синоним раскрываться.
Наличие формально-семантических соседей и их количество определялось по данным «Нового словообразовательного словаря русского языка» [47]: под-считывалось количество слов в гнезде, при этом целевое слово анализа могло находиться на разных ступенях производности. Для слов, не вошедших в словарь, использовались материалы «Нового словаря русского языка. Толково-словообразовательного» Т.Ф. Ефремовой [48]. Количество формально-семантических соседей варьируется в обеих группах от 1 до 149. Отсутствуют формально-семантические соседи у слов-стимулов баталия и амулет. Наиболее многочисленным соседством отличаются слова ведущий и боец. У синонимов наименьшим соседством обладают талисман, дебаты, алчность; наибольшим - поддельный, перебиваться.
Частотность слова определялась по данным «Нового частотного словаря русской лексики» [49] и
Национального корпуса русского языка [50]. Диапазон частотности слов-стимулов составляет 0,14-314,7. Диапазон частотности синонимов 0,3-392,7. Наименее частотные слова-стимулы (до 10 вхождений на миллион) составляют 64% от общего числа слов: прочный, сагитировать, усугубить и др.. Наиболее частотные слова-стимулы (свыше 100 вхождений на миллион) составляют лишь 2,8%: знание, короткий, спрашивать, общество и др.. Наименее частотные слова-синонимы (до 10 вхождений на миллион) составляют 6,4% от общего количества: обманщица, легковоспламеняющийся, грандиозность и др.. Наиболее частотные синонимы (свыше 100 вхождений на миллион) составляют 5,5%: сложный, низкий, компания и др.
Далее был проведен анализ с использованием пакета Statistica 10, направленный на выявление того, насколько коррелируют признаки сложности слова -частотность, наличие формально-семантических соседей, семантическая сложность, длина слова - с его диагностирующим потенциалом, т.е. способностью давать разброс правильных и неправильных ответов в разных группах респондентов при выполнении разных типов заданий.
В табл. 3 представлены результаты корреляционного анализа параметров сложности слова с количеством правильных и неправильных ответов, полученных при выполнении теста на определение синонима.
При выполнении коррелятивного анализа данные о количественных показателях по выделенным параметрам стимульных слов и синонимов теста, а также количестве правильных ответов, полученных при выполнении первого тестового задания, были усреднены.
Как видно из данных, представленных в таблице, в целом корреляционные связи между выделенными в анализе параметрами сложности слова и количеством правильных ответов в тесте являются слабыми и средними.
Прямая коррелятивная связь средней силы наблюдается между количеством правильных ответов и частотностью слов-стимулов (0,290 134), а также количеством правильных ответов и частностью слов-синонимов (0,330 167), следовательно, и усредненными данными для стимулов и слов-синонимов (0,348 556): чем более частотно слово-стимул и предложенный синоним, тем больше правильных ответов дают испытуемые. На основе этих показателей мы устанавливаем влияние частотности на диагностирующую силу слова в тесте.
Обратная коррелятивная связь выявлена между количеством правильных ответов и длиной сти-мульного слова, т.е. чем длиннее слово, тем меньше правильных ответов дано испытуемыми, сила данной коррелятивной связи не велика (-0,202 642), однако в целом мы можем констатировать наличие влияния данного параметра на диагностирующую силу слова в тесте. Отметим, что самое длинное стимульное слово естествоиспытатель получило 64% правильных ответов, а самые короткие сти-мульные слова боец, ложь и пища по 92%, 91% и 90% соответственно.
Результаты корреляционного анализа параметров сложности слова и количества правильных ответов при выполнении теста на подбор синонима
Таблица 3
Таким образом, данные статистического анализа показывают, что только две из исследованных характеристик сложности слова могут быть интерпретированы как влияющие на количество правильных ответов в разных возрастных группах респондентов.
Однако полученные данные свидетельствуют также о более сложной системе влияния выделенных характеристик стимульного слова и слова-синонима в тесте: необходимо обратить внимание на высокую корреляцию между такими параметрами, как частотность стимула и количество его значений (семантическая сложность) (0,419995), следовательно, хоть и опосредованно, эти характеристики лексем могут влиять и на их диагностирующие возможности. Устанавливаемая коррелятивная связь между семантической и морфемной сложностью синонима (0,314630) не влияет на его диагностирующие возможности.
Отмеченные в анализе высокие значения корреляций (1) частотности стимула и частотности синонима
(0,631569), (2) длины стимула и длины синонима (0,468825) отражают соответствие исходным установкам авторов теста, которые на этапе формирования теста стремились сбалансировать слова-синонимы и слова-стимулы по количеству графических знаков и по частотности.
Несмотря на то, что апробация тестового задания на определение лексического значения слова была проведена на ограниченном материале с привлечением ограниченного количества респондентов, мы провели дополнительный коррелятивный анализ количества правильных ответов при выполнении первого и второго задания и количественных параметров сложности слова. Ответы респондентов при выполнении каждого тестирования были усреднены. В табл. 4 представлены результаты корреляционного анализа количества правильных ответов в группах третьих и пятых классов при выполнении теста на определение параметров сложности слова.
Таблица 4
Результаты корреляционного анализа параметров сложности слова и количества правильных ответов при выполнении теста
на определение лексического значения слова
¡3 Количество-правильных-ответовл Длина Количество-11: ВппшШ: Омофоны-Б1шш153 Количество-формально-семант. соседей -$1тш1з Количество-синонимов ■ Бшшйл Частотность-ВшпиЛл
Количество-прав ильных-отъетовл 1.00000053 -0,102247л 0.031106л 0.062967л 0.088435л 0.220054л 0.170912л
Длина ^ 1Г :1 —ОД02247а 1.000000П 0.083485зз -0.07643133 0.000754л -0.024237л -0.237727л
Количество значений- 0.03110653 0.083485" 1.000000л 0.115181л 0.042255л 0.122272л 0.418727л
Омофоны-БгшшЬ 0.062967л -0.076431л 0.115181л 1.000000л 0.052209л 0.147689л 0.128390л
Количество-формально-сеыант,-соседен^шпШ 0.088435л 0.000754зз 0.042255зз 0.052209зз 1.000000л -0.067188л -0.034786л
Количество-синонимов ■ Впти1л 0.22005453 -0.024237л 0.122272л 0.147689л -0.067188л 1.000000л 0.248447л
Частотность-5пти1л 0.17091253 -0.2 3 7 7 2 753 0.4 1 872 753 0.128390л -0.034786л 0.248447л 1.000000л
В табл. 4 отображены результаты корреляционного анализа количества правильных ответов респондентов с параметрами сложности слов-стимулов. Как мы видим, зависимость правильных ответов от частотности стимульного слова, показанная в табл. 3, подтверждается в данном корреляционном анализе (0,170912), однако степень корреляционной зависимости менее значительна, нежели при выполнении тестов на поиск синонима.
Параметр «количество правильных ответов» представляет собой усредненный показатель, полученный на основе ответов учеников третьих и пятых классов, и коррелирует с количеством синонимов стимульного слова (0,220054), т.е. чем больше синонимов у сти-мульного слова, тем больше правильных ответов.
Таким образом, только один из параметров слова -его частотность - устанавливает коррелятивную связь с количеством правильных ответов при выполнении разных заданий теста на измерение ЛКЯС, разрабо-
танного авторами. Вследствие этого, при создании тестовых батарей, принципом которых является последовательное усложнение тестовых заданий, именно этот параметр слова должен быть учтен в первую очередь. Вместе с тем обнаружено, что при выполнении разных типов заданий могут устанавливаться дополнительные типы коррелятивных связей с компонентами сложности слова, что также должно учитываться составителями тестов.
Настоящее исследование должно быть продолжено, мы планируем соотнести полученные данные со значимыми психолингвистическими параметрами, устанавливаемыми в методиках сбора субъективных оценок респондентов с использованием шкалы Ли-керта (возраст усвоения, знакомость слова, элементы семантической сложности слова - образность, идио-матичность) для установления данных параметров сложности слова и его диагностирующих способностей в тесте.
ПРИМЕЧАНИЯ
'В мировой психологии и психолингвистике практика создания тестов для измерения лексического компонента ЯС имеет длительную традицию. Наиболее известны Peabody Picture Vocabulary Test [33], Wechsler Intelligence Scale [34] и Stanford-Binet Intelligence Scale [35] и Mill Hill Vocabulary Scale [36] др.).
2
Первичную апробацию теста прошли 149 учеников школ г. Прокопьевска Кемеровской области и г. Томска. Опрос школьников проводился с разрешения администрации образовательного учреждения, испытуемые были проинформированы о научной цели опроса и участвовали в эксперименте при условии письменно зафиксированного согласия. Всего было получено 5 739 реакций. Для вторичной апробации тест был представлен в двух форматах: бумажном и аппаратном. Аппаратная версия тестирования проводилась в образовательном центре «Сириус» (г. Сочи). Вторичную апробацию теста прошли 182 человека (бумажную версию - 56 человек, аппаратную версию - 126 человек). Опрос школьников проводился с разрешения администрации образовательного учреждения, испытуемые были проинформированы о научной цели опроса и участвовали в эксперименте при условии письменно зафиксированного согласия. Всего было получено 26 264 реакций. Результаты первого и второго тестирования показали воспроизводимость результата.
ЛИТЕРАТУРА
1. Психология способностей: хрестоматия / ред.-сост. В.Д. Шадриков. Москва : МПСИ ; Воронеж : МОДЭК, 2012. 488 с.
2. Ковалев А.Г., Мясищев В.Н. Психические особенности человека. Т. 2: Способности. Л. : Изд-во Ленингр. ун-та, 1960. 302 с.
3. Рубинштейн С.Л. Основы общей психологии: в 2 т. М. : Педагогика, 1989. Т. 2. 328 с.
4. Ананьев Б.Г. Очерки психологии. Л. : Ленингр. газетно-журнальное и книжное издательство, 1945. 160 с.
5. Леонтьев А.А. Основы психолингвистики. М. : Смысл ; Издательский центр «Академия», 1999. 288 с.
6. Рубинштейн С.Л. Основы общей психологии: в 2 т. СПб. : Питер, 2002. 720 с.
7. Теплов Б.М. Избранные труды: в 2 т. М. : Педагогика, 1985. Т. 1. 328 с.
8. Galton F. Human Faculty and Its Development. New York : Macmillan and Co., 1983. 420 p.
9. Леонтьев А. А. Психофизиологические механизмы речи // Общее языкознание. Форм существования, функции, история языка. М., 1970.
С. 314-370.
10. Потебня А.А. Мысль и язык // Слово и миф. М. : Правда, 1989. С. 17-200.
11. Гумбольдт В. фон. Избранные труды по языкознанию / ред. М.А. Оборина; пер. с нем. Г.В. Рамишвили. М. : Прогресс, 1984. 400 с.
12. Звегинцев В.А. История языкознания XIX-XX веков в очерках и извлечениях. М. : Просвещение, 1964. Ч. 1. 466 с.
13. Бодуэн де Куртенэ И.А. Избранные труды по общему языкознанию / сост. В.П. Григорьев, А.А. Леонтьев. М. : Изд-во Академии наук СССР, 1963. Т. 1. 385 с.
14. Фортунатов Ф.Ф. Задачи языковедения и связь его с другими науками // Сравнительное языковедение: общий курс. М. : КРАСАНД, 2010. С. 3-9.
15. Хомский Н. О природе и языке: С очерком «Секулярное совершенство и опасности, которые таит демократия» М. : УРСС : ЛЕНЛАНД,
2017. 288 с.
16. Peabody Picture Vocabulary Test. Wikipedia - The Free Encyclopedia. URL: https://en.wikipedia.org/ wiki/Peabody_Picture_Vocabulary_Test. (дата обращения: 25.07.2017).
17. Соссюр Фердинанд де. Курс общей лингвистики / ред. пер. и примеч. Н. А. Слюсаревой; пер. со 2-го фр. изд. А.М. Сухотина. М. : Логос,
1998. 235 с.
18. Уланович О.И. Развитие языковой способности человека в условиях билингвизма и полилингвизма // Психолого-педагогические проблемы одаренности: теория и практика : материалы VI Междунар. конф. : Иркутск, 12-13 сентября 2009 г. Иркутск, 2009. Т. 1. С. 542-555.
19. Божович Е.Д. Развитие языковой компетенции школьников: проблемы и подходы // Вопросы психологии. 1997. № 1. С. 33.
20. Pinker S., Jackendoff R. The Faculty of Language: What's Special about it? // Cognition. 2005. № 95. Р. 201-236.
21. Tecumseh Fitch W., Hauser M. D., Chomsky N. The evolution of the language faculty: Clarifications and implications // Cognition. 2005. Vol. 97, № 2. P. 179-210.
22. Hauser M.D., Chomsky N., Fitch W.T. The Faculty of Language: What Is It, Who Has It, How Did It Evolve? // Science. 2002. Vol. 298, № 5598. P. 1569-1579.
23. Jackendoff R. The Architecture of the Language Faculty // Computational Linguistics. Cambridge, MA : The MIT Press, 1997. Vol. 24, № 4. P. 652-655.
24. Хованская Е.А. Исследование языковой способности: психолого-педагогический и методические аспекты // Вестник Кемеровского государственного университета. 2014. № 3 (59). С. 184-188.
25. Пузанкова Е.Н., Хованская Е.А. Основные тенденции развития речевой способности учащихся 2-5 классов общеобразовательной школы на уроках русского языка при изучении имени прилагательного // Ученые записки Орловского государственного университета. Сер. Гуманитарные и социальные науки. 2014. № 5. С. 371-374.
26. Шахнарович А.М. К проблеме языковой способности (механизма) // Человеческий фактор в языке: язык и порождение речи. М. : Наука,
1991. С. 185-220.
27. Кочкина О.М. Структура и динамика языковых способностей в дискурсивной практике : автореф. дис ... канд. психол. наук. М. : Ин-т психологии РАН, 2009. 26 с.
28. Pinker S. The language instinct. New York : W. Morrow and Co., 1994. 97 p.
29. Батурин Н.А., Курганский Н.А. Краткое руководство по Универсальному интеллектуальному тесту. Челябинск : Челябинский Дом печати, 1995. 19 c.
30. Набиуллина А.С. Измерение лексического компонента языковой способности (методика формирования тестовой батареи) // Актуальные проблемы лингвистики и литературоведения : сб. материалов IV (XVIII) Междунар. конф. молодых ученых (20-22 апреля 2017 г.). Томск : Издательский Дом ТГУ, 2017. Вып. 18. Т. 1: Лингвистика. С. 174-178.
31. Набиуллина А.С. Лексический компонент языковой способности (измерение возрастной дифференциации) // Актуальные проблемы лингвистики и литературоведения : сб. материалов V (XIX) Междунар. конф. молодых ученых (г. Томск, 19-21 апреля 2018 г.). Томск,
2018.С. 141-143.
32. Набиуллина А.С., Резанова З.И. Измерение лексического компонента языковой способности (создание и апробация теста) // Вестник Томского государственного университета. 2018. № 427. С. 55-62.
33. Peabody Picture Vocabulary Test. Pearson Assessment. URL: https://www.pearsonassessments.com/ store/usassessments/en/Store/Professional-
Assessments/Academic-Learning/Brief/Peabody-Picture-Vocabulary-Te st-%7C-Fourth-Edition/p/100000501.html (дата обращения: 25.07.2017).
34. Wechsler Test [Online] Available from: http://wechslertest.com/. (access date: 25.07.2017).
35. Stanford-Binet [Online] Available from: https://www.stanfordbinet.net/. (access date: 25.07.2017).
36. Raven J., Raven J.C., Court J.H. Manual for Raven's Progressive Matrices and Vocabulary Scales. Section 5: The Mill Hill Vocabulary Scale. San Antonio, TX : Harcourt Assessment, 1998. 116 p.
37. Rosa K.D., Eskenazi M. Effect of Word Complexity on L2 Vocabulary Learning // Proceedings of the Sixth Workshop on Innovative Use of NLP for Building Educational Applications, 2011. P. 76-80.
38. Laufer B. What's in a word that makes it hard or easy: some intralexical factors that affect the learning of words // Vocabulary: Description, Acquisition and Pedagogy / Ed. N. Schmitt, M. McCarthy. UK : Cambridge University Press, 1997. P. 140-155.
39. Ахутина Т.В. Нейролингвистический анализ лексики, семантики и прагматики. М. : Языки славянской культуры, 2014. 424 с.
40. Rudell A.P. Frequency of word usage and perceived word difficulty: Ratings of Kucera and Francis words // Behaviour Research Methods, Instruments, & Computers. 1993. № 25 (4). P. 455-463.
41. Нагель О.В., Кокшарова Н.Ф., Буб А.С. Соотношение частотности и возраста усвоения русского производного имени и его мотивирующего слова // Язык и культура. 2016. № 1 (33). С. 43-57.
42. Morrison C.M., Ellis A.W., Quinlan P.T. Age of acquisition, not word frequency, affects object naming, not object recognition. Memory & Cognition. 1992. № 20 (6). P. 705-714.
43. Tamayo J.M. Frequency of Use as a Measure of Word Difficulty in Bilingual Vocabulary Test Construction and Translation. 1985. 109 p.
44. Koirala C. The word frequency effect on second language vocabulary learning // Proceedings of the 2015 EUROCALL Conference. 2015. P. 318-323.
45. Bonin. P., Fayol M., Chalard M. Age of acquisition and word frequency in written picture naming // The quarterly journal of experimental psychology. 2001. № 54A (2). P. 469-489.
46. Словарь русского языка: в 4 т. / под ред. А.П. Евгеньевой. М. : Рус. яз. ; Полиграфресурсы, 1999. Т. 1. А-Й. 702 с.; Т. 2. К-О. 736 с.; Т. 3. П-Р. 750 с.; Т. IV. С-Я. 797 с.
47. Тихонов А.Н. Новый словообразовательный словарь русского языка для всех, кто хочет быть грамотным. М. : АСТ, 2014. 639 с.
48. Ефремова Т.Ф. Новый словарь русского языка: в 2 т. Толково-словообразовательный. М. : Русский язык, 2000. 2310 с.
49. Ляшевская О.Н., Шаров С.А. Частотный словарь современной русской лексики (на материалах Национального корпуса русского языка). URL: http://dict.ruslang.ru/freq.php (дата обращения: 16.01.2019).
50. Национальный корпус русского языка. URL: http://www.ruscorpora.ru/ (дата обращения: 16.01.2019).
Статья представлена научной редакцией «Право» 16 мая 2019 г.
Word Complexity Effect on the Lexical Component of the Language Faculty
Vestnik Tomskogo gosudarstvennogo universiteta - Tomsk State University Journal, 2019, 442, 22-31. DOI: 10.17223/15617793/442/3
Aleksandra S. Dusheiko, Tomsk State University (Tomsk, Russian Federation). E-mail: [email protected]
Zoya I. Rezanova, Tomsk State University (Tomsk, Russian Federation). E-mail: [email protected]
Evgeniya A. Alenina, Talent and Success Foundation (Sochi, Russian Federation). E-mail: [email protected]
Keywords: word complexity; word difficulty; word length; frequency; polysemy; derivational complexity; vocabulary test; lexical
component; language faculty.
The article aims to reveal the degree of correlation among linguistically relevant parameters of word complexity and the diagnostic potential of lexemes in two types of tasks intended to measure the lexical component of the language faculty. The lexical component of the language faculty is interpreted as not only a set of vocabulary units a person knows but also a person's ability to effectively operate them in various communication conditions. The article considers one of the stages of the development, application, validation and analysis of tests measuring the lexical component of the language faculty. At the previous stages of the research, the authors created and tested a test worked out on the basis of the Russian language and designed for measuring the development of the lexical component of the language faculty. The creation of the test is based on the random selection of units of a dictionary with a subsequent expert assessment. As a result of testing, two groups of words were identified. The first contains the words given nearly the same number of correct and incorrect answers, whereas the second includes the words which serve as markers of the degree of the development of the language faculty in different age groups since the number of answers varies. The authors hypothesized that the number of correct answers depends on word complexity. Word complexity is a psycholinguistic characteristic of a lexeme made up of several parameters. The authors decided to establish a diagnostic potential of the stimuli by revealing absence or presence of correlations between the number of correct answers and the parameters determining word complexity. When identifying how selecting a correct answer depends on the parameters of word complexity, the authors included one parameter from different aspects of word complexity. They selected word-length as a formal aspect; polysemy as a semantic aspect; derivation complexity as a formal-semantic aspect; and word frequency as a functional aspect to reveal the degree of correlation between the parameters and diagnostic potential of the stimuli. The authors made a quantitative analysis of the word complexity parameters of each stimulus using relevant academic dictionaries. A statistical analysis has revealed that frequency is the only parameter that affects the number of correct answers in the authors' test measuring the lexical component of the language faculty. Thus, developing test batteries with a gradual complication of tasks must take this parameter into account. It has also been found that there are some additional types of correlation among the parameters of word complexity which must be taken into account.
REFERENCES
1. Shadikov, V.D. (ed.) (2012) Psikhologiya sposobnostey: khrestomatiya [Psychology of abilities: An anthology]. Moscow: MPSI; Voronezh: MODEK.
2. Kovalev, A.G. & Myasishchev, V.N. (1960) Psikhicheskie osobennosti cheloveka [Mental features of a person]. Vol. 2. Leningrad: Leningrad State University.
3. Rubinshteyn, S.L. (1989) Osnovy obshcheypsikhologii: v 2 t. [Fundamentals of general psychology]. Vol. 2. Moscow: Pedagogika.
4. Anan'ev, B.G. (1945) Ocherkipsikhologii [Essays on psychology]. Leningrad: Leningr. gazetno-zhurnal'noe i knizhnoe izdatel'stvo.
5. Leont'ev, A.A. (1999) Osnovypsikholingvistiki [Fundamentals of psycholinguistics]. Moscow: Smysl; Izdatel'skiy tsentr "Akademiya".
6. Rubinshteyn, S.L. (2002) Osnovy obshchey psikhologii: v 2 t. [Fundamentals of general psychology]. St. Petersburg: Piter.
7. Teplov, B.M. (1985) Izbrannye trudy: v 2 t. [Selected Works: in 2 vols]. Vol. 1. Moscow: Pedagogika.
8. Galton, F. (1983) Human Faculty and Its Development. New York: Macmillan and Co.
9. Leont'ev, A.A. (1970) Psikhofiziologicheskie mekhanizmy rechi [Psychophysiological mechanisms of speech]. In: Serebrennikov, B.A. (ed.)
Obshcheeyazykoznanie. Form sushchestvovaniya, funktsii, istoriyayazyka [General linguistics. Forms of existence, function, history of the language]. Moscow: Nauka.
10. Potebnya, A.A. (1989) Slovo i mif [Word and myth]. Moscow: Pravda. pp. 17-200.
11. Humboldt, W. von. (1984) Izbrannye trudy poyazykoznaniyu [Selected works on linguistics]. Translated from German by G.V. Ramishvili. Moscow: Progress.
12. Zvegintsev, V.A. (1964) Istoriya yazykoznaniya XIX-XX vekov v ocherkakh i izvlecheniyakh [The history of linguistics of the 19th and 20th centuries in essays and extracts]. Pt. 1. Moscow: Prosveshchenie.
13. Baudouin de Courtenay, I.A. (1963) Izbrannye trudypoobshchemuyazykoznaniyu [Selected works on general linguistics]. Vol. 1. Moscow: USSR AS.
14. Fortunatov, F.F. (2010) Sravnitel'noeyazykovedenie: obshchiy kurs [Comparative linguistics: A general course]. Moscow: KRASAND. pp. 3-9.
15. Chomskiy, N. (2017) O prirode i yazyke: S ocherkom "Sekulyarnoe sovershenstvo i opasnosti, kotorye tait demokratiya" [On Nature and Language: With an essay "Secular Excellence and Dangers that Democracy Hides"]. Translated from English. Moscow: URSS: LENLAND.
16. Wikipedia. (n.d.) Peabody Picture Vocabulary Test. [Online] Available from: https://en.wikipedia.org/ wiki/Peabody_Picture_Vocabulary_Test. (Accessed: 25.07.2017).
17. Saussure, F. de. (1998) Kurs obshchey lingvistiki [A course of general linguistics]. Translated from French by A.M. Sukhotin. Moscow: Logos.
18. Ulanovich, O.I. (2009) [The development of human language faculty in bilingualism and multilingualism]. Psikhologo-pedagogicheskie problemy odarennosti: teoriya i praktika [Psychological and pedagogical problems of giftedness: theory and practice]. Proceedings of the VI International Conference. Irkutsk. 12-13 September 2009. Vol. 1. Irkutsk: Irkutsk State Pedagogical University. pp. 542-555. (In Russian).
19. Bozhovich, E.D. (1997) Razvitie yazykovoy kompetentsii shkol'nikov: problemy i podkhody [Development of language competence in schoolchildren: problems and approaches]. Voprosy psikhologii. 1. pp. 33.
20. Pinker, S. & Jackendoff, R. (2005) The Faculty of Language: What's Special about it? Cognition. 95. pp. 201-236.
21. Fitch, T.W., Hauser, M.D. & Chomsky, N. (2005) The evolution of the language faculty: Clarifications and implications. Cognition. 97 (2). pp. 179-210. DOI: 10.1016/j.cognition.2005.04.006
22. Hauser, M.D., Chomsky, N. & Fitch, W.T. (2002) The Faculty of Language: What Is It, Who Has It, How Did It Evolve? Science. 298 (5598). pp. 1569-1579. DOI: 10.1126/science.298.5598.1569
23. Jackendoff, R. (1997) The Architecture of the Language Faculty. Computational Linguistics. 24 (4). pp. 652-655.
24. Khovanskaya, E.A. (2014) Study of the language ability: psycho-pedagogical and methodical aspects. Vestnik Kemerovskogo gosudarstven-nogo universiteta - Bulletin of Kemerovo State University. 3 (59). pp. 184-188. (In Russian).
25. Puzankova, E.N. & Khovanskaya, E.A. (2014) The main tendencies of development of speech ability of pupils of grades 2-5 of comprehensive school at Russian lessons when studying the adjective. Uchenye zapiski Orlovskogo gosudarstvennogo universiteta. Ser. Gumanitarnye i sotsi-al'nye nauki. 5. pp. 371-374. (In Russian).
26. Shakhnarovich, A.M. (1991) K probleme yazykovoy sposobnosti (mekhanizma) [On the problem of language faculty (mechanism)]. In: Ku-bryakova, E.S. (ed.) Chelovecheskiy faktor v yazyke: yazyk i porozhdenie rechi [The human factor in language: language and the production of speech]. Moscow: Nauka.
27. Kochkina, O.M. (2009) Struktura i dinamika yazykovykh sposobnostey v diskursivnoy praktike [The structure and dynamics of language faculty in discursive practice]. Abstract of Psychology Cand. Diss. Moscow: Institute of Psychology, Russian Academy of Sciences.
28. Pinker, S. (1994) The language instinct. New York: W. Morrow and Co.
29. Baturin, N.A. & Kurganskiy, N.A. (1995) Kratkoe rukovodstvopo Universal'nomu intellektual'nomu testu [A Quick Guide to the Universal Intelligence Test]. Chelyabinsk: Chelyabinskiy Dom pechati.
30. Nabiullina, A.S. (2017) [Measurement of the lexical component of language faculty (method of forming a test battery)]. Aktual'nye problemy lingvistiki i literaturovedeniya [Topical issues of linguistics and literature]. Proceedings of the IV (XVIII) International Conference of Young Scholars. Tomsk. 20-22 April 2017. Is. 18. Vol. 1. Tomsk: Tomsk State University. pp. 174-178. (In Russian).
31. Nabiullina, A.S. (2018) [The lexical component of language faculty (measuring age differentiation)]. Aktual'nye problemy lingvistiki i literaturovedeniya [Topical issues of linguistics and literature]. Proceedings of the V (XIX) International Conference of Young Scholars. Tomsk. 19-21 April 2018. Tomsk: Tomsk State University. pp. 141-143 (In Russian).
32. Nabiullina, A.S. & Rezanova, Z.I. (2018) Developing a test for measuring a lexical component of the language faculty. Vestnik Tomskogo gosudarstvennogo universiteta - Tomsk State University Journal. 427. pp. 55-62. (In Russian). DOI: 10.17223/15617793/427/7
33. Pearson Assessment. (n.d.) Peabody Picture Vocabulary Test. [Online] Available from: https://www.pearsonassessments.com/ store/usassessments/en/Store/Professional-Assessments/Academic-Learning/Brief/Peabody-Picture-Vocabulary-Test-%7C-Fourth-Edition/p/100000501 .html. (Accessed: 25.07.2017).
34. Wechsler Test. [Online] Available from: http://wechslertest.com/. (Accessed: 25.07.2017).
35. Stanford-Binet. [Online] Available from: https://www.stanfordbinet.net/. (Accessed: 25.07.2017).
36. Raven, J., Raven, J.C. & Court, J.H. (1998) Manual for Raven's Progressive Matrices and Vocabulary Scales. Section 5: The Mill Hill Vocabulary Scale. San Antonio, TX: Harcourt Assessment.
37. Rosa, K.D. & Eskenazi, M. (2011) Effect of Word Complexity on L2 Vocabulary Learning. Proceedings of the Sixth Workshop on Innovative Use of NLP for Building Educational Applications. Association for Computational Linguistics. pp. 76-80.
38. Laufer, B. (1997) What's in a word that makes it hard or easy: some intralexical factors that affect the learning of words. In: Schmitt, N. & McCarthy, M. (eds) Vocabulary: Description, Acquisition and Pedagogy. Cambridge: Cambridge University Press.
39. Akhutina, T.V. (2014) Neyrolingvisticheskiy analiz leksiki, semantiki i pragmatiki [Neuro-linguistic analysis of vocabulary, semantics and pragmatics]. Moscow: Yazyki slavyanskoy kul'tury.
40. Rudell, A.P. (1993) Frequency of word usage and perceived word difficulty: Ratings of Kucera and Francis words. Behaviour Research Methods, Instruments, & Computers. 25 (4). pp. 455-463.
41. Nagel', O.V., Koksharova, N.F. & Bub, A.S. (2016) Age-of-acquisition and frequency correlation for Russian derivatives and their base words. Yazyk i kul'tura - Language and Culture. 1 (33). pp. 43-57. (In Russian). DOI: 10.17223/19996195/33/4
42. Morrison, C.M., Ellis, A.W. & Quinlan, P.T. (1992) Age of acquisition, not word frequency, affects object naming, not object recognition. Memory & Cognition. 20 (6). pp. 705-714.
43. Tamayo, J.M. (1985) Frequency of Use as a Measure of Word Difficulty in Bilingual Vocabulary Test Construction and Translation. Dissertation. Loyola University Chicago.
44. Koirala, C. (2015) The word frequency effect on second language vocabulary learning. Proceedings of the 2015 EUROCALL Conference. Padova, Italy. pp. 318-323.
45. Bonin, P., Fayol, M. & Chalard, M. (2001) Age of acquisition and word frequency in written picture naming. The Quarterly Journal of Experimental Psychology. 54A (2). pp. 469-489.
46. Evgen'eva, A.P. (ed.) (1999) Evgen'eva, A.P. (ed.) (1999) Slovar' russkogoyazyka: v 4 t. [Dictionary of the Russian language: in 4 volumes]. 4th ed. Moscow: Russkiy yazyk; Poligrafresursy.
47. Tikhonov, A.N. (2014) Novyy slovoobrazovatel'nyy slovar' russkogo yazyka dlya vsekh, kto khochet byt' gramotnym [New word-building dictionary of the Russian language for those who wants to be literate]. Moscow: AST.
48. Efremova, T.F. (2000) Novyy slovar' russkogo yazyka: v 2 t. Tolkovo-slovoobrazovatel 'nyy [The new dictionary of the Russian language: in 2 vols. Explanatory and word-building]. Moscow: Russkiy yazyk.
49. Lyashevskaya, O.N. & Sharov, S.A. (2009) Chastotnyy slovar' sovremennoy russkoy leksiki (na materialakh Natsional'nogo korpusa russkogo yazyka) [Frequency dictionary of modern Russian vocabulary (on the materials of the National Corpus of the Russian language)]. Moscow: Azbukovnik. [Online] Available from: http://dict.ruslang.ru/freq.php. (Accessed: 16.01.2019).
50. Russian National Corpus. [Online] Available from: http://www.ruscorpora.ru/. (Accessed: 16.01.2019). (In Russian).
Received: 16 May 2019
