CC BY
55
Вестник Томского государственного университета. 2018. № 427. С. 55-62. DOI: 10.17223/15617793/427/7
УДК 81'23
А.С. Набиуллина, З.И. Резанова
ИЗМЕРЕНИЕ ЛЕКСИЧЕСКОГО КОМПОНЕНТА ЯЗЫКОВОЙ СПОСОБНОСТИ
(СОЗДАНИЕ И АПРОБАЦИЯ ТЕСТА)
Исследование выполнено при поддержке гранта Министерства образования и науки РФ (договор № 14Y26.31.00.14).
Представлен проект пилотной версии теста, используемого для измерения лексического компонента языковой способности, позволяющего проводить массовые измерения способностей как носителей одного языка, так и билингвов. Представлен алгоритм создания версии теста, являющийся частичной репликацией словарных шкал Милл Хилл (Mill Hill Vocabulary Scale) Дж. Равена, Дж.К. Равена, Дж.К. Курта. Характеризуются принципы отбора словника, варианты отклонений от исходного теста, результаты пробных тестирований, проведенных в группах учащихся средних школ одного региона. Ключевые слова: русский язык; психолингвистическая диагностика; языковая способность; лексический компонент языковой способности; тестирование; тест; словарная шкала.
Введение. Способности - индивидуальные особенности развития человека, позволяющие ему овладеть теми или иными навыками и знаниями, представляют собой свойства психических функциональных систем, определяющих успех деятельности индивида. Совокупность способностей формирует потенциальные свойства личности, актуализирующиеся при определенных обстоятельствах.
Объектом нашего исследования является языковая способность (ЯС), которая занимает важное место в системе других способностей человека и, являясь самостоятельной, она зачастую выступает посредником в их развитии.
Языковая способность является одним из компонентов общего интеллекта, выделенного Чарльзом Спирменом в 1904 г. Английский психолог и статистик Ч. Спирмен предложил двухфакторную теорию интеллекта, в которой выделили g-фактор (от англ. general - основной) и s-фактор (от англ. specific - специфический). G-фактор, или «общий интеллект», определяется умственными процессами, связанными с памятью, физическими способностями, чувствами, в то время как s-фактор измеряет специфические способности, например математические, творческие. Общий интеллект, в свою очередь, также представляет собой двухкомпонентную систему, состоит из «(1) продуктивной способности, т. е способности делать выводы, извлекать смысл из хаотического материала, схематизировать, обычно на невербальном уровне, и создавать концепции, позволяющие легко оперировать сложными понятиями; (2) репродуктивной способности - способности усваивать и воспроизводить вербальную информацию» (цит. по: [1. С. 58]).
Разнообразие способностей человека и многообразие подходов к их исследованию обусловливают множественность существующих типологий. Одной из наиболее значимых классификаций способностей человека является их деление на врожденные, к которым, как правило, относят слух, обоняние, память и научение, зрение, и приобретенные (Р.Л. Аткинсон, Р. С. Аткинсон, Э.Е. Смит, Д.Дж. Бем, С. Нолен-Хоэксема). Вопрос о принадлежности ЯС к врожденным или приобретенным дискутируется и в настоящее время. Идея о врожденном характере ЯС поддерживается нативистами, к числу которых относится Н. Хомский, утверждающий: «Естественная гипотеза
такова, что дети рождаются с "языковой способностью" (Ф. де Соссюр), "инстинктивной склонностью" к языку (Ч. Дарвин)» [2. С. 21]. Он считает ЯС генетически заложенным свойством человека, утверждая, что каждый ребенок рождается с «устройством овладения языком», «компонентом биологического наследия вида» [Там же. С. 23], которое обеспечивает стремительное усвоение и научение. Ребенок рождается с пониманием правил языка - правил «универсальной грамматики», ему остается лишь усвоить вокабуляр.
Теория Н. Хомского неоднократно подвергалась критике. Оппоненты теории нативизма утверждают, что дети усваивают язык непосредственно через опыт взаимодействия [3], и это свидетельствует о социальной обусловленности ЯС, что, впрочем, соотносимо с утверждением Н. Хомского: «Обретение подспудного знания французского, итальянского, китайского и прочих языков, таким образом, оказывается возможным благодаря компоненту разума-мозга, который в эксплицитной форме моделируется универсальной грамматикой во взаимодействии с конкретным ходом языкового развития» [2. С. 22]. Оспаривая врожденный характер языковой способности, ряд ученых говорят о языковой способности как побочном механизме, сформировавшемся в результате развития мыслительных, перцептомоторных, когнитивных и прагматических систем [4].
В классификациях способностей по степени слож-ности1 ЯС относится к сложному типу, так как сочетает в себе слух, говорение, мышление, восприятие, память и др.
Значимой классификацией способностей является их деление на общие и специальные, или универсальные и специфические2. В рамках лингвофилософского подхода ЯС определялась как базовая характеристика человека, выступающая в качестве способа познания [5. С. 39], удовлетворения потребности в общении [6. C. 48], хранения и передачи информации, адаптации к окружающему миру [7] и обществу [8-10]. Понимание ЯС как основы осуществления речевой деятельности определяет ее место в системе общих способностей человека.
ЯС человека, являющаяся базовой отличительной характеристикой Homo sapiens sapiens, проявляется вариативно в системе общих и частных способностей индивидов, различаясь по степени выраженности.
Сама природа ЯС, ее вхождение в систему общих и частных способностей человека и вместе с тем связь со специфическими механизмами реализации определяют необходимость привлечения к ее исследованию методологического инструментария лингвистики и психологии. В психологии акцентируется аспект вхождения ЯС в общую систему способностей и аспект их взаимных детерминаций, психический субстрат языковой ЯС и т. д., в лингвистике основным предметом исследований является ее структура, которая, как правило, выстраивается в соотношении с уровневой системой языка. Психолингвистика как кросс-дисциплинарная область науки «интересуется структурной организацией и закономерностями функционирования функциональных систем, обеспечивающих осуществление речи и речевого восприятия» [11. С. 18], т.е. структурой ЯС человека. В психолингвистике ЯС понимается как индивидуальная способность человека к владению единицами всех уровней языковой системы в процессах порождения и восприятия речи: способность к различению фонем и их комбинации при построении фонетических оболочек слов, к образованию и распознаванию формы и семантики лексем, к построению и распознаванию грамматически правильных предложений / высказываний. Предметом исследования в психолингвистике является как общая природа и структура ЯС, так и ее вариации в системе индивидуальных способностей человека. Анализ вариативности ЯС предполагает решение проблемы характера и степени их типологи-зации, с одной стороны, индивидуализации - с другой. Одним из базовых понятий при втором подходе является понятие степени выраженности ЯС, которая может быть измерена с использованием специального психолингвистического инструментария.
В настоящее время в практике психолингвистических исследований сформировано представление о «собственном измерительном потенциале» каждого из уровней структуры ЯС и выработаны эффективные измерительные инструменты, к числу которых относятся тесты.
Отметим, что привлечение языкового материала при построении психолингвистических тестов может иметь различную направленность: манипуляции языковыми единицами испытуемыми может привлекаться для исследования как языковых, так и неязыковых способностей. Так, первый тип тестирования использовался уж в конце XIX в.: в работе Manual for Kit of Factor-Referenced Cognitive Tests авторы выделили 72 теста, в том числе и направленные на изучение психологических особенностей посредством анализа использования единиц языка - измерение вербального восприятия, выразительности, скорости мышления, логического обоснования и т.д. [14. С. 8]. В 2001 г. Д. Делис, Д. Каплан и Дж. Крамер разработали систему тестов для измерения невербальных функций. Система состоит из девяти самостоятельных тестов, часть которых основана на использовании словарных единиц [15].
Тестирование может быть комплексным, охватывая языковые и неязыковые способности. Примером таких тестов могут служить Wechsler Intelligence Scale
[16] и Stanford-Binet Intelligence Scale [17], которые оценивают пять когнитивных способностей человека: рассуждение, знание слов, количественные рассуждение, визуально-пространственная ориентация и рабочая память.
В настоящее время разработаны разнообразные тесты, направленные на построение теоретических моделей когнитивных функций. Подобные тесты позволяют выявить стратегии чтения, узнавания и восприятия и возможные отклонения у людей с различными заболеваниями, например афазией (Psycholinguistic Assessment of Language Processing in Aphasia (PALPA) [18], Doors and people test [19]). В PALPA задействованы различные уровни ЯС: орфография, морфология, фонология, семантика и синтаксис.
Тесты на вербальную ассоциацию оценивают прежде всего аспекты речевой деятельности. В Pea-body Picture Vocabulary Test [20] соотнесение слова с изображением позволяет проводить масштабные кросс-культурные исследования на знание вокабуля-ра, способность узнавания денотата.
При анализе уровня развития ЯС разрабатываются системы тестов, направленные на измерение разных ее аспектов. Общий характер ЯС может быть смоделирован только на основе использования системы тестов. Вместе с тем ряд исследователей, занимающихся изучением ЯС как носителей родного языка, так билингвов и полилингвов, отмечают центральное положение лексического компонента ЯС (С. Пинкер и Р. Джекендофф [21], Марк Д. Хосер и др. [22]). Вследствие этого в мировой психологии и психолингвистике практика создания тестов для измерения лексического компонента ЯС имеет длительную традицию (наиболее известны Peabody Picture Vocabulary Test, Wechsler Intelligence Scale и Stanford-Binet Intelligence Scale, Mill Hill Vocabulary Scale и др.).
Данная практика показала, что использование словарных шкал является одним из наиболее эффективных инструментов подобных измерений. Однако, как отмечается в аналитических исследованиях, отечественная методологическая база в области психодиагностического тестирования лишь на 25% соответствуют международным требованиям надежности и валидности [23]. Это положение дел определяет необходимость продолжать работу в данном направлении для создания надежного, валидного инструментария психолингвистической и лингвистической диагностики. Как представляется, одной из задач работы в данном направлении является создание тестов, способных послужить инструментом, позволяющим получить надежный материал для проведения кросс-культурных исследований. Если ориентироваться при построении тестовых материалов на возможность решения задачи сопоставительных межкультурных исследований, то одним из эффективных путей ее реализации является репликация существующих методов, примененных для анализа ЯС носителей других языков и доказавших свою ва-лидность. При этом, как показывает практика, при переходе к материалу других языков необходима адаптация (локализция) материала.
Одним из наиболее авторитетных тестов определения уровня лексической способности является Mill
Hill Vocabulary Scale (словарные шкалы Милл Хилл). Шкалы были разработаны в 1930-х гг. Дж.К. Равеном, Дж.К. Куртом, Дж. Равеном для измерения репродуктивной способности общего интеллекта и использовались совместно с Прогрессивными матрицами Равена, которые служили для измерения индуктивной способности. Словарные шкалы Милл Хилл сформированы на основе английского языка и прошли апробацию во многих странах. Они просты в использовании, позволяют осуществить срез двух или трех аспектов одновременно, поддаются модификации с учетом постоянного развития языка и применимы к различным возрастным группам. Кроме того, словарные шкалы предназначены для разных уровней способности и доступны в форме с выбором варианта ответа и с открытым вариантом ответа, в устном, письменном и электронном форматах.
Постановка задачи и метод. Предметом нашего исследования является создание инструментария измерения лексического компонента ЯС, определяющего способность человека оперировать словарными единицами при порождении и восприятии речи. Измерение лексического компонента ЯС человека предполагает выявление как объема индивидуального лексикона, так и его функционального диапазона, т.е. характера использования лексических единиц, их синтагматических и парадигматических связей.
Цель нашей работы - создание теста для измерения лексического компонента языковой способности. При решении поставленной цели мы избрали методику частичной репликации и локализации (адаптации) существующей лексической шкалы, Mill Hill Vocabulary Scale. Разрабатываемый инструмент позволит измерять уровень владения ЯС носителей русского языка и тех, кто изучает русский как иностранный, проводить сопоставительные анализы в синхронии и диахронии, а также кросс-культурные исследования с привлечением результатов, полученных на основе применения оригинальной методики применительно к другим языкам.
Существуют различные способы стандартизации тестов, среди которых наиболее популярными являются практики перевода, частичная репликация и адаптация.
Перевод уже готовых тестов для использования в разных культурах возможен, о чем свидетельствует практика. Ж.Ж. Дельтур (J.J. Deltour) и М.И. Панизо (M.I. Panizo) перевели тесты Милл Хилл на французский и испанский языки. Было обнаружено, что большинство слов может быть использовано при прямом переводе, шкалирование остается примерно одинаковым в английской, французской и испанской версиях, что подтверждает межкультурный характер содержательной и коструктной валидности теста [14]. Но в целом адаптация зарубежного интеллектуального теста (вербального или с вербальными компонентами) чрезвычайно сложна из-за несоответствия лек-сико-информационных особенностей языков, принадлежащих к разным языковым семьям или группам языков в пределах одной семьи, что может привести к снижению валидности теста. Так, при стандартизации теста Милл Хилл для носителей румынского языка
ученые столкнулись с невозможностью прямого перевода предложенных слов, что вполне объяснимо.
Основными причинами трудностей при создании параллельных версий одного и того же теста в форматах с открытым вопросом и выбором варианта ответа являются различная функциональная нагруженность и частотность слов-эквивалентов в структурах разных языков. По этой причине стандартизация теста для другого языка чаще всего предполагает не прямой перевод существующей шкалы измерения, но частичную или полную репликацию методики получения соответствующей шкалы лексических единиц другого языка. Мы избираем способ частичной репликации. В данной статье характеризуются этапы формирования русскоязычной версии шкал в соотнесении с оригинальной версией.
Словарные шкалы Милл Хилл измеряют приобретенный словарный запас человека, выявляют знание значения слов и их парадигматических отношений, в частности синонимии. Базу измерительной методики составляет словник слов-стимулов, их синонимов и дистракторов, т.е. единиц, представляющих собой варианты неверных ответов относительно стимульно-го слова.
Словник формируется таким образом, чтобы адекватно измерить уровень владения лексическим компонентом ЯС человека: для этого в состав словника включаются единицы, варьирующиеся по степени известности слов, их сложности и частотности.
Лексемы отбираются методом случайной выборки из авторитетных лексикографических источников, что снимает субъективность исследователя в их отборе. В оригинальной методике из «Краткого Оксфордского словаря английского языка» отбиралось 500 слов, расположенных через равные друг от друга интервалы. Слова были упорядочены по уровню сложности, сформированы в блоки по 50 слов и представлены детям в возрасте от 5 до 14 лет. Анализ показал, что словник содержит слишком много простых слов.
Дополнительно из Тезауруса Роже было отобрано 150 слов. В Тезаурусе были определены номера страниц с фиксированным межстраничным интервалом. Выбор слов осуществляли эксперты. Отбирались слова, которые, по мнению экспертов, «должен знать любой интеллигентный взрослый человек независимо от его профессии», но которые могут вызвать затруднения при его определении [24].
Словник для русскоязычной версии формировался методом случайной выборки единиц из «Словаря русского языка» под редакцией А.П. Евгеньевой [25] и «Частотного словаря русского языка» О.Н. Ляшев-ской и С.А. Шарова [26], из каждого источника было отобрано по 500 слов.
Из «Словаря русского языка», в котором содержится 83 590 словарных статей, выписывалось каждое 167-е слово, так как интервал составил 167,18. По результатам работы было составлено два словника, один из которых содержит список слов, второй включает словарные статьи слов с ударением и контекстами использования.
Для выборки из «Частотного словаря современного русского языка (на материалах Национального
корпуса русского языка)» использовался частотный указатель лемм. Общее количество лемм (20 004) было поделено на 500 слов, в результате выписывалось каждое 48-е слово. Из готового словника по материалам двух словарей были исключены слова, не принадлежащие к знаменательным частям речи.
Сформированный список был представлен на экспертную оценку. Экспертами выступили аспиранты, сотрудники и руководитель «Лаборатории когнитивных исследования языка НИ ТГУ». В ходе экспертной проверки из словника были исключены: эмоционально-оценочная лексика (березка, бабуля и т.д.); слова-термины (боеголовка, бормашина и т.д.); разговорная лексика: косинка (косоглазие) и т. д.).
В результате был сформирован словник, состоящий из стилистически нейтрально окрашенных слов, принадлежащих к знаменательным частям речи, включающий 271 единицу.
Так как применение словарных шкал Милл Хилл направлено на выявление знания значений слов и способности тестируемого отличить знакомое слово от незнакомого и соотнести его со словом, близким по значению, целевые слова, включаемые в тест, должны иметь синонимы в языковой системе. Вследствие этого из словника, сформированного на втором этапе, были исключены единицы, не имеющие синонимов. Для проверки вхождения единиц словника в синонимические парадигмы использовались «Словарь синонимов русского языка» под редакцией З.Е. Александровой [27], «Новый объяснительный словарь синонимов русского языка» под редакцией Ю.А. Апресяна [28] и «Словарь синонимов русского языка» под редакцией А.П. Евгеньевой [29].
Оставшиеся слова были соотнесены с результатами экспертной проверки. Слова, принадлежащие к одной из названных категорий, были исключены из словника. Состав словника на этом этапе насчитывал 154 слова. Оригинальная шкала содержит 112 слов.
На третьем этапе 154 слова-стимула были ранжированы по частотности и дополнены синонимами, для которых также была определена частотность по данным «Частотного словаря современного русского языка (на основе материалов Национального корпуса русского языка)». Частотность лексем в настоящее время высчитывается на основе данных национальных корпусов, в нашем случае - НКРЯ. Сложность слова определяется несколькими признаками: частотностью, длиной и функциональной палитрой слова: к более сложным словам при прочих равных условиях относят более длинные, менее частотные слова, единицы с ограниченной сферой функционирования, с более поздним возрастом усвоения [30-32]. На данном этапе при определении сложности слова были применены три первых критерия. Как показали предыдущие исследования, в том числе проведенные и на материале русского языка, возраст усвоения находится в линейной зависимости с частотой слова: менее частотные слова усваиваются в более позднем возрасте [33. С. 32-33].
Итак, был сформирован основной список слов-стимулов, знание которых проверяется в формируемом тесте с помощью другого набора слов - вспомо-
гательного. Знание слов предполагает умение оперировать ими, отличать от омонимов и омографов, понимать возможность взаимозаменяемости, степень сходства, соотносить с синонимами и антонимами. Вспомогательный набор слов состоит из синонимов и дистракторов - слов, отличающихся по значению, часть из которых может быть близка по форме и принадлежать к общему семантическому полю. Дистрак-торы относятся к базовому составу лексикона, отличаются по форме и значению от целевых слов, могут находиться с ними в разной степени формальной и семантической близости, но не являются синонимами. Состав дистракторов отбирался из первоначального списка слов, не вошедших в состав целевых единиц. Таким образом, было сформировано три словника: слова-стимулы; синонимы, которые испытуемые должны соотнести со словами-стимулами; слова-дистракторы.
Работа со словарными источниками по формированию списков синонимов и дистракторов была дополнена работой с информантами, носителями русского языка со сформированной языковой способностью.
В оригинальной методике набор дистракторов отбирался с помощью опросников в формах с открытым вариантом ответа, т. е. информантам предлагалось написать синоним к слову-стимулу. Ответы для каждого слова сохранялись, ранжировались в порядке близости, неправильные ответы использовались в качестве дистракторов.
На следующем этапе работы мы также прибегли к методике лингвистического опроса: 154 слова были сгруппированы в 2 группы по 39 слов и в 2 группы по 38 слов таким образом, чтобы средняя частотность в группах располагалась примерно в одном диапазоне (24,3; 24,4; 24,6; 25,1). С помощью гугл-форм группы слов были предъявлены информантам, перед которыми была поставлена задача написать синоним к каждому слову. Слова были предъявлены 42 информан-там3, в результате тестирования было получено 1 585 ответов.
Данный этап не только позволил сформировать дополнительный список дистракторов, проверить релевантность списка синонимов, но и протестировать степень узнаваемости слова информантами со сформированной языковой способностью. Информанты подобрали синонимы для абсолютного большинства слов. Ответы преимущественно состояли из вариантов, отмеченных в словарях и выбранных нами в качестве правильных ответов в планируемом опросе. Из состава предъявленных единиц к 124 словам были подобраны синонимы всеми респондентами, к 21 слову не определил синоним один человек, к 8 словам -два, к 1 слову (завалящий) - три человека не дали ответ. Таким образом, результаты онлайн-опроса подтвердили правильность отбора синонимов.
Ошибочные ответы пополнили список дистракто-ров, который составил 601 единицу.
Методика формирования тестов предполагает их апробацию - проверку эффективности. Следующим этапом стало формирование сетов для предъявления испытуемым в основном тестировании. Было сфор-
мировано 2 сета по 38 слов и 2 сета по 39 слов. Каждый сет формировался из слова-стимула и списка 6 слов, включающего 1 синоним и 5 дистракторов. В состав дистракторов включались единицы той же части речи, схожие по форме, у глаголов контролировалось единство видовой формы. На данном этапе дис-тракторы не были сбалансированы по частотности со словом-стимулом и синонимом.
На следующем этапе мы провели проверку диагностирующих способностей сформированных тестов.
Диагностирующие возможности теста определяются сбалансированным составом слов, отличающихся по степени сложности для разных групп испытуемых. В составе словника должны быть единицы, известные носителям языка с разной степенью ЯС, и слова, знакомство с которыми является маркерами перехода от одного уровня к другому. Проверка валидности теста заключалась в тестировании состава словника на наличие сбалансированного количества единиц, способных маркировать разный уровень сформированности ЯС. Проверка осуществлялась как относительно общего состава сетов, так и всех единиц.
Апробация диагностирующих способностей сформированных сетов проводилась при их предъявлении учащимся 5-, 6- и 8-х классов, находящимся на разных ступенях формирования языковой способности4. Мы разделили респондентов на две группы, объединив 5- и 6-е классы, с целью выявить слова, которые показали бы различие в выраженности ЯС у школьников.
Каждый испытуемый получал набор документов: на листах бумаги формата А4 предъявлялся один сет, состоящий из 38 или 39 слов-стимулов, синонимов к ним и дистракторов. Организация слов в сете представлена в таблице. Слова организованы в соответствии с оригинальной методикой, позволяющей избежать паттернизации ответов респондентов: синонимы и дистракторы расположены случайным образом по отношению к стимульному слову.
Пример организации слов в сете
Экспорт
Приезд Налог
Купюра Вывоз
Йота Выезд
В инструкции испытуемым предлагалось к слову, выделенному жирным шрифтом, выбрать синоним из шести предложенных ниже слов. Вариант ответа было необходимо обвести или поставить галочку рядом. Если слово незнакомо, испытуемому предлагалось пропустить его.
Из состава метаданных испытуемые указывали возраст и пол.
Заполнение сета занимало от 10 до 30 минут в 8-х и 5-6-х классах соответственно.
Всего было получено 113 анкет, 4 354 реакций. Предполагается, что ЯС полностью формируется к 14-18 годам.
В первой группе 5-6-х классов получено 62 анкеты и 2388 реакций, в группе 8-х классов - 51 - анкета и 1966 реакций.
Обработка анкет на первом этапе заключалась в выявлении числа правильных и неправильных ответов: верное или неверное определение синонимов. Результаты сетов заносились в таблицу, в которой фиксировались код испытуемого, возраст, пол, вариант ответа. Варианты ответа маркировались цифрами 1 и 0 для правильного и неправильного ответа соответственно.
В полученных результатах был посчитан процент выполнения сета каждым испытуемым. Также были посчитаны процент правильности ответов для каждого стимульного слова и процент выполнения сета в целом всеми испытуемыми.
На следующем этапе был проведен статистический анализ полученных результатов. Количественное соотношение правильных и неправильных ответов было использовано для выявления статистически значимых различий по данному параметру. Анализ результатов был выполнен с помощью программы статистической обработки данных «Пакет Я», с использованием теста Фишера. В результате было выделено две группы слов, одна из которых обладает диагностирующей способностью, другая - нет.
В первой группе содержатся слова, на которые восьмиклассники дали больше правильных ответов, чем пятиклассники, например возмужать, аукцион, величие, экспорт. Согласно тесту Фишера, статистическая разница между показателями двух сравниваемых групп составляет <0,05<1.
Вторая группа содержит слова, различия в ответах на которые не обладают статистической значимостью, т. е. обе группы испытуемых дали примерно одинаковое количество правильных или неправильных ответов. В четырех сетах насчитывается 52 таких слова, например лгунья, невеселый, завалящий, которые составляют 33,8% от общего количества слов. Согласно тесту Фишера, статистическая значимость соотношения равна 1. Следовательно, применительно к данной группе испытуемых слова не обладают диагностирующей способностью различения уровня владения лексическим компонентом языковой способности. Однако их диагностирующую способность можно проверить на группе младших школьников, находящихся на начальном этапе формирования ЯС.
Таким образом, двухэтапная обработка данных позволила выявить слова, которые могут служить маркерами выраженности ЯС. Кроме того, были обнаружены слова-стимулы, синонимы и дистракторы, диагностирующие возможности которых требуют дополнительной проверки. Мы предполагаем, что, возможно, сопоставление результатов испытуемых среднего звена с результатами учащихся начальной школы приведет к обнаружении статистически значимых различий в уровне оперирования более широкого круга единиц.
Дополнительное тестирование либо обнаружит варьирование доли правильных ответов в других группах испытуемых, либо покажет необходимость замены части слов этой группы.
Таким образом, пилотное тестирование демонстрирует диагностирующие возможности разрабатываемой шкалы. Слова, обладающие различным уров-
нем сложности, служат маркерами выраженности ЯС у различных возрастных групп.
Статистическая обработка позволила также выявить недостатки шкалы и определила пути решения возникших проблем. Под недостатками мы понимаем нарушение расположения слов в сетах. Слова-стимулы, синонимы и дистракторы необходимо более последовательно сбалансировать по частотности и рангу сложности. Для решения данной проблемы необходимо проверить частотность и сложность используемых слов, сформировать списки слов, ранжированных по частотности и сложности, переоформить сеты. Одним из недостатков, на наш взгляд, также является то, что в словнике насчитывается более 1/3 слов, которые не выступают маркерами выраженности ЯС в данных возрастных группах. Для проверки эффективности отобранных слов, с одной стороны, можно увеличить интервал частотности слов в словнике, повысив ранг сложности некоторых единиц словника, что возможно при коррекции выборки из «Частотного словаря русского языка»; с другой стороны, привлечь к участию респондентов младшего школьного звена и сравнить полученные ответы с
предыдущими группами. В ходе анализа мы также столкнулись с проблемой, описанной авторами в руководстве [24]: ряд дистракторов а) «затмевают» синоним; б) обладают слишком низкой частотностью по сравнению со словом-стимулом. Необходимо заменить дистракторы такого типа. Данную коррекцию планируется провести на следующем этапе работы. Важным этапом работы является массовое тестирование, которое должно продиагностировать воспроизводимость результатов в разных социальных группах испытуемых.
На следующем этапе будет сформирован новый список слов с использованием увеличенного интервала выборки. Слова будут дополнительно ранжированы по степени сложности. Считаем необходимым сбалансировать синонимы и дистракторы со словом-стимулом по степени частотности. Сформированные сеты будут представлены тем же возрастным группам, что и в проведенных опросах, а также младшей возрастной группе, для того чтобы выявить наличие или отсутствие различий в тестирующих возможностях вариантов тестов приблизительно детям в возрасте 10 лет.
ПРИМЕЧАНИЯ
1 Так, Э. Клапаред определяет сложные - как совокупность элементарных способностей или актуализацию одной специфической способности [11. С. 271-272].
2 Как отмечает В.Н. Дружинин, «общие способности соотносятся с психикой как целостной системой, специальные - с отдельными ее подсистемами» [12. С. 92]. К общим, или универсальным, способностям относят способность к обучению, умственные способности, способность к труду, память, речь. Специальные способности зачастую соотносятся с деятельностью человека, к ним относятся высшие интеллектуальные способности, теоретические, практические, учебные, творческие, предметные, межличностные и др.
3 Средний возраст информантов - 23 года, 61,9% женщины, 47,6% имеют высшее образование, 50% - представители гуманитарного направления, для 100% респондентов русский язык является родным.
4 Тестирование проводилось в школе г. Прокопьевска Кемеровской области и школах г. Томска. Опрос школьников проводился с разрешения администрации образовательного учреждения, испытуемые были проинформированы о научной цели опроса и участвовали в эксперименте при условии письменно зафиксированного согласия.
ЛИТЕРАТУРА
1. Равен Дж. Прогрессивные матрицы Равена: изменение и стабильность в зависимости от места и времени // Иностранная психология.
1998. № 10. С. 58-65.
2. Хомский Н. О природе и языке: С очерком «Секулярное совершенство и опасности, которые таит демократия» М. : УРСС: ЛЕНЛАНД,
2017. 288 с.
3. Valian V. Arguing about innateness // Journal of Child Language. 2014. № 41. Р. 78-92. doi:10.1017/S0305000914000336. URL:
http://journals.cambridge.org/abstract_S0305000914000336 (дата обращения: 25.07.2017).
4. Christiansen V.H. Language as shaped by the brain // Behavioural and brain sciences. 2008. № 31. Р. 489-558. URL:
http://www.psychol.ucl.ac.uk/people/profiles/chater_nick.html (дата обращения: 25.07.2017).
5. Потебня А.А. Мысль и язык // Слово и миф. М. : Правда, 1989. С. 17-200.
6. Гумбольдт В. фон. Избранные труды по языкознанию / пер. с нем. Г.В. Рамишвили ; ред. М.А. Оборина. М. : Прогресс, 1984. 400 с.
7. Pinker S., Jackendoff R. The Faculty of Language: What's Special about it? // Cognition. 2005. № 95. Р. 201-236. URL:
https://ase.tufts.edu/cogstud/jackendoff/papers/FacultyofLanguage.pdf (дата обращения: 20.12.2016).
8. Звегинцев В. А. История языкознания XIX-XX веков в очерках и извлечениях. 3-е изд., доп. М. : Просвещение, 1964. Ч. 1. 466 с.
9. Бодуэн де Куртенэ И.А. Избранные труды по общему языкознанию / сост. В.П. Григорьев, А.А. Леонтьев. М. : Изд-во Академии наук
СССР, 1963. Т. 1. 385 с.
10. Фортунатов Ф.Ф. Задачи языковедения и связь его с другими науками // Сравнительное языковедение: Общий курс. М. : КРАСАНД, 2010. С. 3-9.
11. Леонтьев А. А. Психология общения. 3-е изд. М. : Смысл, 1999. 365 с.
12. Психология способностей : хрестоматия / ред.-сост. В.Д. Шадриков. Москва : МПСИ ; Воронеж : МОДЭК, 2012. 488 с.
13. Психология : учеб. для гуманит. вузов. 2-е изд. / под общ. ред. В.Н. Дружинина. СПб. : Питер, 2009. 656 с.: ил.
14. Ekstrom R.B., French J.W. et al. Manual for Kit of Factor-Referenced Cognitive Tests. Educational Testing Service, Princeton, New Jersey, 1976.
15. Delis-Kaplan Executive Function System. Wikipedia - The Free Encyclopedia. URL: https://en.wikipedia.org/wiki/Delis%E2%80%93 Kaplan_Executive_Function_System (дата обращения: 25.07.2017).
16. Wechsler Test. URL: http://wechslertest.com/ (дата обращения: 25.07.2017).
17. Stanford-Binet. URL: https://www.stanfordbinet.net/ (дата обращения: 25.07.2017).
18. PALPA - Psycholinguistic Assessment of Language Processing in Aphasia. URL: https://milogomemima.wordpress.com/2014/09/02/palpa-phycholinguistic-assessments-of-language-processing-in-aphasia/ (дата обращения: 25.07.2017).
19. Doors and People. Pearson. URL: http://www.pearsonclinical.co.uk/Psychology/ChildCognitionNeuropsychologyandLanguage/ ChildMemory/DoorsandPeople/DoorsandPeople.aspx (дата обращения: 25.07.2017).
20. Peabody Picture Vocabulary Test. Wikipedia - The Free Encyclopedia. URL: https://en.wikipedia.org/wiki/Peabody_Picture_Vocabulary_Test. (дата обращения: 25.07.2017).
21. Pinker S., Jackendoff R. The faculty of language: what's special about it? // Cognition 95. ELSEVIER. 2005. P. 201-236.
22. Hauser M.D., Chomsky N., Fitch W.T. The Faculty of Language: What Is It, Who Has It, How Did It Evolve? // Science's Compass Review: Neuroscience. 2005. P. 1569-1579. URL: http://science.sciencemag.org/ (дата обращения: 27.10.2016).
23. Батурин Н.А., Мельникова Н.Н. Технология разработки психодиагностических методик. Челябинск : Изд. центр ЮУрГУ, 2012. 135 с.
24. Raven J., Raven J.C., Court J.H. Manual for Raven's Progressive Matrices and Vocabulary Scales. Section 5: The Mill Hill Vocabulary Scale. San Antonio, TX : Harcourt Assessment, 1998.
25. Словарь русского языка : в 4 т. / РАН, Ин-т лингвист. исследований ; под ред. А.П. Евгеньевой. 4-е изд., стер. М. : Рус. яз.; Полиграфре-сурсы, 1999.
26. Ляшевская О.Н., Шаров С. А. Частотный словарь современного русского языка (на материалах Национального корпуса русского языка). М. : Азбуковник, 2009. URL: http://dict.ruslang.ru/freq.php? (дата обращения: 11.11.2016).
27. Александрова 3.Е. Словарь синонимов русского языка: Практический справочник: Ок. 11 000 синоним. рядов. 11-е изд., перераб. и доп. М. : Рус. яз., 2001. 568 с.
28. Новый объяснительный словарь синонимов русского языка / Ю.Д. Апресян, В.Ю. Апресян, О.Ю. Богуславская [и др.] ; под общ. рук. Ю.Д. Апресяна. М. : Языки славянской культуры (Кошелев), 2003. LXIV, вып. 3. 557 с.
29. Словарь синонимов русского языка : справ. пособие / под ред. А.П. Евгеньевой. М. : Астрель: АСТ, 2002. 648 с.
30. What makes a word difficult? Johnson O'Connor Research Foundation. URL: https://www.jocrf.org/basic-page/what-makes-word-difficult (дата обращения: 30.08.2017).
31. Kibby M.W. Note on relationship of word difficulty and word frequency // Psychological Reports. 1977. № 41 (1). Р. 12-14.
32. Rudell A.P. Frequency of word usage and perceived word difficulty: Ratings of Kucera and Francis words // Behavior Research Methods, Instruments & Computers. 1993. № 25 (4). Р. 455-463.
33. Нагель О.В. Словообразовательные механизмы в процессах восприятия, идентификации и использования языка : дис. ... д-ра филол. наук. Томск, 2017. 478 с.
34. Nagel O.V., Bub A.S., Temnikova I.G. Age of Acquisition and Token Word Frequency Correlation in Lexical Decision: Recognition of Russian Suffixed Words // Вопросы когнитивной лингвистики. 2016. № 4. Р. 150-159.
Статья представлена научной редакцией «Филология» 21 декабря 2017 г.
DEVELOPING A TEST FOR MEASURING A LEXICAL COMPONENT OF THE LANGUAGE FACULTY
Vestnik Tomskogo gosudarstvennogo universiteta - Tomsk State University Journal, 2018, 427, 55-62. DOI: 10.17223/15617793/427/7
Aleksandra S. Nabiullina, Tomsk State University (Tomsk, Russian Federation). E-mail: [email protected] Zoya I. Rezanova, Tomsk State University (Tomsk, Russian Federation). E-mail: [email protected] Keywords: Russian language; psycholinguistic diagnostics; language faculty; lexicon; testing; test; vocabulary scale.
The study focuses on the language faculty which has a special place among other abilities of a human. In psycholinguistics, the extent of the language faculty is considered one of its main concepts. It can be measured by means of various psycholinguistic tools, testing systems being one of them. Researchers also emphasise the importance of the lexical component of the language faculty. The project described in the paper aims to develop a test to measure the lexicon of Russian native speakers. To solve this task the authors opted for replication and adaptation of the Mill Hill Vocabulary Scale. The paper explains the choice of the approach determined by considerable functional and semantic discrepancies in the vocabulary systems of Russian and English. The authors demonstrate the stages of test development and compare them with the original version. The measuring method relies on a list of stimuli, their synonyms and distractors, i.e. response options that are considered to be wrong in relation to a stimulus. Words varying in the degree of familiarity, difficulty and frequency are used as a stimulus material. 500 words were selected at regular intervals from the Dictionary of the Russian Language edited by A.P. Evgen'eva. Another 500 words were taken from The Frequency Dictionary of Russian by
0.N. Lyasheskaya and S.A. Sharov. After an expert review, words rendering emotions, terms and colloquial vocabulary were excluded from the list. Therefore, 271 items made up the total list. After that, words that do not have synonyms were also excluded from the list. 154 stimuli were arranged by frequency. Knowledge of words implies the ability to use them, replace a word with other words and assess the degree of their similarity. As a result, the authors compiled a list of synonyms based on reliable Russian dictionaries of synonyms. Each synonym was ascribed its frequency as well. A supplementary index contains distractors, i.e. words that are different in meaning but somewhat close in form and might belong to one semantic group. At this stage, distractors were taken from the words excluded from the list of stimuli. The list of synonyms and distractors was also added with responses given by respondents. Native Russian speakers with a developed language faculty were asked to write a synonym to each stimulus. The questionnaire was conducted using google-forms. For each word in the open-ended version a record was kept of every response. Wrong words were included into the list of distractors. Experimental series were submitted to the participants. They consisted of a stimulus and six words including one synonym and five distractors. The paper also considers the testing method and results of a pilot testing among schoolchildren aged 11-15. The results of statistical processing of testing materials are presented; further steps to improve the index and ensure its greater validity are discussed.
REFERENCES
1. Raven, J. (1998) Progressivnye matritsy Ravena: izmenenie i stabil'nost' v zavisimosti ot mesta i vremeni [Progressive matrices of Raven: change
and stability depending on the place and time]. Inostrannaya psikhologiya. 10. pp. 58-65.
2. Chomskiy, N. (2017) O prirode i yazyke: S ocherkom "Sekulyarnoe sovershenstvo i opasnosti, kotorye tait demokratiya" [On Nature and Lan-
guage: With an essay "Secular Excellence and Dangers that Democracy Hides"]. Moscow: URSS: LENLAND.
3. Valian, V. (2014) Arguing about innateness. Journal of Child Language. 41. pp. 78-92. DOI: 10.1017/S0305000914000336. [Online] Available
from: http://journals.cambridge.org/abstract_S0305000914000336. (Accessed: 25.07.2017).
4. Christiansen, V.H. (2008) Language as shaped by the brain. Behavioural and Brain Sciences. 31. pp. 489-558. [Online] Available from:
http://www.psychol.ucl.ac.uk/people/profiles/chater_nick.html. (Accessed: 25.07.2017).
5. Potebnya, A.A. (1989) Slovo i mif [Word and myth]. Moscow: Pravda. pp. 17-200.
6. Humboldt, W. von. (1984) Izbrannye trudypoyazykoznaniyu [Selected Works on Linguistics]. Translated from German by G.V. Ramishvili. Mos-
cow: Progress.
7. Pinker, S. & Jackendoff, R. (2005) The Faculty of Language: What's Special about it? Cognition. 95. pp. 201-236. [Online] Available from:
https://ase.tufts.edu/cogstud/jackendoff/papers/FacultyofLanguage.pdf. (Accessed: 20.12.2016).
8. Zvegintsev, V.A. (1964) Istoriya yazykoznaniya XIX—XX vekov v ocherkakh i izvlecheniyakh [The history of linguistics of the 19th-20th centuries
in essays and extracts]. 3rd ed. Pt. 1. Moscow: Prosveshchenie.
9. Baudouin de Courtenay, I.A. (1963) Izbrannye trudypo obshchemuyazykoznaniyu [Selected works on general linguistics]. Vol. 1. Moscow: USSR
AS.
10. Fortunatov, F.F. (2010) Sravnitel'noeyazykovedenie: Obshchiy kurs [Comparative linguistics: a general course]. Moscow: KRASAND, pp. 3-9.
11. Leont'ev, A.A. (1999) Psikhologiya obshcheniya [Psychology of communication]. 3rd ed. Moscow: Smysl.
12. Shadrikov, V.D. (ed.) (2012) Psikhologiya sposobnostey: khrestomatiya [Psychology of abilities: anthology]. Moscow: MPSI; Voronezh: MODEK.
13. Druzhinina, V.N. (ed.) (2009) Psikhologiya [Psychology]. St. Petersburg: Piter.
14. Ekstrom, R.B. et al. (1976) Manual for Kit of Factor-Referenced Cognitive Tests. Princeton, New Jersey: Educational Testing Service.
15. Wikipedia. (n.d.) Delis-Kaplan Executive Function System. [Online] Available from: https://en.wikipedia.org/wiki/Delis%E2%80%93 Kaplan_Executive_Function_System. (Accessed: 25.07.2017).
16. Wechsler Test. [Online] Available from: http://wechslertest.com/. (Accessed: 25.07.2017).
17. Stanford-Binet. [Online] Available from: https://www.stanfordbinet.net/. (Accessed: 25.07.2017).
18. Milogomemima.wordpress.com. (2014) PALPA — Psycholinguistic Assessment of Language Processing in Aphasia. [Online] Available from: https://milogomemima.wordpress.com/2014/09/02/palpa-phycholinguistic-assessments-of-language-processing-in-aphasia/. (Accessed: 25.07.2017).
19. Pearson. (2006) Doors and People. [Online] Available from: http://www.pearsonclinical.co.uk/Psychology/ChildCognitionNeuropsy-chologyandLanguage/ ChildMemory/DoorsandPeople/DoorsandPeople.aspx. (Accessed: 25.07.2017).
20. Wikipedia. (n.d.) Peabody Picture Vocabulary Test. [Online] Available from: https://en.wikipedia.org/wiki/Peabody_Picture_Vocabulary_Test. (Accessed: 25.07.2017).
21. Pinker, S. & Jackendoff, R. (2005) The faculty of language: what's special about it? Cognition. 95. pp. 201-236.
22. Hauser, M.D., Chomsky, N. & Fitch, W.T. (2005) The Faculty of Language: What Is It, Who Has It, How Did It Evolve? Science. 298. pp. 1569-
1579. [Online] Available from: http://science.sciencemag.org/. (Accessed: 27.10.2016).
23. Baturin, N.A. & Mel'nikova, N.N. (2012) Tekhnologiya razrabotki psikhodiagnosticheskikh metodik [The technology of developing psychodiagnostic techniques]. Chelyabinsk: South Ural State University.
24. Raven, J., Raven, J.C. & Court, J.H. (1998) Manual for Raven's Progressive Matrices and Vocabulary Scales. Section 5: The Mill Hill Vocabulary Scale. San Antonio, TX: Harcourt Assessment.
25. Evgen'eva, A.P. (ed.) (1999) Slovar' russkogoyazyka: v 4 t. [Dictionary of the Russian language: in 4 volumes]. 4th ed. Moscow: Russkiy yazyk.; Poligrafresursy.
26. Lyashevskaya, O.N. & Sharov, S.A. (2009) Chastotnyy slovar' sovremennogo russkogo yazyka (na materialakh Natsional 'nogo korpusa russkogo yazyka) [Frequency dictionary of the modern Russian language (on the materials of the National Corpus of the Russian language)]. Moscow: Az-bukovnik, [Online] Available from: http://dict.ruslang.ru/freq.php?. (Accessed: 11.11.2016).
27. Aleksandrova, Z.E. (2001) Slovar' sinonimov russkogo yazyka: Prakticheskiy spravochnik: Ok. 11 000 sinonim. ryadov [Dictionary of Russian synonyms: Practical reference-book: c. 11 000 synonymic groups]. 11th ed. Moscow: Russkiy yazyk.
28. Apresyan, Yu.D. et al. (2003) Novyy ob "yasnitel 'nyy slovar' sinonimov russkogo yazyka [New explanatory dictionary of synonyms of the Russian language]. Is. 3. Moscow: Yazyki slavyanskoy kul'tury (Koshelev).
29. Evgen'eva, A.P. (ed.) (2002) Slovar' sinonimov russkogo yazyka: sprav. posobie [Dictionary of synonyms of the Russian language: reference-book]. Moscow: Astrel': AST.
30. Johnson O'Connor Research Foundation. (n.d.) What makes a word difficult? [Online] Available from: https://www.jocrf.org/basic-page/what-makes-word-difficult. (Accessed: 30.08.2017).
31. Kibby, M.W. (1977) Note on relationship of word difficulty and word frequency. Psychological Reports. 41 (1). pp. 12-14.
32. Rudell, A.P. (1993) Frequency of word usage and perceived word difficulty: Ratings of Kucera and Francis words. Behavior Research Methods, Instruments & Computers. 25 (4). pp. 455-463.
33. Nagel', O.V. (2017) Slovoobrazovatel'nye mekhanizmy vprotsessakh vospriyatiya, identifikatsii i ispol'zovaniya yazyka [Word-forming mechanisms in the perception,identification and use of language]. Philology Dr. Diss. Tomsk.
34. Nagel, O.V., Bub, A.S. & Temnikova I.G. (2016) Age of Acquisition and Token Word Frequency Correlation in Lexical Decision: Recognition of Russian Suffixed Words. Voprosy kognitivnoy lingvistiki. 4. pp. 150-159.
Received: 21 December 2017
