CC BY
49
УДК 811.111:81.367:81.23:81.32 ББК 81.1
Беляева Екатерина Ивановна
ассистент
кафедра английского языка переводческого факультета НГЛУ им. Н.А. Добролюбова г. Нижний Новгород Belyaeva Ekaterina Ivanovna Assistant
Chair of the English Language of the Interpreters’ Department Nizhny Novgorod State Linguistic University named after N.A. Dobrolyubov
Nizhny Novgorod Некоторые проблемы проверки однозначности лингвистической классификации
Some Problems of Checking Unambiguity of a Linguistic Classification
В статье рассматриваются некоторые аспекты процедуры тестирования однозначности лингвистической классификации. Описываются выбранные способы построения эталонной идентификации классификационных признаков и предлагаются параметры оценки однозначности.
The article discusses certain aspects of the procedure of testing unambiguity of a linguistic classification. The chosen ways of constructing the model identification of classification features and parameters of evaluation of unambiguity are described.
Ключевые слова: классификация, однозначность, классификационный признак, идентификация классификационных признаков.
Key words: classification, unambiguity, classification feature, identification of classification features.
Свойство однозначности является важным свойством классификации и определяется способностью разных экспертов одинаково идентифицировать классификационные признаки. Иными словами, однозначность классификации определяется наличием системы признаковых описаний (инструкций), по которым наличие или отсутствие классификационных признаков может быть определено для любого элемента классифицируемого объекта любым подготовленным экспертом.
Важность свойства однозначности неоднократно подчеркивалась лингвистами. О. Есперсен отмечает, что классификация должна быть основана на «кратких и легко приложимых определениях» [8:51]. Именно однозначность соотносится с критерием простоты, выделяемым Л. Ельсмлевым наряду с критериями полноты и внутренней непротиворечивости, позволяющими оценить качество («внутреннее совершенство») той или иной теории [7].
Ю.Д. Апресян указывает на то, что «формальность, точность, однозначность -это свойство языка, на котором излагается теория» [2: 89].
Способность классификации выполнять свою основную функцию -обеспечивать возможность на основании выделенных явно наблюдаемых признаков объекта определять (прогнозировать) другие, ненаблюдаемые его свойства [4; 13] - уже подразумевает то, что классификация является однозначной.
Тем не менее, однозначность является особым свойством классификации и заслуживает отдельного внимания. Во-первых, классификация может быть проверена по этому свойству при помощи структурно ясного, хотя и трудоемкого, тестирования, обеспечивающего количественную оценку результата. Во-вторых, такая проверка может быть проведена на ранних стадиях разработки классификации, еще до выявления ее прогностического потенциала. В-третьих, проверка однозначности позволяет не только обнаружить дефекты вербализации признаковых описаний, но и систематизировать первоначальные представления разработчика классификации о классификационных признаках. Наконец, даже при тестировании на однозначность классификации, доказавшей свой прогностический потенциал относительно определенного экстралингвистического коррелята, получение однозначных, точных признаковых описаний позволяет, с одной стороны, улучшить результаты данного прогноза, а с другой стороны -расширить сферу применения классификации, т.к. разные исследователи получают возможность использовать ее для выявления новых корреляционных связей.
В описываемом исследовании для проверки на однозначность была выбрана структурно-семантическая классификация английской аффективной речи, разработанная с целью выявления корреляционных связей между типами психологического состояния говорящего, определяющими особенности речемыслительной деятельности, и их структурными экспонентами [11]. Прогностический потенциал данной классификации статистически подтвержден относительно выбранного экстралингвистического коррелята (там же), а также относительно более дифференцированных механизмов
речемыслительных процессов при измененных состояниях сознания говорящего [3] и пола говорящего [10]. Спектр применения классификации постоянно расширяется. В частности, классификация используется в исследованиях псевдоаффективной, воздействующей речи - политической [9] и судебной [1], рекламных текстов, при выявлении адекватности переводов художественных текстов [6]. Проводимые исследования подтверждают универсальность разработанной классификации относительно разных языков, что позволяет рассматривать прогностически значимые признаки, реализуемые в эмоциогенной ситуации, как синтаксические универсалии [12]. Классификационное описание признаков используется при проведении лингвокриминалистических экспертиз. Поэтому вопрос об однозначности классификации и об инструменте, позволяющем проверить ее с этой точки зрения, представляется актуальным. Таким образом, описываемое исследование призвано решить две задачи: усовершенствовать конкретную классификацию по свойству однозначности и разработать методику тестирования на однозначность, пригодную для лингвистических классификаций в целом.
В исследовании была принята следующая процедура тестирования классификации на однозначность. Шесть экспертов по инструкциям -описаниям сорока классификационных признаков - независимо идентифицировали их в опорной базе данных (далее - БД) из 1000 аффективных высказываний. При этом БД была разбита на группы, и за одну итерацию тестировались 150-300 высказываний. Таким образом, итерация тестирования имела реально выполнимый объем, и высказывания, предъявляемые экспертам для анализа, не повторялись, чтобы исключить фактор запоминания правильной идентификации признаков. Характеристикой однозначности признакового описания служила степень согласованности решений экспертов относительно наличия/отсутствия признаков в высказывании, которая оценивалась корреляцией с эталонным решением, определяемым мажоритарным путем. Отклонения от эталонного решения трактовались как ошибка типа пропуск признака (далее - ПП: эксперт пропускает признак, который есть в эталонной идентификации по данному
высказыванию) и ошибка типа ложное обнаружение признака (далее - ЛО: эксперт идентифицирует признак, отсутствующий в эталонной идентификации по данному высказыванию). Инструкции по признакам, показавшим отклонения от средних решений, анализировались и корректировались. Успешность или неуспешность и значимость корректировки оценивались после проведения следующей итерации тестирования (то есть после идентификации классификационных признаков в новой группе высказываний по откорректированным перед началом итерации инструкциям). Очевидно, что такое тестирование предполагает обработку больших объемов данных и требует компьютерной поддержки: полный тест представляет собой результат обработки и сравнения 240000 независимых решений экспертов. Таким образом, результатом компьютерной обработки теста является выявление ошибок идентификации каждого эксперта по каждому признаку в каждом анализируемом высказывании и разделение их по типам (ПП и ЛО).
Несмотря на то, что, как было сказано выше, тестирование классификации на однозначность представляется достаточно ясной процедурой, в ходе его проведения возник ряд проблем, связанных а) с необходимостью доработки процедуры тестирования и б) со сложностями перехода от формального выделения ошибок экспертов к содержательному аспекту корректировки инструкции. В настоящей статье будут рассмотрены некоторые проблемы первой группы, связанные с методикой тестирования, и описаны выбранные способы их решения.
Существенной проблемой стало построение эталонного решения. Поскольку безошибочная идентификация, сделанная «непогрешимым» экспертом по идеально однозначным инструкциям, в реальности недоступна, удобно принять за эталон некоторое приближение к ней. Изначально предполагалось, что на всех итерациях тестирования в качестве эталонного будет принято решение большинства экспертов - будет сформирован мажоритарный эталон. Усредненное мнение группы экспертов значительно ближе к идеальной идентификации, чем мнение каждого из них в отдельности, и поэтому может быть принято за эталонную идентификацию при достаточном
количестве экспертов. Расчеты и результаты тестирования показывают, что при 5 экспертах не очень высокого класса эталон может быть восстановлен с высокой степенью надежности [14]. В настоящем исследовании используется мажоритарный эталон, конструируемый на основании идентификаций рабочей группы, состоящей из шести экспертов.
Однако в ходе проведения тестирования выяснилось, что мажоритарное решение не может быть использовано в качестве эталонного на первой итерации тестирования. Это связано с тем, что некоторые свойства классификационных признаков провоцируют всех экспертов на одну и ту же ошибку идентификации, поэтому мажоритарное решение, автоматически формируемое программой обработки результатов теста, является ошибочным и не может быть принято за эталон.
Так, при анализе высказывания Hallibut (panic-stricken): Put that bottle down! Put it down, and go to bed, I tell you! (O’Casey) на первой итерации тестирования большинством экспертов был пропущен классификационный признак повтор-побуждение, характеризующийся многократным повторением просьб, приказов, запретов и т.п. В данном случае ошибка связана с тем, что указанный признак является новым, непривычным для экспертов, что провоцирует ошибку типа ПП (подробнее причины ошибок идентификации классификационных признаков рассмотрены в: [5]). При этом эксперты правильно идентифицируют признак модифицирующий повтор, характеризующийся заменой элементов при повторе (that bottle ^ it), поскольку принцип выделения типов повторов на основе их компонентных характеристик хорошо знаком экспертам из лингвистического опыта. При сравнении идентификаций экспертов с мажоритарным решением, в котором отсутствует признак повтор-побуждение, ошибка типа ПП не будет выявлена автоматически, что может привести к выводу об отсутствии необходимости корректировки инструкции.
Другим примером, по которому было сформировано ошибочное мажоритарное решение, является высказывание Martha (Sham dismay): Awwwwwww. (Woolf), в котором большинством экспертов был пропущен
признак междометные предложения. Высказывания с этим признаком характеризуются изолированной реализацией междометий. Круг выражаемых ими значений весьма широк: междометия, имплицируя смысл сказанного, диффузно отражают эмоциональную реакцию говорящего на реплику собеседника, причем конкретное их содержание зависит от ситуации общения. В данном случае механизм пропуска признака отличен от предыдущего описанного случая. Ошибка типа ПП спровоцирована тем, что в высказывании признак междометные предложения реализуется в сочетании с признаком артикуляторные персеверации, обладающим «ярким», запоминающимся графическим оформлением. При артикуляторных персеверациях физиологические сдвиги, вызванные аффектом, ведут к нарушению дыхания, возрастанию напряженности мышц речевого аппарата и неспособности говорящего управлять ими. Графически разрегуляция оперативного уровня речи отражается повторением отдельных букв, слогов, односложных слов, что является легко узнаваемым, присущим только данному признаку, маркером. Несмотря на то, что данный признак практически никогда не реализуется изолированно (в БД зарегистрирован только один такой случай), ошибки типа ПП сопутствующих ему в структуре высказывания признаков весьма частотны. Представляется, что это связано с тем, что «яркий» признак артикуляторные персеверации «затеняет» в восприятии экспертов любые сопутствующие ему признаки, не обладающие столь же «яркими» графическими маркерами. Как и в предыдущем случае, при сравнении идентификаций экспертов с мажоритарным решением, в котором отсутствует признак междометные предложения, ошибка типа ПП не будет выявлена автоматически, что также может привести к выводу об отсутствии необходимости корректировки инструкции.
Для того чтобы на ранних стадиях тестирования избежать подмены эталонного решения ошибочным мажоритарным решением, необходима авторизация полученного совокупного решения экспертов разработчиком классификации (или «привилегированным» экспертом, хорошо знакомым с тестируемой классификацией). Это менее надежный способ формирования эталона, так как разработчик тоже может совершать ошибки. Однако именно
таким образом может быть проведена проверка соответствия идентификаций экспертов, сделанных по инструкции, исходному замыслу разработчика классификации, то есть тому смыслу, который разработчик первоначально вкладывал в признаковые описания. В приведенных выше случаях, относящихся к первой итерации тестирования, ошибки идентификации признаков были выявлены на основе сопоставления идентификаций экспертов с решением разработчика классификации, принятым за эталон.
Другой важной проблемой стал выбор параметра, при помощи которого количественно оценивались ошибки экспертов. С одной стороны, для определения причины ошибки и выбора направления корректировки инструкции удобно, если параметр оценивает отдельно вероятность ошибки типа ПП и вероятность ошибки типа ЛО по каждому признаку. С другой стороны, конечным результатом оценки однозначности признакового описания должен служить параметр, характеризующий интегральную ошибку.
В качестве такого параметра при тестировании использовались два варианта оценки.
1. «Приведенная» вероятность. При использовании этого параметра ошибки типа ЛО и ПП оцениваются раздельно, и за интегральную «приведенную» вероятность принимается полусумма полученных величин. Составляющие ЛО и ПП оцениваются следующим образом. Соответствующие ошибки, сделанные всеми экспертами на протяжении одной итерации, нормируются относительно ошибок, которые были бы допущены в ходе некой воображаемой процедуры. В качестве такой процедуры может быть принята случайная процедура, учитывающая статистические характеристики выборки, при которой решение «есть признак»/ «нет признака» принимается в соответствии с частотностью признака в выборке (определенной по эталону).
Это наиболее «интеллектуальная» из возможных случайных процедур. Она учитывает оба типа ошибок (ПП и ЛО) и выравнивает их число независимо от частотности исследуемого признака. Поэтому по ее результатам удобно нормировать ошибки реальных экспертов. Результат применения такой (т.е. нормирующей) процедуры можно рассчитать на основании одних только
данных о частотности признака в выборке (согласно эталону), не прибегая к анализу признакового описания.
В качестве примера рассмотрим выборку из 100 высказываний, содержащую 10 высказываний с исследуемым признаком.
Для пояснения расчета введем следующие обозначения: п - объем выборки (в рассматриваемом примере - 100 высказываний); к - число высказываний в выборке, содержащих (согласно эталону) рассматриваемый признак (в рассматриваемом примере - 10 высказываний). Соответственно,
г =к - относительная частотность признака в выборке (в рассматриваемом
п
примере /=0,1); к равно максимально возможному числу ошибок ПП (нельзя пропустить то, чего нет).
Подобным же образом, к1 = п - к - число высказываний выборки, не
содержащих (согласно эталону) признака и, соответственно, максимальное
к
число ошибок типа ЛО (в рассматриваемом примере - 90); гх = — = 1 - г -
п
относительная частотность таких высказываний (в рассматриваемом примере -г = 0,9).
Для случайных процессов выбор процедурой решения «есть признак»/ «нет признака» и наличие его в рассматриваемом высказывании - независимые события (в отличие от решений экспертов). Поэтому ожидаемое число ошибок случайной процедуры типа ПП равно к ■ гх = к ■ (1 - г) (в рассматриваемом примере 10 ■ (1 - 0,1) = 9 ошибок типа ПП; соответственно, к1 ■ г = к1 ■ (1 - г\) (в
рассматриваемом примере 90 ■ 0,1 = 9 ошибок типа ЛО.
2. Корреляция решений экспертов с мажоритарным эталонным решением. Для того чтобы получить интегральную оценку, за первый коррелят принимается шестикратно повторенный блок эталонных решений, а за второй -список решений всех экспертов порознь.
Оба параметра оценки дали хорошо согласующийся результат (коэффициент корреляции между ними составил 0,98 при доверительном интервале 0,006 по НН=0,67) и в тестировании использовались параллельно.
Анализ данных тестирования показал, что результаты оценки ошибок от первой к последней итерации тестирования значимо улучшились. В таблице для примера приведены данные об изменении коэффициента корреляции (Я) по некоторым откорректированным прогностически значимым признакам (дано сравнение результатов первой и последней итераций тестирования).
Коэффициент корреляции решений экспертов с мажоритарным эталоном (по данным первой и последней итераций тестирования)
Название признака Я (первая итерация) Я (последняя итерация) Разность корреляции Вывод о значимости разности корреляции
Артикуляторные персеверации 0,846 1 0,15 (ДИ=0,006 по НН=0,67) Сильно значима
Корректирующая инверсия 0,519 1 0,48 (ДИ=0,02 по НН=0,67) Сильно значима
Эллиптические предложения- эмфатизаторы 0,637 0,89 0,43 (ДИ=0,02 по НН=0,67) Сильно значима
Из таблицы видно, что по трем прогностически значимым признакам порог значимости разности корреляций превышен в 20 и более раз. Таким образом, проведенные в процессе тестирования корректировки следует признать эффективными.
Для дополнительной верификации эффективности полученных результатов было проведено сравнение прогностического потенциала не откорректированной по свойству однозначности классификации (по идентификации разработчика) с прогностическим потенциалом
откорректированной классификации (по идентификации, произведенной одним из экспертов) на основании одного и того же алгоритма прогнозирования [11]. Сравнение прогностического потенциала классификации до и после корректировки инструкции выявило совершенно незначимое различие в прогностическом потенциале. Это подтверждает, что проведенная корректировка достигла цели: уровень знаний разработчика классификации и уровень знаний эксперта, использующего откорректированную инструкцию,
приблизились так, что их идентификации классификационных признаков практически не отличаются друг от друга. Дело в том, что разработчик классификации вкладывает в идентификацию свои знания, недоступные рядовому эксперту и необязательно отраженные в инструкциях. Если после проведения корректировок решения экспертов совпадают с первоначальными решениями разработчика классификации, то это является существенным, хотя и косвенным, показателем того, что корректировка инструкции позволила приблизить уровень рядового эксперта к уровню разработчика классификации.
Таким образом, проведенное исследование показало, что тестирование классификации по свойству однозначности является полезной и эффективной процедурой, которая может быть в значительной степени формализована. Однако важно подчеркнуть, что полностью свести такую процедуру к формальной нельзя. Формализация тестирования состоит, в основном, в фиксации ошибок экспертов, их сортировке, возможности получить данные об ошибке отдельно по каждому признаку, эксперту, высказыванию, а не в указании на способ устранения ошибок. Поиск способов устранения ошибок требует анализа результатов, полученных путем машинной обработки, на лингвистическом уровне и, как правило, индивидуального анализа каждой ошибочной идентификации признака.
Библиографический список
1. Антонова, Е.С. Особенности функционирования повторов в судебной речи: Дипломная работа [Текст]/ Е.С. Антонова. - Нижний Новгород, 2010. - 65 с. (Научный руководитель - Синеокова Т.Н.)
2. Апресян, Ю.Д. Идеи и методы современной структурной лингвистики [Текст] / Ю.Д. Апресян. - М., 1966. - 302 с.
3. Безруков, В.А. Средства номинации измененных состояний сознания в драматургических ремарках (на материале английского языка): Дис. ... канд. филол. наук [Текст]/ В. А. Безруков. - Нижний Новгород, 2007. - 183 с.
4. Бейли, Н. Математика в медицине и биологии [Текст]/ Н. Бейли. - М.: Мир, 1970.
- 326 с.
5. Беляева, Е.И. Особенности идентификации новых классификационных признаков структурно-семантической классификации английской аффективной речи [Текст]/ Е.И. Беляева // Теоретические и прикладные аспекты изучения речевой деятельности: Сборник научных статей. Вып. 6. - Нижний Новгород: НГЛУ им. Н.А. Добролюбова, 2011. - С. 46-58.
6. Добровольская, Л.В., Синеокова, Т.Н. Особенности перевода конструкций с повторами, реализуемыми в состоянии эмоционального напряжения (на материале русского и английского языков) [Текст]/ Л.В. Добровольская, Т.Н. Синеокова // Теоретические и прикладные аспекты изучения речевой деятельности: Сборник научных статей. Вып. 5. -Нижний Новгород: НГЛУ им. Н.А. Добролюбова, 2010. - С. 52-65.
7. Ельмслев, Л.. Пролегомены к теории языка [Текст]/ Л. Ельмслев // Новое в зарубежной лингвистике. Вып. 1 . М., 1960. - С. 215-262.
8. Есперсен, О. Философия грамматики [Текст]/ О. Есперсен. - М.: Изд-во иностранной литературы, 1958. - 404 с.
9. Лаврова, А. А. Синтаксические особенности реализации эмоционального компонента в политической речи (на материале американских предвыборных теледебатов): Дис. ... канд. филол. наук [Текст]/ А. А. Лаврова. - Нижний Новгород, 2010. - 224 с.
10. Лисенкова, О.А. Синтаксическая транспозиция в мужской и женской аффективной речи (на материале английского языка): Дис. ... канд. филол. наук [Текст]/ О. А. Лисенкова. -Нижний Новгород, 2007. - 140 с.
11. Синеокова, Т.Н. Парадигматика эмоционального синтаксиса: Монография [Текст]/ Т.Н. Синеокова. - Нижний Новгород: Изд-во ННГУ им. Н.И. Лобачевского, 2003. - 244 с.
12. Синеокова, Т.Н. Универсальный характер синтаксических конструкций, реализуемых в состоянии эмоционального напряжения [Текст]/ Т.Н Синеокова // Вестник Нижегородского государственного лингвистического университета им. Н.А. Добролюбова. Вып. 13. - Нижний Новгород: ГОУ ВПО НГЛУ, 2011. - С. 74-81.
13. Синеокова, Т.Н. Работоспособность лингвистических классификаций [Текст]/ Т.Н. Синеокова // Вестник Бурятского государственного университета. Вып. 11. Романогерманская филология. - Улан-Удэ: Изд-во Бурятского университета, 2009. - С. 96-98.
14. Синеокова, Т.Н., Чернышова (Беляева), Е.И. Методологические аспекты проверки однозначности выделения классификационных признаков аффективной речи [Текст]/ Т.Н. Синеокова, Е.И. Чернышова (Беляева) // Теоретические и прикладные аспекты изучения речевой деятельности: Сборник научных статей. Вып. 2. - Нижний Новгород: НГЛУ им. Н.А. Добролюбова, 2007. - С. 80-98.
Bibliography
1. Antonova, E.S. Peculiarities of Repetitions Functioning in Judicial Speech: Graduation Thesis [Text]/ E.S. Antonova. - Nizhny Novgorod, 2010. - 65 p. (Scientific Supervisor - T.N. Sineokova)
2. Apresyan, Yu.D. Ideas and Methods of Contemporary Structural Linguistics [Text] / Yu.D. Apresyan. - M., 1966. - 302 p.
3. Bailey, N. Mathematics in Medicine and Biology [Text] / N. Bailey. - М.: Mir, 1970. -
326 p.
4. Belyaeva, E.I. Peculiarities of Identification of the New Identification Features of Structure-Semantic Classification of the English Affective Speech [Text]/ E.I. Belyaeva // Theoretical and Applied Aspects of Speech Studies: Collection of Scientific articles. Issue 6. -Nizhny Novgorod: Nizhny Novgorod State Linguistic University after N.A. Dobrolyubov, 2011. -P. 46-58.
5. Bezrukov, V.A. Means of Nomination of Modified States of Consciousness in Dramaturgic Remarks (In the English Language): Diss. ... Cand. of Philol. [Text] / V.A. Bezrukov.
- Nizhny Novgorod, 2007. - 183 p.
6. Dobrovolskaya, L.V., Sineokova, T.N. Peculiarities of Translation of Constructions with Repetitions Realized in the State of Emotional Tension (In the Russian and English Languages) [Text]/ L.V. Dobrovolskaya, T.N. Sineokova // Theoretical and Applied Aspects of Speech Studies: Collection of Scientific Articles. Issue 5. - Nizhny Novgorod: Nizhny Novgorod State Linguistic University after N.A. Dobrolyubov, 2010. - P. 52-65.
7. Hjelmslev, L. Prolegomena to a Theory of Language [Text] / L. Hjelmslev // New in Foreign Liguistics. Issue 1. - М., 1960. - P. 215-262.
8. Jespersen, О. The Philosophy of Grammar [Text]/ О. Jespersen. - М.: Publishing House of Foreign Literature, 1958. - 404 p.
9. Lavrova, А.А. Syntactical Peculiarities of the Realization of the Emotional Component in Political Speech (By the Example of American Pre-Election TV Debates): Diss. ... Cand. of Philol. [Text] / А.А. Lavrova. - Nizhny Novgorod, 2010. - 224 p.
10. Lisenkova, О. А. Syntactical Transposition in Male and Female Affective Speech (In the English Language): Diss. ... Cand. of Philol. [Text] / О.А. Lisenkova. - Nizhny Novgorod, 2007.
- 140 p.
11. Sineokova, T.N. Paradigmatics of Emotional Syntax: Monograph [Text] / T.N. Sineokova. - Nizhny Novgorod: Publishing House of Nizhny Novgorod State University after N.I. Lobachevsky, 2003. - 244 p.
12. Sineokova, T.N. Universal Character of Syntactical Constructions Realized in the State of Emotional Tension [Text] / T.N. Sineokova // Herald of Nizhny Novgorod State Linguistic University after N.A. Dobrolyubov. Issue 13. - Nizhny Novgorod: Nizhny Novgorod State Linguistic University after N.A. Dobrolyubov, 2011. - P. 74-81.
13. Sineokova, T.N. Efficiency of Linguistic Classifications [Text] / T.N. Sineokova // Herald of Buryat State University. Issue 11. Romano-Germanic Philology. - Ulan-Ude: Publishing House of Buryat State University, 2009. - P. 9б-98.
14. Sineokova, T.N., Chernyshova (Belyaeva), E.I. Methodological Aspects of Testing Unambiguity of Identification of Classification Features of Affective Speech [Text] / T.N. Sineokova, E.I. Chernyshova (Belyaeva) // Theoretical and Applied Aspects of Speech Studies: Collection of Scientific Articles. Issue 2. - Nizhny Novgorod: Nizhny Novgorod State Linguistic University after N.A. Dobrolyubov, 2007. - P. 80-98.
