CC BY
59
ФИЛОЛОГИЯ И ИСКУССТВОВЕДЕНИЕ
УДК 811.111:81.367:81.23:81.32 ББК 81.1
Беляева Екатерина Ивановна
ассистент
кафедра английского языка переводческого факультета НГЛУ им. Н.А. Добролюбова г. Нижний Новгород Belyaeva Ekaterina Ivanovna Assistant
Chair of the English Language of the Interpreters’ Department Nizhni Novgorod State Linguistic University named after N.A. Dobrolyubov
Nizhni Novgorod
Тестирование однозначности как самостоятельный этап разработки
лингвистической классификации Testing Unambiguity As an Independent Stage of Linguistic Classification
Creating
В статье рассматривается роль тестирования однозначности в разработке и оценке качества лингвистической классификации; выделяются причины и связанные с ними типы ошибок идентификации классификационных признаков экспертами при тестировании; приводятся примеры апробированных корректировок признаковых описаний, направленных на повышение степени однозначности классификации.
The article discusses the role that testing of unambiguity plays in the process of working out and estimating the quality of a linguistic classification; reasons and connected with them types of identification mistakes made by the experts in the testing process are listed; examples of approved corrections of classification features descriptions serving to raise the level of umanbiguity of a classification are given.
Ключевые слова: классификация, однозначность, тестирование,
классификационный признак, ошибка идентификации
Key words: classification, unambiguity, testing, classification feature, identification mistake.
Создание лингвистической классификации - сложный творческий процесс, во многом основанный на интуиции исследователя-разработчика. Однако, несмотря на важность субъективных оценок и предпочтений автора классификации, на разных стадиях разработки классификации возможна и желательна объективная проверка ее качества.
Одним из способов такой проверки является определение прогностического потенциала классификации. Классификация как теоретическое описание объекта «должна обнаружить результаты, согласующиеся с так называемыми (действительными или предполагаемыми)
экспериментальными данными» [5:271]. Этот критерий объективной ценности классификации можно назвать критерием «внешней оправданности, пригодности или применимости» [1: 63], «прогностического потенциала» [2], «информативности, работоспособности» [8]. Конечной целью классификации является возможность на основании идентификации хорошо наблюдаемых выделенных признаков элементов объекта определять (прогнозировать) другие, трудно наблюдаемые его свойства. Наличие у классификации прогностического потенциала относительно какого-либо важного аспекта изучаемого объекта является признаком того, что она действительно отображает его существенные свойства [2]. Методика такой проверки разработана и апробирована в [7].
Несмотря на свою важность для определения качества классификации, данный способ имеет некоторые ограничения. Во-первых, подобная проверка может быть проведена только для уже разработанной классификации и, следовательно, не помогает скорректировать классификацию в процессе ее разработки, т.е. не подсказывает возможных направлений улучшения описания объекта. Во-вторых, она касается одного вида прогноза, рассматриваемого автором классификации в процессе ее разработки в качестве основного. При использовании проверки по одному виду прогноза другие потенциальные аспекты применения классификации оказываются неохваченными или слабо охваченными контролем: прогностически незначимые для выбранного типа прогноза признаки проверкой охвачены не будут, хотя они могут оказаться значимыми в будущем для другого вида прогноза, поскольку спектр возможных коррелятов для хорошей классификации достаточно широк.
Другим способом проверки качества классификации является проверка однозначности классификации. Однозначность - принципиальное требование к любой классификации, в том числе лингвистической. О. Есперсен отмечает, что классификация должна быть основана на «кратких и легко приложимых определениях» [6:51]. Именно однозначность соотносится с критерием
простоты, выделяемым Л. Ельсмлевым наряду с критериями полноты и внутренней непротиворечивости, позволяющими оценить качество («внутреннее совершенство») той или иной теории [5]. Ю.Д. Апресян указывает на то, что «формальность, точность, однозначность - это свойство языка, на котором излагается теория» [1: 89].
Однозначная классификация должна представлять собой систему правил (инструкций), согласно которым наличие или отсутствие классификационных признаков может быть определено для любого элемента классифицируемого объекта любым подготовленным экспертом.
На ранней стадии создания классификации подобная система правил может существовать в невербализованной форме в виде представлений исследователя-разработчика классификации о существенных признаках изучаемого объекта. В дальнейшем эти представления должны быть вербализованы в инструкциях по идентификации классификационных признаков, предназначенных для использования любым экспертом, которому предстоит работать с классификацией. В противном случае, классификация не может быть применена никем другим, кроме ее создателя, который при принятии решений в значительной степени основывается на собственном опыте и интуиции, а не на разработанных им вербальных описаниях классификационных признаков [4; 13].
Преимущество тестирования однозначности по сравнению с определением прогностического потенциала состоит в том, что это свойство может быть проверено на этапе разработки классификации, еще до прогноза. Кроме того, проверка однозначности и корректировка описаний проводится для всех выделенных классификационных признаков, а не только для прогностически значимых.
В то же время, проверка на однозначность может проводиться и для разработанной классификации, прогностический потенциал которой уже доказан. Несмотря на то, что наличие у классификации прогностического потенциала уже свидетельствует о ее однозначности, важным результатом дополнительной проверки на однозначность является получение более совершенного описания объекта: в процессе проверки выявляются и могут быть вербализованы в доступной «среднему» эксперту форме глубинные свойства элементов объекта.
Таким образом, проверка лингвистической классификации на однозначность является самостоятельным и важным этапом работы над
классификацией, выявляющим когнитивные основы разработки и восприятия признаковых описаний.
В настоящей статье рассматривается аспект однозначности структурносемантической классификации английской аффективной речи [7]. Выбор классификации для проверки однозначности обусловлен несколькими причинами. Данная классификация доказала свой прогностический потенциал относительно типов психологического состояния говорящего в эмоциогенных ситуациях и имеет постоянно расширяющийся спектр применения [10], поэтому ее оптимизация с позиций однозначности является желательной процедурой.
Кроме того, она представляется интересной с лингвистической точки зрения. С одной стороны, классификация, по-видимому, обладает типичными чертами любой лингвистической классификации, в частности, элементы объекта описываются простым перечислением классификационных признаков. С другой стороны, особенность классификации состоит в том, что ее разработка с учетом пригодности для прогноза выбранного коррелята (типа психологического состояния говорящего) потребовала построения особой иерархической структуры классификационных признаков и выделения новых, специфических признаков объекта исследования. Фактически, рассматриваемая классификация описывает особый эмоциональный субъязык, способный передавать дифференцированную информацию о типе эмоционального состояния говорящего и характеризующийся специфическими элементами и особенностями их функционирования [8]. При этом, признаки, на первый взгляд заимствованные из другой нетрадиционной синтаксической классификации - классификации структурных особенностей разговорной речи Ю.М. Скребнева - несмотря на то, что в основе обеих классификаций лежит деформированный характер речи, в рассматриваемой классификации переосмыслены. Таким образом, анализ данной классификации дает возможность разработки и апробации методики тестирования классификации на однозначность, которая для лингвистических классификаций, несомненно, имеет свои особенности.
В рассматриваемой структурно-семантической классификации английской аффективной речи верхний иерархический уровень - уровень трансформаций - основывается на дихотомическом разбиении эмоциональных структур на экспликативные и импликативные. Экспликация и импликация понимаются как универсальные характеристики всех без исключения отклонений от нейтральной языковой области, возникающих при недооценке или переоценке узуального значения используемого языкового факта [11; 12; 7]. Этот подход позволяет наряду с конструкциями, характеризующимися материальной перегрузкой или недостаточностью строевых элементов, выделять в качестве деформированных конструкции с особым расположением элементов, синсемантичные неавтономные конструкции, а также функционально переосмысленные конструкции. Фактически, в рамках экспликационной реализации форм ненейтральной речи в целом и аффективной речи в частности может быть выделена материальная избыточность (избыточность материальных элементов) и избыточность в плане организации высказывания (эмфатизация элементов за счет их особой аранжировки); в рамках импликационной реализации - материальная недостаточность (отсутствие материальных элементов) и недостаточность в плане организации высказывания (использование конструкции в несвойственном ей с точки зрения узуса значении).
На втором иерархическом уровне рассматриваемой классификации последующая градация экспликативных и импликативных форм осуществляется путем сопоставления собственно языковых признаков с признаками некой нейтральной единицы - «ядерного предложения»,
выделяемого М.Я. Блохом [3]. Модификации эмоциональной речи выделяются на основе рассмотрения вариантов деформации признаков ядерного предложения, уточненных в [7]. Всего выделяются 8 модификаций нейтрального (ядерного) предложения: повторы, разрывы потенциального синтаксического целого, расшифровывающие конструкции, изолированные элементы, эллипсис, транспозиция, инверсия, материально избыточные элементы.
Дифференцированную информацию о типе психологического состояния говорящего дает третий иерархический уровень рассматриваемой классификации - уровень первичных признаков. Этот уровень включает 40 первичных классификационных признаков, выделяемых в рамках восьми модификаций. Краткие описания первичных классификационных признаков составляют основу инструкции, составленной разработчиком и предназначенной для «среднего» эксперта в данной предметной области. Проверка на однозначность классификации осуществляется путем идентификации первичных классификационных признаков группой экспертов по специально разработанной для этого инструкции в аффективных высказываниях.
В ходе проверки на однозначность структурно-семантической классификации английской аффективной речи шесть экспертов по инструкциям независимо друг от друга идентифицировали первичные классификационные признаки в базе данных (БД), состоящей из 1000 аффективных высказываний. При этом тестировалась не вся БД сразу, а высказывания объединялись в группы по 150-300 примеров в каждой. Всего было проведено пять итераций тестирования. Характеристикой однозначности признакового описания служила степень согласованности решений экспертов, которая оценивалась корреляцией с усредненным решением (мажоритарным эталоном) по каждому признаку отдельно. Отклонения идентификаций экспертов от эталона трактовались как ошибки двух формально выделяемых типов: а) пропуск признака (далее - ПП: эксперт пропускает признак, который есть в эталонной идентификации по данному высказыванию) и б) ложное обнаружение признака (далее - ЛО: эксперт идентифицирует признак, отсутствующий в эталонной идентификации по данному высказыванию). На основании сопоставления ошибок типа ПП и ЛО выделялись также ошибки типа замещение признака (далее - ЗП: регулярное ложное обнаружение одного признака при пропуске другого). Инструкции по признакам, показавшим низкую согласованность экспертных решений, анализировались и корректировались между итерациями тестирования. Успешность и значимость корректировки оценивались после
идентификации экспертами классификационных признаков в следующей группе высказываний по откорректированным перед началом новой итерации инструкциям.
На этапе планирования эксперимента по тестированию классификации на однозначность было выдвинуто предположение о том, что ошибки идентификации первичных признаков рассматриваемой классификации могут быть обусловлены причинами, связанными как с лингвистическими свойствами самих признаков, так и с недостатками признакового описания (инструкции). Проведенное тестирование подтвердило это предположение: такие
лингвистические свойства признаков, как новизна, частотность, «яркость» и сходство действительно провоцируют определенные ошибки идентификации. Были выявлены и дефекты инструкции, например, неполнота описания признаков, которые также являются причинами ошибок идентификации классификационных признаков.
В ходе проверки структурно-семантической классификации английской аффективной речи на однозначность удалось не только выделить причины и связанные с ними типы ошибок идентификации признаков, но и апробировать соответствующие корректировки признаковых описаний, способствующие нивелированию влияния причин и устранению ошибок идентификации классификационных признаков. Были выделены корректировки признаковых описаний двух основных типов: а) корректировки, затрагивающие описание одного классификационного признака (например, расширение/сокращение признакового описания в инструкции, изменение количества примеров реализации признака и пр.); б) корректировки, затрагивающие описание двух и более классификационных признаков, т.е. перекрестные ссылки между описаниями признаков разъясняющего, дифференцирующего и пр. характера. Ниже будут рассмотрены примеры, иллюстрирующие основные причины, типы ошибок идентификации и связанные с ними типы корректировок признаковых описаний.
Под новизной понимается непривычность, необычность признака для эксперта (с точки зрения предыдущего лингвистического опыта эксперта). Как
показало тестирование, влияние этого фактора на идентификацию признаков особенно сильно проявляется на начальном этапе тестирования: новизна провоцирует ошибки типа ПП новых признаков и ЗП новых признаков на знакомые экспертам. Например, в рассматриваемой классификации первичные признаки модификации повторы выделяются не только на основании хорошо знакомых экспертам компонентных характеристик, но и на основании функциональных характеристик. Наличие нескольких оснований для выделения признаков внутри одной модификации связано с корреляционным характером (интерактивностью, ориентированностью на прогноз) рассматриваемой классификации и является необходимым для установления связи между структурой высказывания и типом психологического состояния говорящего. Так, следующее высказывание является примером реализации нового признака повтор-вокатив (контактный или дистантный повтор обращения говорящего к собеседнику с целью привлечения его внимания):
Lentulus (falling on his knees and bursting into tears): Oh, help me. Mother! mother! (Shaw)
На начальном этапе тестирования в высказываниях подобного типа новый признак повтор-вокатив замещался экспертами при идентификации на знакомый признак тавтологический повтор.
Для устранения эффекта новизны признаков в инструкцию были внесены неперекрестные (Внимание! Новый признак!) и перекрестные (Отличать знакомый признак Х от нового признака Y и наоборот) примечания-метки. Такие примечания-метки не содержат разъяснений относительно лингвистических особенностей признаков, а только акцентируют внимание экспертов на новых признаках, способствуя, как показала следующая итерация тестирования, устранению ошибок их идентификации.
Под частотностью признака понимается отношение числа фиксаций признака в БД к общему числу высказываний в БД. В ходе тестирования было статистически подтверждено, что нечастотные признаки (условно с частотностью равной или менее 10%) на начальном этапе тестирования чаще ожидаемого обнаруживают ошибку типа ПП. Такая тенденция была отмечена,
например, для признака корректирующая инверсия (реализация обстоятельств, вопросительных слов и пр. в постпозиции после паузы) с частотностью 0, 9%:
Marsden (his voice trembling with terror): I don’t understand - quite. (O’Neill)
Для нивелирования влияния низкой частотности признаков на их идентификацию в инструкцию были внесены неперекрестные (Внимание! Редкий признак!) примечания-метки. Они привлекают внимание экспертов к нечастотным признакам, способствуя, как показала следующая итерация тестирования, устранению ошибок типа ПП.
«Яркость» признака определяется наличием облигаторного для данного признака формального маркера, характеризующего каждую реализацию признака в аффективном высказывании. Такой маркер является узнаваемым, запоминающимся для экспертов, способствует более легкой идентификации признака, что провоцирует ошибки типа ЛО «яркого» признака, а также ошибки типа ПП «неярких» признаков, реализующихся в том же высказывании. Эффект «яркости» особенно заметен на начальном этапе тестирования. Например, к «ярким» относятся признаки разрыв-паузатор (1), разрыв-эмфатизатор (2) и разрыв-уточняющее присоединение (3):
(1) Honey (Quite hysterical): You... сan’t ... do ... this! (Woolf)
(2) Harry (banging his hand on the table in rapid succession with the words, like a child in anger, hating to be like a child, and shrieking). I WAN’ THAT ENVELOPE. Now. This instant. I — wan’ — that — envelope! (Wesker)
(3) Serafina (in a fierce whisper). I will go back in the house and smash the urn with the ashes — if you do not tell me! (Williams)
Узнаваемость графического оформления пауз при таких разрывах (при помощи тире, многоточия, финальных знаков препинания) позволяет отнести их к «ярким», легко идентифицируемым признакам. Вместе с тем, яркое графическое оформление пауз при разрывах потенциального синтаксического целого в ряде случаев затрудняет идентификацию признаков модификации, поскольку а) при сходном графическом оформлении пауз в высказываниях могут реализовываться разные типы разрывов, что провоцирует ошибки типа
ЗП и б) данные графические средства характерны и для отображения других видов пауз, свойственных, например, расшифровывающим конструкциям и некоторым видам повторов, что провоцирует как ошибки типа ЗП, так и ошибки типа ЛО «ярких» признаков.
Для устранения эффекта «яркости» признаков в инструкцию были внесены перекрестные ссылки разъясняющего характера между описаниями «ярких» признаков и признаков, «затеняемых» «яркими» при идентификации. Этот тип корректировок инструкции, в отличие от перекрестных примечаний-меток, содержит изложенный в краткой форме комментарий лингвистического характера относительно облигаторности/факультативности узнаваемых формальных маркеров для реализации признаков и способствует, как показала следующая итерация тестирования, устранению ошибок их идентификации.
Сходство признаков наблюдается при близости либо структурных, либо семантических, функциональных, особенностей первичных структурных признаков. Влияние сходства признаков было отмечено на среднем этапе тестирования, после устранения ошибок идентификации, вызванных новизной, частотностью и «яркостью» признаков. Например, структурное сходство признаков потенциально сочиненные предложения (1) и изолированные предложения-апеллятивы (2) состоит в том, что в начало высказывания при их реализации выносится сочинительный союз:
(1) Biff (with rising agitation): And whenever spring comes to where I am, I suddenly get the feeling, my God, I’m not getting’ anywhere! (Miller)
(2) Liza (desperate). But don't you be too sure that you have me under your feet to be trampled on and talked down. (Shaw)
Сходные черты признаков обусловливают возникновение ошибок типа
ЗП.
Для нивелирования влияния сходства признаков на их идентификацию в инструкцию были включены дифференцирующие перекрестные ссылки между признаковыми описаниями сходных признаков. Такие корректировки содержат изложенный в краткой форме комментарий лингвистического характера относительно различий между признаками, дополнительные примеры
реализации каждого из сходных признаков и пр. В описываеом случае в инструкцию было включено перекрестное указание на то, что изолированные предложения-апеллятивы, в отличие от потенциально сочиненных предложений, содержат прямую апелляцию к собеседнику, а отличительной чертой таких построений является функционирование в их составе личного местоимения you, усиливающего данную семантическую функцию. Как показала следующая итерация тестирования, подобные корректировки способствуют устранению ошибок идентификации сходных признаков.
Неполнота описания признака выявляется в результате сравнения краткого признакового описания в инструкции и полного признакового описания в [7]. На среднем этапе тестирования были выявлены ошибки типа ПП неполно описанных признаков, например, признака материально избыточные вокативы. Как особая разновидность материально избыточных обращений в [7] рассматривается употребление местоименного обращения you, причем ее описание не включено в инструкцию:
Michael (angrily - up to the Messenger). Let her go, you - she’s runnin’ for th’ priest! (O’Casey)
Для устранения ошибок типа ПП признаков, характеризующихся неполнотой описания, в инструкцию были внесены дополнения. Корректировки этого типа содержат изложенные в краткой форме дополнительные сведения о признаке лингвистического характера и дополнительные примеры реализации признака. Как показала следующая итерация тестирования, подобные корректировки способствуют устранению ошибок идентификации неполно описанных признаков.
На завершающем этапе тестирования, после устранения при помощи описанных корректировок ошибок идентификации, вызванных лингвистическими причинами и дефектами инструкции, уже наблюдалась достаточно высокая, по сравнению с начальным этапом тестирования, корреляция между решениями экспертов по большинству признаков. Корректировка инструкции на данном этапе, была направлена не на устранение ошибок, вызванных выделенными причинами, а на уточнение лингвистических формулировок признаков, внутрипризнаковую дифференциацию (описание Вестник ЧГПУ122011 250
выявленных в ходе тестирования новых разновидностей отдельных признаков), уточнение комбинаторики признаков, наконец, на выделение, если это возможно, новых признаков, отсутствовавших в первоначальной
классификации разработчика.
Так, именно на завершающем этапе тестирования в инструкцию был введен новый классификационный признак модификации материально избыточные элементы - материально избыточные паузозаполнители. Для этого признака характерно использование элементов now, well, you see, I wonder, I mean и др. в момент хезитации в функции заполнителей пауз в потоке речи, например, в высказываниях:
Marion (thoughtfully). I wondher, now, could it have been Mr. McGilligan’s tame barnacle goose? (O’Casey)
Vee. Oh, well, you see, I - (Laughs nervously, childlike in her growing excitement) - I just, just felt it that way! (Williams)
Таким образом, завершающий этап тестирования предоставляет исследователю, проводящему тестирование лингвистической классификации на однозначность, возможность обобщить и систематизировать все знания, полученные им об объекте, и дать его усовершенствованное описание.
Полученная путем последовательных корректировок инструкция позволяет работающим с ней экспертам получить представление о классификационных признаках, соотносимое с представлением разработчика классификации, и проводить идентификацию признаков в любом элементе классифицируемого объекта наравне с разработчиком.
Библиографический список
1. Апресян, Ю.Д. Идеи и методы современной структурной лингвистики [Текст] / Ю.Д. Апресян. - М., 1966. - 302 c.
2. Бейли, Н. Математика в медицине и биологии [Текст]/ Н. Бейли. - М.: Мир, 1970.
- 326 с.
3. Блох, М.Я. Проблемы парадигматического синтаксиса (на материале английского языка): Дис. ... докт. филол. наук [Текст]/ М.Я. Блох. - М., 1976. - 444 с.
4. Болдырев, Н.Н. Языковые категории как формат знания [Текст]/ Н.Н. Болдырев. // Вопросы когнитивной лингвистики. Вып. 2 (008). - Тамбов: Изд. дом ТГУ им. Г.Р. Державина, 2006. - С.5-22.
5. Ельмслев, Л.. Пролегомены к теории языка [Текст]/ Л. Ельмслев. // Новое в зарубежной лингвистике. Вып. 1 . М., 1960. - С. 215-262.
6. Есперсен, О. Философия грамматики [Текст]/ О. Есперсен. - М.: Изд-во иностранной литературы, 1958. - 404 с.
7. Синеокова, Т.Н. Парадигматика эмоционального синтаксиса: Монография [Текст]/ Т.Н. Синеокова. - Нижний Новгород: Изд-во ННГУ им. Н.И. Лобачевского, 2003. - 244 с.
8. Синеокова, Т.Н. Опыт разработки универсальной классификации синтаксиса эмоциональной речи [Текст]/ Т.Н. Синеокова. // Язык в системе мультикультурного общества: Сборник статей по материалам конференции. - Нижний Новгород: НФ ГУ-ВШЭ, 2003. - С. 122 - 131.
9. Синеокова, Т.Н. Работоспособность лингвистических классификаций [Текст]/ Т.Н. Синеокова. // Вестник Бурятского государственного университета. Выпуск 11. Романогерманская филология. - Улан-Удэ: Изд-во Бурятского госуниверситета, 2009. - С. 96-98.
10. Синеокова, Т.Н., Беляева, Е.И. Тестирование лингвистической классификации на однозначность идентификации признаков [Текст]/ Т.Н. Синеокова, Е.И. Беляева. // Актуальные проблемы филологии и педагогической лингвистики: Сборник научных трудов. Вып. 13. - Владикавказ: Северо-Осетинский государственный университет им. К.А. Хетагурова, 2011. - С. 278-282.
11. Скребнев, Ю.М. К вопросу об “ортологии” [Текст]/ Ю.М. Скребнев // Вопросы языкознания. № 1. М., 1961. - С. 140-142.
12. Скребнев, Ю.М. Введение в коллоквиалистику [Текст]/ Ю.М. Скребнев. -Саратов: Изд-во Саратовского ун-та, 1985. -210 с.
13. Фрумкина, Р.М. Психолингвистика [Текст]/ Р.М. Фрумкина. - М.: Академия, 2003.
- 320 с.
Bibliography
1. Apresyan, Yu.D. Ideas and Methods of Contemporary Structural Linguistics [Text] / Yu.D. Apresyan. - Moscow, 1966. - 302 p.
2. Bailey, N. Mathematics in Medicine and Biology [Text] / N. Bailey. - Moscow: Mir, 1970. - 326 p.
3. Blokh, M.Ya. Problems of Paradigmatic Syntax (By the Example of the English Language): Doctor of Philology Dissertation [Text] / M.Ya. Blokh. - Moscow, 1976. - 444 с.
4. Boldyrev, N.N. Linguistic Categories as a Format of Knowledge [Text] / N.N. Boldyrev // Issues of Cognitive Linguistics. Issue 2 (008). - Tambov: Publishing House of Tambov State University, 2006. - P. 5-22.
5. Frumkina, R.M. Psycholinguistics [Text] / R.M. Frumkina. - Moscow: Academy, 2003.
- 320 p.
6. Hjelmslev, L. Prolegomena to a Theory of Language [Text] / L. Hjelmslev // New in Foreign Liguistics. Issue 1. - Мoscow, 1960. - P. 215-262.
7. Jespersen, О. The Philosophy of Grammar [Text] / О. Jespersen. - Мoscow: Publishing House of Foreign Literature, 1958. - 404 p.
8. Sineokova, T.N. Paradigmatics of Emotional Syntax: Monograph [Text] / T.N. Sineokova. - Nizhny Novgorod: Publishing House of Nizhny Novgorod State University after N.I. Lobachevsky, 2003. - 244 p.
9. Sineokova, T.N. Experience of Working Out a Universal Classification of Syntax of Emotional Speech [Text] / T.N. Sineokova // Language in the System of Multicultural Society: Collection of Conference Articles. - Nizhny Novgorod: School of Economics, 2003. - P. 122 -131.
10. Sineokova, T.N. Efficiency of Linguistic Classifications [Text] / T.N. Sineokova // Herald of Buryat State University. Issue 11. Romano-Germanic Philology. - Ulan-Ude: Publishing House of Buryat State University, 2009. - P. 96-98.
11. Sineokova, T.N., Belyaeva, E.I. Testing a Linguistic Classification to Unambiguity of Identification of Classification Features [Text] / T.N. Sineokova, E.I. Belyaeva // Relevant Problems of Philology and Pedagogical Linguistics: Collection of Scientific Papers. Issue 13. -Vladikavkaz: North-Osetian State University after K.A. Khetagurov, 2011. - P. 278-282.
12. Skrebnev, Yu.M. To the Question of “Orthology” [Text] / Yu.M. Skrebnev // Issues of Linguistics. - № 1. - Moscow, 1961. - P. 140-142.
13. Skrebnev, Yu.M. Introduction to Colloquialistics [Text] / Yu.M. Skrebnev. - Saratov: Publishing House of Saratov State University, 1985. -210 p.
