CC BY
245
®
www.volsu.ru
DOI: http://dx.doi.Org/10.15688/jvolsu2.2015.1.11
УДК 81'42 ББК 81.055.1
ПАРАМЕТРЫ СЛОЖНОСТИ ЭКЗАМЕНАЦИОННЫХ ТЕКСТОВ
Солнышкина Марина Ивановна
Доктор филологических наук,
профессор кафедры контрастивной лингвистики и лингводидактики,
Казанский федеральный университет
ул. Кремлевская, 21, 400021 г Казань, Российская Федерация
Кисельников Александр Сергеевич
Ассистент кафедры иностранных языков,
Казанский государственный архитектурно-строительный университет [email protected]
ул. Зеленая, 1, 420043 г. Казань, Российская Федерация
Аннотация. В статье рассмотрена проблема определения количественных (длина слова и длина предложения) и качественных (повествовательность, синтаксическая простота, конкретность слов, референциальная когезия и «глубокая» связь) параметров текстов уровня B2 (по Общеевропейской шкале (CEFR)), используемых при определении сложности текста при помощи формулы удобочитаемости по Флешу и программы Coh-Metrix. Исследование проведено на материале 18 экзаменационных текстов на русском (Тест по русскому языку как иностранному второго сертификационного уровня) и английском (Единый государственный экзамен по английскому языку и First Certificate Exam (Первый сертификационный экзамен по английскому языку Кембриджского университета)) языках. Структура и содержание указанных тестов имеют много общего.
Индексы удобочитаемости по Флешу всех анализируемых текстов, используемых в тестах по русскому языку как иностранному, свидетельствуют о более высоком ш уровне сложности текстов, нежели заявленный в спецификациях. Английские тексты
соответствуют уровню В2. (j Анализ с использованием программы Coh-Metrix показал, что тексты ЕГЭ и ПАС
<! (FCE) имеют приблизительно равные степени сложности, соответствующие уровню § В2. Однако тексты ЕГЭ по английскому языку характеризуются более высокими по-Ц казателями конкретности и более низкими показателями синтаксической простоты, чем g тексты ПАС (FCE). Очевидно, что одинаковый уровень сложности (В2) достигается за счет различий в количестве вербализованных локальных и глубинных связей сопос-g тавляемых групп текстов. Процесс моделирования аутентичных английских текстов S российскими разработчиками сопровождается элиминацией средств связи, объекти-§ вирующих референциальную когезию и «глубокую» связь.
а Ключевые слова: удобочитаемость по Флешу, текст, повествовательность,
^ синтаксическая простота, конкретность слов, референциальная когезия, «глубо-
^ кая» связь.
©
Проблема сложности текста, его читабельности является актуальной во многих сферах деятельности: при создании учебных материалов, рассчитанных на различные аудитории [7; 8], рекламных текстов [5], при разработке тестов по иностранным языкам [1; 6], а с недавнего времени - и при разработке компьютерных программ (KWord, IBM Lotus Symphony, Microsoft Office Word, WordPerfect and WordPro) [12].
Предложенная в конце 1930-х гг. М. Во-гелем и К. Уошберном [21] схема изучения читабельности имела в своей основе объективные характеристики текста, коррелирующие с количественной оценкой результата тестирования, и уравнение, устанавливающее зависимость между успешностью понимания текста, с одной стороны, и текстовыми параметрами - с другой.
В современной литературе сложность восприятия текста определяется на основе условно принятой меры - индекса читабельности текста, величина которого есть производная от ряда параметров текста. К этим параметрам исследователи относят количество слов в тексте, среднее количество слогов в слове, среднее количество слов в предложении, тип предложения, наличие метафор, сравнений и национально маркированных единиц, объем эксплицитной и имплицитной информации, антропонимов, число аффиксов на сто слов и некоторые другие [3; 4; 12; 13].
Разработке, уточнению и применению математических формул для расчета индексов читабельности посвящены работы многих ученых (см.: [4; 12; 15-17; 19 и др.]). В настоящее время существует более двухсот формул читабельности (например, индекс туманности Ганнинга (Gunning fog index), уровень Колеман-Льюи (Coleman Liau index), индекс Флеш-Кин-кейда (Flesch Kincaid Grade Level), удобочитаемость по Флешу (Flesch reading ease)) для текстов на многих языках мира: английском, испанском, французском, немецком, голландском, шведском, русском и др.
В 1970-е гг. были опубликованы работы М.С. Мацковского, предложившего первую формулу читабельности текстов на русском языке: Х1= 0,62Х2 + 0,123Х3 + 0,051, где Х1 -оценка трудности (сложности) текста, полученная путем применения метода последова-
тельных интервалов; Х2 - средняя длина предложений в словах; Х3 - процент слов больше трех слогов [2].
В настоящее время читабельность текста активно изучается отечественными исследователями. Работы по данной проблеме, опубликованные в последние годы, опираются преимущественно на труд И.В. Оборневой, внесшей существенный вклад в разработку формулы читабельности для текстов на русском языке [4].
Однако, несмотря на многочисленность и широту применения, формулы читабельности остаются лишь вспомогательным инструментом при анализе текста. Явным недостатком использования формул читабельности считается отсутствие учета лексико-грамма-тического состава текста, а также средств связи. Очевидно, что два предложения одной и той же длины со словами одной и той же длины могут отличаться по уровню сложности в зависимости от ряда других параметров: лексической наполненности, синтаксической структуры, абстрактности / конкретности, культурной маркированности и т. д.
Для выявления уровня сложности текста все чаще используют компьютерные программы, одной из последних среди которых является программа Coh-Metrix, разработанная коллективом американских ученых под руководством профессора А. Грейссера и сочетающая комплекс математических формул [10; 11; 14-16].
Основу программы Coh-Metrix составили результаты исследований Ассоциации по критериям в прикладных науках (Touchstone Applied Science Associates Inc., TASA), занимающейся анализом академических текстов и создавшей корпус, включающий 11 миллионов слов, 119 627 фрагментов 37 651 текста. В корпусе представлены тексты из различных сфер: филологии (language arts), общественных (social studies) и естественных (science) наук, истории (history), здравоохранения (health), бизнеса (business), домоводства (home economics), прикладного искусства (industrial arts) [11].
Тексты в корпусе TASA распределены по 13 уровням, каждый из которых соответствует этапу академической подготовленности читателя - от детского сада до высшего учебного заведения. Определение этапа академи-
ческой подготовленности читателя (Degrees of Reading Power [20]) производится с учетом количественных параметров (длины предложения и длины слова), а результат выводится на основе индекса читабельности по одной из двух формул: удобочитаемость по Флешу или уровень Флеша-Кинкейда [11].
Наряду с количественными, в Coh-Metrix используются пять качественных параметров: повествовательность (narrativity), синтаксическая простота (syntactic simplicity), конкретность слов (word concreteness), референциальная ко-гезия (referential cohesion) и так называемая «глубокая» когезия, или средства «глубокой» связи (deep cohesion). Все пять параметров находятся в диапазоне от 0 % до 100 %: чем легче для восприятия текст, тем более высокие показатели он имеет. Например, индекс повествователь-ности текста FCE (First Certificate Exam), равный 70 %, свидетельствует о высоком уровне вероятности использования в нем простых, знакомых слов. Низкий уровень синтаксической простоты (25 %) является показателем того, что главному предложению могут предшествовать одно или более придаточных, порядок слов может быть инверсирован, в препозиции к сказуемому может находиться ряд модификаторов, а низкий уровень конкретности слов (22 %) - показателем того, что содержание текста трудно визуализировать. Уровень референциальной ко-гезии (20 %) указывает на немногочисленность локальных и глобальных связей между словами в тексте, а также требует от читателя умения делать умозаключения и суждения на основании описанных фактов. При этом уровень «глубокой» когезии (63 %) свидетельствует о высокой степени внутренней когерентности анализируемого отрывка и наличии содержательных связей на всех структурных уровнях (см. рисунок).
Первоначально читабельность являлась критерием определения сложности текстов только для носителей языка. В результате распространения международных экзаменов по иностранным языкам возникла необходимость разработки формул, а также индексов, соответствующих этапам обучения. В настоящее время индексы читабельности широко применяются при выборе экзаменационных текстов для тестирования как на родном языке, так и на иностранных языках [9]. В обоих случаях использование формул читабельности позволяет выявить соответствие текстов академической подготовленности читателя [18].
Читабельность является одним из наиболее значимых критериев при отборе текстов для разработки британских (IELTS, KET, PET, FCE, CAE, CPE и др.)1, американских (TOEFL, TOEIC, GRE, SAT, GMAT и др.)2, российских (ТЭУ, ТБУ, ТРКИ-1, ТРКИ-2, ТРКИ-3 и ТРКИ-4)3 тестов, поскольку в основе любого языкового испытания, независимо от его типа и характера, лежит экзаменационный текст, простота или сложность которого во многом определяет его восприятие. Экзаменационные тексты, будучи цельными и связанными, дидактически смоделированными разработчиками для целей конкретного языкового испытания, как правило, отличаются от первичного (аутентичного) текста объемом и сложностью. В этой связи вопрос о сложности экзаменационного текста обретает особую актуальность.
Исследование, результаты которого представлены в статье, осуществлено на материале текстов трех тестов: теста по русскому языку как иностранному второго сертификационного уровня (ТРКИ-2)4, Единого государственного экзамена по английскому языку (ЕГЭ)5 и Первого сертификационного экзамена по английскому языку Кембриджского университета (First Certificate Exam) (ПАС (FCE))6.
Percentile
Качественные показатели текста FCE
ТРКИ-2, ЕГЭ и ПАС ^СЕ) относятся к прямым, комплексным, объективным (содержащим единственный правильный ответ) тестам с высокой значимостью для испытуемых, имеют готовую шкалу оценивания, соответствуют уровню В2 по шкале Общеевропейских компетенций владения языком (CEFR) 7. Структура и содержание указанных тестов аналогичны.
Цель исследования состоит в выявлении количественных (длина слова и длина предложения) и качественных (повествователь-ность, синтаксическая простота, конкретность слов, референциальная когезия и «глубокая» связь) параметров текстов уровня В2.
Количественные и качественные параметры текстов определялись при помощи формул удобочитаемости по Флешу 8 и программы Со^МеШх 9.
Формула удобочитаемости по Флешу содержит две переменные (длина слова, определяемая количеством слогов, и длина предложения, определяемая количеством слов) и вычисляется следующим образом: УФ = 206,835 - (1,015 X средняя длина предложения в словах) - (84,6 X среднее число слогов в слове). С учетом разницы констант для русского и английского языков (средняя длина слова и предложения) формула удобочитаемости для русских текстов имеет вид:
УФ = 206,836 - (1,52 X средняя длина предложения) - (65,14 X среднее число слогов) [4]. Индекс удобочитаемости по Флешу варьируется в диапазоне от нуля до ста. Считается, что тексты с индексом в 90-100 баллов могут быть поняты, носителями языка, учащимися 4-х классов, учащиеся 7-х и/или 8-х классов понимают тексты с индексом 60-70, выпускники колледжей - тексты с индексом от 0 до 30.
Количественные показатели шести текстов для чтения ПАС ^СЕ) и ЕГЭ представлены в таблице 1.
Как видим, индекс удобочитаемости по Флешу текстов ПАС ^СЕ) варьируется от 60 (текст средней трудности) до 77 (достаточно простой текст). Тексты для чтения ЕГЭ по английскому языку демонстрируют более широкий диапазон индексов удобочитаемости: от 64 (текст средней трудности) до 92 (очень простой).
Согласно полученным данным, академический возраст целевой аудитории трех текстов ЕГЭ и четырех ПАС ^СЕ) - шесть классов для носителей языка. Два текста ЕГЭ ориентированы на читателя с академическим возрастом 4-го класса; один текст ЕГЭ и два текста ПАС ^СЕ) - на читателя с уровнем подготовки не менее 7-8 лет. Спектр качественных параметров, выявленных при помощи программы Со^Мейх, представлен в таблице 2.
Таблица 1
Количественные параметры текстов ЕГЭ и ПАС (FCE)
Текст Удобочитаемость по Флешу Текст Удобочитаемость по Флешу
ЕГЭ 1 72 ПАС 1 60
ЕГЭ 2 91 ПАС 2 72
ЕГЭ 3 92 ПАС 3 75
ЕГЭ 4 78 ПАС 4 69
ЕГЭ 5 73 ПАС 5 73
ЕГЭ 6 64 ПАС 6 77
Среднее значение 78 Среднее значение 71
Качественные параметры ЕГЭ и ПАС (FCE)
Параметры СоЬ-МеЫх ЕГЭ средний (нижний - верхний) показатель, % ПАС (БСЕ) средний (нижний - верхний) показатель, %
Повествовательность 79,0 (53-97) 60,5 (38-71)
Синтаксическая простота 51,0 (24-80) 31,5 (18-55)
Конкретность слов 61,6 (31-85) 61,5 (22-87)
Референциальная когезия 20,1 (6-50) 26,2 (7-88)
«Глубокая» связь 60,6 (19-94) 70,7 (52-86)
Таблица 2
Повествовательность текста зависит от объема присутствующих в нем сюжетообра-зующих элементов: персонажей и событий [17]. Показательно, что тексты ЕГЭ имеют более высокий показатель повествовательно-сти. Несмотря на то что ряд текстов ЕГЭ и ПАС (FCE) относятся к одному уровню трудности по формуле удобочитаемости по Флешу, степень повествовательности в текстах ЕГЭ выше, чем в текстах ПАС (FCE). Синтаксическая простота в программе Coh-Metrix определяется путем выявления количества простых и сложных предложений, а также количества слов перед сказуемым. Чем более распространенным является предложение, тем ниже его синтаксическая простота. Для естественно-научных текстов характерен более простой синтаксис (короткие и менее распространенные предложения) и высокий процент референциальной когезии, чем для филологических и общенаучных текстов [11].
Анализ синтаксической простоты текстов ЕГЭ и ПАС (FCE) позволил выявить широкий диапазон показателей во всех изучаемых текстах. Отметим только более высокий индекс синтаксической простоты текстов ЕГЭ: средняя величина для текстов ЕГЭ составила 51 %, для текстов ПАС - 32 %. Следовательно, синтаксис текстов ЕГЭ проще, чем синтаксис текстов ПАС. В текстах ПАС (FCE) предложения являются сложными и распространенными. Например: A curtained-off section at the back of the arena is laughably referred to as the girls' dressing room, but is more accurately described as a corridor, with beige, cracked walls and cheap temporary tables set up along the length of it. - Зашторенная часть позади сцены считается женской гримерной, но, по сути, ее можно описать как коридор с бежевыми треснувшими стенами и дешевыми временными столами, установленными вдоль них (ПАС 4)10. Приведенное предложение, содержащее сорок одно слово в целом и девять слов в препозиции к первому сказуемому, оценивается как синтаксически трудное.
Более низкий индекс синтаксической простоты (тринадцать слов в препозиции к сказуемому) свидетельствует о более высокой потенциальной сложности восприятия предложения читателями: Most young people
emerging from the colleges after five years of hard work were faced by a world unimpressed by their enthusiasm and bursting knowledge -Большинство молодых людей, выходящих из колледжа после пяти лет напряженной учебы, сталкиваются с тем, что миру не нужны их энтузиазм и отличные знания (ПАС 5).
Конкретность слов трактуется авторами программы Coh-Metrix как соотношение количества языковых единиц, обозначающих конкретные и абстрактные понятия [11]. Например, текст ПАС 5, имеющий индекс конкретности равный 87 %, включает девять наименований конкретных понятий (suit - костюм, finger - палец, collar - воротник, outfit - обмундирование, bus - автобус, seat - сиденье, sun - солнце, window - окно, employer - работодатель) и только четыре - абстрактных (side - сторона, weather - погода, mile - миля, impression - впечатление). Индексы конкретности в текстах ЕГЭ и ПАС (FCE) приблизительно равны, их средний показатель - 61 %. Однако в текстах ЕГЭ нижний индекс конкретности (31 %) выше соответствующего для текстов ПАС (FCE) (22 %).
Средства референциальной когезии в изучаемых текстах немногочисленны, что свидетельствует о наличии у потенциального читателя сформированного навыка выявления имплицитных связей и формулирования выводов-интерпретаций.
«Глубокая» когезия (deep cohesion) отражает наличие в тексте слов, устанавливающих причинно-следственные, пространственные, временные и другие типы отношений. Эти «соединительные» слова помогают читателю установить цепочки случайных событий, процессов и действий в тексте. Если в тексте при большом количестве связей отсутствуют соединительные слова, читатель вынужден самостоятельно делать выводы о зависимостях. Чем шире представлена глубокая связь, тем более эксплицитны связи [ibid., p. 85]. Анализ соответствующих индексов показывает их более широкий диапазон для текстов ЕГЭ - от 19 % до 94 % по сравнению с текстами ПАС (FCE) - от 52 до 86 %.
Таким образом, индексы удобочитаемости по Флешу сопоставляемых текстов на русском и английском языке уровня B2 различны. Тексты на русском языке следует при-
знать очень трудными, тексты на английском языке - достаточно простыми.
Сопоставляемые тексты на английском языке демонстрируют широкий спектр показателей по каждому из изучаемых качественных параметров (повествовательность, синтаксическая простота, конкретность слов, ре-ференциальная когезия и «глубокая» когезия), определяемых при помощи программы Coh-Metrix. Данный факт может свидетельствовать об отсутствии у разработчиков тестов обязательных качественных критериев отбора экзаменационных текстов, соответствующих уровню B2 по шкале Общеевропейских компетенций владения языком.
ПРИМЕЧАНИЯ
1IELTS - International English Language Testing System. URL: http://www.ielts.org/; KET -Cambridge English: Key; PET - Cambridge English: Preliminary; FCE - Cambridge English: First; CAE -Cambridge English: Advanced; CPE - Cambridge English: Proficiency. URL: http://www.cambridgeenglish.org/.
2 TOEFL - Test of English as a Foreign Language; TOEIC - The Test of English for International Communication; GRE - Graduate Record Examinations. URL: http://www.ets.org/; SAT -Scholastic Assessment Test. URL: http:// sat.collegeboard.org/home; GMAT - Graduate Management Admission Test. URL: http:// www.mba.com/global.
3 ТЭУ - Элементарный сертификационный уровень, ТБУ - Базовый сертификационный уровень; ТРКИ-1 - Первый сертификационный уровень; ТРКИ-2 - Второй сертификационный уровень; ТРКИ-3 - Третий сертификационный уровень; ТРКИ-4 - Четвертый сертификационный уровень. URL: http://rustester.ru/trki.
4 См.: Государственный образовательный стандарт по русскому языку как иностранному. Второй уровень. Общее владение / Т. А. Иванова [и др] ; отв. ред. А. В. Голубева. М. ; СПб. : Златоуст, 1999. 40 с. ; Андрюшина Н. П., Макова М. Н. Тренировочные тесты по русскому языку как иностранному: II сертификационный уровень. Общее владение. 2-е изд. СПб. : Златоуст, 2008. 139 c. ; Типовой тест по русскому языку как иностранному. Второй сертификационный уровень. Общее владение / Г. Н. Аверьянова [и др.] ; под ред. Т. И. Поповой, К. А. Роговой, Е. Е. Юркова. СПб. : Изд-во СПбГУ, 1998. 112 с.
5 См.: Федеральный институт педагогических измерений Российской Федерации (далее -
ФИПИ РФ). Единый государственный экзамен по английскому языку. Демонстрационный вариант 2004 г. URL: http://www.abc-english-grammar.eom/1/2/ ege_2004.doc ; ФИПИ РФ. ЕГЭ по английскому языку. Демонстрационный вариант 2005 г. URL: http:// www.abc-english-grammar.com/1/2/ege_2005.doc ; ФИПИ РФ. ЕГЭ по английскому языку. Демонстрационный вариант 2006 г. URL: http://www.abc-english-grammar. com/ 1/2/ege_2006. doc ; ФИПИ РФ. ЕГЭ по английскому языку. Демонстрационный вариант 2010 г. URL: http://old.fipi.ru/binaries/896/inost.zip ; ФИПИ РФ. ЕГЭ по английскому языку. Демонстрационный вариант 2011 г. URL: http://old.fipi.ru/ binaries/1023/ in_15_11_10.zip ; ФИПИ РФ. ЕГЭ по английскому языку. Демонстрационный вариант 2013 г. URL: http://old.fipi.ru/binaries/1388/inyaz11.zip.
6 См.: Cambridge English First Handbook for Teachers. 2014. URL: http://www.cambridgeenglish.org/ images/cambridge-english-first-handbook-2015.pdf; FCE Practice Tests. Flo-Joe. The place on the web for Cambridge exam preparation. 2014. URL: http://www.flo-joe.co.uk/fce/students/tests/2part2.htm.
7 Общеевропейские компетенции владения языком : Изучение, преподавание, оценка. - Страсбург ; М. : Совет Европы, Департамент по языковой политике ; Московский государственный лингвистический университет, 2001-2003. - 259 с.
8 См.: Flesh Help. URL: http://flesh. sourceforge.net/help.html.
9 См: Coh-Metrix Text Easability Assessor. URL: http://141.225.42.101/cohmetrixgates/ Home.aspx.
10 Здесь и далее перевод наш.
СПИСОК ЛИТЕРА ТУРЫ
1. Кисельников, А. С. Учебно-дидактический экзаменационный текст: к вопросу о тексте и ситуации учебно-дидактического экзаменационного дискурса / А. С. Кисельников // Иностранные языки в современном мире: инфокоммуникаци-онные технологии в контексте непрерывного языкового образования / под науч. ред. проф. Ф. Л. Рат-нер. - Казань : Центр инновац. технологий, 2014. -С. 366-372.
2. Мацковский, М. С. Проблемы читабельности печатного материала / М. С. Мацковский // Смысловое восприятие речевого сообщения (в условиях массовой коммуникации). - М. : Изд-во ИЯ АН СССР, 1976. - С. 126-142.
3. Микк, Я. А. Оптимизация сложности учебного текста / Я. А. Микк. - М. : Просвещение, 1981. - 119 с.
4. Оборнева, И. В. Автоматизированная оценка сложности учебных текстов на основе статистических параметров : дис. ... канд. пед. наук / Оборнева Ирина Владимировна. - М., 2006. - 165 с.
5. Розенталь, Д. Э. Язык рекламных текстов / Д. Э. Розенталь, Н. Н. Кохтев. - М. : Высш. школа, 1981. - 127 с.
6. Томина, Ю. А. Объективная оценка языковой трудности текстов (описание, повествование, рассуждение, доказательство) : автореф. дис. ... канд. пед. наук / Томина Юлия Алексеевна. - М., 1985. - 21 с.
7. Филиппова, А. В. Управление качеством учебных материалов на основе анализа трудности понимания учебных текстов : автореф. дис. ... канд. техн. наук / Филиппова Анастасия Владимировна. -Уфа, 2010. - 20 с.
8. Шпаковский, Ю. Ф. Повышение качества учебной литературы для вузов / Ю. Ф. Шпаковс-кий, М. А. Зильберглейт, М. М. Невдах // Труды Белорусского государственного технологического университета. Серия IX, Издательское дело и полиграфия. - 2012. - Вып. XX. - С. 89-92.
9. A Method for Rating English Texts by Reading Level for Japanese Learners of English / R. A. Nagata [et al.] // Systems and Computers in Japan. - 2005. - Vol. 36, № 6. - Р. 1-13.
10. A Psychological and Computational Study of Sub-Sentential Genre Recognition / P. M. McCarthy [et al.] // JLCL. - 2009. - Vol. 24, № 1. - Р. 23-55.
11. Automated Evaluation of Text and Discourse With Coh-Metrix / D. S. McNamara [et al.]. - Cambridge : Cambridge University Press, 2014. - 285 p.
12. Automatic Recognition of Reading Levels From User Queries / X. Liu [et al.] // Proceedings of the 27th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, July 2529, 2004. - Sheffield, 2004. - Р. 548-549.
13. Chall, J. Readability Revisited : The New Dale-Chall Readability Formula / J. Chall, E. Dale. -Cambridge (MA) : Brookline Books, 1995. - 149 p.
14. Coh-Metrix: Analysis of Text on Cohesion and Language. Behavioral Research Methods, Instruments and Computers / A. C. Graesser [et al.]. - Memphis, Tennessee : University of Memphis, 2004. - Р. 193-202.
15. Crossley, S. A. Assessing Text Readability Using Cognitively Based Indices / S. A. Crossley, J. Greenfield, D. S. McNamara // TESOL Quarterly. -2008. - Vol. 42, № 3. - P. 475-493.
16. Crossley, S. A. Text Readability and Intuitive Simplification : A Comparison of Readability Formulas / S. A. Crossley, D. B. Allen, D. S. McNamara // Reading in A Foreign Language. - 2011. - Vol. 23, № 1. - P. 84-101.
17. Dowell, N. Analyzing Language and Discourse With Coh-Metrix. Workshop Presented at 2nd Learning Analytics Summer Institutes (LASI 2014) / N. Dowell, Z. Cai & A.C. Graesser. - Cambridge (MA), 2014. - 84 p. - Electronic text data. - Mode of access: https://drive.google.com/file/d/0B-xloTsxGxlGcEw1RmNGTUtnSnc/edit. - Title from screen.
18. Downing, J. Proposals for British Readability Measures in The Third International Reading Symposium / J. Downing, A. L. Brown. - L. : Cassell, 1968. - P. 186-205.
19. Foulger, D. A Simplified Flesch Reading Ease Formula / D. Foulger. - Electronic text data. - Mode of access: http://davis.foulger.info/papers/ SimplifiedFleschReadingEaseFormula.htm. - Title from screen.
20. Koslin, B. L. The DRP : An Effective Measure in Reading / B. L. Koslin, S. Zeno, S. Koslin. - N. Y. : College Entrance Examination Board, 1987. - 181 p.
21. Washburne, C. Grade Placement of Children's Books / C. Washburne, M. Vogel // Elementary School Journal. - 1938. - Vol. XXXVII. -P. 335-364.
REFERENCES
1. Kiselnikov A.S. Uchebno-didacticheskiy ekzamenatsionnyy tekst: k voprosu o tekste i situatsii uchebno-didakticheskogo ekzamenatsionnogo diskursa [Academic and Didactic Examination Text: on the Text and Situation of the Academic and Didactic Examination Discourse]. Ratner F.L., ed. Inostrannye yazyki v sovremennom mire: infokommunikativnye tekhnologii v kontekste nepreryvnogo obrazovaniya [Foreign Languages in the Modern World: Information and Communication Technologies in the Context of Continuous Education]. Kazan, Tsentr innovatsionnykh tekhnologiy Publ., 2014, pp. 366-372.
2. Matskovskiy M.S. Problemy chitabelnosti pechatnogo teksta [The Problems of Typed Text Readability]. Smyslovoe vospriyatie rechevogo soobshcheniya (v usloviyakh massovoy kommunikatsii) [Semantic Perception of Verbal Communication (in the Conditions of Mass Communication)]. Moscow, IYa AN SSSR Publ., 1976, pp. 126-142.
3. Mikk Ya.A. Optimizatsiya slozhnosti uchebnogo teksta [The Optimization of Academic Text Complexity]. Moscow, Prosveshchenie Publ., 1981. 119 p.
4. Oborneva I.V Avtomatizirovannaya otsenka slozhnosti uchebnykh tekstov na osnove statisticheskikh parametrov: dis. ... kand. ped. nauk [The Computerized Estimation of Academic Texts Complexity on the Basis of Statistical Parameters. Cand. ped. sci. diss.]. Moscow, 2006. 165 p.
5. Rozental D.E., Kokhtev N.N. Yazyk reklamnykh tekstov [The Language of Advertising Texts]. Moscow, Vysshaya shkola Publ., 1981. 127 p.
6. Tomina Yu.A. Obyektivnaya otsenka yazykovoy trudnosti tekstov (opisanie, povestvovanie, rassuzhdenie, dokazatelstvo): avtoref. dis. ... kand. ped. nauk [The Objective Evaluation of
Texts Linguistic Complexity (Description, Narration, Reasoning, Provement). Cand. ped. sci. abs. diss.]. Moscow, 1985. 21 p.
7. Filippova A.V. Upravlenie kachestvom uchebnykh materialov na osnove analiza trudnosti ponimaniya uchebnykh tekstov: avtoref. dis. ... kand. ped. nauk [Managing the Quality of Educational Material on the Basis of the Analysis of Complexity of Academic Text Comprehension. Cand. ped. sci. abs. diss.]. Ufa, 2010. 20 p.
8. Shpakovskiy Yu.F., Zilbergleit M.A., Nevdakh M.M. Povyshenie kachestva uchebnoy literatury dlya vuzov [Upgrading the Quality of High School Academic Literature]. Trudy Belorusskogo gosudarstvennogo tekhnologicheskogo universiteta. Seriya IX, Izdatelskoe delo i poligrafiya, 2012, iss. 20, pp. 89-92.
9. Nagata R.A., et al. A Method for Rating English Texts by Reading Level for Japanese Learners of English. Systems and Computers in Japan, 2005, vol. 36, no. 6, pp. 1-13.
10. McCarthy P.M., et al. A Psychological and Computational Study of Sub-Sentential Genre Recognition. JLCL, 2009, vol. 24, no. 1, pp. 23-55.
11. McNamara D.S., et al. Automated Evaluation of Text and Discourse With Coh-Metrix. Cambridge, Cambridge University Press, 2014. 285 p.
12. Liu X., et al. Automatic Recognition of Reading Levels From User Queries. Proceedings of the 27th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, July 25-29, 2004. Sheffield, 2004, pp. 548-549.
13. Chall J., Dale E. Readability Revisited: The New Dale-Chall Readability Formula. Cambridge (MA), Brookline Books, 1995. 149 p.
14. GraesserAC., McNamaraD.S., Louwerse M.M., Cai Z. Coh-Metrix: Analysis of Text on Cohesion and Language. Behavioral Research Methods, Instruments and Computers. Memphis, Tennessee, University of Memphis, 2004, pp. 193-202.
15. Crossley S.A., Greenfield J., McNamara D.S. Assessing Text Readability Using Cognitively Based Indices. TESOL Quarterly, 2008, vol. 42, no. 3, pp. 475-493.
16. Crossley S.A., Allen D.B., McNamara D.S. Text Readability and Intuitive Simplification: A Comparison of Readability Formulas. Reading in a Foreign Language, 2011, vol. 23, no. 1, pp. 84-101.
17. Dowell N., Cai Z., Graesser A.C. Analyzing Language and Discourse With Coh-Metrix. Workshop Presented at the 2nd Learning Analytics Summer Institutes (LASI2014). Cambridge (MA), 2014. 84 p. Available at: https://drive.google.com/file/d/0B-xloTsxGxlGcEw1RmNGTUtnSnc/edit.
18. Downing J., Brown A.L. Proposalsfor British Readability Measures in the Third International Reading Symposium. London, Cassell, 1968, pp. 186-205.
19. Foulger D. A Simplified Flesch Reading Ease Formula. Available at: http://davis.foulger.info/papers/ SimplifiedFleschReadingEaseFormula.htm.
20. Koslin B.L., Zeno S., Koslin S. The DRP: An Effective Measure in Reading. New York, College Entrance Examination Board, 1987. 181 p.
21. Washburne C., Vogel M. Grade Placement of Childrens Books. Elementary School Journal, 1938, vol. 37, pp. 335-364.
THE INDICES OF EXAMINATION TEXTS COMPLEXITY
Solnyshkina Marina Ivanovna
Doctor of Philological Sciences, Professor,
Department of Contrastive Linguistics and Linguodidactics,
Kazan (Volga Region) Federal University
Kremlevskaya St., 21, 420021 Kazan, Russian Federation
Kiselnikov Aleksandr Sergeevich
Assistant, Department of Foreign Languages,
Kazan State University of Architecture and Engineering
Zelenaya St., 1, 420043 Kazan, Russian Federation
Abstract. The article presents the results of the analysis aimed at quantitative (word length and sentence length) and qualitative (narrativity, syntactic simplicity, word concreteness, referential cohesion and deep cohesion) characteristics used in Flesh Reading Ease and Coh-Metrix to determine complexity/simplicity of FCE and EGE examination
texts corresponding to B2 level by Common European Framework of References. The data used in the research include18 examination texts of three language tests analogous in structure and content: in Russian (Test of Russian as a Foreign Language) and in English (Unified (Russia) State Examination in English (EGE) and First Certificate Examination (FCE)).
Flesch Reading Ease indices of all the Russian texts analyzed testify to their higher level of complexity than the announced in the corresponding papers (B2). The English texts correspond to the Level B2 by CEFR.
The computerized with Coh-Metrix texts utilized in EGE and FCE prove to belong to B2 level, though the EGE texts demonstrate on average higher than FCE texts levels of concreteness but lower levels of syntactic simplicity. Maintaining approximately equal levels of concreteness EGE and FCE texts obtain about the same levels of complexity (B2) due to the differences in the number of verbalized local and global content links. Thus, the Russian test developers model the authentic English texts for examination purposes eliminating the connectives and verbalizing referential and deep cohesion.
Key words: Flesch Reading Ease, text, narrativity, syntactic simplicity, word concreteness, referential cohesion, deep cohesion.
