CC BY
185
ПЕЧАТЬ В ЦЕЛОМ. КНИГОВЕДЕНИЕ
УДК 655.5
Ю. Ф. Шпаковский, кандидат филологических наук, доцент (БГТУ) ОЦЕНКА ТРУДНОСТИ ВОСПРИЯТИЯ ТЕКСТА
Экспериментальные методы позволяют оценить разные стороны трудности восприятия текста. В связи с этим для построения надежной формулы читабельности предлагается разработать единый показатель общей трудности текста. В качестве материала используется учебный текст для высшей школы. Для оценки трудности восприятия учебного материала применяются следующие методики: постановка вопросов по содержанию текста, метод заполнения пробелов, экспертные оценки трудности текста и метод воссоздания авторского текста из фрагментов. Для получения единого показателя трудности предлагается использовать факторный анализ.
Experimental methods allow to estimate the different parties of difficulty of perception of the text. In this connection it is offered to develop a uniform indicator of the general difficulty of the text for working out of the reliable readability formula. As a material the educational text for the higher school is used. For an estimation of difficulty of perception of a teaching material following techniques are used: statement of questions under the text maintenance, a method of filling of blanks, expert estimations of difficulty of the text and a method of a reconstruction of the author's text from fragments. For reception of a uniform indicator of difficulty it is offered to use the factorial analysis.
Введение. В настоящее время в сфере образования происходят существенные изменения, которые не могут не коснуться учебной литературы. За последние годы выросло количество учебных изданий для общеобразовательной и высшей школы, однако их качество по-прежнему не всегда соответствует требованиям, предъявляемым к изданиям подобного типа.
Одним из основных требований к учебным текстам является их простота и доступность изложения новой информации. В редакционноиздательской практике вопрос доступности материала зависит от профессионального опыта автора и редактора. В первой половине прошлого века появились первые исследования, посвященные разработке объективных методов по оценке трудности восприятия различных текстов и их оптимизации для читателей [1-4]. В данных работах трудность текста предлагалось измерить при помощи формул читабельности. В них трудность текста выражалась функцией некоторых его признаков, например функцией средней длины слова и средней длины предложения.
К настоящему времени проблемы читабельности стали общепризнанными. Несмотря на распространение формул, их широкое применение в различных областях связано с весьма серьезными проблемами, основными из них являются следующие:
а) не найден достоверный и общепринятый метод экспериментального определения трудности восприятия текстов;
б) многие признаки текстов, заведомо существенные в определении трудности, не удалось количественно измерить.
Актуальность последней проблемы возросла с развитием современной лингвистической теории и когнитивной психологии. В своих работах исследователи часто обращали внимание на то, что при проведении тестов на понимание материала на ответы испытуемых влияют такие экстралингвистические факторы, как предварительные знания человека, его память, интерес к предмету, мотивация [5-7]. Некоторые из перечисленных факторов так и не удалось измерить. Однако были попытки измерить следующие признаки текстов: количество метафор, образов, предикаций, трудность концепций, плотность идей и др. [2, 8-11]. К единому мнению, как измерять данные признаки текстов, исследователи так и не пришли, поэтому в формулах читабельности они используются редко.
Решение первой проблемы, связанной с поиском достоверного и общепринятого метода определения трудности восприятия текстов, всегда было актуальным. И решать ее следует в первую очередь, ведь пока не будет найден удовлетворительный способ оценки трудности восприятия текстов, не может быть и точности в определении полного комплекса признаков, связанных с трудностью текста. Отсюда вытекает и цель работы - разработать объективный способ упорядочивания текстов по трудности.
Основная часть. Экспериментальным материалом послужили учебные тексты по дисцип-
лине «Обработка текстовой информации», которую изучают студенты 3-го курса факультета издательского дела и полиграфии Белорусского государственного технологического университета (БГТУ). Всего было отобрано 10 отрывков.
Оценка трудности учебных текстов проводилась среди студентов 3-го курса специальностей «Издательское дело» и «Технология полиграфических производств» БГТУ. В основном эксперименте приняли участие 50 студентов.
Далее следовало выбрать объективный метод для оценки трудности восприятия текстов. Прежде всего, следует уточнить понятие «трудность» текста. Трудность — категория, «характеризующая готовность субъекта преодолеть препятствия, связанные с определенным объективным составом деятельности» [12, с. 48]. Но способности людей по преодолению препятствий различны: один обладает более быстрым умом, у другого развито альтернативное или комбинационное мышление и т. д. [12].
Таким образом, трудность текста зависит не только от его сложности, но и от подготовленности читателя. Один и тот же текст может быть легким для одного читателя и трудным для другого. Трудность текста устанавливается по результатам понимания данного текста, т. е. экспериментально.
Выбор методов для определения трудности восприятия текста — ответственная и в определенной степени непростая задача. Как было отмечено выше, от его выбора будет зависеть объективность конечного результата.
В научной литературе описаны различные методы определения трудности восприятия и понимания текста.
Первая попытка описания методов исследования психологии читателя и восприятия литературы предложена О. И. Никифоровой [13]. Были описаны следующие методы:
1. Метод наблюдения.
2. Метод анкетирования.
3. Метод опроса, интервью, беседы.
4. Эксперимент: а) метод изучения и проверки восприятия какой-либо характерной особенности темы и способа ее развертывания (произведения на одну тему, но разных стилей); б) метод пропуска тех или иных звеньев в авторском произведении; в) метод отсроченной реакции (опрос через определенный промежуток времени); г) метод уточнения показателей читателей: шкалирование, сравнительная оценка; д) методы изучения восприятия литературы через проявление его в той или иной деятельности читателя (зарисовки персонажей и т. д.).
Еще одна классификация изучения трудности восприятия и понимания текста в рамках
психологического и лингвистического подходов предложена Л. В. Ширинкиной, которая выделила четыре группы методик [14, с. 58-65]:
1. Методики, направленные на изучение понимания авторского текста и целостности текста: методика воссоздания авторского текста из фрагментов; методика индексирования, компрессии; методика выявления «смысловых вех»; методика восстановления текста по заголовку.
2. Методики, направленные на изучение понимания текста и связности текста: методика расшифровки предложения; методика восстановления пропущенных слов в тексте; методика составления денотатного графа к тексту; методика самопостановки вопроса к текстовому субъекту или предикату в проблемной ситуации.
3. Методики, направленные на изучение процесса восприятия текста и целостности текста: метод семантического дифференциала; методика шкалирования текста; метод свободной классификации; методика сравнительного анализа восприятия отдельных слов, описательных словосочетаний и художественных текстов; методика чтения текста с помехами.
4. Методики, направленные на изучение процесса восприятия текста и связности текста: методика отсроченного воспроизведения; методика искусственного замедления процесса чтения; методика сведения текста к иерархии коммуникативных программ или структуре разнопорядковых предикаций; методика поиска опор при восприятии текста на иностранном языке.
Опираясь на достоинства и недостатки каждого метода при определении трудности восприятия текста, в работе [15] все методы разделили на основные и вспомогательные. К основным методам относятся: 1) постановка вопросов по содержанию текста; 2) метод заполнения пробелов; 3) метод выбора резюме; 4)экспертные оценки трудности восприятия текста; 5) метод воссоздания авторского текста из фрагментов. Среди вспомогательных методов были выделены следующие: 1) интонирование; 2) пересказ; 3) обобщение содержания текста; 4) составление плана или схем текста; 5) скорость чтения; 6) метод расшифровки предложений; 7) метод отсроченного воспроизведения.
Исходя из надежности каждого метода в отдельности, было решено оценить трудность восприятия учебного материала по обработке текстовой информации с использованием следующих методов.
1. Постановка вопросов по содержанию текста. Широко применяется в психологических и педагогических исследованиях. О
степени понимания текста судят по ответам испытуемых на вопросы по содержанию текста. Процент неправильных ответов на вопросы и процент вопросов, оставленных без ответов, являются характеристиками трудности понимания текста.
К учебному материалу по дисциплине «Обработка текстовой информации» были разработаны вопросы с учетом рекомендуемых правил составления и оформления вопросов.
2. Метод заполнения пробелов. Это совокупность частных методик, применяющихся в работах по изучению избыточности текста и предсказуемости формальных или семантических классов слов. В работах по читабельности наиболее распространена методика дополнения. Перед испытуемыми ставится задача заполнить пробелы в тексте. Оценка выполнения задачи определяется отношением числа правильно угаданных слов к общему числу пробелов.
В экспериментальном материале пропускалось каждое седьмое слово. Правильными считались все ответы, подходящие по смыслу.
3. Экспертные оценки трудности текста. Суть метода заключается в том, что читатели устанавливают трудность текста по определенной шкале. К отрывкам из лекционного материала по дисциплине «Обработка текстовой информации» была составлена следующая шкала: 1 — сверхлегкий текст; 2 — очень легкий текст; 3 — легкий текст; 4 — текст со средней трудностью; 5 — трудный текст; 6 — очень трудный текст; 7 — сверхтрудный текст.
Для того чтобы исключить поверхностное знакомство испытуемых с текстом, перед суждением о трудности текста по шкале было предложено выразить основное содержание отрывка одним простым предложением.
4. Метод воссоздания авторского текста из фрагментов. Суть метода заключается в том, что текст делится исследователем на относительно законченные в смысловом отношении отрезки (предложения, абзацы). В нашем случае отрывки были разделены на абзацы. Далее отрезки предъявлялись в случайном порядке испытуемым, которые должны были восстановить исходный текст.
При проведении основных экспериментов фиксировалось также время работы с текстом, т. е. использовался вспомогательный метод.
После окончательной обработки результатов будет получено восемь показателей трудности текстов.
Разные экспериментальные методы измерения трудности текстов обладают разными достоинствами и недостатками. Например, методика дополнения позволяет проверить понимание текста в основном на уровне предло-
жений. Понимание на более высоких уровнях помогают проверить вопросы по содержанию текста. Разные экспериментальные методы позволяют оценить разные стороны трудности текста. В связи с этим для построения надежной формулы читабельности предлагается разработать единый показатель общей трудности. Его можно получить, если суммировать показатели, полученные при разных экспериментах.
Суммирование показателей трудности необходимо и по другой причине. Провести эксперименты со столь большим количеством испытуемых и заданий, как это предвидит теория, не всегда возможно. По этой и другим причинам результаты экспериментов подвержены некоторым ошибкам. Кроме того, в работе [16] подтверждается, что результаты разных экспериментов имеют погрешность. Если подобные результаты суммировать, то ошибки в основном уничтожаются.
Таким образом, суммирование показателей, полученных разными методами, позволит исключить ошибки измерения и получить показатель, лучше всего соответствующий теоретическим представлениям о трудности текста.
После обработки экспериментальных данных будет осуществлено суммирование отдельных показателей трудности. Для достижения цели предлагается использовать факторный анализ.
Основная модель факторного анализа имеет вид:
у = ау Е + ау Е + ... + а]Р Ер + ^Ц,
где а] — факторные нагрузки, оценивающие степень тесноты связи между исходными признаками хь х2, ., хр и обобщенными факторами Еь Е2, ..., Ер; ^ — факторная нагрузка при характерном (специфическом) факторе 6].
Существует несколько различн ых методов факторного анализа, среди которых можно выделить: а) метод главных факторов; б) центро-идный метод; в) метод главных компонент. Общим для них является определение неизвестного заранее числа факторов через заранее найденные характеристики. Кроме того, целесообразно использовать различные стратегии вращения факторного пространства (варимакс, квартимакс и др.), которые обеспечат максимально возможную концентрацию дисперсии исходных данных на координатных осях выделенных факторов и облегчат предметную интерпретацию факторов.
Если провести факторный анализ по многим показателям трудности текста, то первый фактор будет характеризовать суммарную трудность текста. Это можно объяснить тем, что в первом факторе выражается самая силь-
ная общая тенденция в изменениях показателей, по которым проведен факторный анализ. И самая сильная общая тенденция в изменениях показателей трудности текста и есть суммарная трудность текста.
Следует отметить, что результаты факторного анализа будут зависеть от выбора показателей. Следовательно, выбор показателей при факторном анализе необходимо тщательно продумать. В нашем случае в каждом эксперименте фиксировалось время работы с текстом. По сути, эти показатели являются однородными. Если в факторном анализе использовать все показатели, то первый фактор может отклониться в сторону повторяющих друг друга показателей. Такой фактор выявляет, какого рода показателей было больше всего, но не выявляет суммарной трудности текста. Поэтому следует решить вопрос о включении этих показателей в факторный анализ. Наилучший показатель можно выбрать по матрице корреляций. Лучшим является показатель, который имеет самые высокие корреляции со всеми основными и второстепенными показателями.
В факторном анализе будут вычислены факторные веса каждого фактора. Факторный вес, по сути, будет отражать связь между значениями соответствующего показателя и значениями суммарной трудности текста. Он покажет действенность каждого показателя, взятого в отдельности.
После вычисления значений первого фактора будет вычислена суммарная трудность текста. Суммарный показатель позволит избежать ошибок измерений и будет отражать реальную трудность учебных текстов.
Выводы. Суммирование отдельных показателей трудности восприятия текста с помощью факторного анализа даст возможность разработать надежную формулу читабельности, которая позволит объективно оценивать трудность учебного материала для высшей школы. Внедрение формул читабельности и разработанных на их основе прикладных программ в издательский процесс повысит качество подготовки учебной литературы.
Литература
1. Lively, B. A. A method for measuring the vocabulary burden of text-books / B. A. Lively,
S. L. Pressey // Educational administration and supervision. — 1923. — No. 9. — P. 389-398.
2. Gray, W. S. What makes a book readable / W. S. Gray, B. Leary. — Chicago: Chicago University Press, 1935.
3. Flesch, R. Estimating the comprehension difficulty of magazine articles / R. Flesch // Journal
of general psychology. — 1943. — No. 28. — P. 63-80.
4. Dale, E. The concept of readability / E. Dale, J. S. Chall // Elementary English. — 1949. — No. 26. — P. 23.
5. Entin, E. B. Relationships of measures of interest, prior knowledge, and readability to comprehension of expository passages / E. B. Entin, G. R. Klare // Advances in reading/language research. — 1985. — No. 3. — P. 9-38.
6. Fass, W. Effects of motivation, subject activity, and readability on the retention of prose materials / W. Fass, G. M. Schumacher // Journal of educational psychology. — 1978. — No. 70. — P. 803-808.
7. Woern, Y. On the relationship between knowledge of the world and comprehension of texts: assimilation and accommodation effects related to belief structures / Y. Woern // Scandinavian journal of psychology. — 1977. — No. 18. — P. 130-139.
8. Chall, J. S. Readability: an appraisal of research and application / J. S. Chall. — Columbus, OH: Ohio State University Press, 1958.
9. Coleman, E. B. Learning of prose written in four grammatical transformations / E. B. Coleman // Journal of applied psychology. — 1966. — No. 49. — Р. 332-341.
10. Clark, H. H. Comprehension and the given-new contract / H. H. Clark, S. E. Haviland. — Norwood NJ: Ablex Press, 1977. — P. 1-40.
11. Meyer, B. J. Reading research and the composition teacher: the importance of plans /
B. J. Meyer // College composition and communication. — 1982. — No. 1. — P. 37-49.
12. Лернер, И. Я. Критерии сложности некоторых элементов учебника / И. Я. Лернер // Проблемы школьного учебника. — М., 1974. — Вып. I. — С. 47-58.
13. Никифорова, О. В. Исследования по психологии художественного творчества / О. В. Никифорова. — М.: Моск. ун-т, 1972.
14. Ширинкина, Л. В. Восприятие текста как психологический феномен: дис. ... канд. психол. наук: 19.00.01 / Л. В. Ширинкина. — Пермь, 2004. — 235 л.
15. Невдах, М. М. Новая классификация методов определения понимания текста / М. М. Невдах, Ю. Ф. Шпаковский // Труды БГТУ. Сер. IX, Издательское дело и полиграфия. — 2007. — Вып. XV. — С. 100-104.
16. Микк, Я. А. Понятность учебного текста и связи в нем / Я. А. Микк // Советская педагогика и школа. — Тарту, 1970. — Вып. 2. —
C. 5-72.
Поступила 27.03.2012
