CC BY
22
УДК 808.2:159.937
Невдах М. М., аспирант
РАЗРАБОТКА КОЛИЧЕСТВЕННЫХ МЕТОДОВ ОЦЕНКИ ТРУДНОСТИ ВОСПРИЯТИЯ УЧЕБНОГО ТЕКСТА ДЛЯ ВЫСШЕЙ ШКОЛЫ
In the article quantitative methods of an estimation of perception difficulty of the educational text for the higher school are developed. In particular, the basic stages of carrying out of the following experiments are described: cloze procedure, expert estimations of perception difficulty of the text and a method of pair comparisons. On the basis of the received data parameters of difficulty of understanding of the text are found which further will be used in research on ordering educational texts for the higher school by methods of the multivariate statistical analysis.
Введение. Повышение качества учебной литературы для высшей школы остается одной из острых проблем отечественного книгоиздания, от решения которой будет зависеть совершенствование профессиональной подготовки специалистов. В настоящее время уровень учебного материала в основном зависит от мастерства автора и опыта редактора. В связи с этим создание надежных и общепринятых методов автоматизированной проверки сложности учебного текста, является крайне актуальной задачей.
За рубежом для оценки трудности понимания материала определенной категорией читателей широко используются формулы читабельности. В самом широком смысле под читабельностью понимают некоторую характеристику печатного материала, зависящую от всех элементов внутри данного материала, которые влияют на успешность его усвоения определенной группой читателей. Мерой такого успешного усвоения является то, насколько средний читатель интересующей группы понимает исследуемый материал, в какой мере скорость, с которой он его читает, приближается к оптимальной, и какой интерес представляет данный материал для читателя [1]. Разработка формулы читабельности сводится к трем этапам [2]:
1) нахождение методов для определения трудности понимания различных текстов данной группой лиц;
2) выбор структурных элементов (и только тех, которые поддаются точному измерению) исследуемых текстов;
3) нахождение некоторой функции, которая бы описывала зависимость между результатами понимания материала интересующей группой лиц и выбранными структурными элементами текста.
Таким образом, в данной статье рассматривается решение первой задачи.
Основная часть. Материалом для эксперимента послужили учебные издания для вузов по философии и экономической теории [3—10]. Всего было отобрано 32 отрывка длиной 18002000 печатных знаков. Выбор данной величины
обусловлен тем, что в [11] показано, что, начиная с объема в 1800 печатных знаков, статистические характеристики текста становятся относительно постоянными.
В основном эксперименте приняли участие 75 студентов Белорусского государственного технологического университета (БГТУ). Как известно, число испытуемых N определяется по
следующей формуле:
*=(? )'•
где N — количество испытуемых.
^ — критерий Стьюдента, который определяется исходя из желаемого уровня вероятности; о — среднее квадратическое отклонение; е — абсолютная погрешность (ошибка). Так как экспертная группа формировалась впервые, то определить о невозможно. В этом случае ошибку целесообразно задавать не в виде абсолютной погрешности е, а в виде относительной 81, выраженной в долях от о. На основании статистических данных (для относительной ошибки 0,3 и доверительности экспертной оценки 99%) количество испытуемых должно составлять не менее 74 человек.
В [12] проанализированы основные методы определения трудности понимания текста: постановка вопросов к тексту, сводка основного содержания текста, методика дополнения, экспертные оценки трудности текста испытуемыми, составление плана или схем текста, угадывание текста по буквам, интонирование, пересказ, скорость чтения текста. В нашем исследовании использовалось наиболее надежные методы: методика дополнения и экспертные оценки трудности текста. Кроме того, впервые для оценки трудности понимания учебного материала для вузов использовался метод парных сравнений.
Методика дополнения — это заполнение пропусков в тексте, в котором слова через определенный интервал заменены точками. Плюсы данной методики состоят в том, что пропускается всегда только одно слово, и слова пропускаются не по усмотрению исследователя, а по строгому правилу. При использовании
данного метода следовало учесть одно обстоятельство: заполнение одного пропуска не должно зависеть от заполнения другого, только в этом случае каждый пропуск будет представлять самостоятельное задание. Для того чтобы выяснить, до какого по счету слова контекст влияет на правильность заполнения пропусков в тексте, был проведен предварительный эксперимент, в котором участвовало 50 студентов БГТУ. Испытуемым предлагали пропуск с тремя словами по обе стороны пропуска. Если они не могли правильно заполнить пропуск, количество слов увеличивалось до четырех с обеих сторон. И так до того момента, пока испытуемый не давал правильного ответа. В итоге испытуемые дословно угадывали 5,2 слова. Стандартное отклонение арифметической средней — 0,15. Это означает, что в 95% случаев заполнение одного пропуска не будет зависеть от соседних пропусков, если между ними останется шесть слов. Таким образом, далее в текстах пропускалось каждое седьмое слово. Пример отрывка с пропусками приведен ниже.
Инфляция проявляется прежде всего в обесценении !.. по отношению к золоту, товарам, ино-2
странным г.. В ее результате уменьшается золотое содержание ?.. денежной единицы, поэтому цена золота растет. 4. покупательной способности денег по отношению к ,.5 проявляется в росте оптовых и розничных 6.
К каждому отрывку была составлена инструкция следующего вида:
1. Укажите номер теста.
2. Зафиксируйте время начала работы с текстом.
3. В данном отрывке текста пропущено каждое седьмое слово. Запишите на листы ответов слова, которые больше всего подходят в эти пропуски.
4. Зафиксируйте время окончания работы с текстом.
После проведения эксперимента возник вопрос: оценивать ли синонимы к пропущенным словам правильными ответами? Исследователи, работающие на базе английского языка, правильными считают только те слова, которые употребил автор, а в отечественной практике правильными считаются все ответы, подходящие по смыслу. В экспериментах [13, 14] более точные результаты дает методика, при которой правильными ответами считаются все контекстуально-подходящие слова, поэтому было решено использовать ее в качестве верной. Решение об удовлетворительных/неудовлетворительных заменах выносили специалисты.
Анализ заполнения пропусков испытуемыми показал, что выбор в пользу методики, в которой правильными считаются все словарные и
контекстуальные синонимы, был разумным. Например, в предложении «Раскрытию сущности этого явления посвящены исследования Гегеля, Прудона, К. Маркса, Ф. Энгельса, В. И. Ленина и других экономистов и философов» (тест № 17) студенты вместо пропущенного слова «исследования» вставляли такие слова, как «труды» и «работы». Специалистом было вынесено суждение, что в данном контексте эти слова являются синонимами, поэтому считать ответы неверными было бы неправильно. В других случаях даже здравый смысл подсказывает считать верными следующие ответы: и других экономистов и философов (автор) — и прочих экономистов и философов (студент); раскрывая систему представлений (автор) — описывая систему представлений (студент); границы которой определяются и защищаются (автор) — границы которой устанавливаются и защищаются (студент); товары и услуги, поступившие в сферу потребления (автор) — товары и услуги, входящие в сферу потребления (студент); для удовлетворения потребностей человека (автор) — для удовлетворения нужд человека (студент) и т. д.
В результате экспериментов было получено количество неправильных ответов по каждому испытуемому. Так как число пропусков в тестах было различным, то для сравнения результатов все данные переведены в проценты. Так, наилучшие показатели среди текстов по философии выявлены при работе с тестом № 1 (верных ответов 79%), наихудшие — с тестом № 8 (36%). Среди текстов по экономической теории студенты лучше всего справились с тестом № 25 (верных ответов 73%), хуже всего — с тестом № 26 (54%).
Результаты эксперимента по всем отрывкам даны в табл. 1. Кроме того, было зафиксировано время работы с текстом (при занесении данных в таблицу учитывалось количество слов в отрывке).
Таким образом, по результатам эксперимента было получено два показателя трудности восприятия учебных текстов: процент неправильно заполненных пропусков в тексте и время работы с ним.
Второй используемый метод — экспертные оценки трудности текста. Суть метода заключалась в следующем: после прочтения отрывка испытуемым предлагалось оценить его трудность по семибалльной шкале: 1 — сверхлегкий текст; 2 — очень легкий текст; 3 — легкий текст; 4 — текст со средней трудностью; 5 — трудный текст; 6 — очень трудный текст; 7 — сверхтрудный текст.
Чтобы исключить поверхностное знакомство испытуемых с текстом и возможного искажения результатов при оценке его трудности, студентам перед суждением о трудности понимания
Таблица 1 Критерии трудности восприятия текста с использованием методики дополнения
Номер теста Процент правильно заполненных пропусков Относительное время работы с текстом
1 78,82 38,55
2 77,11 30,74
3 71,02 39,29
4 53,69 35,44
5 55,19 52,86
6 65,82 35,52
7 78,29 27,20
8 35,62 45,38
9 64,69 49,82
10 49,33 41,16
11 56,24 52,43
12 62,44 33,49
13 70,36 41,26
14 55,32 37,30
15 63,58 37,52
16 61,20 35,82
17 66,14 41,03
18 66,00 32,56
19 62,31 35,06
20 58,58 28,39
21 66,88 32,60
22 61,33 30,19
23 60,26 34,29
24 72,46 32,76
25 73,24 32,38
26 53,59 23,85
27 56,57 31,77
28 57,59 27,05
29 65,62 25,80
30 56,00 37,20
31 57,61 30,67
32 55,46 28,40
текста по шкале предлагалось выписать несколько ключевых слов и выразить основное содержание отрывка одним предложением. Эти меры заставили испытуемых тщательно изучить тексты по философии и экономике.
Среди текстов по философии самым легким оказался тест № 3. Самым трудным для восприятия студентами стал тест № 8, что совпало с результатами методики дополнения. Среди текстов по экономической теории самым легким студенты назвали тест № 20, самым трудным — тест № 27.
При тестировании фиксировалось также время работы с текстом студентами при шкалировании. По результатам эксперимента найдены два показателя трудности восприятия текста: средняя оценка трудности восприятия текста и относительное время работы с ним (табл. 2).
Третий используемый метод — метод парных сравнений. Суть метода заключалась в том,
Таблица 2 Критерии трудности восприятия текста с использованием экспертных оценок
Номер теста Экспертные оценки испытуемых Относительное время работы с текстом
1 4,21 0,017
2 3,51 0,014
3 3,31 0,020
4 3,63 0,024
5 4,28 0,022
6 4,03 0,020
7 3,97 0,017
8 5,04 0,023
9 4,25 0,025
10 4,69 0,024
11 3,67 0,018
12 4,16 0,013
13 3,80 0,018
14 4,04 0,016
15 3,91 0,016
16 3,56 0,020
17 3,88 0,024
18 3,71 0,022
19 3,97 0,020
20 3,31 0,022
21 4,44 0,024
22 3,63 0,023
23 3,95 0,019
24 3,41 0,017
25 3,83 0,021
26 3,91 0,017
27 4,65 0,019
28 4,20 0,020
29 3,32 0,014
30 3,81 0,017
31 3,47 0,016
32 4,57 0,022
что каждому испытуемому предлагался набор текстов, размещенных парами, и после прочтения студент должен был указать, какой из отрывков обладает заданным признаком (в нашем случае, какой отрывок легче). Оценка каждого текста производилась путем сравнения с каждым другим текстом того же набора. Так как у нас в наборе имелось 16 отрывков по философии и столько же по экономике, следовательно, по одному предмету было составлено 120 пар. За один этап эксперимента студенту предъявлялось 8 пар текстов. Такое количество не вызывало утомления у испытуемого.
Анализ данных был проведен с помощью заполнения специальных таблиц. В каждой ячейке такой таблицы из двух сравниваемых текстов проставлялся номер того, которому испытуемый отдавал предпочтение, т. е. номер более легкого отрывка. Затем подсчитывалась частота предпочтения текста в строке и в столбце. В итоге
для каждого текста определялась сумма частот предпочтений, которая позволила произвести ранжирование. Результаты проведенного эксперимента представлены в табл. 3.
Среди текстов по философии самым легким оказался тест № 12. Самым трудным для восприятия студентами стал тест № 8, что совпало с результатами и методики дополнения, и экспертных оценок. Среди текстов по экономической теории самым легким студенты назвали тест № 29, самым трудным — тест № 21.
Выводы. Обработка и анализ результатов экспериментов позволили выявить необходимую информацию относительно трудности восприятия учебного материала для вузов по философии и экономической теории. На основании полученных данных найдены показатели трудности восприятия текста, которые в дальнейшем будут использованы в исследовании по систематизации учебных текстов для высшей школы методами многомерного статистического анализа.
Таблица 3 Критерии трудности восприятия текста
с использованием метода парных сравнений
Номер теста Сумма частот предпочтений Ранг
1 381 13
2 748 3
3 578 10
4 629 7
5 297 15
6 554 11
7 695 4
8 262 16
9 603 9
10 317 14
11 660 5
12 790 1
13 632 6
14 470 12
15 612 8
16 760 2
17 511 10
18 649 5
19 542 9
20 632 7
21 308 16
22 663 4
23 435 13
24 777 2
25 603 8
26 495 11
27 350 14
28 483 12
29 814 1
30 635 6
31 755 3
32 338 15
Литература
1. Dale, E. The concept of readability / E. Dale, J. S. Chall // Elementary English. — 1949. — № 26. — P. 23.
2. Vogel, M. An objective method of determining grade placement of children's reading material / M. Vogel, C. Washburne // Elementary school journal. — 1928. — № 28 — P. 373-381.
3. Волчек, Е. З. Философия: учеб. пособие с хрестоматийными извлечениями / Е. З. Волчек. — Мн.: Интерпресссервис, Эко-перспектива, 2003. — 544 с.
4. Спиркин, А. Г. Философия: учебник для студентов высших учебных заведений / А. Г. Спиркин. — 2-е изд. — М.: Гардарики, 2004. — 736 с.
5. Философия: учебное пособие для студентов высших учебных заведений / В. С. Степин [и др.]; под общ. ред. Я. С. Яскевич. — Мн.: РИВШ, 2006. — 624 с.
6. Философия: учебное пособие для студентов высших учебных заведений / Ю. А. Харин [и др.]; под общ. ред. Ю. А. Харина. — Мн.: ТетраСистемс, 2006. — 448 с.
7. Сажина, М. А. Основы экономической теории: учебное пособие для неэкономических специальностей вузов / М. А. Сажина, Г. Г. Чиб-риков; отв. ред. и руководитель авт. коллектива П. В. Савченко. — М.: Экономика, 1995.
8. Экономическая теория: учебник / Н. И. Базылев, А. В. Бондарь, С. П. Гурко и др.; под общ. ред. Н. И. Базылева, С. П. Гурко. — Мн.: Экоперспектива, 1997.
9. Экономическая теория: учебник для студентов вузов / Под ред. В. Д. Камаева. — 6-е изд., перераб. и доп. — М.: ВЛАДОС, 2001.
10. Экономическая теория: учебное пособие / Л. Н. Давыденко, А. И. Базылева, А. А. Дичков-ский и др.; под общ. ред. Л. Н. Давыденко. — Мн.: Вышэйшая школа, 2002.
11. Косова, М. М. Описательная статистика учебных текстов по физике / М. М. Косова, М. А. Зильберглейт // Труды БГТУ. Сер. VI. Издат. дело и полиграфия. — 2006. — Вып. XIV. — С. 167-170.
12. Невдах, М. М. Новая классификация методов определения понимания текста / М. М. Невдах, Ю. Ф. Шпаковский // Труды БГТУ. Сер. IX. Издат. дело и полиграфия. — 2007. Вып. XV. — С. 100-103.
13. Микк, Я. А. Методика измерения трудности текста / Я. А. Микк // Вопросы психологии. — 1975. — № 3. — С. 147-155.
14. Рапопорт, И. А. О диагностических функциях тестовой методики дополнения / И. А. Рапопорт [и др] // Иностранные языки в школе. — 1976. — № 2. — С. 31-37.
