CC BY
85
УДК 655.5
М. А. Зильберглейт, доктор химических наук, профессор, заведующий кафедрой (БГТУ);
Ю. Ф. Шпаковский, кандидат филологических наук, доцент (БГТУ); М. М. Невдах, аспирант (БГТУ)
ПОВЫШЕНИЕ КАЧЕСТВА УЧЕБНОЙ ЛИТЕРАТУРЫ
В статье приведены результаты исследования, посвященного повышению качества учебной литературы для высшей школы. Для достижения цели в работе на первом этапе проведены эксперименты с использованием различных методик для получения объективных критериев относительно трудности текстов. На втором этапе выделены и вычислены значения 49 параметров учебных текстов. Снижение признакового пространства осуществлялось методами многомерного статистического анализа (кластерный анализ, многомерное шкалирование и др.). Для разработки решающего правила использовался дискриминантный анализ, автоматизации оценки трудности учебных текстов для студентов вузов создана программа Readability analysis.
In article results of the research devoted to improvement of quality of the educational literature for the higher school are resulted. For purpose achievement in work at the first stage experiments with use of various techniques for reception of objective criteria concerning difficulty of texts have been made.
At the second stage values of 49 parametres of educational texts have been allocated and calculated. Decrease in quantity of parameters was carried out by methods of the multidimensional statistical analysis (cluster analysis, multidimensional scale, etc.). For working out of a solving rule the discriminant analysis was used. For automation of an estimation of difficulty of educational texts for students of high schools program Readability analysis is created.
Введение. Проблема качества учебных изданий является одной из центральных в отечественном книгоиздании и привлекает к себе внимание широкого круга исследователей. От повышения качества учебной литературы будет зависеть совершенствование профессиональной подготовки специалистов.
Повысить качество учебных изданий, по мнению специалистов, можно при условии соблюдения ряда требований. Из них основными являются простота и доступность изложения.
Следует отметить, что диалектическая связь принципов научности и доступности иногда понимается односторонне: принцип доступности рассматривается как «ограничительный» при реализации принципа научности в содержании образования. Однако, как показывает опыт, реализация этих двух принципов ведет к сознательному усвоению учащимися большего объема научных знаний. Регулирование сложности учебного материала является предпосылкой развития умений труда учащихся, а следовательно, повышения их познавательных возможностей.
В настоящее время уровень учебного материала в основном зависит от автора и редактора. У каждого из них свои индивидуальные представления о доступном тексте. В связи с этим создание надежных и общепринятых методов автоматизированной проверки трудности учебного текста, ориентированной на потребности читателя, является крайне актуальной задачей.
Основная часть. В советское время обширные исследования качества учебников провел д-р пед. наук, проф. Перовский Е. И. [1]. По его данным только 2% учителей не имели никаких
претензий к учебникам. Учебниками были вполне удовлетворены 12% из опрошенных учащихся. При этом недовольство учащихся вызвано непонятностью изложения (51%), недостаточной конкретностью изложения (31%), недочетами языка учебников (21%) и другими причинами. В 1970-х гг. в исследованиях Я. А. Микка [2] и И. Э. Унт [3] подтвердились выводы Е. И. Перовского относительно трудности учебников. В этих исследованиях было доказано, что учащиеся смогли по учебникам ответить менее чем на половину заданных им вопросов, направленных на выяснение понятности учебных текстов. Общепризнанно, что если учащиеся в состоянии ответить на 75% вопросов, то изучение этого материала должно проходить под руководством учителя, а если в состоянии ответить на 90% вопросов, то учебник может предназначаться для самостоятельной работы. По мнению Я. А. Микка, текст, по которому учащиеся могут ответить только на половину вопросов, не приемлем в качестве учебного пособия, даже в том случае, если учитель помогает учащимся разобраться в этом тексте.
Данные исследования были проведены более 40 лет назад. В настоящее время проблема качества учебной литературы сохраняется. В 2011 г. на портале www.tut.by была опубликована статья О. Галкина «Репетиторы в ужасе от белорусских школьных учебников» [4], в которой приведены мнения учителей со стажем относительно качества школьных учебников. Отмечается, что в них встречаются ошибки, неточности и несостыковки. Но главная проблема заключается в том, что учебники, напри-
мер, для старших классов слишком сложны и перегружены избыточной информацией.
Например, учитель физики А. Василевский отмечает, что российские учебники по физике отличаются от белорусских в лучшую сторону благодаря простоте изложения материала и наглядности приводимых сравнений.
Так как основным учебником является учебник, утвержденный Министерством образования, то есть опасность, что в какой-то момент школьник просто перестанет понимать предмет. А вместе с непониманием пропадает и всякий интерес к его изучению.
Проблема трудности учебной литературы для высшей школы также сохраняется.
В созданных учебниках для высшей школы еще встречаются излишнее употребление специальной терминологии, сложные синтаксические конструкции, абстрактность изложения.
Данной проблемой активно занимаются Л. Г. Тюрина, С. Г. Антонова, В. Г. Бейлинсон, А. В. Филиппова и др. [5-9].
Игнорирование принципа доступности во многом обусловлено отсутствием надежных и общепринятых методов проверки ее достижения. В теории редактирования отсутствуют практические объективные методы по оценке сложности учебной литературы и ее усовершенствованию.
В связи с этим цель работы — повышение качества учебной литературы посредством автоматизированной оценки трудности учебных текстов.
Экспериментальным материалом послужили учебные издания для вузов по философии и экономической теории. Всего было отобрано 48 отрывков длиной 1800-2000 печатных знаков.
Оценка трудности учебных текстов проводилась среди студентов старших курсов Белорусского государственного технологического университета. В основном эксперименте приняли участие 75 студентов.
На первом этапе были проведены эксперименты с использованием различных методик. В работе использовались наиболее надежные методы: методика дополнения, метод балльных оценок. Впервые для оценки трудности понимания учебного материала для вузов использовался метод парных сравнений.
Обработка и анализ результатов экспериментов позволили выявить информацию относительно трудности восприятия учебного материала для вузов по философии и экономической теории. На основании полученных данных найдены пять объективных критериев, определяющих трудность текста: процент правильно заполненных пропусков (Г1); относительное время работы с текстом (Г2) — с использованием методики дополнения; средняя оценка трудности восприятия текста (Г3); относительное время
работы с текстом (Г4) — с использованием балльных оценок; ранг текста (Г5).
Для каждого показателя была найдена середина диапазона всех полученных значений, в соответствии с которой производилось разбиение текстов на две группы (трудный — легкий текст). В итоге было получено разбиение текстов на группы по выделенным пяти показателям трудности.
Объективная трудность учебных текстов определялась путем анализа компонентов сложности текстов. Для этого на втором этапе были выделены и вычислены значения 49 параметров учебных текстов по философии и экономической теории: 1) длина текста в абзацах; 2) длина текста в словах, средняя длина предложения в словах, процент неповторяющихся слов, процент простых и сложных предложений и др.
Очевидно, что использование большого количества параметров текста является неэффективным по ряду причин: а) сильная взаимосвязанность признаков, что приводит к дублированию информации; б) неинформатив-ность признаков, мало меняющихся при переходе от одного объекта к другому; в) возможность агрегирования по некоторым признакам. С другой стороны, ничем не оправданное уменьшение числа переменных может привести к потере точности экспериментов.
Для снижения числа признаков были использованы кластерный анализ, факторный анализ, метод корреляционных плеяд и вроцлавской таксономии, многомерное шкалирование.
Сравнение результатов для учебных текстов по философии и экономической теории, полученных с помощью разных методов многомерного статистического анализа, позволил сделать следующий вывод: во многих случаях совпадают не только отдельные признаки в группах, но и сами группы.
Для дальнейшего изучения характеристик текста важнейшей задачей является выделение наиболее информативного признака из каждой полученной группы. В данной работе для оценки информативности признаков в качестве информационной использовалась мера 3 (1, 2) расхождения между статистическими распределениями 1 и 2, подробно изученная С. Куль-баком. Для дискретных распределений эта мера вычисляется по формуле
3(хг / Аих! / А2) = I3(х / х! / А2) =
=I !§ р(х,; / А1! [ [ / А1) - р( ху / А2)],
1 Р( ху / А2 )
где А! и А2 — классы, которым может принадлежать рассматриваемый объект; 1 — номер диапазо-
на признака х; г — номер признака; Р(ху / А1) и Р(ху/ А2) — вероятность попадания объекта, принадлежащего к А1 или к А2, в диапазон 1 признака х.
По данной формуле были вычислены информационные меры каждого из 49 признаков, а затем отобраны те из них, которые обладают наибольшей информативностью среди признаков своей группы. В результате число признаков было сокращено до возможного минимума.
Для дальнейшего исследования характеристик текста и их влияния на понятность учебного материала на третьем этапе использовался дискриминантный анализ. При анализе дискриминантных функций в учет принимались только функции, у которых процент точности классификации — максимальный, а количество переменных при этом минимальное.
В текстах по философии чаще других фигурировали следующие признаки (в порядке убывания): 3 (длина текста в буквах), 24 (средняя длина слов в печатных знаках), 9 (средняя длина предложения в словах), 40 (средняя частота повторения слова), 1 (длина текста в абзацах), 43 (процент конкретных существительных), 48 (процент простых предложений); в текстах по экономической теории: 39 (процент неповторяющихся слов), 47 (процент сложных предложений), 48 (процент простых предложений), 15 (средняя длина самостоятельного предложения в слогах), 42 (процент повторяющихся существительных), 41 (процент неповторяющихся существительных).
Выделенные признаки позволяют сделать важный вывод относительно факторов трудности текста. Они связаны, прежде всего, с объемом текста (признак 3), длиной слов и предложений (признаки 9, 15, 24), со сложностью организации текста (признаки 1, 47, 48), богатством словаря и абстрактностью изложения материала (признаки 39, 40-43).
На основе дискриминантного анализа разработано решающее правило для отнесения учебных текстов по философии и экономической теории к группе легких или трудных.
Для подтверждения и адекватности представления разработанного решающего правила следовало реализовать его на практике программным путем. Программная реализация призвана решить прикладную задачу повышения качества учебной литературы в издательском деле.
Анализ программных средств для оценки трудности текстов показал, что реализация алгоритмов осуществляется, как правило, путем создания отдельной прикладной программы, а не за счет расширения базовых функций существующих текстовых редакторов (исключение составляет модуль И. Оборневой для оценки
трудности учебной литературы для общеобразовательной школы, который внедряется в программу MS Word).
На основании существующих разработок программных средств можно сформулировать следующие требования к программе:
— возможность интеграции программы в действующий процесс издательств;
— расширяемость, т. е. возможность повышения функциональности за счет написания дополнительных программных модулей, реализующих новые подходы к оценке трудности текста. В частности, в дальнейшем планируется разработка модуля для выделения наиболее сложных мест в тексте;
— возможность сохранять результаты работы (статистические показатели) в распространенных текстовых форматах (.txt, .doc и др.);
— организация диалога с пользователем посредством интуитивно-понятного графического интерфейса.
В соответствии с требованиями разработана программа Readability analysis, предназначенная для автоматизации оценки трудности учебных текстов для студентов вузов. Программа написана на языке Delphi (алгоритм представлен на рисунке) и включает в себя три подпрограммы: 1) «Расчет текстовых параметров»;
2) «Вычисление дискриминантных функций»;
3) «Вывод результатов».
Новизна разработанного алгоритма программы заключается в том, что при оценке трудности текста он учитывает только статистически значимые (наиболее информативные) параметры. Кроме того, в основе алгоритма лежит не уравнение регрессии, которое используется в большинстве известных алгоритмов, а решающее правило в виде дискриминантных функций, которое позволяет объективно оценить трудность учебного текста.
После разработки программы проведена верификация. С этой целью было отобрано восемь текстов по философии и столько же по экономической теории. Далее был проведен эксперимент с использованием балльных оценок. В эксперименте участвовало 50 человек. После этого была произведена оценка трудности этих же текстов с помощью разработанной программы. Точность результатов — 94% (15 совпадений из 16).
Практическая значимость программы Readability analysis связана с тем, что она может быть использована в редакционно-издательской деятельности при подготовке учебной литературы для высшей школы. Анализ трудности текста на стадии его подготовки и дальнейшее усовершенствование материала позволят привести уровень сложности учебного текста в соответствие со способностями читателей.
Укрупненная блок-схема программы Readability analysis
Выводы. Научная новизна предложенной методики оценки трудности учебного текста заключается в следующем:
- при разработке методики учитываются уровень подготовленности и способности обучающихся (студентов) путем проведения экспериментов, впервые для субъективной оценки трудности учебного текста использован метод парных сравнений;
- на основе анализа компонентов сложности текста выделены основные статистические характеристики учебных текстов для высшей школы;
- при реализации методики используется алгоритм, который учитывает только статистически значимые (наиболее информативные) параметры. Кроме того, в основе алгоритма лежит решающее правило, которое
позволяет объективно оценить трудность учебного текста.
Результаты исследования дают возможность продолжить автоматизацию редакционно-издательского процесса. Полная или частичная замена человека специализированной системой позволит добиться не только невозможного для человека быстродействия, но и необходимого качества изданий благодаря объективной оценке трудности текста на основе его информационных характеристик, полученных в опоре на восприятие читателей.
Результаты проведенного исследования прошли апробацию и внедрены в деятельность ряда государственных и частных издательств Республики Беларусь.
Литература
1. Перовский, Е. И. Методическое построение и язык учебника для средней школы / Е. И. Перовский // Известия АпН РСФСР. — 1955. — Вып. 63. — С. 3-139.
2. Микк, Я. А. Понятность учебного текста и связи в нем / Я. А. Микк // Советская педагогика и школа. — Тарту, 1970. — Вып. 2. — С. 5-72.
3. Унт, И. Э. Об умениях самостоятельной работы учащихся с учебниками по географии и истории 5-го класса / И. Э. Унт // Советская педагогика и школа. — Тарту, 1971. — Вып. 5. — С. 5-28.
4. Галкин, О. Репетиторы в ужасе от белорусских школьных учебников [Электронный ресурс]. — Режим доступа: http://www.tut.by. — Дата доступа: 20.02.2012.
5. Бейлинсон, В. Г. Арсенал образования: характеристика, подготовка, конструирование учебных изданий / В. Г. Бейлинсон. — М.: Книга, 1986. — 286 с. — (От рукописи — к книге).
6. Современная учебная книга: подготовка и издание / под ред. С. Г. Антоновой, А. А. Вахрушева. — М.: МгУП. 2004. — 224 с.
7. Подготовка учебных изданий в вузе: справ. пособие для авторов / сост. Л. М. Ки-цина, И. С. Сковородина. — Омск: Омск. гос. ун-т, 2004. — 127 с.
8. Филиппова, А. В. Управление качеством учебных материалов на основе анализа трудности понимания учебных текстов: автореф. дис. ... канд. техн. наук: 13.00.01 / А. В. Филиппова. — Уфа, 2010. — 20 с.
9. Антонова, С. Г. Работа редактора над изданиями учебного характера: типологическая характеристика учебных изданий / С. Г. Антонова // Университетская книга. — 2004. — №. 6. — С. 22—28; № 7. — С. 20-27.
Поступила 27.03.2012
