CC BY
65
РАЗРАБОТКА КОЛИЧЕСТВЕННОЙ МЕТОДИКИ ОЦЕНКИ ТРУДНОСТИ ВОСПРИЯТИЯ УЧЕБНЫХ ТЕКСТОВ ДЛЯ ВЫСШЕЙ ШКОЛЫ
Ю.Ф. Шпаковский (Белорусский государственный технологический университет) Научный руководитель - к.филол.н., доцент Л.И. Петрова (Белорусский государственный технологический университет)
В статье рассмотрены основные этапы разработки количественной методики для оценки трудности восприятия учебного текста для высшей школы (на материале текстов по химии). С этой целью была определена однозначная функциональная зависимость в виде статистической формулы, связывающей величины текстовых параметров и успешность понимания текста. Создание объективной методики позволит дать практические рекомендации авторам учебных текстов и редакторам таких текстов по их оптимизации в целях более успешного усвоения материала.
Введение
В настоящее время в сфере образования происходят существенные изменения, которые не могли не коснуться учебной литературы. За последние годы выросло количество учебных изданий для высшей школы, однако их качество, по мнению специалистов, не всегда соответствует требованиям, предъявляемых к изданиям подобного типа.
Одним из основных требований к учебным текстам является их простота и доступность изложения в них новой информации. В редакционно-издательской практике вопрос доступности материала автор и редактор решают в настоящее время, опираясь лишь на свою интуицию и профессиональный опыт. Отсутствие научной методики при оценке трудности восприятия учебного текста для высшей школы определило цель работы: разработать количественную методику оценки трудности восприятия учебного текста для высшей школы.
Разработка уравнения регрессии для оценки трудности восприятия учебного текста для высшей школы
Попытки объяснить, почему один текст для читателей сложнее (или легче), чем другой, и какие элементы внутри материала влияют на его усвоение, исследователи принимали уже давно. Например, в начале 30-х гг. прошлого столетия два американских ученых, У. Грей и Б. Лири, провели обширное исследование, опрашивая журналистов, редакторов, библиотекарей, педагогов с целью выяснить, чем обусловлено понимание или непонимание материала читателями [1]. Все факторы были сведены в четыре группы:
(1) содержание материала;
(2) язык и стиль произведения;
(3) организация материала (последовательность основных и второстепенных положений, правильное разбиение на параграфы и т.д.);
(4) внешнее оформление издания (формат издания, шрифт, иллюстрации, композиционные выделения и т.д.).
Исследования подобного рода получили бурное развитие в США в начале ХХ столетия и известны под словом «читабельность». Э. Дейл и Дж. Чолл под данным словом понимают «... некоторую характеристику печатного материала, зависящую от всех элементов внутри данного материала, которые влияют на успешность его усвоения определенной группой читателей. Мерой такого успешного усвоения является то, насколько средний читатель интересующей нас группы понимает исследуемый материал, в какой мере скорость, с которой он его читает, приближается к оптимальной, и, наконец, какой интерес представляет данный материал для этого среднего читателя» [2].
Следует отметить, что к проблеме исследования читабельности возможны два подхода - качественный и количественный [3].
При качественном подходе с помощью массовых опросов компетентных лиц пытаются выяснить, чем, по их мнению, обусловлена читабельность печатного материала. В вышеупомянутой работе У. Грея и Б. Лири используется именно этот подход. Данные, полученные в результате таких опросов, позволяют получить общее представление о факторах, влияющих на успешность усвоения печатного материала лицами с различной степенью подготовленности. Такой подход используется редко, так как полученные данные недостаточно надежны, а проведение таких опросов связано с большими организационными трудностями. Эти опросы помогают получить ряд гипотез о существовании факторов, от которых зависит трудность текста, но не могут помочь определить, насколько труден тот или иной материал для человека с определенным запасом знаний и навыков.
В связи с этим был разработан количественный метод для определения читабельности различных печатных изданий. При количественном подходе к изучению трудности восприятия текста сначала выбирается определенная группа лиц, а затем исследуется трудность понимания различного печатного материала для среднего читателя этой группы. Таким образом, утверждение, что текст А более труден, чем текст Б, значит, что текст А менее понятен случайной выборке из исследуемой группы лиц, чем текст Б, или текст А более труден, чем текст Б, если для адекватного понимания текста А и Б требуется, чтобы средний читатель имел более высокий образовательный уровень.
Выяснив путем опроса или тестирования читателей относительную трудность восприятия всех исследуемых текстов, экспериментатор стремится выявить все свойства, присущие текстам, которые дали бы возможность с достаточной степенью точности прогнозировать трудность их понимания. Очевидно, что совокупность факторов, предсказывающих степень понимания того или иного текста, даст объективный метод прогноза лишь в том случае, если можно будет надежно измерить эти факторы.
Таким образом, при количественном изучении читабельности встает проблема выяснения зависимости между оценкой трудности восприятия текста для определенной группы читателей, получаемой в результате тестирования, и объективными характеристиками этого текста. Для решения этой проблемы М. Вогель и К. Уошберн предложили использовать следующую схему [4].
1. На первом этапе экспериментатор производит репрезентативную выборку текстов из общей совокупности, трудность которых он собирается в дальнейшем определять при помощи данной формулы читабельности, и ранжирует выбранные тексты по их трудности для понимания средним представителем определенной группы лиц.
2. На втором этапе работы находится совокупность надежно измеряемых характеристик, общих для всех текстов, которые с максимальной степенью точности определяли бы степень их трудности, т.е. коэффициент множественной корреляции которых с оценками трудности текстов был бы максимальным.
3. На последнем этапе находится функция, которая бы однозначно описывала зависимость между успешностью понимания данного материала случайной выборкой интересующей группы лиц и определенной комбинацией упомянутых выше характеристик. Полученное уравнение регрессии, связывающее оценку трудности восприятия текста с рядом формальных элементов текста, называется формулой читабельности.
Практическое применение формул читабельности заключается в том, чтобы прогнозировать трудность восприятия материала для определенной группы читателей.
В нашем исследовании экспериментальным материалом послужили тексты из учебных изданий по химии для высших учебных заведений [5-9]. В качестве испытуемых выступали 150 студентов 3-го курса Белорусского государственного технологического университета (специальности химического профиля).
Исходя из предложенной схемы, на первом этапе были найдены объективные критерии, определяющие трудность восприятия текста отмеченной категорией читателей. С этой целью были проведены психолингвистические эксперименты по восприятию текстов с помощью двух методик: методики дополнения и экспертных оценок трудности восприятия текста [10, 11].
Методика дополнения (предложена в 1953 году Тэйлором) - это заполнение пропусков в тексте, в котором слова через определенный интервал заменены точками. Плюсы данной методики состоят в том, что пропускается всегда только одно слово, и слова пропускаются не по собственному усмотрению исследователя, а по определенным строгим правилам. Правильными считались не только слова, которые употребил автор, но и все словарные и контекстуальные синонимы.
Суть 2-го метода заключалась в следующем: после прочтения отрывка испытуемым предлагалось оценить его трудность по шестибалльной шкале: 1 - очень легкий текст; 2 - легкий текст; 3 - текст со средней трудностью; 4 - трудный текст; 5 - очень трудный текст; 6 - сверхтрудный текст.
Для того чтобы исключить поверхностное знакомство испытуемых с текстом, что исказило бы результаты при оценке трудности его восприятия, студентам перед суждением о трудности восприятия текста по шкале предлагалось выписать несколько ключевых слов и выразить основное содержание отрывка одним предложением. Эти меры заставили испытуемых тщательно изучить тексты. При тестировании фиксировалось также время работы с текстом.
По данным этих экспериментов были найдены объективные психолингвистические критерии, определяющие трудность восприятия текста. Среди них: процент неправильно заполненных пропусков и время работы с текстом (с использованием методики дополнения), средняя оценка трудности восприятия текста и время работы с ним (с использованием экспертных оценок трудности восприятия текста).
На втором этапе были выявлены текстовые параметры, величины которых позволили оценить сложность текста [11]. Всего было выделено 83 признака (например, средняя длина предложения, процент числа неповторяющихся слов, процент числа конкретных существительных). Анализ учебного текста по химии для высшей школы позволил сделать следующий вывод: трудность восприятия и понимания учебных текстов по химии, помимо общепризнанных параметров (длина слова, длина предложения, абстрактность существительных и др.), зависит также во многом от наличия и числа в таком тексте химических и математических формул, количества таблиц и иллюстраций, числа терминов, ключевых слов и типа распределения таких слов по тексту.
В связи с этим в нашем исследовании впервые выделено 22 параметра, связанных со спецификой учебного материала. К их числу относятся, например, количество таблиц и иллюстраций, процент числа всех терминов, процент числа всех ключевых слов, количество информации, процент числа условных обозначений в химических реакциях и математических формулах.
На третьем этапе были разработаны способы измерения величин текстовых параметров. Для этого одни признаки измерялись вручную (например, процент числа сложных и простых предложений, процент числа ключевых слов и терминов, процент числа существительных и т.д.), другие - с помощью компьютерных программ (например, средняя длина абзаца и предложения и др.), третьи - с помощью экспериментальных подсчетов, полученных с привлечением студентов (например, процент числа незнакомых слов, процент числа слов с различной трудностью межсловных связей).
Как известно, длина предложения является существенным показателем его сложности, что связано с кратковременной памятью человека. В связи с этим на данном этапе была определена допустимая трудность межсловных связей в предложении и максимальное количество слов, которое студент 3-го курса может запомнить при первом
чтении. Под трудностью связи слова следует понимать количество слов, которое следует запомнить, чтобы образовалась эта связь. Так как слова в предложении связаны, и это влияет на запоминание, необходимо было узнать, насколько грамматические и семантические связи увеличивают количество запоминаемых слов. В результате экспериментов мы выяснили, что допустимая трудность межсловных связей в предложении не должна превышать 4,61 несвязанных слова, каждая грамматическая связь позволяет запомнить на 0,81 слова больше, каждая семантическая связь - на 1,18 слова больше. Семантические связи между отдельными парами слов для разных людей различны, что зависит от подготовленности читателя, его уровня образования и т. д. В нашей работе сила семантической связи определялась экспериментально. В связи с этим в уравнении целесообразно учитывать только грамматические связи.
В результате было составлено следующее уравнение: У = 4,61 + 0,81Х, где У - количество слов, которые необходимо запомнить для образования самой длинной связи этого слова; X - количество уже образовавшихся грамматических связей между словами.
На основе этой модели было вычислено максимальное количество слов, которое студент 3-го курса может запомнить при первом чтении, равное 16-ти словам. Для определения трудности связей слова уравнение имеет вид: Я = У - 0,81Х, где Я - трудность связей слова; У - количество слов, необходимых запомнить для образования самой длинной связи этого слова; X - количество уже образовавшихся грамматических связей между теми же словами.
Таким образом, цель автора и редактора - ограничить трудность связи слова. Это позволит читателю осознавать связи с первого раза чтения и не возвращаться к уже прочитанному, теряя время.
Последняя важнейшая задача исследования - анализ взаимосвязи между степенью понимания учебного текста и его сложностью, который станет основанием для разработки уравнения регрессии для определения трудности восприятия учебного текста по химии для высшей школы.
Проблема установления характера взаимосвязей и выявления степени воздействия различных факторов на трудность восприятия учебного материала решалась с помощью шагового регрессионного анализа в программе «Статистика».
Регрессионный анализ проводился по каждой зависимой переменной, и все выделенные существенные факторы заносились в табл. 1.
Показатели трудности текстов Факторы
У1 (84) — методика дополнения (ответы испытуемых) 53, 69, 27, 65, 46, 55, 30, 52, 6, 79, 9, 51, 64, 38, 36, 74, 13, 80, 32, 62, 26, 59, 60, 58, 76, 22
У2 (85) — методика дополнения (время работы с текстом) 53, 39, 42, 63, 52, 83, 54, 73, 9, 44, 65, 68, 29, 50, 19, 16, 74, 40, 64, 57, 61, 30, 46, 77, 70, 48
У3 (86) — шкалирование (оценка трудности текста по шкале) 53, 2, 69, 42, 65, 75, 55, 74, 26, 27, 28, 76, 43, 77, 8, 9, 50, 41, 51, 49, 30, 54, 23, 67, 70, 79
У4 (87) — шкалирование (время работы с текстом) 9, 38, 57, 52, 56, 41, 81, 72, 8, 27, 4, 77, 65, 53, 55, 61, 28, 69, 75, 1, 82, 32, 34, 51, 68
Таблица 1. Распределение факторов по показателям трудности текста
Для наглядности факторы можно распределить по частоте (табл. 2). Очевидно, что чем больше встречается определенный фактор трудности текста, тем более существенным является он в оценке его трудности.
Таким образом, регрессионный анализ позволил сделать вывод о наиболее существенных факторах трудности текста. Ими оказались следующие факторы: «средняя
длина предложения в словах» (9); «процент числа незнакомых слов» (53) и «процент числа сложносочиненных предложений» (65). На их основе был проведен шаговый регрессионный анализ.
Встречаемость факторов
1 раз 2 раза 3 раза 4 раза
1, 2, 4, 6, 13, 16, 8, 26, 28, 32, 38, 27, 30, 51, 52, 55, 9, 53, 65
19, 22, 23, 29, 34, 41, 42, 46, 50, 54, 69, 74, 77
36, 39, 40, 43, 44, 57, 61, 64, 68, 70,
48, 49, 56, 58, 59, 76, 79
60, 62, 63, 72, 73,
80, 81, 82, 83
Таблица 2. Распределение факторов трудности текста по частоте
Значимым оказался только один фактор - «процент числа незнакомых слов» (53). Линейное регрессионное уравнение на основе данного фактора имеет следующий вид: 7 = 38,65 + 0,652X53. (1)
Коэффициент множественной корреляции равен 0,65. Несмотря на то, что модель является достоверной (р-уровень значимости критерия Фишера меньше 0,05), уравнение с таким низким коэффициентом корреляции не является надежным. Кроме того, его применение будет затруднено по той причине, что в формуле используется фактор «процент числа незнакомых слов» (53). Данный признак текста определялся экспериментально, т.е. испытуемые подчеркивали незнакомые слова в тексте. Провести такой предварительный анализ не всегда возможно, поэтому следует разработать другое уравнение регрессии.
Далее было принято решение провести новый регрессионный анализ и включить в него все признаки текстов, которые связаны с фактором 53. Корреляционная матрица выявила связь со следующими признаками: длина текста в словах (2); средняя длина слов в буквах (23); средняя длина слов в печатных знаках (24); средняя длина слов по Деверу (25); процент числа слов длиной в 13 букв и больше (34); процент числа всех терминов (в единицах) (42); процент числа неповторяющихся терминов (в словах) (43); процент числа всех терминов (в словах) (44); процент числа абстрактных (чувственных и непредметных) существительных (48); процент числа прилагательных (50); процент числа пар слов с трудностью межсловных связей выше 4 (56); минимальная трудность межсловных связей (62); количество таблиц (75). Трудно понять, как с фактором «процент числа незнакомых слов» (53) связаны признаки 56 - процент числа пар слов с трудностью межсловных связей выше 4, 62 - минимальная трудность межсловных связей, 75 - количество таблиц. Но оставим их для регрессионного анализа. Кроме того, опираясь на здравый смысл, было добавлено еще несколько признаков, таких, как процент числа неповторяющихся слов (39), процент числа неповторяющихся словоформ (40), процент числа неповторяющихся терминов (в единицах) (41), средняя частота повторения слова (64), процент числа неповторяющихся ключевых слов (78), процент числа всех ключевых слов (79).
Пошаговый регрессионный анализ с данной группой признаков для каждого показателя трудности восприятия текста выявил следующие существенные факторы: «процент числа слов длиной в 13 букв и больше» (34), «процент числа неповторяющихся слов» (39), «процент числа всех терминов (в словах)» (44), «процент числа абстрактных (чувственных и непредметных) существительных» (48), «процент числа прилагательных» (50), «минимальная трудность межсловных связей» (62) и «процент числа всех ключевых слов» (79). Следовательно, на трудность восприятия учебного текста влияют длина слов, их абстрактность, количество разных слов, процент числа терминов и клю-
чевых слов, а также минимальная трудность связи. Влияние большинства из названных факторов на трудность восприятия текста было доказано в предыдущих исследованиях по читабельности научно-популярных текстов, материалов из средств массовой информации. Но появились относительно новые факторы, что связано с особенностями учебного текста.
Как показывает корреляционно-регрессионный анализ, для учебного материала, помимо известных факторов трудности текста (длина предложения, количество разных слов, их абстрактность), немаловажную роль играет число терминов и ключевых слов. Этот вывод должны принять во внимание не только составители вузовских учебников, но и лица, ответственные за их выпуск (в частности, редакторы). Удовлетворительное уравнение регрессии, учитывающее фактор «средняя длина предложения в словах» (9) и один из вышеперечисленных факторов, получить не удалось. Наиболее оптимальное полученное уравнение имеет вид:
У2 = 59,54 + 0,349X39 + 0,554X44 - 0,55X62. (2)
Коэффициент множественной корреляции равен 0,83. Однако применение и этой формулы затруднено из-за фактора «минимальная трудность межсловных связей» (62). Хотя сегодня статистической обработкой текста занимается компьютер, но даже он не в силах подсчитать трудность межсловных связей по Ингве. Поэтому лучше вычислить формулу без учета этого фактора:
У2 = 3,27 + 0,713X39 + 0,528X44. (3)
Коэффициент множественной корреляции равен 0,72. Частная корреляция факторов «процент числа неповторяющихся слов» (39) и «процент числа всех терминов (в словах)» (44) показала, что оба фактора являются самостоятельными. Очевидно, что качество анализа текста в данном случае будет зависеть от качества подключаемых словарей к программе анализа читабельности текста. Поэтому, несмотря на хорошие показатели полученной формулы, попробуем найти ей альтернативу.
Для этой цели в шаговый регрессионный анализ были включены признаки, которые встречались 2 раза. И этот анализ не дал положительных результатов, выявив дополнительно такие наиболее существенные факторы, как «процент числа слов длиной в 6 букв и больше» (27), «процент числа глаголов» (51) и «процент числа придаточных предложений среди общего числа фраз» (69).
Далее было решено провести анализ признаков, которые встречались 3 раза. Были выделены значимые факторы «процент числа слов в 6 слогов и больше» (38); «процент числа неповторяющихся терминов (в единицах)» (41); «процент числа простых предложений» (68) и получено следующее уравнение регрессии:
У4 = 0,034 + 0,392X38 - 0,43X9. (4)
Коэффициент множественной корреляции равен 0,61. Несмотря на невысокий коэффициент корреляции, эта формула достаточно проста в применении. Подсчет факторов «средняя длина предложения в словах» (9) и «процент числа слов в 6 слогов и больше» (38) не представляет особой трудности как при ручной, так и при машинной обработке текста. Однако низкое значение коэффициента корреляции заставляет продолжить поиски более надежной формулы.
С этой целью в шаговый регрессионный анализ были включены признаки текстов из второй и третьей групп. По результатам анализа было получено две формулы. В первую вошли факторы «процент числа слов длиной в 9 букв и больше» (30), «процент числа всех терминов (в единицах)» (42) и «процент числа условных обозначений в химических реакциях» (76).
У2 = 20,24 + 0,48X30 + 0,58X42 + 0,41X76. (5)
Коэффициент множественной корреляции равен 0,78. Несмотря на то, что в данную формулу не вошел фактор «средняя длина предложения в словах» (наиболее рас-
пространенный фактор трудности текста), следует полагать, что это наиболее удачная из всех разработанных формул.
Необходимо также отметить, что в формуле (3) использовался однородный фактор «процент числа всех терминов (в словах)» (44), сумма интеркорреляций которого наибольшая - 13,24. Но использование его в данной формуле понижает коэффициент множественной корреляции до 0,68. Для анализа текста без химических реакций можно воспользоваться следующей формулой (коэффициент корреляции равен 0,67): 72 = 25,57 + 0,6X30 + 0,97X42. (6)
Прежде чем использовать разработанные формулы, следует определить их надежность и валидность.
Надежность уравнения зависит от следующих показателей:
а) общей длины анализируемых отрывков;
б) точности измерения факторов трудности текста, входящих в уравнение регрессии.
В 60-70-х гг. исследователи уделяли достаточно внимания рассмотрению данных вопросов. Сегодня информационные технологии настолько усовершенствованы, что решение этих двух вопросов сводится к созданию программного обеспечения для оценки трудности восприятия текста определенной категории читателей.
Под валидностью инструмента измерений обычно понимается степень, в которой удается измерить именно ту характеристику, которую намеревались измерять при помощи данного инструмента. В нашем случае с помощью разработанных уравнений делается попытка измерить трудность восприятия текста. Дж. Клэар выделяет три характеристики валидности [12]:
а) точность моделирования читабельности текстов, взятых в основу разработки формулы;
б) перекрестная валидность, которая характеризует степень совпадения показателей читабельности, вычисленных по различным формулам;
в) валидность, определяемая по внешнему критерию.
Точность моделирования читабельности текстов можно оценить с помощью следующих основных показателей: множественный коэффициент корреляции (R), множественный коэффициент детерминации (R2), стандартная ошибка оценки (standard error of estimate), F-критерий Фишера и уровень значимости критерия Фишера (F, p). Значения показателей для разработанных формул приведены в табл. 3.
Показатели Номер формулы
1 2 3 4 5 6
R 0,65 0,83 0,72 0,61 0,78 0,67
R2 0,42 0,69 0,48 0,38 0,61 0,46
Standard error 4,5 3,63 4,42 0,004 4,08 4,71
F 19,2 18,09 13,8 7,78 12,6 10,7
Р 0,0016 0,000002 0,00008 0,0023 0,00003 0,0004
Таблица 3. Значения основных показателей для созданных уравнений
Выполненный анализ показал, что все разработанные формулы являются адекватными моделями, но для практического применения следует использовать формулу, удобную для компьютерной реализации и наиболее надежную по вышеприведенным показателям. Формула (4) достаточно проста для применения, факторы «средняя длина предложения в словах» (9) и «процент числа слов в 6 слогов и больше» (38) легко рассчитать. Но формула (4), наряду с формулами (1), (3) и (6), имеет невысокий множественный коэффициент корреляции, что снижает ее надежность. Самый высокий коэффициент корреляции у формулы (2), но ее использование ограничено трудно определяемым фактором «минимальная трудность связи» (62). Таким образом, наилучшей яв-
ляется формула (5) с коэффициентом корреляции 0,78, F-критерием Фишера 12,6 и р-уровнем значимости 0,00003. Применение уравнения предполагает наличие словаря химических терминов, что при наличии информационных технологий является выполнимой задачей.
Заключение
Исходя из анализа, можно сделать вывод, что для оценки трудности восприятия текста по химии можно использовать формулу (5), в которую вошли следующие факторы: «процент числа слов длиной в 9 букв и больше» (30), «процент числа всех терминов (в единицах)» (42) и «процент числа условных обозначений в химических реакциях» (76).
Таким образом, в работе впервые разработана количественная методика оценки трудности восприятия учебного материала для высшей школы, что позволило дать практические рекомендации авторам учебных текстов и редакторам таких текстов по их оптимизации в целях их более успешного усвоения.
Результаты работы внедрены в практику ряда отечественных издательств Республики Беларусь («Вышэйшая школа», «Харвест»).
Литература
1. Gray, W.S. What makes a book readable / W.S. Gray, B.Leary. - Chicago: Chicago University Press, 1935.
2. Dale, E. The concept of readability / E. Dale, J.S. Chall // Elementary English. - 1949. -№ 26. - P. 23.
3. Шпаковский Ю.Ф. Трудность текста и ее измерение / Ю.Ф. Шпаковский, Л.И. Петрова // Труды Белорусск. гос. технолог. ун-та. Сер. IX, Издательское дело и полиграфия. - 2003. - Вып. XI. - С. 8-11.
4. Vogel, M. An objective method of determining grade placement of children's reading material / M. Vogel, C. Washburne // Elementary school journal. - 1928. - № 28 - P. 373-381.
5. Карапетьянц М.Х. Общая и неорганическая химия: учебник / М.Х. Карапетьянц, С.И. Дракин. - 2-е изд., перераб. и доп. - М.: Химия, 1992. - 592 с.: ил.
6. Пилипенко, А.Т. Аналитическая химия: кн. 1 / А.Т. Пилипенко, И.В. Пятницкий. -М.: Химия, 1990. - 480 с.: ил.
7. Стромберг А.Г. Физическая химия: учеб. для хим.-технол. спец. вузов / А.Г. Стромберг, Д.П. Семченко; под ред. А.Г. Стромберга. - 2-е изд., перераб. и доп. - М.: Высш. шк., 1988. - 496 с.: ил.
8. Фролов Ю.Г. Курс коллоидной химии (поверхностные явления и дисперсные системы): учебник для вузов / Ю.Г. Фролов. - М.: Химия, 1982. - 400 с.: ил.
9. Щербина А.Э. Органическая химия. Реакционная способность основных классов органических соединений: учеб. пособие для студ. хим.-технол. спец. / А.Э. Щербина [и др.]. - Мн.: БГТУ, 2000. - 624 с.: ил.
10. Шпаковский Ю.Ф. Экспериментальное определение трудности текстов по химии / Ю.Ф. Шпаковский, Н.И. Шишкина // Славянские языки: системно-описательный и социокультурный аспекты исследования: материалы респуб. научно-метод. конф. (1213 ноября 2003 г.). - Брест: Изд-во УО «БрГУ им. А. С. Пушкина», 2003. - С. 298-301.
11. Шпаковский Ю.Ф. Формулы читабельности как метод оценки качества книги / Ю.Ф. Шпаковский // Квалшопя книги: збiрник наукових праць. - Львiв, 2003. -С. 39-48.
12. Klare, G.R. The measurement of readability / G.R. Klare. — Ames, Iowa: Iowa State University Press, 1963.
