CC BY
64
ИННОВАЦИОННЫЕ ПЕДАГОГИЧЕСКИЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ
СРАВНИТЕЛЬНЫЙ КОМПЬЮТЕРНЫЙ АНАЛИЗ ТЕКСТА РОМАНА «ТИХИЙ ДОН» С ТЕКСТАМИ ЧЕТЫРЕХ РАССКАЗОВ
ФЁДОРА КРЮКОВА
В.А. Бубнов, А.В. Сурвило
Кафедра естественно-научных дисциплин Московский городской педагогический университет 2-й Тульский переулок, 4, Москва, Россия, 115191
В статье дается сравнительный формальный анализ текста романа «Тихий Дон» с текстами некоторых произведений Фёдора Крюкова. Применялись методы математической статистки, компьютерные технологии. Результаты проведенного анализа показывают, что текст «Тихого Дона» и тексты Фёдора Крюкова различаются по формальным математическим критериям, рассмотренным в данном исследовании.
Ключевые слова: частота, предложный спектр, задача об испытаниях, энтропия информации
Начиная с 1928 г., когда был опубликован роман Михаила Шолохова «Тихий Дон», выдвигались предположения о том, что Шолохов в действительности не является автором этого романа. История этих предположений такова. Первые слухи о плагиате появились в 1928 г. вместе с выходом первых двух томов «Тихого Дона» в журнале «Октябрь». Из них следовало, что Шолохов присвоил рукопись безвестного белого офицера, расстрелянного большевиками, взятую им из полевой сумки офицера, и опубликовал ее под своим именем. Для установления истинности указанных слухов Российская ассоциация пролетарских писателей организовала особую комиссию под председательством писателя А. Серафимовича. Этой комиссии Шолохов и представил рукописи, черновики и наброски всего того, что им было написано к этому времени. В конце марта 1929 г. «Правда» напечатала письмо от имени этой комиссии, в котором обвинения против Шолохова были отвергнуты как злостная клевета.
Однако в 1937—1938 гг. развернулась новая компания нападок, авторы которой утверждали, что действительным автором «Тихого Дона» был известный казачий писатель, участник Белого движения Фёдор Дмитриевич Крюков. Постепенно
активность этой кампании утихла и продолжила циркулировать в основном в среде русской эмиграции. Начиная с 1970-х гг. на западе (а после перестройки и в СССР, и в России) появляется ряд исследований, согласно которым «Тихий Дон» не принадлежит Шолохову. Эти исследования были поддержаны А.И. Солженицыным, который своим авторитетом нобелевского лауреата внес весомый вклад в поддержку версии о плагиате. В 1999 году после многолетних поисков Институту мировой литературы им. А.М. Горького РАН удалось разыскать считавшиеся утерянными рукописи 1-й и 2-й книг «Тихого Дона» — те самые, которые предъявлял Шолохов в 1929 г. комиссии. После этого сторонники авторства Шолохова сочли свою позицию безусловно доказанной. В свою очередь, многие сторонники версии о плагиате продолжают настаивать на своей правоте. Подробно аргументы сторонников версии плагиата изложены в [7], где также приведены субъективные факты, влияющие на достоверность указанной версии.
По нашему мнению, только формальный математический анализ текста романа «Тихий Дон» может исключить всякий субъективизм при доказательстве той или иной версии относительно авторства этого произведения. Действительно, любой текст есть набор букв, из которых формируются слова, а из слов строятся предложения. Слова делятся на неделимые единицы, обилие которых в предложениях позволяют, с одной стороны, каждому человеку при построении предложений выдерживать индивидуальность, а с другой стороны, индивидуальность речи можно отличить формальными математическими характеристиками текста.
На это обстоятельство впервые обратил внимание выдающийся русский ученый-энциклопедист Н.А. Морозов [6]. Рассматривая вопрос о том, какие слова могут определять индивидуальность склада речи, он обратил внимание на то, что такие группы слов, как имена существительные, прилагательные и глаголы зависят от содержания текста и частота их употребления ничего не скажет об индивидуальности автора. Слова же текста, определяющие индивидуальность автора, Н.А. Морозов назвал распорядительными частицами, к числу которых он отнес, в частности, предлоги в, на, с.
Н.А. Морозов впервые предложил по частоте таких частиц узнавать авторов, как будто по чертам их портретов. Для этого необходимо построить графики, в которых каждую распорядительную частицу располагать на горизонтальной линии, а число их повторений — на вертикальной, и сравнивать эти графики между собой у различных авторов. Подобные графики Н.А. Морозов назвал лингвистическими спектрами, а исследование различных текстов с их помощью — лингвистическим анализом. Чтобы упростить спектры, он разделил их на предложные, союзные и местоименные. По его подсчетам оказалось, что у русских авторов часто повторяющимися оказались предлоги в, на, с, поэтому их графики Н.А. Морозов назвал предложными спектрами.
Технология расчетов Н.А. Морозова такова: отсчитывается первая тысяча слов любого текста, и затем подсчитывается число встретившейся той или иной служебной частицы. Далее строится график — спектр. Однако методика расчетов Н.А. Морозова подверглась критике, суть которой такова. Если для подсчета частоты той или иной служебной частицы брать исследуемые 1000 слов текста в разных местах одного и того же произведения, то частота появления данной ча-
стицы может резко измениться, что, в свою очередь, изменит характер лингвистического спектра.
В рамках математической задачи об испытаниях в [2] все результаты Н.А. Морозова были пересчитаны с использованием компьютерных технологий. Оказалось, что во всех текстах, изученных Н.А. Морозовым, для частот появления в тексте предлогов в, на, с имеет место так называемый закон устойчивости частот. И как следствие этого предложенные спектры, построенные в рамках указанного закона, качественно совпадают с предложными спектрами Н.А. Морозова.
Сущность уточненной методики Н.А. Морозова, предложенной в [2], сводится к следующему. Поиск числа повторений той или иной частицы среди выбранного количества слов исследуемого текста отождествляется с известной задачей математической статистики о повторении испытаний, т.е. количество слов текста будем считать числом испытаний п, а число mi повторений частицы — числом появлений события. Тогда можно ввести понятие частоты
4 = ^ (1)
П
как отношение указанных чисел.
В математической статистике известны случаи, когда при увеличении числа испытаний числовые значения частот колеблются около некоторой величины и отклонения частот от указанной величины уменьшаются с ростом числа испытаний. Как правило, в качестве таковой величины принимается среднее арифметическое Рср частот Р; и это Рср согласно известной теореме Я. Бернулли принимается в качестве вероятности появления данного события при одном испытании. Если в формуле (1) символом i будем обозначать номер серии испытаний, то Рср необходимо вычислять так:
1 N
Рср = N ^ Р,
Л -1 (2)
где N — число серий.
В работах [3; 5] применительно к текстам четырех томов романа М.А. Шолохова расчет Рср для предлогов в, на, с производится следующим образом. Текст каждого из томов романа делится на фрагменты из десяти тысяч слов. Далее начинаем разыскивать число повторений каждого предлога в первом фрагменте текста из десяти тысяч слов. В этом случае число испытаний п1 = 10000 назовем первой серией испытаний, а получившееся число т1 повторений данного предлога следует считать числом появлений разыскиваемого события. Теперь по формуле (1) можно вычислить частоту Р1 для данного предлога, полученную частоту в первой серии испытаний. Для получения частоты Р2 надо к первому фрагменту текста добавить второй и для п2 = 20000 с учетом нового значения т2 вычислить Р2 по (1). Указанный процесс продолжается до тех пор, пока таким анализом не будет охвачен весь исследуемый текст. Полученный таким образом набор чисел Р1 покажет, имеет ли место закон устойчивости частот.
Расчеты, проделанные в [3; 5], показали, что частоты рассматриваемых предлогов в текстах всех томов романа носят колебательных характер относительно частоты Рср. Чтобы оценить эти колебания количественно, для каждого из предлогов вычислялись модули величин |Рср — PJ. Из этих модулей для каждого предлога выбирались максимальные значения, обозначаемые как Дв, Дна, Ас и принимаемые за погрешности вычисления предлогов в, на, с соответственно. В таблицах 1, 2 приведены заимствованные из [3] и [5] средние частоты рассматриваемых предлогов и погрешности их вычислений.
Таблица 1
Средние частоты предлогов в, на, с романа «Тихий Дон»
Номер тома «Тихого Дона» Средние частоты Рср предлогов
в на с
1 0,0180 0,0160 0,0093
2 0,0176 0,0130 0,0083
3 0,0176 0,0145 0,0093
4 0,0153 0,0142 0,0101
Таблица 2
Погрешности вычисления предлогов в, на, с.
Номер тома «Тихого Дона» Дв Дна Дс
1 0,0014 0,0014 0,0004
2 0,0020 0,0019 0,0018
3 0,0015 0,0011 0,0005
4 0,0029 0,0010 0,0008
Для контент-анализа всех четырех томов «Тихого Дона» вернемся к данным табл. 2 и введем понятие средней частоты Р для каждого из предлогов, которая является средней арифметической величиной всех Рср из табл. 2. Величины P для изучаемых предлогов представлены в табл. 3. Очевидно, что величина Р вычислена с некоторой погрешностью из-за колебательного характера величины Р. Чтобы учесть эту погрешность, возьмем из табл. 2 максимальные величины Дв, Дна, Ас, которые обозначим через Amax. Эти Amax суть максимальные погрешности для всех томов «Тихого Дона».
Теперь индивидуальность текста «Тихого Дона» определяется частотой появления предлогов в, на, с, определяемой по формуле Р ± Amax, где величины Р и Amax берутся из табл. 3. Полученный таким образом частотный спектр назовем интегральным, который иллюстрирует табл. 3.
Таблица 3
Интегральный частотный спектр «Тихого Дона»
Величины в на с
P 0,0171 0,0144 0,0092
Dmax 0,0029 0,0019 0,0018
Расчеты в [3; 5] выполнены в программе Microsoft Excel, а тексты томов «Тихого Дона» брались из сети Интернет.
Изложенную методику формального анализа текста романа «Тихий Дон» применим для анализа сочинений Фёдора Крюкова. Известно, что сочинения Крю-
кова имеют форму достаточно коротких рассказов. Для анализа выбраны четыре из них, наибольшие по объему, а именно: «Казачка», «Мечты», «Зыбь» и «Товарищи». Соответствующие расчеты проводились в программе Microsoft Excel. Оказалось, что во всех текстах этих рассказов соблюдается закон устойчивости частот. В качестве примера рис. 1—3 иллюстрируют колебательный характер поведения частот Pt относительно Рср для предлогов в, на, с в рассказе «Казачка». На этих рисунках согласно излагаемой методике через i обозначается номер серии испытаний, объемы которых отличается друг от друга на тысячу слов текста, а через Pi — частота, соответствующая этой серии для рассматриваемого предлога.
Рис. 1. Закон устойчивости частот для предлога в («Казачка»)
Рис. 2. Закон устойчивости частот для предлога на («Казачка»)
Рис. 3. Закон устойчивости частот для предлога с («Казачка»)
Наличие закона устойчивости частот позволяет при дальнейшем анализе текстов оперировать со средними частотами (табл. 4) и погрешностями их вычислений (табл. 5).
Таблица 4
Средние частоты предлогов в, на, с в произведениях Крюкова
Название рассказа Средние частоты Рср предлогов
в на с
«Казачка» 0,02205 0,01668 0,01497
«Мечты» 0,02049 0,01853 0,0134
«Зыбь» 0,02318 0,01650 0,0124
«Товарищи» 0,02231 0,01447 0,0137
Таблица 5
Погрешности вычисления предлогов в, на, с в текстах Крюкова
Название рассказа Дв Дна Дс
«Казачка» 0,006053 0,001988 0,003033
«Мечты» 0,001515 0,001031 0,00264
«Зыбь» 0,005822 0,004997 0,0046
«Товарищи» 0,001806 0,009527 0,00275
Данные табл. 4 и 5 позволяют вычислить параметры интегрального частотного спектра (табл. 6) согласно излагаемой методике.
Таблица 6
Интегральный частотный спектр текстов Крюкова
Величины в на с
P 0,022005 0,016546 0,013619
Dmax 0,006053 0,009527 0,004600
Теперь для установления отличия текстов «Тихого Дона» и текстов Крюкова произведем по данным табл. 3 и 6 анализ частотных спектров рассматриваемых текстов. Графики этих спектров иллюстрирует рис. 4.
Рис. 4. Интегральный частотный спектр: 1 — текст «Тихого Дона», 2 — тексты Крюкова
Из указанных таблиц и рис. 4 видно прежде всего различие числовых характеристик сравниваемых спектров. Оба спектра представляются ломанными линиями, которые фиксируют уменьшение частоты Р с той лишь разницей, что одна из них выпуклая «вверх», а другая — «вниз». Более строго указанное отличие в поведении данных ломаных можно выявить, если произвести вычисления их конечных разностей, характеризующих быстроту изменения функциональных зависимостей. Для этого введем следующие формулы первых конечных разностей:
Ар(на) = Р(в) - Р(на); Ар(с) = Р(на) - Р(с).
В этих формулах, например через Р(в) обозначена частота Р интегрального спектра, соответствующая предлогу в.
Эти первые конечные разности аналогичны значениям первых производных для непрерывных функций. Вторая конечная разность А2 = Ар(на) — Ар(с) будет являться аналогом второй производной.
Результаты вычислений указанных разностей для рассматриваемых интегральных частотных спектров представлены в табл. 7.
Таблица 7
Разностные характеристики интегральных спектров
Авторы Первые разности Вторые разности
Ар(на) Ар(с) А2
М.А. Шолохов 0,0027 0,0052 -0,0025
Ф.Д. Крюков 0,0055 0,0029 0,0026
Из данных табл. 7 видно, что по формальным математическим признакам тексты М.А. Шолохова и Ф.Д. Крюкова существенно различаются.
Еще одним математическим критерием текста можно считать числовые значения энтропии информации Н, определяемые по формуле Шеннона так:
н = —ЕрДобР (3)
Здесь через р{ обозначена вероятность или частота /-го события, а величина Н, измеряемая в битах, определяет количественную меру информации.
При компьютерном анализе поэтических текстов поэта Н. Рубцова [1] под частотой р^ рассматривалось, во-первых, частота появления слов на начальную букву алфавита и тогда р/ определялось так:
р=Ж' (4)
где Ы1 — общее число слов в тексте, а п( — количество слов, начинающихся на конкретную букву.
Во-вторых, под событием подразумевалось появление в тексте /-той буквы русского алфавита, тогда расчет частоты выполнялся по формуле
Рг =—, (5)
1 N2' ( )
где Ы2 — общее число букв в тексте, а п1 — количество конкретной 1-той буквы в тексте.
В соответствии с такими вычислениями частот рг будем обозначать через И1 энтропию текста, когдар{ вычисляется по (4) и, соответственно, Щ, когдар{ вычисляется по (5).
Кроме критерия Н в [1] использовался еще один критерий, производный от чисел н1 и н2 и определяемый так:
д = |Н — Н1|. (6)
Данный критерий позволил различать поэтические тексты, у которых величины Н1 и Н2 близки от текстов, у которых они различны [1].
В работе [4] с помощью программы Microsoft Excel производились вычисления величин Иь И2 и Д для всех четырех томов «Тихого Дона». Результаты этих расчетов, заимствованные из [4], воспроизводит табл. 8.
Таблица 8
Энтропия информации текстов «Тихого Дона»
Номер тома «Тихого Дона» Hi H2 А = |H2 - Hi |
1 4,270544 4,503909 0,233365
2 4,255536 4,486839 0,231303
3 4,251409 4,482925 0,231516
4 4,266298 4,481266 0,214968
Для сравнительного анализа текстов Фёдора Крюкова с текстом «Тихого Дона» в программе Excel произведены вычисления величин Щ, H2 и А для рассматриваемых рассказов — «Казачка», «Мечты», «Зыбь», «Товарищи» (табл. 9).
Таблица 9
Энтропия информации текстов Крюкова
Название рассказа H1 H2 А = |H2 - H1I
«Казачка» 4,232620 4,450131 0,217511
«Мечты» 4,300671 4,482414 0,181743
«Зыбь» 4,253745 4,488271 0,234526
«Товарищи» 4,222869 4,476084 0,253215
Из сравнения данных табл. 8 и 9 можно заключить, различие текста «Тихого Дона» и текстов Крюкова состоит в том, что у Шолохова критерий А лежит в пределах от 0,214968 до 0,233365, а у Крюкова — от 0,181743 до 0,253215.
В [4] подмечено определенное число букв, для которых соблюдается закон устойчивости частот от одного тома «Тихого Дона» к другому одновременно для р^ вычисляемым по формулам (4) и (5). При этом погрешность отклонения частот р1 от одного тома к другому не привышала величины 0,005.
Перечень таких букв и их частоты в диапазоне от минимальных значений до максимальных Ртах представлены в табл. 10. К этим данным, заимствованным из [4], в правой части указанной таблицы приведены частоты тех же букв применительно к анализируемым текстам Крюкова.
Таблица 10
Сравнительный анализ диапазона изменения частот некоторых букв для «Тихого Дона» и произведений Крюкова
Буква Текст «Тихого Дона» Произведения Крюкова
Pi по (4) Pi по (5) P, по (4) Pi по (5)
P min P max P min P max P min P max P min P max
а 0,0173 0,0191 0,0829 0,0875 0,0138 0,0156 0,0779 0,0851
е 0,0155 0,0181 0,0738 0,0762 0,0161 0,0317 0,0766 0,0824
ж 0,0106 0,0133 0,0086 0,0098 0,0101 0,0134 0,0087 0,0108
з 0,0293 0,0335 0,017 0,0186 0,0299 0,0355 0,0176 0,0186
Окончание табл. 10
Буква Текст «Тихого Дона» Произведения Крюкова
Р, по (4) Р, по (5) Р, по (4) Р, по (5)
P min P max P min P max P min P max P min P max
м 0,0302 0,0334 0,0277 0,0294 0,0284 0,0386 0,0289 0,0323
с 0,0991 0,1016 0,049 0,0521 0,0994 0,1152 0,0510 0,0547
у 0,0260 0,0268 0,0317 0,0339 0,0254 0,0314 0,0310 0,0342
ф 0,0028 0,0047 0,0012 0,0016 0,0012 0,0144 0,0009 0,0034
х 0,0109 0,0128 0,0105 0,0118 0,0081 0,0121 0,0092 0,0102
ц 0,0018 0,0033 0,0035 0,0050 0,0014 0,0033 0,0028 0,0041
ч 0,0230 0,0273 0,0128 0,0139 0,0215 0,0251 0,0131 0,0148
ш 0,0079 0,0112 0,0112 0,0123 0,0049 0,0112 0,0094 0,0117
щ 0,0010 0,0022 0,0024 0,0030 0,0002 0,0009 0,0024 0,0037
э 0,0058 0,0101 0,0013 0,0019 0,0092 0,0110 0,0018 0,0020
ю 0,0005 0,0007 0,0056 0,0066 0,0001 0,0003 0,0052 0,0061
я 0,006 0,0093 0,0201 0,0238 0,0064 0,0127 0,0195 0,0213
Анализ данных табл. 10 свидетельствует о том, что диапазоны частот от Pmin до
Pmax отобранных букв в тексте «Тихого Дона» и в текстах Крюкова различаются.
Итак, текст «Тихого Дона» и тексты Фёдора Крюкова различаются по формальным математическим критериям, рассмотренным в данном исследовании.
ЛИТЕРАТУРА
[1] Бубнов В.А. Информатика и информация: знаково-символьный аспект: монография. М.: БИНОМ. Лаборатория знаний, 2015. 320 с.
[2] БубновВ.А., Сурвило А.В. Формальный анализ авторской индивидуальности литературного произведения // Информатика и образование. 2007. № 8. С. 83—87.
[3] Бубнов В.А., Сурвило А.В. Предложные спектры Н.А. Морозова и контент-анализ романа М.А. Шолохова «Тихий Дон» // Информатика: проблемы, методология, технологии: материалы Международной научно-практической конференции (г. Воронеж, 6—8 февраля 2014 г.). Воронеж: Издательский дом ВГУ, 2014. Т. 3. С. 254-248.
[4] Бубнов В.А., Гринь П.В. Частотный анализ текста романа М.А. Шолохова «Тихий Дон» // Информатика: проблемы, методология, технологии: материалы Международной научно-практической конференции (г. Воронеж, 6-8 февраля 2014 г.). Воронеж: Издательский дом ВГУ, 2014. Т. 3. С. 242-244.
[5] Бубнов В.А., Сурвило А.В. Опыт информатизации учебного процесса при обучении студентов гуманитарных специальностей // Вестник Московского городского педагогического университета. Серия «Информатика и информатизация образования». 2014. № 2 (28). С. 82-91.
[6] Морозов Н.А. Лингвистические спектры: средства для отличия плагиата от истинных произведений того или иного известного автора. Стилистический этюд // Известия отделения русского языка и словесности Императорской академии наук. 1915. Т. XX. Кн. 4. С. 3-26.
[7] Хватов А. Художественный мир Шолохова. М.: Советская Россия, 1970. 29 с.
COMPARATIVE COMPUTER ANALYSIS OF THE TEXT THE NOVEL «THE QUIET DON » WITH TEXTS OF FOUR FYODOR KRYUKOV'S STORIES
V.A. Bubnov, A.V. Survilo
Chair of natural-science disciplines Moscow city pedagogical university 2-j Tul'skijpereulok, 4, Moscow, Russia, 115191
In article the comparative formal analysis of the text of the novel "The Quiet Don" with texts of
some works of Fyodor Kryukov is stated. Methods of the mathematical mute, computer technologies
were applied. Results of the carried-out analysis show that the text of "The Quiet Don" and Fyodor
Kryukov's texts differ by the formal mathematical criteria considered in this research. Key words: frequency, a prepositional range, a task about tests, entropy of information
REFERENCES
[1] Bubnov V.A. Informatika i informacija: znakovo-simvol'nyj aspekt: monografija [Informatik's tambourines and information: sign and symbolical aspect: monograph]. M.: BINOM. Laboratorija znanij, 2015. 320 p.
[2] Bubnov V.A., Survilo A.V. Formal'nyj analiz avtorskoj individual'nosti literaturnogo proizvedenija [Formal analysis of author's identity of the literary work]. Informatika i obrazovanie [Informatics and education]. 2007. no 8. pp. 83—87.
[3] Bubnov V.A., Survilo A.V. Predlozhnye spektry N.A. Morozova i kontent-analiz romana M.A. Sholohova «Tihij Don» [Prepositional ranges of N.A. Morozov and content analysis of the novel of M.A. Sholokhov "Quiet Don"]. Informatika:problemy, metodologija, tehnologii:materialy Mezhdunarodnoj nauchno-prakticheskoj konferencii (g. Voronezh, 6—8 fevralja 2014 g.) [Informatics: problems, methodology, technologies: materials of the International scientific and practical conference (Voronezh, on February 6-8, 2014).]. Voronezh: Izdatel'skij dom VGU, 2014. T. 3. pp. 254-248.
[4] Bubnov V.A., Grin'P.V. Chastotnyj analiz teksta romana M.A. Sholohova «Tihij Don» [Frequency analysis of the text of the novel of M.A. Sholokhov "Quiet Don"]. Informatika: problemy, metodologija, tehnologii: materialy Mezhdunarodnoj nauchno-prakticheskoj konferencii (g. Voronezh, 6—8 fevralja 2014g.). [Informatics:problems, methodology, technologies: materials of the International scientific and practical conference (Voronezh, on February 6-8, 2014). ].Voronezh: Izdatel'skij dom VGU, 2014. T. 3. pp. 242-244.
[5] Bubnov V.A., Survilo A.V. Opyt informatizacii uchebnogo processa pri obuchenii studentov gumanitarnyh special'nostej [Experience of informatization of educational process when training students of humanitarian specialties]. VestnikMoskovskogogorodskogopedagogicheskogo universiteta. Serija «Informatika i informatizacija obrazovanija» [Bulletin of the Moscow city pedagogical university. "Informatics and Informatization of Education" series.]. 2014. no 2 (28). pp. 82-91.
[6] Morozov N.A. Lingvisticheskie spektry: sredstva dlja otlichija plagiata ot istinnyh proizvedenij togo ili inogo izvestnogo avtora. Stilisticheskij jetjud [Linguistic ranges: means for difference ofplagiarism from true works of this or that famous author. Stylistic etude]. Izvestija otdelenija russkogojazyka i slovesnosti Imperatorskoj akademii nauk [News of office of Russian and literature of Imperial academy of Sciences]. 1915. T. XX. no. 4. pp. 3-26.
[7] HvatovA. Hudozhestvennyj mir Sholohova [Art world ofSholokhov]. M.: Sovetskaja Rossija, 1970. 29 p.
