Компьютерная коррекция таджикского текста, набранного без использования специфических букв Текст научной статьи по специальности «Компьютерные и информационные науки»

ДОКЛАДЫ АКАДЕМИИ НАУК РЕСПУБЛИКИ ТАДЖИКИСТАН ______________________________________2011, том 54, №1___________________________________

ИНФОРМАТИКА

УДК 811.222.8 + 81’322

Академик АН Республики Таджикистан З.Д.Усманов, Х.А.Эвазов*

КОМПЬЮТЕРНАЯ КОРРЕКЦИЯ ТАДЖИКСКОГО ТЕКСТА, НАБРАННОГО БЕЗ ИСПОЛЬЗОВАНИЯ СПЕЦИФИЧЕСКИХ БУКВ

Институт математики АН Республики Таджикистан,

*Технологический университет Таджикистана

Статья посвящена описанию алгоритма автоматического исправления ошибок, допускаемых в таджикском тексте при наборе на компьютерной клавиатуре с русским алфавитом.

Ключевые слова: таджикский язык - кириллица - специфические буквы - коррекция ошибок - словоформа - статистика - частота встречаемости - меню пользователя.

Несмотря на то, что стандарт таджикской компьютерной графики на основе и№СОББ, утвержденный Постановлением Правительства Республики Таджикистан № 330 от 02.08.2004 г., рекомендован к применению на территории республики, многие пользователи персонального компьютера по разным причинам игнорируют его, набирая таджикские тексты на нестандартной графике или же просто на клавиатуре с русским алфавитом. В последнем случае, довольно распространенном, в тех или иных словах набираемого текста сознательно вносится систематическая ошибка правописания, обусловленная замещением специфических таджикских букв г, й, к, у, х, ч ( Т|-буквы) их аналогами г, и, к, у, х, ч по правилу, которое обозначим через А = Т] ^ Яц;

г ^ г, й ^ и, К ^ К, у ^ у, X ^ X , Ч ^ ч,

то есть буква г заменяется буквой г, й - буквой и, к - буквой к и т.д. В результате преобразований возникают цепочки букв, по которым не так уж просто восстановить исходные слова, послужившие прообразами таких цепочек, и тем самым устранить допущенные ошибки. Причина в том, что цепочке букв при обратном отображении А-1 = Яц ^ Т];

г ^ г, и ^ й, к ^ К, у ^ у, X ^ X, Ч ^ ч,

может соответствовать не один, а несколько прообразов. Приводимые далее примеры наглядно демонстрируют отмеченную неоднозначность отображения и одновременно дают представление о том, какого рода задачи приходится решать для реализации с помощью компьютера автоматического исправления допущенных ошибок.

Пример 1. Т -словоформа ХУКУК после замены специфических таджикских букв записывается в виде буквенной цепочки хукук, которая не является таджикской словоформой.

Пример 2. Т|-словоформа чой (место) преобразуется в цепочку чой (чай), которая является таджикской словоформой.

Адрес для корреспонденции: Эвазов Хисрав Азизович. 734061, Республика Таджикистан, г. Душанбе, ул.Н.Карабаева, 63/3, Технологический университет Таджикистана. E-mail: khisrav.evazov@bk.ru

Пример 3. Таджикской словоформе рухи, не содержащей специфических букв, соответствует Т)-словоформы рухи, рухи, рухи и рухй.

В настоящей статье предлагается алгоритм коррекции таджикского текста с использованием данных о частотах встречаемости словоформ.

1. База данных, используемая в алгоритме, сформирована в результате статистической обработки таджикских текстов объемом в 5000 страниц, заключивших в себе 9 419 634 словоформ. В [1] установлено, что соответствующий этим данным частотный словарь с 106 684 словоформами содержит 47 351 словоформ со специфическими таджикскими буквами (Т)-словоформы), то есть 44.38% от объема частотного словаря, и 59 333 словоформ без Т)-букв, то есть 55.62%.

Воспользовавшись А = Т ^ Яц отображением, сопоставим каждой Т)-словоформе Т)*-цепочку, образовав тем самым пары, которые рассматриваются в качестве элементов вспомогательного множества В’. Исключив из В’ все те пары, в которых Т)*-цепочки не являются словоформами таджикского языка, получаем множество В’’. Присоединив к каждому элементу пары в качестве атрибута её частоту встречаемости в частотном словаре, получим искомую базу данных В, используемую в работе алгоритма коррекции таджикского текста. Отметим, что в В каждой Т)-словоформе соответствует единственная Т)*-цепочка букв - таджикская словоформа, не содержащая ни одну из специфических таджикских букв, в то время как конкретной Т)*-цепочке букв могут отвечать несколько Т)-словоформ. Добавим к сказанному, что в базе данных В содержатся 1572 Т)*-цепочек и 1650 Т)-словоформ.

Определённое представление о структуре множества В можно получить из таблицы, в которой приводятся сведения о Т)-словоформах, содержащих всего лишь одну специфическую таджикскую букву.

Таблица

Определённое представление о структуре множества В

Т) -буква Число Т) -словоформ с одной Т)-буквой

г 11

й 1369

К 64

У 0

* 78

Ч 34

X 1556

Из таблицы видно, что среди общего числа 1650 Т|-словоформ, содержащихся в базе данных В, подавляющая часть (1556) состоит из словоформ с одной специфической таджикской буквой, причем наибольшие проблемы связаны с присутствием в слове буквы й.

2. Алгоритм коррекции текста описан далее в концептуальной форме.

1. Начало.

2. Ввод текста.

3. Ввод первого слова.

4. Проверка слова на наличие в нем букв г, и, к, у, х, ч.

5. Если нет ни одной из таких букв, то перейти к пункту 11.

6. Поиск слова в базе данных В.

7. Искомого слова в базе В нет. Перейти к пункту 11.

8. Выбрать Т)-словоформы, которые послужили прообразами анализируемого слова.

9. Сравнить частоты встречаемости Т)-словоформ и анализируемого слова.

10. Заменить анализируемое слово тем из элементов, который имеет максимальную частоту. Другие варианты предложить пользователю в виде меню со списком словоформ по убыванию их частотности.

11. Перейти к следующему слову.

12. Если следующее слово отсутствует, то перейти к пункту 14.

13. Вернуться к пункту 4.

14. Конец.

Обратим внимание на п. 10. В нем не исключается возможность того, что анализируемое слово не подвергнется исправлению. Согласно алгоритму, это происходит в том случае, когда частота встречаемости слова окажется больше частотности словоформ-претендентов. Если же пользователь не приемлет коррекцию, выполненную алгоритмом, то он может обратиться к иным вариантам, предлагаемым в меню.

По данному алгоритму создана компьютерная программа, реализующая автоматическую коррекцию текста удовлетворительного качества.

ЛИТЕРАТУРА 1. Эвазов Х.А. - ДАН РТ, 2010, т. 53, № 12, с.903-906.

З.Ч,.Усмонов, Х.А.Эвазов*

ТАХ,РИРИ КОМПЮТЕРИИ МАТНИ ТОЧ,ИКЙ БЕ ИСТИФОДАИ Х,АРФХ,ОИ МАХСУС ВОРИДШУДА

Институти математикаи Академияи илмх;ои Цум^урии Тоцикистон,

Донишго^и технологии Тоцикистон

Макола ба тасвири алгоритми дуруст намудани автоматии хатогих,ое, ки хднгоми ворид намудани матни точикй тарики тугмадони компютер бо хдрфх,ои алифбои русй ба вучуд мео-янд, бахшида шудааст.

Калима^ои калиди: забони тоцикй - кирилли - уарфуои махсус - таурири хатогиуо - калима -омор - басомади вохури - руйхати истифодабаранда.

Z.D.Usmanov, Kh.A.Evazov*

COMPUTER EMENDATION OF TAJIK TEXT TYPED WITHOUT USING SPECIFIC LETTERS

Institute of Mathematics, Academy of Sciences of Republic of Tajikistan,

*Technological University of Tajikistan

The article is devoted to description of an algorithm of emendation Tajik text typed on a computer keyboard with Russian alphabet.

Key words: Tajik language - Cyrillic alphabet - specific letters - errors correction - wordforms - statistics - frequency of occurrence - user menu.