Алгоритм распознавания строк на изображениях кассовых чеков методом сегментации Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.932.2

Е.Ф. Стукалина

канд. техн. наук, доцент, кафедра «Вычислительная техника», ФГБОУ ВПО «Ижевский государственный технический университет им. М. Т. Калашникова»

М.О. Еланцев

магистрант, кафедра «Программное обеспечение», ФГБОУ ВПО «Ижевский государственный технический университет им. М. Т. Калашникова»

Л.М. Опоева

магистрант, кафедра «Программное обеспечение», ФГБОУ ВПО «Ижевский государственный технический университет им. М. Т. Калашникова»

АЛГОРИТМ РАСПОЗНАВАНИЯ СТРОК НА ИЗОБРАЖЕНИЯХ КАССОВЫХ ЧЕКОВ МЕТОДОМ СЕГМЕНТАЦИИ

Аннотация. В статье описан алгоритм распознавания строк на изображениях кассовых чеков путем анализа функций яркости изображений; предложен метод подавления бликов.

Ключевые слова: сегментация, компьютерное зрение, подавление бликов, кассовый чек.

E.F. Stukalina, Kalashnikov Izhevsk State Technical University

M.O. Elantcev, Kalashnikov Izhevsk State Technical University

L.M. Opoeva, Kalashnikov Izhevsk State Technical University

ALGORITHM OF RECEIPTS LINES RECOGNITION BASED ON SEGMENTATION

Abstract. The article reads about algorithm of receipts lines recognition by analysis of image brightness function. Method of light spot suppression is given.

Keywords: segmentation, computer vision, light spot suppression, receipt.

Задача распознавания текстовой информации при переводе печатного текста в электронный вид является одной из важнейших. Распознавание текста на изображениях используется в бухгалтерских системах, системах оцифровки библиотечных фондов, в документообороте и т.д. Можно выделить следующие этапы распознавания текстовых изображений:

1. нахождение текстовой области;

2. разбиение текстового изображения на строки;

3. распознавание символов.

Данная статья посвящена этапу разбиения текстового изображения на строки. Этот этап может быть усложнен следующими факторами, снижающими вероятность успешного разбиения:

• геометрические искажения изображений;

• наличие шума;

• низкое разрешение;

• наличие бликов;

• неверная экспозиция.

С учетом этих факторов был разработан алгоритм, представленный на рисунке 1.

Рисунок 1 - Схема алгоритма сегментации на строки

В качестве предварительной обработки используются перевод изображения в серое, операция автоконтраста, обрезка краев до первого символа и нормализация размера изображения.

Практика показывает, что зачастую на изображении присутствуют блики, которые неравномерно искажают функцию яркости изображения. Для устранения горизонтального влияния блика изображение разбивается на 25 вертикальных частей, и далее каждая из частей обрабатывается отдельно. Количество частей выбрано экспериментально так, чтобы ширина каждой части соответствовала ширине одного символа чека (колонки). По каждой из частей производится операция автоконтраста, а затем вычисляется функция яркости по следующей формуле:

wi/ ч

/ с (х, у)

^^ х=W/ \ ' /

Ь (У ) =

(1)

где ( - индекс вертикальной части; ™ - ширина вертикальной части; с(х,у) - изображение чека после предобработки.

Рисунок 2 - Изображение чека и график соответствующей ему функции яркости Ь1 (у)

Главные максимумы функции Ь1 (у) (рис. 2) соответствуют промежуткам между строками. Поскольку фон чека в большинстве случаев однородный, на графике максимумы должны лежать на одной прямой. Это условие не выполняется из-за вертикального влияния бликов, поэтому необходимо преобразовать функцию так, чтобы главные максимумы находились на одной прямой. Для выбора главных максимумов используется следующий алгоритм:

1. первый максимум считается главным;

2. каждый из следующих максимумов добавляется во временный список. Для него выбирается ближайший максимум из уже добавленных - такой, чтобы угол между ними был наименьшим. Все максимумы между текущим и выбранным удаляются из временного списка;

3. все максимумы, оставшиеся во временном списке, считаются главными.

Полученные максимумы используются для преобразования функции Ь1 (у) согласно

формуле:

к0У + С0,ту0 < У < К1у1

к1у + Со ту1 < у < ту 2

ь; ( у )=

к-1у+сы-г тчы-1 < у < т

'Ы-1'" 'уЫ-1

к = ь (к+1)- ь (к)

7 к+1- к

уЫ

(2)

(3)

С1 =-ту1к1 + Ь (ту])

(4)

где т - координата главного максимума; N - количество главных максимумов.

Рисунок 3 - Преобразование функции яркости для подавления блика

После преобразования (рис. 3), отбор зон предполагаемых строк можно выполнить с помощью отсечения по порогу. Однако в эти зоны могут попасть не только символы, но и темные области шума или пустот, поэтому необходимо уточнение зон.

Зоны предполагаемых строк, содержащие символы, характеризуются резким локальным перепадом яркости. Для их определения используется следующий алгоритм:

1. осуществляется размытие зон фильтром Гаусса [1] для подавления случайного шума:

1

-(и2 )

2

А(х,у) = —Ух+г Уу+Г е 2<-2 I(х + и,у + V)

\ / 2пГ ^^ и=х-г =у-г \ ' /

(5)

где I - изображение зоны предполагаемой строки, г - радиус размытия (экспериментально выбрано значение 5);

2. выделяются области перепада яркости оператором Собеля [2]:

6 ^ ^ + Су2

-1 2 -1

6у = 0 0 0

+1 +2 +1

-1 0 +1"

6 = -2 0 +2

-1 0 +1

А

•А;

(6)

(7)

(8)

3. из зон предполагаемых строк вычитаются области с интенсивностью перепада яркости меньше, чем заданный порог.

На рисунке 4 показан результат выполнения алгоритма уточнения зон предполагаемых строк.

Для определения итоговых строк каждая из зон предполагаемых строк голосует за начало и конец строки по своей верхней и нижней границе соответственно. Итоговые начало и конец строки вычисляются отдельно как центр масс [3] всех голосов в окрестности:

У к=0 к

а =

У

т

т==0 Vk

(9)

где

т - количество вариантов расположения начала или конца строки в окрестности; ук - расположение начала или конца строки; vk - количество голосов за это расположение.

ТГВН ЯВ .'МОИ! Гс

Teijw.tw* ibK ет _ йвк.впж»'/«»*«!^!!-

а) б) в)

Рисунок 4 - Уточнение зон перепада яркости: а) неравномерно освещенное изображение после операции автоконтраста по каждой колонке; б) найденные кандидаты на строки;

в) уточненные кандидаты на строки

Результатом исследований и проделанной работы является разработанный и реализованный алгоритм распознавания строк на изображениях кассовых чеков методом сегментации. Вероятность неверного распознавания строки на изображении составляет 4,472%. Это является хорошим показателем, учитывая, что для анализа расходов полезную информацию несут в среднем 80% строк чека.

Наиболее проблемное место алгоритма - разбиение строки с большим размером шрифта на две строки. Для устранения проблемы алгоритм может быть улучшен путем учета нескольких возможных вариантов размеров шрифта. Кроме того, размер строк может быть уточнен на этапе распознавания символов.

Список литературы:

1. Прэтт У. Цифровая обработка изображений. М.: Мир, 1982. 311 с.

2. Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. М.: Техносфера, 2005. 1070 с.

3. Физическая энциклопедия / гл. ред. А.М. Прохоров. М.: Большая рос. энцикл., 1993.