CC BY
71
Уфимкин А.Я. ЭФФЕКТИВНОЕ ПРЕДСТАВЛЕНИЕ, КОДИРОВАНИЕ И СЖАТИЕ ГРАФИЧЕСКОЙ ИНФОРМАЦИИ С ИСПОЛЬЗОВАНИЕМ ПРЕОБРАЗОВАНИЙ ДЛЯ ИНТЕЛЛЕКТУАЛЬНЫХ ТЕЛЕКОММУНИКАЦИОННЫХ СИСТЕМ
В статье описаны результаты исследований возможностей представления, кодирования и сжатия графической информации на основе использования преобразований с учетом особенностей, характерных для графических изображений. Используются адаптивное цветотоновое преобразование изображений, центроидное преобразование изображений и пребразование изображений в цепные коды.
Проблема передачи больших объемов информации по каналам связи телекоммуникационных систем (ТС) продолжает сохранять свою актуальность. Решение этой проблемы в значительной мере осложняется тем, что передаваемая информация имеет сложную структуру и разнообразные формы организации.
В настоящее время наметилась определенная тенденция «интеллектуализации» представления информации при решении задач ее обработки, хранения и передачи (т.н. интеллектуальные ТС - ИТС) [3]. Эта тенденция проявляется в том, что существующие хорошо развитые методы кодирования (сжатия, упаковки) информации [1] начинают постепенно заменяться на более сложные (но, одновременно, и более эффективные) методы, основанные на анализе специфики содержательной стороны информации, в отличие от формальной стороны, слабо учитывающей специфику описываемых этой информацией объектов, процессов и явлений. Такие методы представления информации имеют более адаптированный характер представления объектов соответствующей предметной области. Можно сказать, что информационные системы такого уровня в большей степени «понимают» смысл обрабатываемой, хранимой и передаваемой информации.
Одной из наиболее актуальных на сегодняшний день задач представления сложной информации в ИТС является задача анализа многомерных сигналов (в первую очередь, изображений), ввиду их чрезвычайно большой информационной емкости, сложности структуры и разнообразия.
Графические информация, для которой характерно априорное ее структурирование, образует обширный сегмент представления данных в форме изображений, которые не слишком эффективно обрабатываются существующими методами. Причина этого в том, что присущие им внутренние корреляции чрезвычайно сильно и избирательно связаны с упорядоченной и организованной их пространственной структурой. Поэтому отсутствие учета этой структуры приводит в частности к существенному снижению показателей сжатия графической информации, а также к снижению производительности процедур кодирования и декодирования.
В связи с этим актуальной являются задачи разработки таких методов представления и кодирования графической информации, которые, с одной стороны, учитывали бы специфику графических изображений, а с другой стороны, повысили бы уровень их понимания в ИТС, что, в свою очередь, обеспечило бы возможность решения широкого круга практических задач обработки, хранения и передачи информации за счет более эффективного и согласованного взаимодействия ИТС с другими информационными системами.
Одним из возможных направлений работ по повышению эффективности представления графической информации в ИТС является использование возможностей поэтапной обработки графических изображений таким образом, чтобы на каждом этапе достигались определенные эффективные показатели, характеризующие представление и кодирование передаваемой информации. В частности, показатели ее сжатия, производительности процедур кодирования и декодирования, а также показатели эффективности дальнейшего использования переданной по каналам связи информации. На каждом из таких этапов обработки изображений образуются собственные модели и форматы данных, что естественным образом порождает полиморфизм представления данных. В частности, показатели сжатия видеоинформации могут повыситься на несколько порядков.
Представление изображений связано со способом их формирования. Так графический способ, реализуемый посредством последовательного нанесения на плоскость изображения его структурных элементов, предполагает в своей основе структурное представление, т.к. эти элементы размещаются в соответствии с некоторым априорно определенным планом построения (ПП) изображения. Этот план имеет пространственный характер и может существовать в виде зрительного образа в сознании человека, создающего изображение, или в структурах данных программ машинной графики, синтезирующих изображение. Результатом являются искусственно созданные графические изображения (ГИ) объектов, воспроизводящие их пространственную структуру [4, 5].
Многообразие всевозможных разновидностей ГИ чрезвычайно велико: карты, планы, схемы, чертежи, рисунки и другие графические документы, различные графические знаки (в т.ч. алфавитно-цифровые символы и иероглифы), пиктографические указатели и т.д. Современный графический интерфейс программ также оформляется в виде ГИ на экране дисплея компьютера.
Таким образом, ГИ характеризуются наличием априорно заданной структурной организации в воспроизводимых изображениях.
Другой характерной особенностью ГИ является то, что изображения создаются целенаправленно как средство передачи информации в ее графической форме. Для этого в изображении воспроизводится только необходимая для передачи информация, представленная в таких графических формах, которые обеспечивают простоту процесса восприятия полученной информации и не допускают неоднозначности ее интерпретации. Для этого изображения объектов обобщаются и, в той или иной мере, подвергаются стилизации. В зависимости от предметной области, в которой используются ГИ того или иного вида, разрабатываются легенды или системы стилизованных условных обозначений изображаемых объектов, что обеспечивает их воспроизведение в наглядной легко воспринимаемой образно-знаковой форме. Кроме того, для обеспечения наилучшего восприятия создаваемых ГИ обычно используется относительно небольшое количество хорошо различаемых цветов или тонов. В частности, большое количество типов графических документов создается в двухцветной шкале, содержащей только белый (фон) и черный (смысловые элементы) цвета, что обусловлено, в первую очередь, ограничениями, присущими традиционному полиграфическому процессу. Таким образом, ГИ характеризуются достаточно жесткой регламентацией графических характеристик воспроизведения изображений.
Таким образом, можно заключить, что отличительными признаками ГИ являются их пространственная и графическая определенность.
Пространственная определенность означает, что каждая точка изображения принадлежит единственному и вполне определенному структурному элементу (СЭ) изображения, который может являться объектом, либо быть частью одного или нескольких объектов в соответствующей предметной области. Тем самым реализуется структурная обусловленность изображений их ПП, когда каждое графическое изображение строится в соответствии с априорным планом, определяющим местоположение, смысловые характеристики и взаимосвязи его СЭ.
Графическая определенность заключается в том, что для каждого СЭ точно указана его графическая форма, определяемая видом изображаемого объекта и его смысловыми характеристикам. Изображение составляется из таких графических форм в соответствии с некоторой заранее заданной их номенклатурой или легендой, предусматривающей определенное графическое исполнение изображений объектов в форме условных знаков. Использование условных знаков обеспечивает передачу семантики изображения при визуальном восприятии за счет ассоциирования знаков с образами объектов в соответствующей предметной области. Легенда графикации (ЛГ) изображений всегда существует в явном или неявном виде независимо от конкретного изображения и может
использоваться для построения большого многообразия различных изображений соответствующего класса. Типичные примеры - системы условных знаков для топографических карт и планов, системы условных обозначений для радиоэлектронных схем и т.д.
Таким образом, каждое ГИ полностью определяется двумя своими компонентами - пространственной, описывающей пространственную структуру изображения и представляемой его ПП, и графической, определяющей воспроизведение его структуры с использованием условных знаков и представляемой ЛГ изображений.
Достаточно очевидно, что все СЭ, составляющие ГИ, можно подразделить на три типа - планарные, линейные и точечные. Планарные СЭ выражаются в масштабе изображения и их местоположение определяется областью (размерность 2) их размещения на изображении. Все графические формы планарных СЭ сводятся к заполнению этой области определенным тоном, цветом или рисунком. Поперечный размер линейных СЭ не выражается в масштабе изображения и их местоположение определяется трассой (размерность 1) их размещения на изображении, вдоль которой прокладывается условный знак того или иного вида линии, соответствующий виду элемента. Такая линия должна иметь некоторую толщину, что необходимо для ее визуального восприятия. Точечные СЭ не выражаются в масштабе изображения и их местоположение определяется точкой (размерность 0) их позиционирования на изображении, которая совмещается с заранее заданной фиксированной точкой соответствующего условного знака, представляющего собой локализованную графическую конструкцию (символ, пиктограмму) определенного размера, необходимого для визуального восприятия элемента.
В результате размещения на плоскости в поле изображения совокупности графических форм планарных, линейных и точечных СЭ различного вида воспроизводится пространственная структура ГИ. Виды этих элементов визуально различаются по их графическим формам. Важно отметить, что эти формы могут быть подвергнуты замене, что никак не отражается на пространственных (геометрико-топологических) свойствах и характеристиках изображения. Таким образом, графические формы сами по себе не являются определяющими для пространственной структуры изображений, но являются необходимыми для обеспечения зрительного интерфейса человека, воспринимающего ГИ. Поэтому, следует различать первичную чисто пространственную компоненту изображения - его ПП, и связанную с ней вторичную графическую компоненту - ЛГ изображений.
Одним из перспективных путей решения задачи эффективного представления и кодирования ГИ в ИТС является использование преобразований, таких как центроидное преобразование [5], адаптивное цветотоновое преобразование (АЦТП) [2] и преобразование изображений в цепные коды [4]. Первые два метода используют настраиваемые окна с заданными размерами и формой. Для пиксела с координатами (/, /) окно
образуется совокупностью п пикселов в его окрестности ^(/,/) = | (г + /к,/ + /) | к = 1,п| , где /к , / - ве-
личины смещений пикселов окна относительно положения центрального пиксела (/,/) .
Центроидное преобразование изображения 1(/, 3) в общем случае заключается в вычислении вектора центроида (сх (/, 3 ),Су (/, ])) для каждого пиксела:
X ('•-/)I('•,/) X (>)I('•,/)
Сх(/,/)=( .X I(/■,/) ■ С^3)=( ..X I(/• • Г) ' (1!
( г л )е^(/^1/') ( I Л ) £^(/^1/')
после чего формируется производное центроидное изображение с(/, 3) . Для этого создается «пустое» изображение Z(/,/)= 0 , которое затем модифицируется:
Со (/,3) = Z(/',/) +1 , если / = Сх(0,0) , 3 = Су (0,0) ,
Ст+1 (/,3) = Ст (/,3)+1 , если /=/+ Сх (Л/) , 3 = /+ Су (/*,/*) , (2)
где индекс т = /+ М/ нумерует пикселы изображения размера МхN , соответственно, /'* = т — М
3 =
( [а] - целая часть числа а !
т
м
т М _
В частном случае окно ^(/,/) может иметь вид строчного или столбцового интервала. Центроидное
преобразование обладает отчетливо выраженными селективными свойствами по отношению к СЭ, проявляет при этом субпиксельные эффекты и позволяет обнаруживать линейные СЭ вне зависимости от их стиля [5].
Дальнейшая обработка центроидным фильтром заключается в пороговом выделении на центроидном изображении пикселов с высокой яркостью и вычислении для них величин диссипации Н и экстента к (при этом возможна смена размеров и формы окна):
X (/*—г) 2!(/*,3)
Н. М-(/*/Н//. , • .•'-С,- (/,/) , (3!
/..X :(/,з)
(< ,] )еъ{и)
к о, 3 )^712нТ(/^/) . (4)
По величине экстента оцениваются структура и размеры поперечного сечения линейных СЭ (или их участков), либо соответствующие области изображения маркируются как неопределенные. В последнем случае перенастраиваются размеры и форма окна ^(/,/) , которое затем используется для обработки областей
неопределенности. Таким образом, реализуется адаптивная обработка изображения центроидным фильтром.
Исследования центроидной фильтрации показали, что максимальные точность обнаружения и вероятность распознавания СЭ достигаются на двухградационных черно-белых изображениях [5].
Для достижения необходимых показателей качества обработки полутоновых изображений, а также для обеспечения возможности обработки цветных ГИ, разработан метод АЦТП [2], который заключается в следующем.
Создается первичное «пустое» цветное изображение Ък 0в(/,/) = 0 , затем цветовые компоненты ^ (/,3) ^(/,/) Iв (/,/) изображения IRG в (/,3) обрабатываются связно-кластерным фильтром:
1 X Ч/*,/), IG(^3)=1 X Ч/*,/), В)=1
П! .• • . Л 4 ’ п I .• • . л 4 ’ п I
^і)=1 I Чі*,і*), Ч,і)=1 І Чі*,і*), іИі,і)=1 І Ві*,і*) • (5)
п (л/Нл п (иН/ п (л/Нм
Для каждого пиксела с координатами ( і,/) производится сравнение с порогом р
(¿*,/) -^ (і,І))2 + (Іа (і*,/) -14 (і,І))2 + (і* (і*,/*) -(і,І))2 * Р •
(6)
Если (6) при всех
(/*, /■*) є ™(і, і)
выполнено, то
} (і,і) модифицирует
ZR (¡, /) = ^ (^ з) . ZG (^ з) = ^ (^ з) . Zв (¡, 3) = IB (^ 3) . (7)
Дальнейший анализ состоит в выделении в изображении ZR,G,В (/, 3) связных цветовых областей G1 , ...,
^ и определении характерных цветов:
Ъ = ^ І (^ і) , Ч = ^ І ^ (^ і) , В =7^ I ^ О- і)
^д (і,і євд *д (і',і) євд *д (і',і) євд
(8)
где д = 1,Q , 2 - количество областей, N - количество пикселов в области ^ .
Обработка завершается созданием пакета «пустых» бинарных изображений Z1 (/,/) = 0 , ..., Zg (/,/) = 0 и
их последующим заполнением:
Zq (^3') = 1 , если (^3') 6 ^ . (9!
Результатом АЦТП является стратифицированное по характерным цветам изображение Zl д(/,/) , которое
затем может быть подвергнуто послойной центроидной фильтрации с последующим пространственным анализом для формирования ПП ГИ.
Исследования АЦТП показали, что преобразование обладает высокой способностью шумоподавления, а при восстановлении цветного (полутонового) изображения может быть достигнуто более высокое качество воспроизведения по сравнению с исходным изображением за счет выравнивания цветовых (тоновых) контрастов [2].
Для получения дискретных растровых представлений линейных и планарных СЭ изображения необходимы линейные и планарные операторы, отображающие эти элементы в определенные совокупности пикселов на растре, соответствующие многообразиям, определяющим СЭ.
При этом операторы в формируемых на растре совокупностях пикселов должны воспроизводить такие топологические характеристики многообразий как их размерность и связность (для линий - непрерывность), а также отношение их смежности, такие геометрических свойства линейных многообразий, как прямолинейность и дугообразность, а также значения их кривизны.
Все эти характеристики, свойства и отношения связаны с понятием связности
на растре [4, 6]. Связность на растре определяется отношением смежности (соседства) пикселов; при этом по кратности связности следует различать 8-связность и 4-связность (см. рис. 1).
3(011) 2(010) 1(001)
1(01)
4(100)
5(101)
6(110)
0(000) 2(10)
7(111)
3(11)
0(00)
а) 8-связность и 8-позиционный код (ЦК-8)
б) 4-связность и 4-позиционный код (ЦК-4)
Рис.1. Связность и цепные коды на растре
Если полагать, что каждой точке плоскости соответствует определенный пиксел на растре, то связность многообразия будет означать связность соответствующей совокупности пикселов, а смежность двух многообразий - наличие смежности хотя бы одной пары пикселов, принадлежащих этим двум совокупностям пикселов. Размерность 1 для растрового воспроизведения линий означает их минимальную толщину - 1 пиксел, а для планарных элементов - размерность 2 означает отсутствие этой минимальной толщины для всей совокупности пикселов.
На основе 8-связности и 4-связности можно построить эффективные представления линий на растре в виде простого цепного кода (ЦК - кода Фримена [ 6]; см. рис. 1), описывающего переходы по смежным пикселам линии как приращения пиксельных координат, и дифференциального цепного кода (ДЦК; см. рис 2) , описывающего изменения в этих переходах как приращения изменений текущего направления перехода
[4, 6].
1(01) 0(00)
2(10)
1(01) 3(011) 1(001) 0(000)
2(010) 4(100)
.X
1(01)
£
0(00)
4(100)
2(10)
3-позиционный
б) 8-связный 5-позиционный (ДЦК-8/5)
в) 4-связный 3-позиционный
(ДЦК-4/3)
а! 8-связный
(ДЦК-8/3)
Рис. 2. Дифференциальные цепные коды
Характер представления об эффективности использования цепных кодов показан на рис. 3, где для линии, содержащей 3 точки излома, представлены коды ЦК-8, ДЦК-8/3 и ДЦК-8/5. Как видно из рисунка
наибольшая эффективность кодирования обеспечивается использованием ДЦК-8/3 (2 бита на элемент), не-
смотря на особое кодирование трех узлов (изломов).
00022212211110007775550000010011222212211100
ДЦК-8/3 (95 Ь)
(0)003(2)0021020002002003(5)003(0)000012010100021020020
ДЦК-8/5 (135 Ь)
(0)0030021020002002004005(0)000012010100021020020
Рис. 3. Представление и кодирование линии на растре
Использование описанных преобразований было реализовано программно в системе обработки графических изображений, что позволило построить соответствующую технологию обработки графической информации (см. рис. 4). В этой технологии производится последовательная обработка информации, начиная от исходного растрового ГИ до структурного описания ПС изображения в ДЦК. При этом преобразуются форматы представления данных (растры, коды ДЦК-8/3), а также формируются вспомогательные структуры данных, сопровождающие представления изображений (цветотоновые шкалы, легенды графикации). Этим обеспечивается возможность восстановления распознанного изображения в растровой графической форме.
Созданная система позволила выполнить экспериментальные исследования по оценке качества и других характеристик результатов, получаемых при обработке графической информации с использованием преобразований.
В экспериментах на нескольких десятках ГИ были определены оптимальные настройки процедур адаптивного цветотонового преобразования, центроидной фильтрации, пространственного и пространственноструктурного анализа на основе преобразования изображений в цепные коды ДЦК-8/3.
В ходе экспериментальных исследований было использовано также около двухсот ГИ с различной сложностью структуры, с различным количеством значений цветотоновой шкалы (от 2 до 2 8), подверженных воздействию шумов различной интенсивности, и в целом - различного качества.
Одной из основных проблем оценки получаемых результатов и сопоставления их с известными результатами других разработок явились следующие два фактора.
Во-первых, для сравнения с результатами других разработок необходимо проведение экспериментов в одинаковых условиях на одинаковых выборках изображений, что трудно достижимо. В этом плане влияние фактора сопоставимости результатов частично компенсировалось разнообразием выборки изображений.
Во-вторых, при оценке качества результатов необходимы объективные критерии, которые достаточно жестко связаны с характеристиками обрабатываемых изображений - сложностью их структуры, их цветностью, подверженности искажениям и шумам. В то же время, интегральных критериев перечисленных характеристик не существует . Поэтому, при использовании субъективного критерия визуальной оценки качества восстанавливаемых после распознавания изображений, необходимо использовать также и количественные оценки их качества.
В целом при визуальной оценке восстановленных изображений было установлено их удовлетворительное качество в довольно широких диапазонах сложности структуры, цветности и искаженности. Для количественной оценки использовался простейший критерий - количество дефектных пикселов на растре восстановленных изображений. При изменении изображений во всех указанных выше диапазонах количество дефектных пикселов в основном изменялось от нуля до 0.1% и в самых крайних случаях не превысило 0.18%.
Самым важным аспектом приведенных экспериментальных исследований было изучение возможностей сжатия графической информации. Согласно разработанной технологии (см. рис. 4) обработка изображений производится последовательно с использованием различных процедур и результаты каждой процедуры дают новый тип данных. Для каждого из этого типа данных могут быть применены процедуры сжатия, основанные на различных свойствах этих данных.
Рис. 4. Технология обработки графической информации
Так для адаптивного цветотонового преобразования возможность сжатия информации может быть достигнута за счет образования повторяющихся серий пикселов (схема ЬЕЕ [1]) при выравнивании тонов и цве-
тов. При дифференциальном цепном кодировании сжатие обеспечивается естественным образом, поскольку незначащая часть растрового изображения устраняется из кода.
Экспериментально полученные показатели сжатия графической информации приведены в табл. 1, в которой даны общие наиболее характерные показатели для всей выборки изображений и их конкретные показатели для двух тестовых изображений различного характера.
Для первого тестового изображения его адаптивное цветотоновое преобразование не производилось, поскольку изображение монохромно. Изолированность линий позволила произвести однопроходную центроид-ную фильтрацию, которая дала отчетливый рисунок на растре, составленный из однопиксельных линий.
Таблица 1 Показатели степени сжатия графической информации
Преобразование изображения Общий показа- тель Тестовые ГИ
Монохромное (полутоновое) линейчатое, *.bmp Grayscale (256 градаций уровней серого), 1000x1000, 128 килобайт (33 изолированных гладких линий) Цветное (6 цветов), *.Ьтр Тгиесо1ог (256 градаций уровней яркости в каждом из 3-х каналов Я0Б), 2000x2000 12 мегабайт
Адаптивное цветотоновое преобразование Их 10 -Их102 - 150
Центроидная фильтрация и дифференциальное цепное кодирование ДЦК-8/3 2-4 порядка 53 2.8
Всего 3-6 порядков 53 420
Цепное кодирование ДЦК-8/3 дало 33 изолированных линейных сегмента общим объемом 2.4 килобайта.
В данном случае получена относительно невысокая степень сжатия информации (менее чем на один порядок). Это обусловлено тем, что рисунок составлен из гладких линий с преимущественно переменной кривизной.
Для второго тестового изображения в результате адаптивного цветотонового преобразования было получено 6 цветовых слоев. Сжатие этого пакета изображений дало общий объем 80 килобайт (коэффициент сжатия информации составил 150; сжатие с помощью преобразования в формат *.jpg с качеством 70% дало 680 килобайт с коэффициентом сжатия информации 18).
Трехпроходная центроидная фильтрация дала отчетливый рисунок на растре, составленный из однопиксельных линий (всего 386 линейных сегментов).
Их преобразование в код ДЦК-8/3 дало 867 сегментов общим объемом 28 килобайт.
В данном случае достигнута средняя степень сжатия информации (на один порядок). Это обусловлено тем, что рисунок содержит заметную долю отрезков и дуг, на которых достигается наиболее высокий уровень сжатия информации, но в то же время содержит также значительную долю гладких линий с переменной кривизной.
В целом характеристики экспериментальных результатов следующие:
- адаптивное цветотоновое преобразование изображений; достигаются возможности существенного шумоподавления, выравнивания цветовых и тоновых контрастов, а также возможность сжатия видеоинформации на 1-2 порядка (сравнительно с показателями сжатия используемых графических растровых форматов изображений - как минимум на порядок выше);
- центроидная фильтрация изображений; достигаются возможности «очищения» поля изображения от незначащих (неинформативных) областей (внутренние области фона и заливок планарных структурных элементов изображения), а также оценки параметров граничных контрастов и параметров малоразмерных структурных элементов изображения;
- дифференциальное цепное кодирование изображений; достигаются показатели сжатия видеоинформации на 2-4 порядка выше относительно результатов центроидной фильтрации.
Выполненные экспериментальные исследования разработанных средств и методов анализа пространственной структуры графических изображений подтвердили их эффективность и перспективность их использования в ИТС; в результате экспериментов установлена высокая и возрастающая по стадиям обработки изображения степень сжатия информации, а также высокая производительность и технологичность созданных средств обработки графической информации.
ЛИТЕРАТУРА
1. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. - М.: ДИАЛОГ-МИФИ, 2003. - 384 с.
2. Галичанин А.А., Мурынов А.И., Лялин В.Е., Левицкая Л.Н., Телегина М.В. Адаптивное цветотоновое
преобразование изображений // Математическое моделирование и интеллектуальные системы: Тем. сб.
науч. тр. IV Междунар. науч.-техн. конф. «Информационные технологии в инновационных проектах» -Ижевск: Изд-во ИжГТУ, 2003. - С. 25-38.
3. Лихтциндер Б.Я., Кузякин М.А., Росляков А.В., Фомичев С.М. Интеллектуальные сети связи. - М.: Эко-Трендз, 2000. - 206 с.
4. Лялин В.Е., Мурынов А.И., Лепихов Ю.Н., Шибаева И.В. Модели представления и кодирования пространственных объектов для передачи изображений по цифровым каналам связи // Материалы XXXI Междунар. конф. «Информационные технологии в науке, образовании, телекоммуникациях и бизнесе» // Успехи современного естествознания. - 2004. - №5. - Прилож. №1. - С. 123-125.
5. Мурынов А.И., Вдовин А.М., Лялин В.Е. Оценка геометрико-топологических параметров деталей изображений на основе метода центроидной фильтрации // Химическая физика и мезоскопия. - Т.4. - 2002. - №2. -С. 161-177.
6. Павлидис Т. Алгоритмы машинной графики и обработки изображений. - М.: Радио и связь, 1986. -
400 с.
