CC BY
30СЕГМЕНТАЦИЯ ПОЛНОЦВЕТНЫХ ИЗОБРАЖЕНИЙ С ПОМОЩЬЮ РЕКУРРЕНТНОЙ НЕЙРОННОЙ СЕТИ
В. Б. Немировский, А. К. Стоянов
Институт кибернетики Национального исследовательского Томского политехнического университета, 634050, Томск, Россия
УДК 004.932
Рассматривается возможность применения рекуррентной нейронной сети для сегментации полноцветных изображений. Приводятся результаты экспериментов по многошаговой сегментации изображений, представленных в цветовых пространствах RGB и YUV.
Ключевые слова: нейронная сеть, изображение, пиксель, точечные отображения, сегментация, цветовое пространство.
Possibility of application of a recurrent neural network for segmentation of full-color images is considered. The results of experiments on the multi-step segmentation of images presented in color spaces RGB and YUV.
Key words: neural network, image, pixel, point map, segmentation, color space.
Введение. Сегментация полноцветного изображения - одна из процедур обработки изображений, используемых в робототехнике, медицине, видеонаблюдении, спутниковом мониторинге земной поверхности, при передаче данных по сети Интернет и др. Эта процедура является предварительным этапом любой обработки изображений, так как позволяет упростить последующий анализ однородных областей изображения, их яркостных и геометрических характеристик. Качество выполнения сегментации во многом определяет успех решения задачи распознавания изображений, интерпретации и идентификации визуально наблюдаемых объектов.
Сегментация полноцветных изображений является более сложной задачей, чем сегментация полутоновых изображений в градациях серого. Существует большое количество методов и алгоритмов решения задачи сегментации полутоновых изображений [1]. Известным подходом, используемым при сегментации таких изображений, является кластеризация (различные модификации метода ^-средних). Кластеризация, основанная на методе ^-средних, имеет недостаток - требуется заранее знать число выделяемых кластеров. В [2] предложен метод сегментации полутоновых изображений, который основан на кластеризации, свободной от указанного недостатка. Такая кластеризация осуществляется рекуррентной нейронной сетью. Целью настоящей работы является исследование возможности сегментации полноцветных изображений с помощью кластеризации, выполняемой такой нейронной сетью.
Выбор компонент полноцветного изображения для кластеризации. Для того чтобы применить к полноцветному изображению любой алгоритм кластеризации, используемый при
сегментации полутонового изображения в серой шкале, нужно ответить на два вопроса: 1) что кластеризовать; 2) каким образом использовать результаты кластеризации для получения сегментированного изображения.
Для того чтобы ответить на первый вопрос, следует учесть сложную природу формирования полноцветного изображения, затрудняющую применение в сегментации известных алгоритмов кластеризации. Пиксели полутонового изображения содержат множество значений только одной характеристики изображения - его яркости (интенсивности). Соответственно для получения сегментированного изображения достаточно кластеризовать значения яркости. В полноцветном же изображении любой цвет пикселя представляется непосредственно через значения его компонент в используемой для представления модели цветового пространства (RGB, YUV и др.). Следовательно, от того, какие компоненты будут кластеризованы, зависит характер сегментированного изображения.
Обычно изображения, полученные с помощью цифровых камер и сканеров, представлены в цветовом пространстве RGB. В этом пространстве любой цвет является результатом смешивания трех компонент - базовых цветов разной яркости. Очевидно, что для таких изображений нетрудно выбрать компоненту для кластеризации - все три компоненты одинаково информативны и, следовательно, все они должны быть кластеризованы в процессе сегментации.
Для представления полноцветного изображения в телевещании и при хранении (обработке) видеоданных помимо пространства RGB используются модель YUV и близкие к ней YCbCr, YPbPr, YDbDr, YIQ. Все эти модели основаны на принципе, согласно которому основную информацию содержит яркостная компонента изображения - составляющая Y. Эта компонента является взвешенной суммой цветовых компонент RGB-модели, учитывающей особенности человеческого цветовосприятия. Две другие составляющие - цветоразностные, отвечающие за цвет, менее важны. Такой подход позволяет при сегментации сосредоточиться на кластеризации яркостной компоненты изображения, оставляя неизменными его цветоразностные составляющие.
Таким образом, ответ на первый вопрос можно сформулировать в следующем виде: для сегментации полноцветного изображения можно кластеризовать яркостную компоненту в модели YUV или яркости всех трех цветовых компонент в модели RGB.
Ответ на второй вопрос также зависит от используемого пространства. Для пространства RGB результирующий цвет в сегментированном изображении также получается путем смешивания базовых цветов после их кластеризации. Эта процедура аналогична процедуре получения полноцветного изображения до его обработки. Что касается изображения, представленного в пространстве YUV (и близких к нему), то для получения сегментированного изображения необходимо использовать кластеризованную яркостную компоненту и две цветоразностные компоненты, которые не кластеризовались.
Иерархическая многошаговая сегментация изображения. В рекуррентной сети [2], используемой для сегментации полутонового изображения, каждый входной нейрон охвачен локальной обратной связью, которая реализует одномерное точечное отображение [3] вида xn+1 — f (xn), где x - входное значение сигнала нейрона (яркость пикселя изображения); f (x) -
сигмоидальная активационная функция нейрона; n —1,2,3...- номер итерации отображения входного значения. Процесс отображения позволяет выполнить кластеризацию значений яркости пикселей изображения. Для получения сегментированного изображения используются яркости пикселей, осредненные по выявленным кластерам.
Особенностью рассматриваемой сегментации является то, что она выполняется в несколько шагов, на каждом из которых из кластеризованных значений яркости можно создать сегментированное изображение. Содержанием каждого шага является описанная выше процедура кластеризации с одним существенным отличием: на каждом текущем шаге на вход сети подаются значения яркости пикселей изображения, полученные на предыдущем шаге. Процесс завершается, когда энтропия сегментированных изображений на очередном шаге перестает меняться.
Рассмотрим, каким образом описанный алгоритм может быть адаптирован к решению задачи сегментации полноцветного изображения. В [2] указано, что для кластеризации значений яркости полутонового изображения может быть использована модифицированная рекуррентная нейронная
сеть (рис. 1), в которой активационная функция для каждого Рис. 1. Структура нейронной сети
нейрона входного слоя имеет одни и те же значения параметров. В этом случае сеть, содержащая во входном слое M нейронов, обрабатывает M значений одной характеристики - яркости полутонового изображения. Это могут быть значения яркости всех пикселей или части из них, например строка из растра изображения M*N. Важно то, что это значения одной характеристики.
Из сказанного выше следует, что в случае представления изображения в пространстве RGB сеть должна обрабатывать (кластеризовать) три равноценные характеристики - яркости трех базовых цветов. Соответственно на M входов сети можно подавать значения этих яркостей последовательно, один цвет за другим, либо можно увеличить число входов до 3M и обрабатывать все цвета одновременно. Далее для каждой цветовой компоненты процесс кластеризации повторяется аналогично базовой реализации этого алгоритма. Кластеризованные значения цветовых компонент, которые получаются на каждом шаге обработки, можно использовать для отображения полноцветного сегментированного изображения в RGB-пространстве.
В случае изображения, представленного в пространстве YUV (и близких к нему), нейронная сеть может выполнять кластеризацию его яркостной компоненты так же, как в случае полутонового изображения, т. е. обрабатывая M значений одной характеристики - яркостной компоненты. На каждом шаге полученные значения яркостной компоненты можно использовать для представления сегментированного изображения в пространстве YUV.
Результаты экспериментов. Экспериментальные исследования возможности применения рекуррентной нейронной сети при сегментации полноцветных изображений проведены с помощью программы, реализующей описанный выше алгоритм. Для кластеризации использовалась нейронная сеть, представленная на рис. 1. Параметры нейронной сети рассчитывались по методике, приведенной в [2]. Многошаговая сегментация завершалась при условии равенства
а
»
i
■'■^JP-i.™*
Рис. 2. Результаты сегментации полноцветного изображения в различных цветовых моделях: а - исходное изображение; б - результат многошаговой сегментации в модели RGB; в - результат многошаговой сегментации в модели YUV
энтропий изображений предыдущего и текущего шагов процесса. Проводились исследования полноцветных изображений, представленных в цветовых пространствах RGB и YUV. На рис. 2,а представлено исходное несегментированное полноцветное изображение пламени свечи, на рис. 2,б,в - сегментированные изображения, полученные для цветовых пространств RGB и YUV соответственно.
Сегментация в RGB-пространстве реализована за девять шагов в соответствии с описанным выше алгоритмом. На очередном шаге обработки выделялись кластеры близких значений яркостей каждого цвета. По окончании кластеризации разные значения яркостей, принадлежащих одному кластеру, заменялись их средним по кластеру. Осредненные значения каждого цвета использовались для формирования цвета пикселей сегментированного изображения в соответствии с моделью цветового RGB-пространства. Такой подход позволял получать полноцветные сегментированные изображения на каждом шаге процесса, аналогично тому как это осуществлялось при сегментации изображений в серой шкале.
Сегментация в YUV-пространстве реализована за четыре шага. На каждом шаге выполнялась кластеризация только для яркостной компоненты изображения. Соответственно осреднение также выполнялось только для яркостной компоненты. Таким образом, цветоразностные компоненты оставались неизменными в течение всего многошагового процесса кластеризации яркостной компоненты. Цвет каждого пикселя конечного сегментированного изображения в YUV-пространстве определялся кластеризованными значениями яркостной компоненты Y и неизменными значениями цветоразностных компонент U и V. Так же как и в рассмотренном выше случае, на каждом шаге процесса существовала возможность получения сегментированного изображения, соответствующего текущим значениям компонент YUV-пространства.
Из рис. 2,б,в следует, что результаты сегментации изображений, представленных в разных цветовых пространствах, существенно различаются. Сегментация в RGB-пространстве позволяет выделить в исходном изображении однородные области, не меняя при этом его цветовую палитру в целом. Этот вывод следует из алгоритма многошаговой сегментации. Действительно, на каждом его шаге цвет пикселя формируется значениями яркостей цветовых компонент,
лежащими в пределах, заданных яркостями исходного изображения, что позволяет сохранять палитру.
Сегментация в YUV-пространстве не только выделяет однородные области по яркости, но и значительно меняет их цвет. По сути, получается сегментированное изображение в условных цветах (псевдоцветах), что существенно повышает его информативность. В частности, сегментация в псевдоцветах позволяет визуализировать области, слаборазличимые на исходном изображении (область синего цвета в ореоле пламени). Следует отметить, что переход к псевдоцветам происходит автоматически, только за счет цветов исходного изображения и выполненной его обработки, без использования каких-либо дополнительных соглашений или соображений.
Выводы. Рекуррентная нейронная сеть, основанная на одномерных отображениях, позволяет выполнять сегментацию цветных изображений, представленных в различных цветовых пространствах. Реализация сегментации в цветовом RGB-пространстве позволяет выделять однородные по яркости области, сохраняя при этом общую цветовую палитру исходного изображения. Сегментация в YUV-пространстве позволяет с использованием описанной процедуры получения результирующего изображения представить сегментированное изображение в псевдоцветах. Такое представление дает возможность выявить слаборазличимые или практически невидимые области исходного изображения.
Список литературы
1. Гонсалес Р. Цифровая обработка изображений: Пер. с англ. / Р. Гонсалес, Р. Вудс. М.: Техносфера, 2005.
2. Nemirovsky V. B., Stoyanov A. K. Multi-step segmentation of images by means of a recurrent neural network // Proc. of the 7th Intern. forum on strategic technology (IF0ST-2012), Tomsk, Sept. 18-21, 2012. Tomsk: TPU Press, 2012. V. 1. P. 557-560.
3. Малинецкий Г. Г. Математические основы синергетики. М.: Изд-во ЛКИ, 2007.
Немировский Виктор Борисович - канд. физ.-мат. наук, доц. Института кибернетики Томского политехнического университета; тел.: (382-2) 42-07-27; e-mail: vbn@tpu.ru;
Стоянов Александр Кириллович - канд. техн. наук, доц. Института кибернетики Томского политехнического университета; тел.: (382-2) 42-07-27; e-mail: stoj-ak@ad.cctpu.edu.ru
Дата поступления - 04.09.12 г.
