CC BY
138
УДК 004.932.2
Разработка
и оптимизация процесса сегментации изображения и видео потока на стороне мобильного устройства
Н.А. Северинов
Московский государственный университет печати имени Ивана Федорова 127550, Москва, ул. Прянишникова, 2А e-mail: to@severinov.info
Одной из основных задач в области машинного зрения является задача извлечения и последующего анализа информации из статических изображений и видео ряда. Для того чтобы обрабатывать изображения, необходимо разбить их на области. Сегментация изображения - это разделение изображения (сцены) на области или фрагменты, однородные по некоторому критерию. По большому счету, это такой же инструмент, как, например, сортировка, предназначенный для решения более высокоуровневых задач.
Цель сегментации заключается в упрощении и/или изменении представления изображения, чтобы его было проще и легче анализировать [1]. Активно используется при обработке медицинских изображений для выявления опухолей и других патологий, определения объемов тканей, хирургии, диагностики, планирования лечения и изучения анатомической структуры. Также немаловажную роль сегментация играет в выделении объектов на спутниковых снимках; применяется сегментация и в распознавании лиц, отпечатков пальцев.
Для сегментации изображений было разработано несколько универсальных алгоритмов и методов. Так как общего решения для задачи сегментации изображений не существует, часто эти методы приходится совмещать со знаниями из предметной области, чтобы эффективно решать эту задачу в ее предметной области.
151
Выделяют следующие виды разбиения изображения на
области:
• разбиение на неперекрывающиеся области (тесселяция);
• разбиение на перерывающиеся области;
• иерархическое разбиение (каждый фрагмент одного уровня разбивается на несколько отдельных фрагментов).
Основное требование к сегментации: границы сегментов должны соответствовать границам объектов (рис. 1).
Рис. 1. Пример основного требования к сегментации
Выделяют следующие методы сегментации: основанные на энтропии; на кластеризации; на оттенках серого и гистограммах; на локальных порогах; на пиксельной корреляции и на атрибутах.
Методы, основанные на областях, базируются на непрерывности. Данные алгоритмы делят все изображение на подобласти в зависимости от некоторых правил, к примеру, все пиксели данной группы должны иметь определенное значение серого цвета. Эти алгоритмы полагаются на общие шаблоны интенсивности значений в кластерах соседних пикселей.
Пороговая сегментация является простейшим видом сегментации. На ее основе области могут быть классифицированы по базовому диапазону значений, которые зависят от интенсивности пикселей изображения. Пороговая обработка преобразовывает входное изображение в бинарное.
Методы сегментации, основанные на обнаружении областей, находят непосредственно резкие изменения значений интенсивности. Такие методы называются граничными методами.
Обнаружение границ - фундаментальная проблема при анализе изображений. Техники выделения границ обычно используются для нахождения неоднородностей на полутоновом изображении. Обнаружение разрывов на полутоном изображении - наиболее важный подход при выделении границ.
Границы объектов на изображении в значительной степени уменьшают количество данных, которые необходимо обработать, и в
152
то же время сохраняют важную информацию об объектах на изображении, их форму, размер, количество. Главной особенностью техники обнаружения границ является возможность извлечь точную линию с хорошей ориентацией. В литературе описано множество алгоритмов, которые позволяют обнаруживать границы объектов, но нигде нет описания того, как оценивать результаты обработки. Результаты оцениваются сугубо индивидуально и зависят от области их применения.
Обнаружение границ - фундаментальный инструмент для сегментации изображения. Такие алгоритмы преобразуют входное изображение в изображение с контурами объектов, преимущественно в серых тонах. В обработке изображений, особенно в системах компьютерного зрения, с помощью выделения контура рассматривают важные изменения уровня яркости на изображении, физические и геометрические параметры объекта на сцене. Это фундаментальный процесс, который обрисовывает в общих чертах объекты, получая тем самым некоторые знания об изображении.
Обнаружение границ является самым популярным подходом для обнаружения значительных неоднородностей.
Существуют следующие алгоритмы контурной обработки:
• оператор Робертса (Robert's Cross operator);
• оператор Собеля (Sobel operator)4
• оператор Превитта (Prewitt method, Compass Edge Detector).
Оператор выделения границ Робертса введен Лоуренсом
Робертсом в 1964 году. Он выполняет простые и быстрые вычисления двумерного пространственного измерения на изображении. Этот метод подчеркивает области высокой пространственной частоты, которые зачастую соответствуют краям. На вход оператора подается полутоновое изображение. Значение пикселей выходного изображения в каждой точке предполагает некую величину пространственного градиента входного изображения в этой же точке.
Оператор Робертса использует четыре значения яркости на изображении [3] и имеет следующий вид:
G =
С+Жу+1)
— E,
i,j
)2 +E
-E(
(i+i)j Ei(j+1)
2
)
или
Gij = |E(i+1)(j+1) -Eij + |E(i+1)j — Ei(j+1) |,
где [E, - элемент матрицы исходного изображения.
На практике для вычисления дискретных градиентов чаще всего используются операторы Превитта и Собела.
Оператор Собела использует восемь отсчетов яркости в области анализируемого элемента:
153
Gi,j =л1 GX +Gy
где E
где
Матрицы оператора Собела имеют вид:
[-1 0 +1" [-1 -2 -1"
-2 0 +2 E и Gy = 0 0 0
-1 0 +1 +1 +2 +1
матрица исходного изображения.
В программном представлении изображения
Gi,j =V G/,j(x) +Glj(y)'
Gi,j(x) = [E(i-1)(j-1) +E(i-1)j + E(i-1)(j+1) ]--[e(/+1)(j-1) +E(i+1)j +E(i+1)(j+1) ]'
Gij(y) = [E(i-1)(j-1) + Ei( j-1) + E(/+ 1)(j-1) ]_
-[e(/-1)(j+1) + E/(j+1) +E(i+1)(j+1) ].
Оператор Превитта подобен оператору Собела и отличается от него маской. Матрицы оператора Превитта имеют вид:
[-1 0 +1" [-1 -1 -1"
Gx = -1 0 +1 II 0 0 0
-1 0 +1 +1 +1 +1
Разработаем мобильное приложение оптимизации модели сегментации для iPhone, с использованием среды разработки IDE XCode и открытой библиотеки компьютерного зрения Open Computer Vision (OpenCV). OpenCV - библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом.
Сегментируем изображение с использованием метода водораздела. В сегментации методом водораздела рассматривается абсолютная величина градиента изображения как топографической поверхности. Пиксели, имеющие наибольшую абсолютную величину градиента яркости, соответствуют линиям водораздела, которые представляют границы областей. Вода, помещенная на любой пиксель внутри общей линии водораздела, течет вниз к общему локальному минимуму яркости. Пиксели, от которых вода стекается к общему минимуму, образуют водосбор, который представляет сегмент. Можно сказать, что это интерактивная сегментация изображения.
154
В OpenCV за метод водораздела отвечает функция cv2.watershed(). Рассмотрим пример сегментации изображения, представленного на рис. 2.
Рис. 2. Пример изображения для сегментации
Начнем с аппроксимации оценки монет. Применим метод Оцу. Метод Оцу ищет порог, уменьшающий дисперсию внутри класса, которая определяется как взвешенная сумма дисперсий двух классов. Результат обработки изображения представлен на рис. 3.
Рис. 3. Результат применения метода Оцу
Теперь удалим все мельчайших шумы на изображении. Для этого можно использовать способ морфологического открытия. Для удаления шумов непосредственно внутри объекта, можно использовать метод морфологического закрытия.
В следующем шаге мы должны определить непосредственно монеты. Для этого нужно найти правильный порог и увеличить границы объекта на фоне. Результат сегментации представлен на рис. 4.
155
Рис. 4. Результат сегментации при помощи метода водораздела
Библиографический список
1. Сегментация (обработка изображений) [Электронный ресурс]. URL: https://ru.wikipedia.org/wiki/Сегментация_(обработка_и-зображений)
2. Алгоритмы выделения контуров для сегментации изображений [Электронный ресурс]. URL: http://masters.donntu.org/2014/ fknt/metelytsia/library/articlell. htm
3. Яне Б. Цифровая обработка изображении?. - М.: Техносфера, 2007. - 584 с.
156
