CC BY
127
Геоэкология
УДК 004.932
СЕГМЕНТАЦИЯ ЦВЕТНЫХ ИЗОБРАЖЕНИЙ ПРИРОДНЫХ ОБЪЕКТОВ С ПОМОЩЬЮ РЕКУРРЕНТНОЙ НЕЙРОННОЙ СЕТИ
В.Б. Немировский, А.К. Стоянов
Томский политехнический университет E-mail: stoj-ak@ad.cctpu.edu.ru; vbn@tpu.ru
Рассматривается возможность применения рекуррентной нейронной сети для сегментации полноцветных изображений природных объектов на основе кластеризации цветовых компонент. Обсуждаются вопросы многошаговой сегментации таких изображений в разных цветовых моделях. Приводятся экспериментальные результаты по многошаговой сегментации изображений природных объектов в цветовых пространствах RGB и YUV.
Ключевые слова:
Изображение, пиксель, точечные отображения, цветовое пространство, RGB, YUV, рекуррентная нейронная сеть, кластеризация, сегментация, природный объект.
Key words:
Image, pixel, point map, color space, RGB, YUV, recurrent neural network, clustering, segmentation, natural object.
Введение
В геоэкологии одним из наиболее актуальных и перспективных направлений является разработка автоматизированных технологий обработки полутоновых и цветных изображений для решения различных фундаментальных экологических, а также прикладных геоэкологических задач.
Одной из задач, решаемых в рамках обработки таких изображений, является анализ снимков природных объектов для выявления и уточнения их границ и структуры. Важным этапом этого анализа является выполнение сегментации используемых цветных изображений.
Особенностью сегментации цветных изображений является то, что при её реализации возникают сложности в адаптации известных алгоритмов сегментации полутоновых изображений.
Предложено много методов и алгоритмов для сегментации полутоновых изображений в градациях серого [1]. Одним из широко используемых подходов для сегментации таких изображений является применение кластеризации. В свою очередь, для кластеризации предложено много методов, среди которых наибольшей популярностью пользуются модификации метода ^средних. Кластеризация, основанная на методе ^средних, обладает существенным недостатком для её реализации требуется априорной знание коли-
чества выделяемых кластеров. В [2] нами предложен метод кластеризации, свободный от упомянутого недостатка, который и был использован для сегментации полутоновых изображений. Этот метод основан на применении рекуррентной нейронной сети.
Целью настоящей работы является исследование возможности сегментации цветных изображений с помощью кластеризации, основанной на применении рекуррентной нейронной сети.
Выбор компонент цветного изображения
для кластеризации
При адаптации известных методов сегментации к обработке цветного изображения возникают затруднения, обусловленные сложной природой его формирования. В цветном изображении любой цвет пикселя представляется непосредственно через значения его компонент в используемой для представления модели цветового пространства (RGB, YUV и др.). Очевидно, что выбор такой модели предопределяет и то, какие компоненты нужно кластеризовать, и то, как использовать полученное в результате кластеризации квантование цвета для формирования сегментированного изображения.
Рассмотрим особенности сегментации, связанные с выбором модели цветового пространства для изображения.
Обычно изображения, полученные с помощью цифровых камер и сканеров, представлены в цветовом пространстве RGB. В этом пространстве любой цвет является результатом смешивания трёх компонент - базовых цветов разной яркости. Очевидно, что в таком случае достаточно выполнить кластеризацию каждой из цветовых компонент, а затем смешать их для получения результирующего цвета в сегментированном изображении так, как это требует модель пространства RGB.
Помимо пространства RGB, для представления полноцветного изображения в телевещании и хранении/обработке видеоданных используют модель YUV и близкие к ней YCbCr, YPbPr, YDbDr, YIQ. Основополагающим принципом для всех этих моделей является то, что яркостная компонента изображения - составляющая Y - несёт основную информацию об изображении. Компонента Y является взвешенной суммой цветовых компонент RGB-модели, учитывающей особенности человеческого цветовосприятия. Две другие составляющие, отвечающие за цвет, - менее информативны. Таким образом, в случае использования модели пространства YUV (и близких к ней) возможны два варианта сегментации изображения. По первому достаточно кластеризовать основную яркостную компоненту Y, не затрагивая менее информативные цветоразностные компоненты, и затем образовать сегментированное изображение из кластеризованной и некластеризованных компонент. Второй вариант предполагает кластеризацию как яркостной, так и цветоразностных компонент, с последующей визуализацией на их основе сегментированного изображения.
Многошаговая сегментация изображения
Сегментация полутонового изображения, рассмотренная в [2], основана на кластеризации значений яркости пикселей изображения. Для кластеризации используется рекуррентная нейронная сеть, представленная на рис. 1.
*•*
£¿11------------*
Рис. 1. Структура нейронной сети
В этой сети каждый входной нейрон охвачен локальной обратной связью, которая реализует одномерное точечное отображение [3] вида х„+1=Дх„), где x - входное значение сигнала нейрона (яркость пикселя изображения), f(x) - сигмоидальная активационная функция нейрона, «=1,2,3,... - номер итерации отображения входного значения. Процесс отображения позволяет распределить близкие значения яркостей пикселей изображения по кластерам.
В [2] отмечается, что для кластеризации значений яркости полутонового изображения входные нейроны сети, представленной на рис. 1, должны использовать активационную функцию с одними и теми же параметрами. Математически обработка изображения такой сетью эквивалентна отображению всех яркостей его пикселей на одном нейроне с такой же активационной функцией. Фактически использование нейронной сети в [2] позволяет просто распараллелить вычисление одной и той же величины - яркости полутонового изображения.
Нужно отметить, что процесс кластеризации и, следовательно, сегментации в [2] многошаговый. На каждом текущем шаге на вход сети подаются значения яркости пикселей изображения, полученные на предыдущем шаге и усреднённые затем по отдельным выделенным кластерам. Сегментация завершается, когда энтропия изображения, полученного на очередном шаге кластеризации яркостей, перестаёт меняться.
В случае цветного изображения описанный выше процесс требует модификации, поскольку кластеризации подвергается не одна величина, а три. Это либо три яркостных компоненты (модель пространства RGB), либо одна яркостная и две цветоразностных компоненты (модель YUV и близкие к ней). В этом случае на вход сети можно подавать значения этих компонент последовательно, одна за другой. Либо утроить число входов и обрабатывать все компоненты одновременно. Кластеризованные значения компонент, которые получаются на каждом шаге обработки, используются для представления цветного сегментированного изображения, в зависимости от исходных данных, в RGB или YUV пространстве.
Исключением является вариант сегментации изображений в пространстве YUV, в котором цветоразностные компоненты U и V неизменны, а кластеризуется яркостная компонента Y. В этом случае нейронная сеть может выполнять кластеризацию этой компоненты так же, как и для случая полутонового изображения, то есть обрабатывая множество значений одной характеристики. На каждом шаге полученные значения яркостной компоненты можно использовать для представления сегментированного изображения в пространстве YUV, используя для этого исходные, не изменённые цветоразностные компоненты.
Экспериментальные результаты
Для проверки возможности сегментации цветных изображений с помощью рекуррентной нейронной сети нами был проведён ряд экспериментов. При их проведении использовалась программа сегментации изображений, реализующая описанный выше алгоритм, в которой программная модель нейронной сети, изображённой на рис. 1, использовалась в качестве модуля для кластеризации цветовых компонент. Параметры нейронной сети рассчитывались по методике, приведённой в [2]. Исследования проводились на изображениях,
представленных в цветовых пространствах КОВ и YUV. Были выполнены три разновидности сегментации изображений:
• с кластеризацией одной яркостной компоненты в YUV пространстве;
• с кластеризацией одной яркостной и двух цветоразностных компонент в YUV пространстве;
• с кластеризацией трёх базовых яркостных компонент в КОВ пространстве.
Для всех указанных разновидностей на очередном шаге обработки выделялись кластеры близких значений обрабатываемых компонент. По окончанию кластеризации разные значения компонент, принадлежащих одному кластеру, заменялись их средним по кластеру. Эти усредненные значения компонент использовались для формирования цвета пикселей сегментированного изображения в соответствии с моделью выбранного цветового пространства.
Степень завершённости кластеризации каждой компоненты оценивалась путём подсчёта по формуле Шеннона энтропии Н распределения значений компоненты по полученным кластерам:
н = -£рД°Е2 Р, •
ЗдесьргЫ/Ы; N - количество значений компоненты, попавшей в г-й кластер; N - общее количество всех значений компоненты. Суммирование ведётся по количеству кластеров, образовавшихся при отображении входного значения на активационной функции нейрона. Вычисленное значение энтропии после кластеризации сравнивалось со значением до кластеризации. Если эта разница
превышала заданный порог, то усреднённые значения кластеров подавались на вход сети для следующего шага кластеризации. Процесс кластеризации отдельной компоненты завершался тогда, когда разница вычисленных значений энтропии становилась меньше заданного порога.
Такой подход позволял получать сегментированные изображения на каждом шаге процесса так же, как это осуществлялось при сегментации изображений в серой шкале.
На рис. 2 представлены финальные результаты сегментации одного и того же цветного изображения в YUV и КОВ пространствах. В каждом из случаев компоненты соответствующего пространства обрабатывались рекуррентной нейронной сетью, как описано ранее.
Преобразование компонент цветового пространства из КОВ в YUV выполнялось по формулам: 1=0,299^+0,5876+0,114# Ц=-0,14713Д+0,288866+0,436В+128;
К=0,615Я-0,514996-0,10001В+128.
Сравнивая финальные изображения на рис. 2 для всех трёх случаев сегментации, можно заметить, что сегментация изображения, представленного в YUV (рис. 2, б, в), независимо от числа кластеризуемых компонент, меняет исходную натуральную цветовую гамму изображения на псевдо-цветовую. Такой переход к псевдоцветам происходит автоматически, за счет обратного перехода от кластеризованных YUV компонент к КОВ для визуализации обработанного изображения, без привлечения каких-либо дополнительных соглашений или соображений. Появление псевдоцветов изме-
Рис. 2. Многошаговая сегментация изображения газового факела на Ожгинском месторождении: а) исходное изображение, взятое из [4]; б) финальное сегментированное изображение для случая кластеризации только яркостной компоненты Y; в) финальное сегментированное изображение для случая кластеризации всех компонент модели YUV; г) финальное сегментированное изображение для случая кластеризации компонент в модели RGB
а б в
Рис. 3. Многошаговая сегментация цветного изображения: а) исходное изображение, взятое из [5]; шаг 1, Н=0,58, И2=0,75, Н=0,61 бита; в) шаг 4, Н=0,17, Н=0,25, Н=0,39 бита
няет порог цветоразличения и существенно увеличивает информативность полученного результата, позволяя детальнее исследовать структуру исходного изображения. При этом сегментированные изображения в пседоцветах для обоих вариантов сегментации в YUV пространстве в основном совпадают, несмотря на имеющиеся различия в деталях.
Что касается представления в RGB пространстве (рис. 2, г), то сегментация не меняет исходной цветовой гаммы, выделяя, тем не менее, в изображении однородные участки. Такой результат, в общем, следует из механизма многошаговой сегментации. Действительно, на каждом её шаге цвет пикселя формируется значениями яркостей цветовых компонент, лежащими в пределах, заданных яркостями исходного изображения, что и сохраняет палитру.
На рис. 3 представлены результаты сегментации другого цветного изображения в RGB пространстве. Здесь Н1 - энтропия распределения значений ^-компоненты; Н2 - энтропия распределения значений 6-компоненты и Н3 - энтропия распределения значений ^-компоненты на соответствующем шаге процесса. По результатам обработки выделялись кластеры одинаковой яркости для каждого цвета, которые использовались как для вывода сегментированного изображения на текущем шаге процесса, так и для следующего шага обработки.
Хорошо просматривается динамика выделения больших однородных участков в изображении на разных шагах процесса. Финальное изображение фактически представляет собой исходную заготовку для проведения операции распознавания образа.
Таким образом, многошаговая сегментация в YUV пространстве может быть использована для изучения, с различной степенью детализации, структуры объекта, представленного на исходном полноцветном изображении, а в RGB пространстве - для выделения больших однородных областей изображения и подготовке материала для распознавания образов. Выбор цветового пространства для сегментации определяется задачами, которые она должна решать.
Отметим также, что рассмотренные разновидности сегментации по временным затратам можно разделить на две группы. Минимальных временных затрат требует сегментация изображений, представленных в YUV пространстве, для случая, когда требуемая кластеризация выполняется только для яр-костной компоненты У. Это первая группа. Ко второй группе относятся разновидности сегментации, основанные на кластеризации трёх компонент (как для YUV, так и для RGB пространств). Здесь временные затраты, как экспериментально установлено, примерно втрое выше, чем для первой группы.
Выводы
1. Рекуррентная нейронная сеть позволяет выполнять кластеризацию компонент полноцветных изображений, представленных в разных цветовых пространствах. Использование таких компонент позволяет формировать сегментированное изображение.
2. Многократная последовательная кластеризация с использованием усреднённых на каждом шаге значений компонент даёт возможность получать последовательность пошаговых сегментированных изображений.
3. Сегментация изображений, представленных в RGB пространстве, лучше решает задачу выделения протяженных, однородных по яркости и цвету, областей. Исходная цветовая гамма при этом сохраняется.
4. Сегментация изображений, представленных в YUV пространстве, приводит к изменению исходной цветовой гаммы, и, как следствие, к повышению информативности получаемых изображений.
5. Сегментация изображений, основанная на кластеризации только яркостной Y компоненты цветового YUV пространства, выполняется быстрее, чем для других разновидностей процесса, описанного в работе. Это дает возможность использовать её для быстрого получения предварительных сведений перед детальными исследованиями.
Работа выполнена в рамках государственного задания «Наука».
СПИСОК ЛИТЕРАТУРЫ
1. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2005. - 1072 с.
2. Nemirovsky V.B., Stoyanov A.K. Multi-Step Segmentation of Images by Means of a Recurrent Neural Network // 7th International Forum on Strategic Technology (IFOST - 2012): Proceedings: in 2 v. V. 1. - Tomsk, September 18-21, 2012. - P. 557-560.
3. Малинецкий Г.Г. Математические основы синергетики. - М.: Изд-во ЛКИ, 2007. - 312 с.
4. Пожар на Ожгинском месторождении продолжается // Кунгур Online. Кунгурский информационно-новостной сайт. 2012. URL: http://kungur-online.ru/?p=18620 (дата обращения: 20.03.2013).
5. Image 80099, URL: http://www.lapix.ufsc.br/sms/byalgorithmima-ges_80099.html (дата обращения: 20.03.2013).
Поступила 28.03.2013 г.
УДК 621.643
МЕТОД ОПРЕДЕЛЕНИЯ УТЕЧКИ ИЗ НЕФТЕПРОВОДА, ОСНОВАННЫЙ НА РАЗНОСТИ ВО ВРЕМЕНИ ДАВЛЕНИЯ
Т.Е. Мамонова
Томский политехнический университет E-mail: mamte@sibmail.com
Предложен метод определения утечки, основанный на анализе гидравлических характеристик трубопровода во времени. Представлены расчётные формулы для определения массового расхода и координаты утечки. Приведено исследование метода с применением программы COMSOL Multiphysics 3.5. Показано, что предложенный метод и расчётные формулы, соответствующие ему, являются применимыми при определении кратковременных утечек.
Ключевые слова:
Нефтепровод, датчик давления, гидравлический профиль трубопровода, утечка в нефтепроводе, имитационная модель.
Key words:
Oil pipeline, pressure sensor, hydraulic profile of oil pipeline, loss in the pipeline, simulation mode.
В настоящее время при эксплуатации магистральных нефтепроводов одной из наиболее актуальных и сложных задач является своевременное обнаружение утечек, а также определение координаты и массового расхода этих утечек. Особо важно решить данную задачу при появлении несанкционированных врезок в трубопровод, которые устанавливаются для хищения нефтепродуктов. Так, согласно [1], по данным «Транснефти», всего в период с 2003 по 2012 гг. на объектах компании было выявлено 4779 несанкционированных врезок в магистральные нефтепроводы, что составляет около 70 % всех совершенных преступлений. В 2012 г. таких случаев было зафиксировано 180, в 2011 г. -214, а в 2010 г. - 313. При этом на ликвидацию современной врезки требуется порядка 2,5 млн р., а экологический ущерб оценить практически невозможно.
Сложность обнаружения несанкционированных врезок заключается в том, что их длительность составляет несколько минут, и изменение давления при их возникновении очень мало по сравнению с давлением в трубопроводе при перекачивании нефтепродуктов. Методы обнаружения утечек, которые используются в настоящее время при эксплуатации линейной части нефтепроводов, приведённые в [2, 3], в большинстве случаев являются малочувствительными к изменениям интенсивности возникающих кратковременных утечек.
В работе предлагается метод для определения координаты и массового расхода утечки, который основан на разности во времени давления в контролируемых сечениях трубы. Прототипом предлагаемого метода является метод гидравлической локации утечки, который описан в [4] и основан на анализе гидравлических характеристик участка нефтепровода. При этом рассматривается участок нефтепровода между двумя нефтеперекачивающими станциями НПС1 и НПС2, который работает в стационарном режиме, не имеет самотечных участков и транспортирует однородную нефть с некоторым расходом (}0. Схема нефтепровода с утечкой и без неё и расчётные данные по методу гидравлической локации представлены на рис. 1.
Рис. 1. Расчётная схема метода гидравлической локации утечки
