CC BY
89
УДК 004.93.1
В.П. Глазков, Д.В. Лачугин СПОСОБ ВЫДЕЛЕНИЯ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ НА ОСНОВЕ ПРОСТРАНСТВЕННОЙ ИНФОРМАЦИИ О РЕЛЬЕФЕ ПОВЕРХНОСТИ
Рассматривается объектно-ориентированный поиск изображений по содержанию. Предлагается метод обнаружения на основе пространственной информации об объекте, а также схема представления трехмерных объектов. Эта схема использует качественные характеристики компонентов на изображении. Разработан программный комплекс, реализующий предлагаемый способ.
Анализ изображения, обнаружение объектов, пространственные координаты, стереоскопическая система
V.P. Glazkov, D.V. Lachugin A METHOD OF OBJECTS DETECTION IN IMAGES BASED ON SPATIAL COORDINATES OF SURFACES
The object-oriented search images by content. Detection method based on the spatial information about the object and the detection schemes of threedimensional objects are proposed. This scheme uses qualitative components of a 3D object in the image. Developed a software package that implements the proposed method.
Image analysis, object detection, spatial coordinates, stereoscopic vision system
Поиск изображений по содержанию связан с процессом получения выделенных цифровых изображений, которые имеют требуемое содержание. Большинство существующих подходов к поиску изображений на основе содержания заключаются в том, чтобы производить поиск по определенным атрибутам, которые обычно извлекаются из набора изображений вручную [1, 2].
Основными при этом являются представление и обнаружение объектов. Обнаружение объекта заключается в идентификации неизвестного объекта сопоставлением его с известными моделями из базы. При этом частичное совпадение также считается приемлемым. Для успешного определения объекта должны решаться следующие вопросы.
1. Представление объектов, включающее свойства инвариантности.
2. Обнаружение подобных объектов на основе сопоставления независимо от точки наблюдения. Многие поисковые системы изображения используют для представления изображений цвета, текстуру, двумерные формы. Поиск изображений сравнением цветовых составляющих производится построением гистограммы их распределения. Изображение делится на регионы по сходным цветовым характеристикам, далее учитывается их взаимное расположение. Описание изображений цветами, которые на них содержатся, является наиболее распространённым, так как оно не зависит от размера или ориентации изображения. Второй метод описания основан на сравнении текстурных образцов, присутствующих на изображении, их взаимном расположении. При этом используется не только информация, описывающая тек-
стуру, но и её местоположение на описываемом изображении. Текстуру представляют в виде двухмерного массива изменения яркости, уровня контраста, направленности градиента. Третий метод (описание двумерных форм) предполагает описание геометрической формы отдельных регионов изображения. Для её определения к региону вначале применяют сегментацию или выделение границ. Существуют и другие способы, например, фильтрация форм. Часто определение формы требует вмешательства человека, так как методы типа сегментации сложно полностью автоматизировать для широкого класса задач.
Таким образом, преимущество рассмотренных подходов в том, что подобные характеристики могут быть сравнительно легко определены и проанализированы. Однако для многих изображений они не отражают наиболее важных характеристик. Например, изображение стола имеет особый цвет и текстуру, но также важной характеристикой этого объекта является трехмерное описание структуры. Для человека важно именно это трехмерное описание, чтобы распознать в объекте «стол».
Таким образом, основным отличием подхода к обнаружению объектов является использование не двумерной, а трехмерной информации об области исследуемого пространства, о пространственных координатах точек анализируемой области. В [4] описана структура модели устройства стереоскопической системы технического зрения, которая позволяет получить рельеф поверхности непосредственно в поле зрения СТЗ. Система может состоять из двух, трех или четырех пространственно разделенных камер (рис. 1, 2), обладая различными показателями точности определения координат. Результат сканирования - карта рельефа поверхности (в виде трехмерного графика на рис. 3).
В статье предложен программный комплекс по обработке и представлению полученных данных, общая схема которого представлена на рис. 4.
От стереоскопической системы поступает информация о трехмерных координатах исследуемых точек в области зрения камер. Система использует трехмер -ные описания структуры для представления информации на изображениях. Детектирование объектов осуществляется следующим образом.
Из потока передаваемой с устройства информации выделяются кадры, которые проходят этап улучшения качества изображения. Так как устройство сканирует пространство дискретно, то на границах объектов, а также на резких изменениях рельефа поверхностей в изображении после сканирования образуются значительные искажения.
Предобработка такого рода шума заключается в его сглаживании. При этом форма объекта приобретает менее искаженный вид, который пригоден для дальнейшей обработки.
Для выделения компонентов требуется определить узловые точки и объединять группы точек в полигоны. Затем компоненты трехмерных объектов идентифицируются поиском подходящей структуры в ней; в базе хранятся около 36 различных общих компонентов (такие, как брусок, цилиндр и т.д.) совместно с различными вариантами типов их соединений, позиций, размеров. Некоторые из общих компонентов из базы представлены на рис. 5. Подобная база может быть использована для описания большого диапазона различных объектов. Каждый общий компонент из различных наборов четырех основных параметров двумерных изображений: кривизна, коллинеарность, симметрия, параллелизм.
канала
Рис. 2. Схема устройства на основе четырех камер
Для заданного набора объектов эти множества свойств инвариантны по отношению к точке наблюдения. Следовательно, это обеспечивает надежное восприятие объекта, когда изображение проецируется из новой точки зрения. После того, как идентифицированы трехмерные объекты, список объектов и их отношений используется для представления картинки.
На этапе анализа изображения первыми выявляются компоненты, из которых состоят объекты и связи этих компонентов. Основываясь на свойствах визуального познания, в методе предлагается использовать набор наиболее простых компонентов трехмерных объектов в изображениях. Они будут использоваться в качестве основы для представления и обнаружения объектов.
Для представления изображения предлагается использовать таблицу описаний трехмерных структур (рис. 6). Каждое изображение представляется как список объектов внутри изображения. В свою очередь, объект представляется компонентами и их связями. Исходя из свойств человеческого восприятия, предлагаемая модель обеспечивает интуитивно правдоподобное описание того, как человек определяет объекты с точки зрения их составляющих компонентов и подобный подход предоставляет довольно точное соответствие, несмотря на различные углы обзора и искажения исходного изображения.
Общий вид алгоритма детектирования объектов на изображении представлен на рис. 7. Объекты делятся на группы таким образом, чтобы объекты из одной группы не были связаны с объектами из другой группы. В каждой группе определятся соответствие объектов определенному общему компоненту из базы. После того, как объект определен, алгоритм определяет соседние объекты, заполняет структуру трехмерных связей (рис. 6). Определенные объекты удаляются из списка.
Рис. 4. Общая структура программного комплекса
Брусок Цилиндр Клин Конус
Рис. 5. Некоторые общие простые компоненты
ВХОД: Набор общих компонентов,
Набор объектов,
Исходное изображение
1. OBJ_List = пусто;
2. Определение компонентов
и их отношений на изображении; Разделение всех компонентов на группы так, что компоненты из одной группы соединены между собой и не соединены с компонентами из другой группы;
Для каждой группы, G Пока G не пусто Определение объекта, OBJ, из базы; Если объект, OBJ, определен Добавить OBJ в OBJ_List;
Иначе удалить OBJ из G Удалить из G все компоненты, связанные с OBJ;
3
4.
5.
6. 8.
9.
10. 11.
12. Вернуть OBJ_List
Рис. 6. Описание связей трехмерных объектов
Рис. 7. Алгоритм анализа изображения
На рис. 8 представлено зашумленное изображение для анализа, на рис. 9 показаны выделенные компоненты. После трехмерной реконструкции картина восстанавливаемой поверхности представляет набор узловых точек, которые, объединяясь с учетом третей координаты (составляющей Z), образуют сетчатые поверхности рассматриваемых объектов. В результате этого полученная картина перед стереокамерой не зависит от освещенности (затененности), от показателей яркостей и отражающей способности поверхностей. На шаге предварительной обработки алгоритм уменьшит шумовые дефекты, ухудшающие качество; выделит полигоны на изображении.
Предложенный алгоритм определения и представления объектов будет использован на шаге перед распознаванием. Распознавание выделенных объектов и их соотношений может производиться, например, на основе применения обученных нейронных сетей [3], которые принимают решения о принадлежности объектов к определенным классам.
Однако следует заметить, что, не смотря на выделение объектов, при дальнейшем использовании интеллектуальных средств для распознавания объектов, возможны ситуации неопределенности результата. Например, при распознавании объектов на рис. 9, обученная нейронная сеть сможет с большой уверенностью идентифицировать стол, однако распознать среди оставшихся объектов стул без дополнительной контекстной информации с большой степенью уверенности нейронная сеть не сможет.
В подобной ситуации при наличии неполной, неточной или противоречивой информации о классифицируемых объектах в существующих методах распознавания образов используется два способа снижения неопределенности информации.
1. Обучение нейронной сети распознаванию, которое формулируется в зависимости от количества доступной априорной информации как задача обучения с учителем, либо самообучение.
2. Вводятся дополнительные предположения о классифицируемых объектах: допущения о статистической природе измеряемых параметров объектов, использование дополнительной контекстной информации и т.д.
Таким образом, сформулирована задача адаптации системы распознавания к неопределенной априорной информации. Как и в задачах обучения и самообучения она состоит в минимизации функционала потерь.
Рис. 8. Изначальное изображение с шумом
Однако в задачах обучения и самообучения информация об объектах (классы, измеряемые переменные) считается достоверной, поэтому оптимизация проводится только на основе изменения решающего правила. В задаче адаптации информация об объектах может быть недостоверной, поэтому оптимизация проводится изменением решающего правила или априорной информации.
Также может быть использована система принятия решений с возможностью обработки нечетких, неполных сведений о классифицируемых объектах. Такие системы должны обнаруживать противоречия между имеющимися и вновь поступающими данными и обладать средствами согласования этих противоречий. В качестве подобной системы целесообразно применение гибридных нейро-нечетких систем (ANFIS), позволяющих решать задачи классификации на основе применения нечетких правил для снижения неопределенности.
ЛИТЕРАТУРА
1. Gong Y. An image database system with content capturing and fast image indexing abilities // International Conference on Multimedia Systems and Computing. Boston: MA., 1994. P.121-139.
2. Gudivada V.N., Raghavan V.V. Content-based image retrieval systems // Computer. V.28. N9. 1995. P.18-22.
3. Глазков В.П., Егоров И.В., Лачугин Д.В. Нейросетевое распознавание трехмерных объектов на основе информации о пространственных координатах точек поверхности // Вестник СГТУ. №4 (51). Вып. 3. 2010.
4. Лачугин Д.В., Егоров И.В. Высокоскоростная стереоскопическая система технического зрения // Инновации и актуальные проблемы техники и технологий: материалы ВИНК молодых ученых. Т.1. Саратов: СГТУ, 2010.
Глазков Виктор Петрович -
доктор технических наук, профессор, заведующий кафедрой «Системы искусственного интеллекта» Саратовского государственного технического университета им. Гагарина Ю.А.
Лачугин Дмитрий Вячеславович -
аспирант кафедры «Системы искусственного интеллекта» Саратовского государственного технического университета им. Гагарина Ю.А.
Статья поступила в редакцию 5.03.12, принята к опубликованию 12.03.12
