CC BY
118
УДК 004.021:681.5 А.Н.Горитов
Предварительная обработка изображений в системах технического зрения
В настоящее время для получения видеоизображения широко используются телекамеры, использующие матрицы светочувствительных элементов. В качестве датчиков изображений в таких телекамерах используются матрицы на основе приборов с зарядовой связью или матрицы из фотодиодов. Такие телекамеры позволяют получить изображение внешней среды, разделенной на три цветовые составляющие - красную, зеленую и синюю. Для сокращения ресурсных требований к этапу обработки изображения рабочей сцены промышленного робота выполняют предварительную обработку изображения, полученного с телекамеры. Этот этап включает преобразование исходного изображения в полутоновое и преобразование полутонового изображения в бинарное. Для преобразования полутонового изображения в бинарное в настоящее время разработано большое число методов. Авторами этих методов являются Otsu, Gonzalez, Woods, Eikvil, Bradley, Roth, Bernsen, Niblack, Sauvola, Singh, Wolf. Методы бинаризации, предложенные этими авторами, обладают разными свойствами. Среди них важно выделить методы, которые сохраняют наиболее важные характеристики объектов рабочей сцены промышленного робота. Проведен анализ наиболее известных методов бинаризации.
Ключевые слова: промышленный робот, техническое зрение, обработка изображения, бинарное изображение. doi: 10.21293/1818-0442-2018-21-4-1-53-58
Системы технического зрения являются одним из наиболее эффективных средств очувствления промышленного робота. Основным достоинством системы технического зрения является высокая информативность, что дает возможность решать широкий круг задач. Проблемы разработки систем технического зрения промышленных роботов подробно рассматривались в таких работах, как [1-4]. В работе [3] отмечалось, что основным препятствием внедрения систем технического зрения являются временные характеристики.
Изображение рабочей сцены промышленного робота формируется видеокамерой. На качество полученного изображения влияют технические характеристики видеокамеры и условия освещения рабочей сцены. Полученное изображение может иметь ряд факторов, затрудняющих дальнейшую обработку изображения. К таким факторам относятся блики, тени, неравномерное освещение, неоднородный фон, низкая контрастность или недостаточная яркость. Кроме того, изображение может быть зашумлено. Все эти факторы затрудняют выделение объектов на изображении.
Задача предварительной обработки изображения заключается в том, что на изображении выделяются объекты, представляющие интерес для дальнейшей обработки изображения.
В работах [1, 2] рассматривались различные методы, применяемые на этапе предварительной обработки изображения. В последние годы внедрение методов обработки изображений в медицину, промышленность, в обработку документов привело к созданию новых методов обработки изображения.
Изображения, получаемые в различных проблемных областях, имеют свои особенности. В связи с этим методы, успешно работающие в одних областях, могут давать неудовлетворительные результаты в другой предметной области. Это приводит к тому,
что необходимо проанализировать новые методы обработки информации с тем, чтобы выбрать методы, обеспечивающие сокращение времени этапа предварительной обработки изображения и максимально точно передающие информацию об объектах, представляющих интерес для последующей обработки изображения.
Таким образом, цель работы состоит в том, чтобы провести анализ методов и алгоритмов предварительной обработки изображения и оценить возможности использования их при создании новых систем технического зрения промышленного робота.
Основные этапы предварительной обработки изображения:
1. Получить изображение с телекамеры.
2. Преобразовать исходное изображение в градации серого.
3. Преобразовать изображение в бинарное.
Бинарное изображение позволяет сократить ресурсные требования к методам обработки изображения на последующих этапах [1, 5]. При этом бинарное изображение позволяет получить такие важные характеристики объектов рабочей среды промышленного робота, как площадь проекции, центр тяжести, ориентация, периметр и т. д.
Рассмотрим основные этапы предварительной обработки изображения.
Исходное цветное изображение. Для получения информации о рабочей среде промышленного робота могут использоваться видеокамеры, основанные на различных датчиках изображения. Например, передающие вакуумные электронно-лучевые приборы (ЭЛП) или матрицы светочувствительных элементов.
В последнее время широкое распространение получили видеокамеры, основанные на матрицах светочувствительных элементов, так называемые твердотельные телекамеры.
В качестве датчиков изображений используются или матрицы на основе приборов с зарядовой связью (ПЗС), или матрицы из фотодиодов.
Телекамеры на основе приборов с зарядовой связью характеризуются высокой надежностью, относительной температурной стабильностью. Недостаток современных телекамер на ПЗС - меньшие по сравнению с ЭЛП чувствительность и разрешающая способность.
Телекамеры с фотодиодной матрицей характеризует высокое быстродействие, небольшие размеры и высокая надежность. К недостаткам телекамер с фотодиодной матрицей относятся малая разрешающая способность и шум на изображении. Несмотря на имеющиеся недостатки, телекамеры с фотодиодной матрицей получили широкое распространение.
Большинство современных телекамер позволяет получить изображение внешней среды, разделенное на цветовые составляющие - красную (г), зеленую (g), синюю (b).
Преобразование изображения в градации серого. В соответствии со стандартом «Recommendation ITU-R BT. 709-6» преобразование в градации серого выполняются по формуле [6]
y = 0,2126 • г + 0,7152 • g + 0,0722 • b, где г, g, b - цветовые компоненты исходного изображения, а y - выходное значение для пикселя изображения в оттенках серого.
Преобразование изображения в бинарное
Бинаризация изображения предполагает разделение изображения на фон и объекты, которые представляют интерес для последующих этапов работы с изображением. Бинаризация изображения выполняется согласно правилу [7]
в^У)=|0, Ä т,
где f(x, y) - яркость пикселя (x, y) исходного изображения, B(x, y) - значение пикселя результирующего изображения, т - порог бинаризации.
Методы бинаризации принято делить на гло-бальные и локальные. В глобальных методах бинаризации вычисляется одно значение порога T, кото -рое используется при обработке всех пикселей исходного изображения. В локальных методах значение порога бинаризации T вычисляется для каждого пикселя исходного изображения или для пикселей из локальной области исходного изображения.
Среди методов бинаризации наиболее известными являются методы, предложенные такими авторами, как Отсу (Otsu), Гонсалес (Gonzalez), Вудс (Woods), Эйквил (Eikvil), Бредли (Bradley), Рут (Roth), Бернсен (Bernsen), Ниблэк (Niblack), Саувола (Sauvola), Сингх (Singh), Волф (Wolf).
Изображения, получаемые в различных проблемных областях, имеют свои особенности. В связи с этим методы бинаризации, успешно работающие в одних областях, могут давать неудовлетворительные результаты в другой предметной области.
Рассмотрим более подробно наиболее известные методы с тем, чтобы определить, какие методы
дают лучшие результаты при обработке изображений рабочей среды промышленного робота.
Для оценки возможности использования рассмотренных методов для обработки изображений рабочей сцены промышленного робота рассмотрим применение этих методов в наиболее характерных ситуациях - объекты внешней среды имеют неравномерное освещение и объекты внешней среды имеют различные габариты.
а б
Рис. 1. Исходное изображение с неравномерным освещением - а. Исходное изображение с объектами различных габаритов - б
Метод Отсу [8] выполняет бинаризацию на основе глобального порога. На рис. 2, а и б приведены результаты бинаризации изображений, приведенных на рис. 1, а и б. При неравномерном освещении вме-сте с объектом выделяются тень и вся мало освещенная область фоновой части рабочей сцены (рис. 2, а). При равномерном освещении рабочей сцены метод хорошо сегментирует изображение (рис. 2, б). Использование метода можно рекомендовать только при постоянном контроле за равномерным освещением рабочей сцены.
V ##
а ' * б
Рис. 2. Бинаризация изображения методом Отсу. Изображение с неравномерным освещением - а. Изображение с объектами различных размеров - б
Метод Гонсалеса и Вудса [7]. Результаты бинаризации методом Гонсалеса и Вудса (рис. 3, а и б) во многом совпадают с результатами метода Отсу.
Метод хорошо справляется со своей задачей при условии, что все объекты рабочей сцены равномерно освещены, отсутствуют световые пятна на изображении и объекты не имеют больших теней. Наличие теней может отрицательно сказаться на определении геометрических характеристик объектов.
Метод Эйквила [9]. Метод хорошо обрабатывает изображения с неравномерным освещением (рис. 4, а). Зашумленность и структурированность области, не содержащей объекты, не влияет на каче -ство отделения фона от объектов. Хорошо обрабатывает объекты с большой поверхностью (рис. 4, б). Из недостатков можно отметить, что сильно выражен-
ные тени отмечаются как объекты. Это может привести к снижению точности определения геометрических характеристик на последующих этапах обработки изображения.
• • *
#
• . #
а б
Рис. 3. Бинаризация изображения методом Гонсалеса-Вудса. Изображение с неравномерным освещением - а. Изображение с объектами различных размеров - б
в
а б
Рис. 4. Бинаризация изображения методом Эйквила.
Изображение с неравномерным освещением - а.
Изображение с объектами различных размеров - б
Метод Бредли и Рута [10]. На рис. 5, а продемонстрировано преобразование исходного изображения, имеющее неравномерное освещение рабочей сцены. Метод успешно выполнил разделение изображения на фон и объект. Небольшая часть тени от объекта была классифицирована как объект. На рис. 5, б приводится результат бинаризации изображения с цилиндрами разного радиуса. У цилиндра наибольшего радиуса внутренняя область была отмечена как фон.
О
• ф
#
• *
а б
Рис. 5. Бинаризация изображения методом Бредли-Рута.
Изображение с неравномерным освещением - а.
Изображение с объектами различных размеров - б
К достоинствам метода относятся простая реализация, высокая скорость выполнения, хорошее разделение фона и объектов интереса. Метод хорошо работает с неоднородным освещением, устойчив к шуму. К недостаткам метода относится плохая чувствительность к изображениям с низким контрастом - внутренние части объектов интереса большого размера могут быть неправильно отнесены к фону. Также погрешности возникают при обработке теней. Тени, имеющиеся у объектов, отмечаются вместе с объектами интереса.
Метод Бернсена [11]. На рис. 6, а и б приведены результаты преобразования исходного изображения (см. рис. 1, а и б) с помощью метода Бернсена. Метод успешно обработал изображение с неравномерным освещением и отделил фон от объекта. К достоинствам метода относится хорошее отделение фона от объектов при различном освещении, как равномерном, так и неравномерном. Правильно помечаются объекты с большой поверхностью. Недостатком этого метода является отнесение теней, которые могут быть у объектов интереса, к объектам. Это может привести к увеличению времени обработки изображения на последующих этапах.
*
\\
• Л
а б
Рис. 6. Бинаризация изображения методом Бернсена.
Изображение с неравномерным освещением - а.
Изображение с объектами различных размеров - б
Метод Ниблэка [12]. Оценка метода бинаризации проводилась при различных размерах локальной области (Я*Я) и эмпирически определяемом параметре к. На рис. 7, а и б приведены результаты преобразования исходных изображений при следующих параметрах: Я = 9, к = -0,5. Результирующее бинарное изображение сильно зашумлено. Это связано с тем, что небольшое различие между яркостью пикселя и пороговым значением на участках, свободных от объектов, приводит к значительной зашумленности изображения. Кроме того, объекты, имеющие большие поверхности, выделены только контуром. Внутренняя область объектов также сильно зашум-лена.
шш
ЩЩЙ
¡яря 1
Ш
а б
Рис. 7. Бинаризация изображения методом Ниблэка.
Изображение с неравномерным освещением - а.
Изображение с объектами различных размеров - б
Основным недостатком этого метода является сильная зашумленность бинарного изображения. Это значительно затрудняет обработку изображения на последующих этапах. Модификация метода №Ь1аск позволяет снизить шум, появляющийся на бинарном изображении [13]. Но объекты интереса на бинарном изображении представлены только своим контуром, что не позволяет правильно определить их геометрические характеристики.
Метод Саувола [14]. Оценка метода бинаризации проводилась при различных размерах локальной
области (Я*Я) и эмпирически определяемом параметре к. На рис. 8, а и б приведены результаты преобразования исходных изображений при следующих параметрах: Я = 31, к = 0,2. Обработка изображения с неравномерным освещением показала хорошее отделение фона на изображении. На бинарном изображении отсутствует зашумленность на фоне после бинаризации. В процессе бинаризации была удалена тень. Метод демонстрирует хорошее отделение фона. У объектов интереса, имеющих большую поверхность, внутренняя область отмечена как фон. Сами объекты представлены только своими контурами. К недостаткам этого метода применительно к задачам распознавания рабочей среды промышленного робота относится то, что области с низким кон -трастом метод бинаризации относит к фону. Вследствие этого внутренние области объектов интереса с большой поверхностью на бинарном изображении будут представлены только своим контуром (см. рис. 8, б).
% О • 9
#
О V
(О
Рис. 8. Бинаризация изображения методом Саувола.
Изображение с неравномерным освещением - а.
Изображение с объектами различных размеров - б
Метод Волфа [15]. Оценка метода бинаризации проводилась при различных размерах локальной области (Я*Я) и эмпирически определяемом параметре к. На рис. 9, а и б приведены результаты преобразование исходного изображения. Вычисления проводились при следующих значениях параметров: Я = 15, к = 0,5. Метод продемонстрировал хорошее разделение фона и объекта. К недостаткам следует отнести то, что объект выделен только своим контуром. Внутренняя область объекта помечена как фон.
Рис. 9. Бинаризация изображения методом Волфа.
Изображение с неравномерным освещением - а.
Изображение с объектами различных размеров - б
Метод Сингха [16]. Оценка метода бинаризации проводилась при различных размерах локальной области (ЯхЯ) и эмпирически определяемом параметре к. На рис. 10, а и б приведены результаты преобразования исходного изображения при следующих параметрах: Я = 15, к = 0,4. Тестирование метода показало, что метод обеспечивает устойчивое отделение фона от объектов. К недостаткам этого метода относится то, что внутренние области объектов интереса, имеющие невысокую яркость и низкий контраст, на бинарном изображении отмечаются как фон.
OJ
О
о-
V»
в (О
а б
Рис. 10. Бинаризация изображения методом Сингха.
Изображение с неравномерным освещением - а.
Изображение с объектами различных размеров - б
Метод ВВРМ [17]. Оценка метода бинаризации проводилась при различных размерах локальной области (Я^Я) и эмпирически определяемых параметрах К и Кс. На рис. 11, а приведены результаты преобразования исходного изображения при неравномерном освещении. Бинаризация выполнена при следующих значениях констант: Я = 3, К = 0,2 и Кс = 0,03. На рис. 11, б приведены результаты преобразования исходного изображения рис. 1, а. Бинаризация выполнена при следующих значениях констант: Я = 5, К = 0,2 и Кс = 0,03. Метод бинаризации показал хорошие результаты как при обработке изображения с равномерным освещением, так и при обработке изображения с неравномерным освещением. В результате экспериментов отмечено, что увеличение коэффициента приводит к увеличению области теней, которые помечаются как объекты.
Ш)
а б
Рис. 11. Бинаризация изображения методом ВВРМ.
Изображение с неравномерным освещением - а. Изображение с объектами различных размеров - б
Метод Ника [18]. Оценка метода бинаризации проводилась при различных размерах локальной области (Я^Я) и эмпирически определяемом параметре к. На рис. 12, а и б приведены результаты преобразования исходного изображения при следующих параметрах: Я = 25, к = -0,2. Метод хорошо распознает объекты, не имеющие большой поверхности. Основным недостатком этого метода является то, что внутренние области объектов интереса с большой поверхностью помечаются как фон. Это может привести к ошибочной классификации объектов интереса и к неправильному определению их геометрических характеристик.
* о • *
(О
Рис. 12. Бинаризация изображения методом Ника. Изображение с неравномерным освещением - а. Изображение с объектами различных размеров - б
л
п
Заключение
Предварительная обработка изображения является важным этапом обработки изображения. От выбора методов обработки изображения зависят длительность выполнения предварительного этапа обработки изображения и точность передачи характеристик исходных объектов рабочей сцены промышленного робота.
Оценка методов проводилась на основе численных экспериментов [19]. В число варьируемых параметров входили размер локальной области и эмпирически определяемые коэффициенты.
По результатам анализа наиболее перспективными для задачи бинаризации изображений в робототехнике являются методы Эйквила, Бернсена и BBPM. Методы продемонстрировали высокое качество обработки изображений рабочей сцены с неравномерным освещением, разделение изображения на фон и объекты интереса, отсеивание теней от объектов интереса.
Литература
1. Хорн Б.К.П. Зрение роботов. - М.: Мир, 1989. -487 с.
2. Техническое зрение роботов / под ред. А. Пью. -М.: Машиностроение. - 1987. - 320 с.
3. Кориков А.М. Корреляционные зрительные системы роботов / А.М. Кориков, В.И. Сырямкин, В.С. Титов. -Томск: Радио и связь, 1990. - 264 с.
4. Клевалин В.А. Системы технического зрения в промышленной робототехнике / В.А. Клевалин, А.Ю. Поливанов // Мехатроника, автоматизация, управление. -2010. - № 9. - С. 26-36.
5. Горитов А.Н. Выделение на изображении низкого разрешения параметрически задаваемых объектов / А.Н. Горитов, С.И. Яковченко // Доклады ТУСУР. - 2017. -Т. 20, № 2. - С. 88-90.
6. Recommendation ITU-R BT.709-6. Parameter values for the HDTV standards for production and international programme exchange. - 2015. - P. 19.
7. Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2005. - 1072 с.
8. Otsu N. A threshold selection method from gray-level histograms// IEEE Transactions on Systems, Man and Cybernetics. - 1979. - Vol. 9, № 1. - P. 62-66.
9. Eikvil L. A fast adaptive method for binarization of document images / L. Eikvil, T. Taxt, K. Moen // International Conference on Document Analysis and Recognition, September, 1991. - P. 435-443.
10. Bradley D. Adaptive thresholding using the integral image / D. Bradley, G. Roth // Journal of graphics tools. -2007. - Vol. 12, № 2. - P. 13-21.
11. Bernsen J. Dynamic thresholding of gray level images // Proceedings of International Conference on Pattern Recognition (ICPR). - Paris, 1986. - P. 1251-1255.
12. Niblack W. An introduction to digital image processing // Prentice-Hall, Englewood Cliffs. - 1986. - P. 115-116.
13. Миронов А. С. Сравнение вариантов реализации алгоритма Ниблэка бинаризации полутоновых изображений / А.С. Миронов, Д.П. Николаев // Информационные технологии и системы. - М., 2010. - С. 138-144.
14. Sauvola J. Adaptive document image binarization / J. Sauvola, M. Pietikainen // Document Analysis and Recognition. - 1997. - Vol. 1. - P. 147-152.
15. Wolf C. Extraction and Recognition of Artificial Text in Multimedia Documents / C. Wolf, J-M. Jolion // Pattern Analysis and Applications. - 2003. - Vol. 6, № 4. - P. 309-326.
16. Singh O.I. Local contrast and mean thresholding in image binarization / O.I. Singh, T. Sinam, O. James, T.R. Singh // International Journal of Computer Applications. -2012. - Vol. 51, No 6. - P. 4-10.
17. Singh O.I., Singh T.R. Image binarization using block boundary pixels mean // J. of Computer Science. -2017. - Vol. 13, № 11. - P. 667-673
18. Khurshid K. Comparison of Niblack inspired binari-zation methods for ancient documents / K. Khurshid, I. Siddiqi, C. Faure, N. Vincent // 16-th International conference on Document Recognition and Retrieval, USA. - 2009. -P. 1-10.
19. Кориков А.М. Эксперимент в научном исследовании // Доклады ТУСУР. - 2015. - № 2(36). - С. 148-153.
Горитов Александр Николаевич
Д-р техн. наук, профессор, профессор каф.
автоматизированных систем управления (АСУ)
Томского государственного ун-та систем управления
и радиоэлектроники (ТУСУР)
Ленина пр-т, д. 40, г. Томск, Россия, 634050
Тел.: +7 (382-2) 70-15-36
Эл. почта: ang@asu.tusur.ru
Goritov A.N.
Preliminary image processing in vision systems
Currently, cameras that use a matrix of photosensitive elements are widely used for video. Matrixes based on chargecoupled devices or arrays of photodiodes are used as image sensors in such cameras. These cameras allow you to get an image of the external environment, divided into three color components - red, green and blue. To reduce the resource requirements for the stage of image processing of the working scene of an industrial robot, pre-processing of the image obtained from the camera is performed. This stage involves the transformation of the original image into a halftone and the transformation of a halftone image into a binary one. A large number of methods have now been developed for converting a halftone image into a binary one. The authors of these methods are Otsu, Gonzalez, Woods, Eikvil, Bradley, Roth, Bernsen, Niblack, Sauvola, Singh, Wolf. The binarization methods proposed by these authors have different properties. Among these methods it is important to highlight the methods that preserve the most important characteristics of the objects of the working scene of an industrial robot. The analysis of the most well-known methods of binarization. Keywords: industrial robot, technical vision, image processing, binary image.
doi: 10.21293/1818-0442-2018-21-4-1-53-58
References
1. Horn B.K.P. Robot vision. Moscow, World, 1989, 487 p.
2. Robot vision. Editer A.Pugh. Moscow, Engineering, 1987, 320 p.
3. Korikov A.M., Syryamkin V.I., Titov V.S. Correlation visual systems of robots. Tomsk, Radio and communication, 1990, 264 p.
4. Klevalin V.A., Polivanov A.Yu. Vision systems in industrial robotics. Mechatronics, automation, control, 2010, no 9, pp. 26-36.
5. Goritov A.N., Yakovchenko S.I Highlighting of para-metrically specified objects on the low resolution image. Proceedings of TUSUR University, 2017, Vol. 20, no 2, pp. 88-90 (in Russ.).
6. Recommendation ITU-R BT. 709-6. Parameter values for the HDTV standards for production and international programme exchange. 2015, 19 p.
7. Gonzalez R., Woods R. Digital Image Processing. M., Technosphere, 2005. 1072 p.
8. Otsu N. A threshold selection method from gray-level histograms IEEE Transactions on Systems, Man and Cybernetics, 1979, vol. 9, no 1, pp. 62-66.
9. Eikvil L., Taxt T., Moen K. A fast adaptive method for binarization of document images. International Conference on Document Analysis and Recognition, September, 1991, pp. 435-443.
10. Bradley D., Roth G. Adaptive thresholding using the integral image. Journal of graphics tools, 2007, vol. 12, no 2, pp. 13-21.
11. Bernsen J. Dynamic thresholding of gray level images. Proceedings of International Conference on Pattern Recognition (ICPR), Paris, 1986, pp. 1251-1255.
12. Niblack W. An introduction to digital image processing. Prentice-Hall, Englewood Cliffs, 1986, pp. 115-116.
13. Mironov A.S., Nikolaev D.P. Comparison of options for the implementation of the Niblack binocularization of halftone images. Information technology and systems, Moscow, 2010, pp. 138-144.
14. Sauvola J., Pietikainen M. Adaptive document image binarization. Document Analysis and Recognition, 1997, vol. 1, pp. 147-152.
15. Wolf C., Jolion J-M. Extraction and Recognition of Artificial Text in Multimedia Documents. Pattern Analysis and Applications, 2003, vol. 6, no 4, pp. 309-326.
16. Singh O.I., Sinam T., James O., Singh T.R. Local contrast and mean thresholding in image binarization. International Journal of Computer Applications, 2012, vol. 51, no 6, pp. 4-10.
17. Singh O. I., Singh T. R. Image binarization using block boundary pixels mean. Journal of Computer Science, 2017, vol. 13, no 11, pp. 667-673.
18. Khurshid K., Siddiqi I., Faure C., Vincent N. Comparison of Niblack inspired binarization methods for ancient documents. 16 th International conference on Document Recognition and Retrieval, USA, 2009, pp. 1-10.
19. Korikov A.M. Experiment in Scientific Research Proceedings of TUSUR University, 2015, no. 2(36), pp. 148153 (in Russ.).
Goritov A. Nikolaevich
Doctor of Engineering, Professor, Department Automated Control Systems (ACS) Tomsk State University of Control Systems and Radio Electronics (TUSUR) 40, Lenin pr., Tomsk, Russia, 634050 Phone: +7 (382-2) 70-15-36 Email: ang@asu.tusur.ru
