CC BY
76ПРИМЕНЕНИЕ ТЕХНОЛОГИИ ПОИСКА ГЛУБИНЫ ИЗОБРАЖЕНИЙ ПОСРЕДСТВОМ ВЕБ-
КАМЕРЫ
Куличкина Ч.С.
Харбинский Инженерный Университет, студент
APPLICATION OF DEPTH SEARCH TECHNOLOGY VIA WEBCAM
Kulichkina Ch.
Harbin Engineering University, student
Аннотация
В данной работе представлена процедура калибровки двух веб-камер и поиска глубины изображения из обеих веб-камер с помощью библиотеки компьютерного зрения OpenCV. Калибровка камеры используется в компьютерном зрении для определения глубины изображения. Для калибровки камеры используется алгоритм шахматной доски. Включены основные принципы технического зрения, понятия бинокулярного зрения для дальнейшего распознавания образов. Для демонстрации и оценки процедуры используются две веб-камеры и реальные эксперименты.
Abstract
This paper presents a procedure for calibrating two webcams and finding image depth from both webcams using the OpenCV computer vision library. Camera calibration is used in computer vision to determine image depth. A checkerboard algorithm is used to calibrate the camera. Basic principles of technical vision, binocular vision concepts for further pattern recognition are included. Two webcams and real experiments are used to demonstrate and evaluate the procedure.
Ключевые слова: Компьютерное зрение, стерео-зрение, калибровка камеры, диспаратность, карта глубины.
Keywords: Computer vision, stereo vision, camera calibration, disparity, depth map.
Введение
Цифровая обработка и распознавание изображений является одной из интенсивно развивающихся областей исследований. Необходимость распознавания возникает в самых разных областях, от военных систем и систем безопасности до оцифровки аналоговых сигналов. Технологии распознавания приобрели большое значение в современном мире, облегчая жизнь людей, ускоряя и улучшая качество производства, научных и других процессов. Например, распознавание штрих-кода используется в логистике и розничной торговле, распознавание отпечатков пальцев позволяет быстро и точно идентифицировать личность человека, распознавание индексов на почтовых конвертах ускоряет процесс сортировки [6].
Основной задачей распознавания образов является идентификация объекта или определения любых его свойств по его изображению (оптическое распознавание) или аудиозаписи (акустическое распознавание) и другими характеристиками [6]. Большую часть информации из окружающей среды мозг получает, используя глаза. Каждый человек видит один и тот же образ по-разному, например, в знаменитой картине Леонардо да Винчи «Тайная вечеря», некоторые люди видят обычную трапезу, а некоторые видят тайную встречу заговорщиков. Наиболее очевидным средством получения информации для робота является видеокамера и веб-камера, и даже несколько видеокамер одновременно, в том числе инфракрасные. А одним из основных носителей информации является изображение.
Изображение в информационных технологиях может быть определено как группа в системе классификации. В классической постановке задачи распознавания универсальное множество делится на части-образы. Каждый дисплей объекта на воспринимающем датчике системы поиска, независимо от его положения, называется изображением объекта, и множество из таких изображений в сочетании с какими-либо общими свойствами являются изображениями. Изображения физических и технических объектов, а также ситуаций, происходящих с их участием, могут быть записаны на кадры видеопотока. Для каждого объекта или ситуации набор свойств отличается. В качестве примера свойств, которыми обладают технические объекты - транспортные средства: тип, количество, цвет, размеры и т.д. А физическими объектами являются люди, животные: пол, возраст, вид и т.д. Свойствами ситуаций являются: длительность во времени; отношения между динамическими объектами в ситуации.
С изобретением и совершенствованием компьютеров стало возможным измерять глубину сцен с помощью машин, оснащенных цифровыми инфракрасными фото и видеокамерами. В медицине существует термин, бинокулярное зрение - это способность видеть объект двумя глазами одновременно и оценивать пространство вокруг нас. На сетчатке каждого глаза имеется зрительный образ, который при слиянии друг с другом образует единое изображение. Бинокулярное зрение помогает нам определить объем, форму объекта и расстояние между двумя точками, поэтому мы оцениваем пространство вокруг нас более точно и глубоко.
На сегодняшний день достаточно исследованы вопросы трехмерного технического видения при стационарном положении датчиков и расчета трехмерных координат объектов, в условиях предварительно калиброванных бинокулярных оптико-электронных систем [6]. Задача измерения глубины и параметров объекта при его захвате из нескольких веб-камер достаточно сложна. Эта задача сложна и состоит из ряда подзадач, которые тесно и неразрывно связаны: а именно, проблемы анализа и распознавания трехмерных данных, задача вычисления трехмерных координат, задача слияния изображений из двух камер, расположенных рядом друг с другом.
Цель данной работы состоит в применении обычных веб-камер для поиска глубины изображений. Методы исследования основаны на общей методологии математического моделирования исследуемых процессов, объектно-ориентированного программирования. При решении задач использовались интегрированные среды для языков программирования: пакеты прикладного программного обеспечения С++, Python и Open CV, Microsoft Visual Studio.
Калибровка камеры
Компьютерная обработка изображений возможна после преобразования сигнала изображения из непрерывной формы в цифровую форму. Эффективность обработки зависит от адекватности модели, описывающей изображение, необходимой для разработки алгоритмов обработки [3]. Модель изображения представляет систему функций, описывающих существенные характеристики изображения: функцию яркости, отражающую изменение яркости в плоскости изображения, пространственные спектры и спектральные интенсивности изображений, функции автокорреляции [2]. Для эффективного использования камеры в обработке изображений и в получении диспаратности особенно необходимо и важно знать их характеристики.
Калибровка камеры - это процесс оценки камеры. Процесс состоит в получении всей информации из камеры: это параметры и коэффициенты, которые необходимы для выявления точной связи
между 2D-пиксельной проекцией и 3D-точкой в реальном мире в изображении. Внутренние параметры системы камеры объектива — это фокусное расстояние, оптический центр и коэффициенты радиальных искажений объектива. А к внешним параметрам относятся ориентации вращению и перемещению камеры относительно некоторой мировой системы координат [2].
Для поиска глубины мы использовали две обычные веб-камеры, производства CANYON модели CNE-CWC3 S/N: U78681602236 и S/N: U78681607983, см. Рисунок 1. Необходимо сделать множество фотографий из разных углов стены. Калибровка производится по методу шахматной доски. Алгоритм калибровки на шахматной доске обладает хорошей стабильностью, но опирается на ручную настройку с множеством операций: выбор внутренних углов. Точность этого алгоритма может быть улучшено с использованием нескольких изображений. Основная идея этого метода - извлечение и сопоставление внутренних углов шахматной доски. По алгоритму Харриса выявляются координаты всех угловых точек шахматной доски, затем вершины шахматной доски вычисляются в системе координат изображения на основе полигональной выпуклости. После этого производится вычисление координат внутренних угловых точек изображения шахматной доски против правил суждения, которые отличают внутренние угловые точки от других точек на этом изображении. В конце устанавливается соответствие между внутренними угловыми точками изображения шахматной доски в системе координат изображения и системы координат шахматной доски. Метод интегрирован для автоматической калибровки камеры. Метод потребляет на 75% меньше времени, чем набор инструментов в Matlab и контролирует ошибки в пределах ± 0,3 пикселей.
Для применения алгоритма калибровки на шахматной доске использовали распечатанную на бумаге изображение шахматной доски и повесили на стене с отличным освещением. Размер шахматной доски 6*9, рекомендуется использовать прямоугольный размер доски, см. Рисунок 2.
Рисунок 1. Веб-камеры CANYON CNE-CWC3
Для правильной совмещённой работы стерео важно чтобы на обеих изображениях не было искажений. То есть оба изображения должны иметь одинаковые характеристики. Для выполнения реконструкции необходимо сперва сделать калибровку камеры, для этого будем использовать набор
изображений, чтобы определить фокусное расстояние и оптические центры камеры. После калибровки нужно не искажать изображения, т.е. избавиться от искажений линз на изображениях, используемых для реконструкции. Затем необходимо
сопоставить функции, искать похожие особенности на обоих изображениях и построить карту глубины.
Загружаем используемые библиотеки, данные и создаем массивы камер для 3D точек в реальном пространстве и для 2D точек в плоскости изображения. Подготавливаем сетки и точки для отображения для каждой камеры. В коде изображения открываются итеративно с помощью Glob. После загрузки каждого изображения преобразуем их в
Рисунок 2. Шахматная доска, приклеенная на стене
градации серого, затем используем алгоритм find-ChessboardCorners. Этот алгоритм возвращает углы и флаг ret, которые срабатывают, если найдена закономерность. Первоначально мы находим критерии для улучшения точности алгоритма калибровки, чтобы уточнить расположение углов до субпиксельной точности.
После анализа всех изображений мы запускаем алгоритм калибровки камеры. Это алгоритм, который выводит параметры каждой камеры. Алгоритм возвращает коэффициенты искажения матрицы камеры и векторы поворота и смещения. Все данные двух камер будут сохранены в папке результатов параметров. Для практических целей мы храним
значения в разных файлах №тру. Поскольку выполнение этого скрипта займет время, и неудобно выполнять его каждый раз. В конце мы выводим надпись о завершении калибровки камер. На рисунках 3 и 4 показаны результат калибровки обеих камер.
Рисунок 3. Калибровка левой камеры
Рисунок 4. Калибровка правой камеры
Поиск глубины изображения
Задача сопоставления изображений в случае, когда съемка производится с двух известных ракурсов, отличающихся только сдвигом по направлению, перпендикулярному оптической оси (см. Рисунок 5), называется задачей стерео-зрения, а расстояние между камерами - стереобазой. При этом оптические оси камер полагаются параллельными. В общей постановке задача стерео-зрения может
рассматриваться для двух произвольных ракурсов. Стерео-зрение является эффективным средством восстановления трёхмерной формы объектов и расстояний до них, что широко используется в биологических системах зрительного восприятия [4]. В частности, осуществляющееся в зрительной коре объединение информации, поступающей от двух глаз, помогает человеку воспринимать мир трёхмерным.
Рисунок 5. Стереопара. Вид из двух камер.
Смещение объекта в плоскости изображения на стереопаре происходит вдоль той же оси, вдоль которой смещена камера. Это смещение называется диспаратностью. Значение диспаратности зависит только от дальности до объекта, но не направления на него. При этом диспаратность не должна быть отрицательной.
Задача стерео-зрения сводится к отождествлению точек левого изображения (полученного с левой камеры) с точками правого изображения (полученного с правой камеры) при ограничении, заключающемся в том, что сопряженные точки лежат на одной и той же горизонтальной линии [3]. Поясняющая схема изображена на Рисунке 6. Предположим, что часть двумерных изображений трехмерного объекта или окружающей среды сделана с двух разных точек обзора, и их внешняя геометрия
была определена. Соответствующие точки между двумя изображениями должны удовлетворять так называемому ограничению цвета. Для данной точки на одном изображении необходимо поискать его соответствие на другом изображении вдоль линии яркости. В общем, цветные линии не совпадают с координированной осью и не являются произвольными. Такие поиски занимают много времени, поскольку мы должны сравнивать пиксели на перекосах в пространстве изображения. Эти типы алгоритмов можно упростить и сделать более эффективными, если более полные линии выровнены по оси и упорядочены [4]. Это может быть реализовано путем применения 2D-проекционных преобразований, или томографии, для получения изображения. Этот процесс известен как исправление изображения.
Рисунок 6. На правом изображении отмечены регионы-кандидаты, среди которых надо искать область, соответствующую квадрату, выделенному чёрным цветом на левом изображении
Поскольку глубина объекта обратно пропорциональна расстоянию до него, в результате такого отождествления при известной стереобазе и прочих
параметрах камер может быть восстановлено расстояние до объектов сцены. Отождествление точек
на паре изображений может производиться в рамках различных представлений изображений: низкоуровневых (пиксельных), контурных или структурных. Пиксели, соответствующие элементам точек на выпрямленном изображении, будут лежать на одной и той же горизонтальной линии и различаться только горизонтальным смещением. Это горизонтальное несоответствие или несоответствие между точками выпрямленных деталей связано с глубиной объекта [4].
Карта глубины (дальности) - это изображение, в котором яркость пикселей пропорциональна расстоянию от матрицы до объектов реальной трёхмерной сцены, снимаемой с помощью камеры. Карты глубины, в которых расстояние удаётся получить до каждого пикселя исходного изображения, называют плотными. Поскольку в стерео-зрении глубина обратно пропорциональна глубине, то можно также пропорциональна карте глубины. На рисунке 7 приведен результат карты диспаратно-сти.
Рисунок 7. Карта глубины рисунка 5.
Для получения плотных карты глубины применяются корреляционные методы. В общем случае такие методы используют два предположения:
1. Области вокруг пикселей, соответствующих друг другу на двух изображениях стереопары, имеют высокое значение кросскорреляции.
2. Карты глубины реальных трёхмерных сцен имеют малое количество резких перепадов уровня глубины. Такие перепады существуют только на границах объектов.
Сложность отождествления двух точек, являющихся проекциями одной точки физического объекта на двух матрицах фотоприемников, обычно связана с тем, что одиночные пиксели не уникальны и, как правило, два пикселя, соответствующие друг другу на двух изображениях, имеют разные значения яркости. Алгоритмы нахождения плотных соответствий основаны на корреляции пиксельных цветов по длине цветных линий. Эти различные виды сцены могут быть преобразованы линейной интерполяцией вдоль выпрямленных линий скана для создания новых геометрически правильных видов сцены [4].
В связи с этим принято сопоставлять не индивидуальные пиксели, а области вокруг каждого пикселя. Значения яркостей пикселей в этих областях можно рассматривать как значения случайной величины и в таком случае использовать коэффициент корреляции Пирсона для двух случайных ве-
личин:
COV у
—
OyOv
РГС-У) Zi(Xi-X)2Zi(Yi-Y)2
где rXY - это коэффициент корреляции, Xi -значение яркостей пикселей окна на левом изображении, а Yi - на правом. Значение rXY лежит в интервале от -1 до 1 [4].
Если значение коэффициента корреляции положительно, то случайные величины X и Y имеют прямую корреляционную связь. Как правило, при незначительных изменениях ракурса съемки одним и тем же объектам на двух изображениях стереопары соответствуют области с высоким коэффициентом корреляции. Поэтому задачу отождествления точек можно рассматривать как задачу поиска области (машины) на правом изображении, имеющего максимальный коэффициент корреляции с областью на левом изображении.
Алгоритм стерео-зрения в этом случае можно представить, как последовательность из двух шагов. Сначала вычисляется корреляция области вокруг каждого пикселя левого изображения со всеми возможными областями правого изображения с учётом ограничений стерео-зрения. В результате получается так называемая матрица корреляционной энергии, каждый элемент которой показывает насколько сильно коррелируют окна двух изображений с определённым сдвигом по оси абсцисс. Подход коррекции включает в себя разложение каждой гомографии на прогнозную и определенную составляющие. Затем поиск проективную составляющую, которая минимизирует четко определенный критерий проективного искажения. А затем разложение четкой составляющей каждой гомогра-фии на пару более простых преобразований, одна из которых предназначена для удовлетворения ограничений на исправление, а другая используется для дальнейшего уменьшения искажений, вносимых проективной составляющей. Затем по этой матрице каждой точке левого изображения ставится в соответствие точка правого с наибольшим
коэффициентом корреляции областей вокруг них. Таким образом, определяется диспаратность всех пикселей левого изображения. Вместо простой максимизации коэффициента корреляции может использоваться и более сложная оптимизирующая функция, учитывающая, например, степень гладкости карты глубины. Выбор размеров корреляционного окна зависит от требуемой точности на границах объектов, скорости работы алгоритма и необходимой устойчивости к шумам.
Выводы и предложения
Данная статья включает в себя основные понятия и принципы стерео-зрения, алгоритм калибровки камеры и поиска глубины на основе библиотеки компьютерного зрения Open CV, что упрощает процесс знакомства с принципами технического зрения. Было изучено множество материалов по калибровке камеры, с множеством методов и параметров. Для получения плотных карты глубины были рассмотрены корреляционные методы.
Использование этой работы может повысить эффективность распознавания образов посредством веб-камер и проецирование 3D модели с поиском объекта используя нейронную сеть. Распознавание образов является актуальной темой в мире компьютерных технологий. Данная задача может быть решена путем оптимизации цифровой обработки, используемой в процессе захвата и извлечения каких-либо устройств, то есть решения классической обратной задачи робототехники. Узким местом в решении проблемы захвата является
измерение параметров, определяющих пространственную ориентацию объекта.
В дальнейшем планируется создание общей программы, которая должна проецировать 3D модель распознанного объекта. Для нейронной сети будут использованы данные полученные от калибровки камеры, для проецирования модели будут использованы данные полученные от диспаратности.
Список литературы
1. Gary Bradski, Adrian Kaehler. Learning OpenCV // Published by O'Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472. 2008.
2. Fabio Remiondino, Clive Fraser. Digital cameras calibration methods: considerations and comparisons. - APRS Volume XXXVI, Part 5, Dresden 25-27 September 2006.
3. Кручинин А. Распознавание образов с использованием OpenCV // Документ 1.0, 2011.
4. Потапов А.С., Малашин Р.О. Системы компьютерного зрения // Учебно-методическое пособие по лабораторному практикуму. - ИТМО, 2012.
5. Сорокин М.И. Методы распознавания образов на изображениях // «Научно-практический электронный журнал Аллея Науки», №9. 2017.
6. Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений // Учебное пособие - ИТМО, 2008.
ВПЛИВ СЕЗОННИХ ЧИННИК1В НА ЯК1СТЬ, ВАРТ1СТЬ, ТРУДОМ1СТК1СТЬ ТА 1НШ1
ПАРАМЕТРИ БУД1ВНИЦТВА
Демидова О. О.
кандидат техтчних наук, доцент, доцент кафедри оргашзаци i управлгння буд1вництвом Кшвський нацюнальний ^верситет будiвництва i архтектури
Литвиненко О.В.
аспiрант кафедри оргашзацИ' i управлiння будiвництвом Кшвський нацюнальний ymiверситет будiвництва i архтектури
Моголiвець А.А.
Кандидат економiчних наук, доцент кафедри економжи в будiвництвi Кшвський нацюнальний }miверситет будiвництва i архтектури
Новак €.В.
кандидат технiчних наук, асистент кафедри будiвництва Чернiвецький нацюнальний утверситет iM. Ю. Федьковича
INFLUENCE OF SEASONAL FACTORS ON QUALITY, COST, LABOR AND OTHER PARAMETERS OF CONSTRUCTION
Demydova O.,
Candidate of Technical Sciences, Associate Professor, Associate Professor of the Department of Organization and Management of Construction
Kyiv National University of Construction and Architecture
Lytvynenko O.,
Postgraduate student of the Department of Organization and Management of Construction
Kyiv National University of Construction and Architecture
Moholivets A.,
Candidate of Economic Sciences, Associate Professor of Construction Economics Kyiv National University of Construction and Architecture
Novak Ye.
Candidate of Technical Sciences, Assistant of the Department of Construction
Chernivtsi National University. Yu. Fedkovich
