Построение модели внешней среды робота на основе стереозрения Текст научной статьи по специальности «Компьютерные и информационные науки»

ГЕОМЕТРИЧЕСКОЕ И КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ

УДК 004.932

ПОСТРОЕНИЕ МОДЕЛИ ВНЕШНЕЙ СРЕДЫ РОБОТА НА ОСНОВЕ СТЕРЕОЗРЕНИЯ

А. Н. Горитов, С. И. Яковченко

Томский государственный университет систем управления и радиоэлектроники, г. Томск, Россия

DOI: 10.25206/2310-9793-2017-5-1-121-125

Аннотация — В данной статье рассмотрена проблематика построения внешней среды робота на основе стереозрения. Поиск путей решения проблем, связанных с построением трехмерной модели рабочей среды. В теоретической части описаны базовые формулы и определения стереозрения. Произведено устранение оптических искажений изображений камер и выравнивание изображений стереосистемы. Решена задача классификации объектов, используя преобразование Хафа. Предложен метод на основании решения метода классификации для построения трехмерной модели рабочей сцены. Приведены исследования и результаты полученного метода.

Ключевые слова: стереозрение, классификация, диспаратность, трехмерная модель.

I. Введение

Во многих задачах автоматизации операций с помощью роботов, необходимо иметь информацию о расположении объектов не только на плоскости рабочего пространства, но и по высоте. Это - манипулирование объектами разной высоты, расположение объектов на разной высоте. В этом случае, для автоматизации манипулирования объектами рабочей среды, потребуются знания пространственного расположения объектов.

Решение задачи может быть выполнено с помощью классификации объектов и восстановления трехмерных координат объектов на основании изображений с двух видеокамер (стереозрение). С помощью решения этих задач можно построить модель рабочей сцены. Информация о пространственном расположении объектов рабочей сцены служит основой для формирования команд управления роботом.

II. Постановка задачи

Для работы со сложными трехмерными объектами необходимо разработать метод построения трехмерной модели внешней среды робота. Для решения этой задачи воспользуемся стереозрением, методами обработки изображения и методами распознавания образов.

III. Теория

1. Стереозрение

Основой метода построения трехмерной модели рабочей сцены является стереоскопическая система. Геометрия стереозрения приведена на рис. 1.

Y

Рис. 1. Геометрия стереозрения

Задача стереозрения заключается в отыскании трехмерных координат объектов с помощью двух камер [1]. Пусть У - некоторый объект, расположенный на рабочей сцене (рис. 1). Необходимо найти 2 - расстояние до объекта. Для решения задачи необходимо найти 2 (расстояние до объекта).

С помощью приведения подобных треугольников можно прийти к соотношению (1):

В _ (В + Х2) - Х1 1" 1-7 '

(1)

где В - расстояние между центрами камер; 1 - расстояние до объекта; х\, хг - точки на плоскостях левой и правой камеры; / - фокусное расстояние камер. Приведя подобные члены, получается соотношение (2):

х2 - х _ (2)

2 1 1

Разница между Х1 и хг называется диспаратностью (или смещенностью по оси ОХ относительно левого изображения) и обозначается ё. С учетом диспаратности выражение (2) можно переписать в выражение (3). Т.е чтобы найти расстояние до объекта, необходимо знать расстояние между центрами камер, фокусное расстояние камер и диспаратность.

В ■ /

(3)

Для того, чтобы найти величину диспаратности, необходимо на двух изображениях (с левой и правой камеры) найти одинаковые точки, которые принадлежат одному и тому же объекту в реальном мире (эпиполярные точки).

2. Устранение искажений изображений и ректификация

Перевод реальных координат в координаты изображения, получаемого с камеры, описываются формулой (4):

(4)

где х, у - координаты точки на изображении, / - фокусное расстояние, Сх, Су - координаты центра изображения, г - коэффициенты матрицы поворота, X, У, 1 - координаты точки в реальном мире (сх, су является центром координат). Но в силу оптических искажений с помощью уравнения (4) нельзя сопоставить точки изображения точкам реального мира. Эти искажения описываются нелинейными выражениями (5):

х " / 0 Сх Г11 Г12 Г13 ¿1 " ' X'

у _ 0 / су Г21 Г22 Г23 /2 У

1 0 0 1 Г31 Г32 Г33 ¿3 1

хиск _ х(1 + к\у2 + кгг4 + кзт6) + 2р\ху + рг(г2 + 2х2) Уиск _у(1 + к\г2 + кгг4 + кзг6) + 2ргху + рг(г2 + 2у2),

(5)

где к\, к2, к3, р1, р2 коэффициенты искажений, г - сумма квадратов неискаженных координат. Эти искажения никак не связаны с расстоянием до объекта. Т.е искажения являются лишь проективными. Для их устранения обычно используют шаблон, на котором заранее известны координаты в реальном мире и проективной плоскости. Путем многократной съемки шаблона и определения координат искажения, высчитываются коэффициенты искажений. Помимо искажений оптики в силу не идеальности установки камер, возникают вертикальные рас-синхронизации, т.е точки на изображениях левой и правой камеры не находятся на одной строке. Это приводит к ещё большим сложностям при поиске эпиполярных точек. Для устранения вертикальной рассинхронизации применяют процесс, называемый ректификация.

Ректификация - это процесс выравнивания изображений левой и правой камеры, так, чтобы эпиполярная точка на левом изображении находилась на той же строке правого изображения. Необходимо для упрощения поиска эпиполярных точек. Для ректификации необходимо лишь знать положение правой камеры относительно левой, т.е матрицу поворота и вектор переноса координат. На рис. 2 отображен пример устранения искажений и ректификации изображений.

Рис. 2. Устранение искажений и ректификация

3. Классификация объектов

Классификация объектов - это отнесение исходных данных к некоторому классу объектов, который наиболее характеризует исходные данные.

Камеры устанавливаются над рабочей сценой строго вертикально, поэтому на изображении можно увидеть только верх объектов. Для их классификации целесообразно воспользоваться алгоритмами выделения границ, так как контура содержат все геометрические параметры. Но такой подход предъявляет высокие требования к контурам объектов - контура объектов должны быть замкнутыми и изображение должно быть очищено от шумов, которые ухудшают результаты алгоритма выделения границ. Поэтому необходимо повысить качество изображения, путём использования алгоритмов устранения шумов. Существует ряд алгоритмов устранения шумов. Например, алгоритмы размытия по Гауссу, эффект Боке, размытие по глубине. Но так как эти фильтры размывают изображение в каждом его пикселе, включая контуры, такие алгоритмы не подходит для устранения шумов, так как объекты теряют свои очертания. Поэтому целесообразно использовать алгоритмы сегментации. Они позволяют разделить изображение на однородные области и избавиться от шумов. Одним из таких алгоритмов является теашЫй. На рис. 3 отображено сравнение результатов алгоритма выделения границ после обработки алгоритмами размытия и алгоритмом сегментации теашЫй.

а) б) в)

Рис. 3. Сравнение выделения границ: а) исходное изображение; б) выделение границ после обработки алгоритмами размытия; в) выделение границ после обработки алгоритмом теашЫ1й

После того как изображение улучшено, можно перейти к извлечению информации, полученной после обработки алгоритмом выделения границ. Для поиска простых объектов был выбран алгоритм преобразования Хафа [2]. Задача преобразования Хафа заключается в поиске параметрически заданных фигур, таких как: линия, круг, эллипс, и т.д. После обработки преобразования Хафа выводит список объектов с их центрами и геометрическими параметрами. На рис. 4 приведена схема последовательности обработки изображения для классификации объектов фигур разработанным методом на основании преобразования Хафа.

Рис. 4. Метод классификации

4. Алгоритм вычисления диспаратности на основании преобразования Хафа

Для решения задачи вычисления диспаратности объектов, был предложен метод, основанный на методе классификации (см. рис. 4). Для левого и правого изображения камер применяется метод классификации. На выходе алгоритма классификации получается два списка. Один список для левого изображения камеры, второй для правого. Оба списка сортируются по положению на рабочей сцене сначала по оси ОУ, затем по оси ОХ, также необходимо отсортировать по типу объектов и их геометрическим параметрам. Далее происходит сортировка

по геометрическим параметрам, таким как радиус (если это окружность), высота и ширина (если это прямоугольник). В цикле производится поиск парных элементов для каждого объекта. После того как сформирован новый список, в котором элементы являются ссылками на один и тот же объект на левом изображении и этот же объект на правом изображении, вычисляются значения диспаратности между объектами. Вычитанием значения положения по оси х обоих объектов. На рис. 5 отображена схема алгоритма расчета диспаратности на основании преобразования Хафа.

Рис. 5. Алгоритм расчета диспаратности на основании преобразования Хафа

IV. Результаты экспериментов Для оценки эффективности предложенного метода была написана программа на языке программирования С++. На вход программе обработки изображений подаются два исходных изображения рис. 6 (для левой и правой камеры соответственно).

а) б)

Рис. 6. Исходные изображения рабочей сцены с камер: а) для левой камеры, б) для правой камеры

После того как снимки были получены, для каждого изображения выполняется метод классификации и выделения объектов. На рис. 7 приведены результаты работы алгоритма классификации и выделения объектов.

а)

б)

Рис. 7. Результат классификации и выделения объектов: а) для левой камеры, б) для правой камеры

Для вычисления расстояния до объектов выполняется разработанный метод (см. рис. 5) на основании результатов классификации. Зная расстояние до рабочей сцены (650 мм), типы и высоты объектов, строится трехмерная модель рабочей сцены.

Полученная трехмерная модель рабочей сцены приведена на рис. 8.

Рис. 8. Трехмерная модель рабочей сцены

Для визуализации построенной трехмерной модели рабочей сцены использован графический редактор MeshLab. Для этого данные экспортировались в формат .xyz (список трехмерных точек) представления графической информации редактора MeshLab.

V. Обсуждение результатов

Обобщая результаты численных экспериментов, можно отметить, что реализованный метод показал высокий уровень распознавания и приемлемую точность определения расстояния до объектов. Можно отметить, что использование короткофокусных камер не рекомендуется для определения расстояния. Так как это приводит к перспективным искажениям, увеличивающимся при различных расстояниях и углах обзора до объекта.

VI. Выводы и заключение

В результате выполненной работы предложен метод построения трехмерного образа рабочей сцены робота. Выделены и классифицированы объекты, расположенные на рабочей сцене робота. Определены расстояния до выделенных объектов.

Построенный трехмерный образ рабочей сцены может быть использован для формирования команд управления роботом.

Список литературы

1. Szeliski R. Computer Vision: Algorithms and Applications. London: Springer-Verlag, 2010. 812 p.

2. Гонсалес Р., Вудс. Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.

УДК 519.71

ВИЗУАЛЬНОЕ МОДЕЛИРОВАНИЕ МНОГОМЕРНЫХ ДАННЫХ

А. Захарова, Е. Вехтер, А. Шкляр, А. Пак

Институт кибернетики томского политехнического университета, г. Томск, Россия

DOI: 10.25206/2310-9793-2017-5-1-125-128

Аннотация — В работе приведены результаты исследований, направленных на исследование многомерных данных с помощью компьютерных визуальных моделей. Предложен подход к решению проблемы визуализации и последующего анализа многомерных данных. Описаны требования к свойствам визуальных моделей, создаваемых для решения задач анализа.

Ключевые слова: визуализация данных, визуальная модель, интерпретация, восприятие.

I. Задачи моделирования

Компьютерная визуализация является удобным и распространенным способом представления информации. Следствием этого стало стремление широкого круга исследователей к использованию этого способа при решении научных и практических задач самого различного типа. В результате систематического и активного участия визуальных объектов в процедурах получения результатов научных исследований формируется потребность в переходе от исключительно вспомогательной роли визуализации к ее обоснованному использованию в качестве самостоятельного научного инструмента [1].

Определим визуальную модель данных как зрительно воспринимаемый образ, сопоставленный этим данным по некоторому правилу. В качестве модели такой образ должен соответствовать ряду требований [2]. Прежде всего, визуальные модели являются реализованным представлением об определяющей их информации, становятся примером чувственно воспринимаемой репрезентации знаний, который должен позволять их анализировать, хранить и обрабатывать.

Искусственная природа объекта, получаемого в результате действия системы принципов сопоставления, подразумевает сохранение возможности последующих преобразований или манипуляций со свойствами объекта. Визуальная трансформируемое^ определяет функциональность моделей как инструмента исследований [3]. Для задач визуального анализа это свойство воплощается в виде возможности изучения видимого представления квазиреальности пространства модели с привлечением естественного и хорошо осмысливаемого аппарата восприятия.

II. Проблема моделирования

Необходимость осмысления и способность исследователя к манипулированию пространством визуальной модели для выполнения ею своего предназначения сталкиваются с проблемой многомерности исследуемых данных. В этом случае авторы визуальной модели должны преодолеть противоречие между необходимостью снижения размерности изучаемых данных и сохранением визуальной интерпретируемости модели, которая