Применение времяпролетных PMD-камер для определения дальности до водной поверхности Текст научной статьи по специальности «Нанотехнологии»

УДК 535.016, 681.2.083

ПРИМЕНЕНИЕ ВРЕМЯПРОЛЕТНЫХ PMD-КАМЕР ДЛЯ ОПРЕДЕЛЕНИЯ ДАЛЬНОСТИ ДО ВОДНОЙ ПОВЕРХНОСТИ Д.Ю. Крысин, А.В. Небылов

Представлены результаты, подтверждающие возможность применения времяпролетных PMD-камер для измерения малой дальности (0,2-5 м) до водной поверхности. Рассмотрены основные особенности технологии PMD. Приведено описание разработанной экспериментальной установки. Описан эксперимент, подтвердивший работоспособность PMD-камер при волнении водной поверхности в естественных условиях. Представлены экспериментальные SD-изображения рельефа водной поверхности. Объясняется их специфический вид. Представлены графические результаты статистической обработки валидных пикселей последовательностей SD-изображений. Рассмотрены безынерционные алгоритмы обработки SD-изображений для получения оценки дальности до водной поверхности. Полученные результаты могут быть полезны при решении задач измерения уровня жидкости, определения параметров морского волнения и измерения высоты движения объекта над водной поверхностью. Ключевые слова: времяпролетный метод, PMD-камера, SD-изображение, измерение дальности, водная поверхность, экспериментальная установка, формирование изображений.

Введение

Проблема измерения малой дальности (0,2-5 м) до водной поверхности (ВП) является актуальной при решении задач измерения уровня жидкости, определения параметров морского волнения и измерения высоты движения объекта над водной поверхностью. Отсутствие соответствующих дальномеров, адекватных по цене и характеристикам, может стать серьезным препятствием при разработке перспективных систем управления подвижными объектами [1, 2].

В настоящее время активно развиваются методы технического зрения, предназначенные для бесконтактного измерения пространственного положения и формы объектов. Разнообразие и сфера применения этих методов непрерывно расширяются. Однако значительная их часть не может быть использована для измерения малых расстояний до ВП. Это объясняется особыми оптическими свойствами воды и ее поверхности. В работе [2] описывается метод, предназначенный для определения высоты и угловой ориентации объекта относительно невзволнованной ВП. В его основе лежит использование стереоскопической системы камер и свойства зеркального отражения ВП. В настоящей работе предлагается иной подход, позволяющий измерять дальность при волнении ВП, который базируется на использовании инновационных времяпролетных PMD-камер [3, 4].

Технология PMD

В основе технологии PMD (Photonic Mixer Device) лежит времяпролетный метод измерения расстояния [3]. Суть метода заключается в измерении времени, которое требуется световому сигналу для преодоления расстояния между камерой и отражающим свет объектом. Для этого времяпролетные PMD-камеры освещают сцену с помощью модулированного оптического излучения инфракрасного (ИК) диапазона с некоторой частотой модуляции fmod. ИК-излучение отражается от объектов сцены и измеряется датчиком изображений камеры (светочувствительной матрицей). Далее специальная схема оценивает уровни корреляции и вычисляет фазовый сдвиг ф между излученным и принятым сигналами, который пропорционален дальности D до объекта:

D = ГЬ (1)

4fod

где с - скорость света. Сигнал с каждого элемента датчика изображений обрабатывается независимо. В результате получается изображение, являющееся трехмерной моделью поверхности объектов, находящихся в поле зрения камеры. Изображение представляет собой матрицу, количество элементов которой совпадает с количеством чувствительных элементов датчика изображений. Элементы матрицы содержат оценки дальности до соответствующих участков поверхности (в метрах). Первоначально дальность измеряется в радиальной системе координат с началом в центре камеры. Далее эти первичные данные могут быть переведены в декартову систему координат. В литературе можно встретить различные названия подобных изображений: карты дальности, карты глубин, SD-изображения [4, 5]. В настоящей работе используется термин «SD-изображение».

Из приведенного описания следует, что PMD-камеры, в отличие от стереоскопических систем технического зрения, позволяют получать SD-изображения, не прибегая к методам получения и обработки стереоскопических снимков. При этом, в отличие от лазерных сканеров, не используются движущиеся механические элементы, необходимые для развертки луча. Также не нужны сложные и требовательные к вычислительным ресурсам алгоритмы. Последние модели PMD-камер способны передавать управляющему устройству полностью готовые SD-изображения с частотой до 90 Гц. Перечисленные факты обеспечивают возможность использования PMD-камер при построении систем, работающих практически в реальном времени.

Несмотря на очевидные достоинства, РМ0-камеры имеют ряд ограничений. Из формулы (1) видно, что максимальная измеряемая дальность равна отношению скорости света к удвоенной частоте модуляции. При наличии в поле зрения камеры объектов, расстояние до которых больше, чем верхняя граница диапазона измерения, может возникнуть методическая погрешность, кратная максимальной измеряемой дальности. Систематическая погрешность измерения РМЭ-камер сравнительно мала [6]. Случайная составляющая может быть на порядок выше систематической и зависит от целого ряда внешних факторов. К ее увеличению приводят такие факторы, как малая амплитуда отраженного сигнала, высокая интенсивность внешнего освещения, движение объектов сцены, малое значение выдержки, использование вблизи другой времяпролетной камеры с той же частотой модуляции. Амплитуда отраженного сигнала в основном зависит от расстояния до объектов и их отражательной способности. Наличие в поле зрения камеры поверхностей с высоким коэффициентом отражения может привести к насыщению пикселей датчика и невозможности измерений. Множественные переотражения сигнала ухудшают точность, приводя к переоценке дальности. Несмотря на перечисленные ограничения, РМБ-камеры являются одним из наиболее перспективных средств получения 3Б-изображений.

Экспериментальная установка

С целью исследования особенностей использования РМЭ-камер для измерения дальности до ВП была разработана установка (рис. 1, а), которая включает промышленную времяпролетную РМЭ-камеру 03Б201 производства компании 1БМ (рис. 1, б, в), персональный компьютер (ПК), источник питания и штатив.

а б в

Рис. 1. Общий вид экспериментальной установки (а); виды РМ0-камеры 030201 (б, в)

РМ0-камера 03Б201 позволяет получать 3Б-изображения и полутоновые изображения сцены (рис. 2), что дает возможность построения комплексных алгоритмов обработки информации. Наиболее важные с точки зрения эксперимента характеристики РМ0-камеры 03Б201 представлены в табл. 1.

Параметры точности зависят от настроек камеры и ряда внешних факторов [7]. Типовые значения доверительных интервалов (±3с), соответствующие измерению расстояния 4,5 м до поверхностей с различными коэффициентами отражения, имеют следующие значения:

- для белой поверхности (коэффициент отражения 0,9) - ±7 мм;

- для серой поверхности (коэффициент отражения 0,18) - ±20 мм;

- для черной поверхности (коэффициент отражения 0,06) - ±58 мм.

Тип датчика PMD 3D chip

Тип подсветки Массив ИК светоизлучающих диодов (850 нм)

Разрешение 50^64 пикселей

Углы обзора 30°х40°

Максимальная частота кадров 20 Гц

Интерфейс передачи данных Ethernet 10Base-T/100Base-TX

Напряжение питания 24 В±10%

Таблица 1. Характеристики PMD-камеры O3D201

Для управления камерой с ПК используется приложение Efector pmd3d camera, доступное на сайте производителя [7]. Данное приложение обеспечивает настройку камеры, получение, визуализацию и сохранение 3Б-изображений в памяти ПК.

а б в

Рис. 2. РМО-камера 030201 и сцена в лаборатории (а); 30-изображение сцены (двумерная интерпретация - дальность закодирована в цвете) (б); полутоновое изображение сцены (в)

Эксперимент в естественных условиях

Авторами поставлен ряд экспериментов, направленных на определение возможности использования РМЭ-камер для измерения дальности до ВП и показавших положительные результаты. Опыты проводились как в лабораторных, так и в естественных условиях. Ниже приведено описание и результаты одного из экспериментов.

6

4

2

0

-2 0

40

50

60

80

10 20

2 -2 -2 -2 -2 -2 -2 -2 -2

2 -2 -2 -2 -2 -2 -2 -2 -2

г -2 ■2 -2 -2 ■2 -2 -2 ■г

■2 ■2 ■2 ■2 ■2 4,630 4,655 ■2 ■2

2 -2 -2 -2 4,679 4,652 4,637 -2 -2

2 -2 -2 -2 -2 4,620 4,642 4,699 -2

г -2 4,644 4,616 4,57? 4,610 4,616 4,674 -2

2 4,661 4,622 4,593 4,581 4,593 4,653 -2 -2

■2 1,659 4,605 -1 -1 4,591 4,610 -2 ■2

■2 4,721 ■1 -1 1 4,593 4,609 ■2 ■2

2 4,650 4,689 -1 1 4,612 -2 -2 2

2 -2 4,625 4,714 4,684 4,642 -2 -2 -2

2 -2 -2 -2 -г -2 -2 -2 -2

2 -2 -2 -2 -г ■2 -2 -2 2

■2 ■2 ■2 ■2 ■2 ■2 ■2 ■2 ■2

д

Рис. 3. Натурный эксперимент: Санкт-Петербург, р. Фонтанка, Английский пешеходный мост (а); вид 30-изображения ВП при горизонтальном положении камеры (б); вид 30-изображения ВП при наклоне камеры (в); трехмерная визуализация 30-изображения (г); фрагмент 30-изображения (д)

б

в

а

г

Целью эксперимента было исследование особенностей функционирования PMD-камеры в естественных условиях при волнении ВП. Макет был установлен на мосту (рис. 3, а). Высота положения камеры относительно ВП была измерена с помощью отвеса и рулетки и составила 4,55 м. По оценке авторов, погрешность данного измерения не превышает 0,05 м. Во время эксперимента степень волнения ВП составляла 1 балл [8]. Установка была расположена со стороны моста ниже по течению, где водный поток является более возмущенным после прохождения вблизи опор моста.

Во время эксперимента были получены и записаны последовательности 3D-изображений ВП при различных углах наклона PMD-камеры. На рис. 3, б, в, показан вид этих изображений. На представленных изображениях дальность закодирована в цвете. Черные и белые участки изображений содержат невалидные пиксели, для которых не были получены оценки дальности. Черные пиксели не получили оценки дальности из-за недостаточной мощности отраженного сигнала, белые пиксели - из-за перехода в состояние насыщения вследствие повышенной интенсивности отраженного сигнала. В нижней части изображений зафиксирована конструкция моста, которая попала в поле зрения камеры из-за недостаточной длины выносной штанги. В процессе съемки использовалась выдержка (exposure time) 27,1 мс. Из рис. 3 видно, что полученные 3D-изображения ВП существенно отличаются от 3D-изображения, представленного на рис. 2. Принципиальное отличие заключается в том, что область валидных пикселей, содержащих оценки дальности, составляет всего несколько процентов от площади 3D-изображений ВП. При наклоне камеры эта область смещается к краям снимка.

На рис. 3, г, приведена трехмерная визуализация 3D-изображения, полученного с помощью камеры, находящейся в положении, близком к горизонтальному. На рис. 3, д, показан его фрагмент, включающий область валидных пикселей, содержащих оценки дальности до ВП в метрах. Невалидные пиксели имеют значения -1 и -2. Изображение не подвергалось обработке.

Формирование ЭБ-изображений ВП в PMD-камере

Полученные 3D-изображения не являются моделью ВП, находящейся в поле зрения камеры во время съемки. Это объясняется особыми оптическими свойствами воды и ее поверхности. Важной особенностью является то, что вода является оптически прозрачной средой, а на границе «воздух-вода» отражается только часть ИК излучения. При различных условиях может наблюдаться зеркальное, диффузное и смешанное отражение света. Так, представленные на рис. 2 предметы характеризуются диффузным отражением света.

Известно, что отражение света в значительной мере зависит от рельефа поверхности. Так, для возникновения зеркального отражения, в соответствии с критерием Релея [9], должно выполняться условие

а < —— , (2)

8cos0

где а - среднеквадратичное значение шероховатости поверхности; X - длина волны падающего электромагнитного излучения; 6 - угол падения луча света.

Коэффициент зеркального отражения может быть вычислен помощью формулы Френеля [10]. Зависимость коэффициента отражения света от угла падения на ВП представлена на рис. 4, а. При вертикальном падении света коэффициент отражения составляет всего 0,02. Знание этой величины позволяет спрогнозировать необходимую мощность излучателя с учетом порога чувствительности датчика для обеспечения возможности измерений.

Если условие (2) не выполняется, возникает диффузное отражение. При этом пространственное распределение интенсивности отраженного света может быть предсказано только при наличии статистических данных о геометрии поверхности, которые, как правило, отсутствуют. Может также иметь место «смешанное» отражение, при котором проявляются свойства как зеркального, так и диффузного отражения.

Таким образом, характер отражения света сильно зависит от балльности волнения ВП. В естественных условиях при балльности 0-2 балла обычно преобладает зеркальное отражение света [11]. При более высокой балльности появляются волны с опрокидывающимися гребнями, что приводит к возникновению зон ВП с диффузным отражением света. Описанный авторами эксперимент с PMD-камерой проводился при волнении ВП порядка 1 балла. Следовательно, в эксперименте зеркальное отражение света преобладало на большей части ВП.

Расстояние между ИК излучателем и датчиком изображений в PMD-камере невелико по сравнению с измеряемой дальностью. ИК излучение отражается в направлении датчика только от ограниченной области ВП. Лучи света падают на нее под малыми углами (рис. 4, б). Это объясняет факт, что доля валидных пикселей составляет менее 10% (рис. 3), а наличие большого числа невалидных пикселей объясняется тем, что при съемке значительная часть ИК излучения от соответствующих участков ВП отражается не в направлении PMD-камеры.

100 г

«

к и

I

О

н и

<ц

К Я

к •е •е

т &

80

60

40

20 -

80

20 40 60

Угол падения, град. Закалите поверхности

а б

Рис. 4. Зависимость коэффициента отражения неполяризованного света от угла падения (а при зеркальном отражении света и различных положениях времяпролетной камеры

Обработка ЭБ-изображений

|; ход лучей (б)

Авторами проведена статистическая обработка полученных последовательностей 3Б-изображений. Предварительно с 3Б-изображений было удалено изображение конструкции моста. Обрабатывались только валидные пиксели. На рис. 5 представлены графические результаты. В левой части приведены результаты обработки массива из 20 изображений, полученных при положении камеры, близком к горизонтальному. Графики в правом столбце являются результатом обработки массива из 14 изображений, полученных при наклонном положении камеры (угол поворота вокруг продольной оси составлял 8-12°). Даже без применения специальных алгоритмов обработки видно, что значения валидных пикселей близки к измеряемому параметру 4,55 м. Область валидных пикселей стабильно присутствует на всех зарегистрированных 3Б-изображениях. а

-а

н о

ё Л

ч

д

4 6 8 10 12 14 16 18 20

Номер изображения

л н о

он

Л

ч

а

- - Мин. Средн. -Макс. ---Ном. .

1 ■— -т_г-.—_

5 1 . 1 _ — ь

4 6 8 10

Номер изображения

0.12 0.1 0.08

* 0.06

6 8 10 12 14 16 18 20

Номер изображения

Номер изображения

0х 5«" ё

е и

а

о

0х «

е

Ч

е и

а

£

Номер изображения Номер изображения

Рис. 5. Результаты обработки двух массивов 30-изображений ВП: характеристики значений валидных пикселей (а); среднеквадратичные отклонения (СКО) значений валидных пикселей (б); доля валидных

пикселей (в)

5

5

4.8

4.6

4.4

4.4

4.2

4

4

2

2

12

14

б

2

4

2

4

6

8

10

12

14

в

5

5

4

4

3

3

2

2

0

0

2

4

6

8

10

12

14

16

18

20

2

4

6

8

10

12

14

Безынерционные алгоритмы оценки дальности до ВП

Конечной целью обработки 3Б-изображений ВП является получение оценки дальности до ВП. Под дальностью здесь понимается длина перпендикуляра, проведенного от камеры к плоскости, аппроксимирующей участок ВП, попадающий в поле зрения камеры. Ниже авторами предлагаются семь безынерционных алгоритмов, которые могут быть использованы для этой задачи. Алгоритмы протестированы на двух рассмотренных ранее массивах экспериментальных 3Б-изображений (рис. 5), а результаты тестирования приведены в табл. 2.

Алгоритм 1. Заключается в непосредственном вычислении среднего значения всех валидных пикселей изображения. При съемке поверхности, находящейся на расстоянии 4,5 м от РМЭ-камеры, центральному пикселю 3Б-изображения соответствует площадь поверхности около 59*59 мм [7]. Выше было показано, что в направлении камеры сигнал достаточной мощности отражается только от ограниченной области ВП. На рис. 3 соответствующая область валидных пикселей составляет порядка 8*8 пикселей. Следовательно, максимальное удаление пикселей от центра этой области составляет около 4 пикселей, что в реальности соответствует 0,25 м. Было сделано предположение, что эта область расположена симметрично относительно перпендикуляра, проведенного к плоскости, аппроксимирующей участок ВП. Полученные катеты (4,5 м и 0,25 м) прямоугольного треугольника дают гипотенузу порядка 4,51 м. Это значение отличается от длины перпендикуляра (первого катета) на доли процента. Исходя из этого, усреднение значений всех валидных пикселей может быть использовано для получения оценки дальности. Нужно отметить, что данный алгоритм приводит к завышенной оценке, так как в сумме используются результаты измерения расстояний, превышающих длину перпендикуляра.

Алгоритм 2. Заключается в непосредственном вычислении медианного значения всех валидных пикселей изображения. Использование этого подхода обычно приводит к уменьшению влияния импульсных помех [12, 13].

Алгоритм 3. Сложнее предыдущих и имеет следующие основные этапы: получение черно-белого изображения (1 - валидные пиксели; 0 - невалидные пиксели); поиск наибольшей по площади плоской фигуры, образованной валидными пикселями; определение ее центра тяжести; построение окружности вокруг центра тяжести; вычисление среднего значения валидных пикселей исходного 3Б-изображения, лежащих внутри окружности.

Алгоритм 4. Отличается от алгоритма 3 последним этапом обработки валидных пикселей внутри окружности. Вместо среднего вычисляется медианное значение.

Алгоритм 5. Является развитием алгоритма 3. Содержит дополнительный этап, выполняемый перед процедурой поиска центра тяжести. На этом этапе реализуется морфологическая обработка черно-белого изображения [12]. Целью является компенсация смещения центра масс, возможного из-за насыщения пикселей.

Алгоритм 6. Является модернизацией алгоритма 4. По аналогии с алгоритмом 5 он содержит дополнительный этап морфологической обработки черно-белого изображения.

Алгоритм 7. Отличается от алгоритмов 3 и 4 тем, что вместо обработки совокупности пикселей вблизи центра тяжести в качестве оценки выбирается значение пикселя, лежащего в центре тяжести. Использование данного алгоритма затруднено из-за возможности попадания центра тяжести в область невалидных пикселей. По этой причине результаты работы алгоритма 7 в таблице не приводятся.

В табл. 2 для алгоритмов 3-6 представлены результаты для трех значений радиусов Я0 окружности, построенной вокруг центра тяжести (значения Я0 - в пикселях). Из таблицы видно, что результаты этих алгоритмов приближаются к результатам алгоритмов 1, 2 при увеличении радиуса окружности. Нужно отметить, что наиболее требовательные к вычислительным ресурсам алгоритмы 5, 6, дали наименьшие средние значения оценки дальности.

Номер алгоритма Обработка массива 3Б-изображений, полученного при горизонтальном положении камеры Обработка массива 3Б-из полученного при наю положении каме ображений, тонном ры

Лс=1,0 Лб=1,5 ^о=2,0 Л0=1,0 Я0=1,5 Яо=2,0

1 4,635; 0,058 4,489; 0,057

2 4,629; 0,056 4,493; 0,056

3 4,615; 0,067 4,629; 0,062 4,631; 0,065 4,475; 0,049 4,482; 0,054 4,486; 0,055

4 4,609; 0,068 4,623; 0,062 4,625; 0,066 4,478; 0,053 4,485; 0,058 4,489; 0,058

5 4,615; 0,069 4,628; 0,064 4,629; 0,064 4,470; 0,053 4,480; 0,054 4,479; 0,060

6 4,609; 0,069 4,622; 0,063 4,622; 0,064 4,473; 0,056 4,484; 0,057 4,483; 0,060

Таблица 2. Результаты работы алгоритмов: Первое число - среднее значение оценки, м;

второе число - СКО оценки, м

Заключение

Полученные результаты подтверждают возможность применения времяпролетных PMD-камер для измерения малой дальности до водной поверхности. Опыты, проведенные в естественных условиях, демонстрируют работоспособность метода при волнении водной поверхности. Оптические свойства воды объясняют специфический вид SD-изображений ее поверхности. Рассмотренные безынерционные алгоритмы обработки могут быть использованы для вычисления оценки дальности до водной поверхности. Полученные таким способом оценки наклонной дальности и геометрической высоты движения над взволнованным морем полезны для реализации принципа комбинированного управления движением по ошибке и волновому возмущению [14].

Дальнейшие исследования будут направлены на изучение особенностей функционирования PMD-камер в более широком диапазоне условий внешней среды; разработку адаптивного программно-алгоритмического обеспечения; исследование параметров точности; испытания PMD-камер в динамике на водных средствах транспорта.

Литература

1. Небылов А.В. Измерение параметров полета вблизи морской поверхности. - СПб: СПбГААП, 1994. - 308 с.

2. Крысин Д.Ю. Метод определения пространственного положения объекта вблизи водной поверхности // Научно-технический вестник информационных технологий, механики и оптики. -2012. - № 6 (82). - С. 17-24.

3. Piatti D., Rinaudo F. SR-4000 and CamCube3.0 Time of light (ToF) Cameras: Tests and Comparison // Remote Sensing. - 2012. - Is. 4. - P. 1069-1089.

4. Kohoutek T.K. et al. Geo-referenced mapping using an airborne 3D time-of-flight camera // ISPRS Workshop Laser Scanning Archives. - 2011. - Volume XXXVIII-5/W12. - P. 151-155.

5. Мамаев И.Р. Управление и методы обработки информации при автоматизации извлечения объектов из контейнера с использованием PMD-технологии: Автореф. дисс. канд. техн. наук. - ГОУ ВПО Уфимский государственный авиационный технический университет, 2010. - 17 c.

6. Nitsche M. et al. Measuring streambed morphology using range imaging / A. Dittrich, K. Koll, J. Aberle, P Geisenhainer. (eds). - River Flow, 2010. - P. 1715-1722.

7. Электронная документация и программное обеспечение на Интернет-сайте компании IFM [Электронный ресурс]. - URL: http://www.ifm.com/ifmuk/web/dualis-download.htm, свободный (дата обращения 20.01.13).

8. Faltinsen O.M. Sea Loads on Ships and Offshore Structures. - Cambridge University Press, 1990. - 340 p.

9. Martin S. An introduction to ocean remote sensing. - Cambridge University Press, 2004. - 476 p.

10. Шрёдер Г., Трайбер Х. Техническая оптика. - М.: Техносфера, 2006. - 423 c.

11. Крысин Д.Ю., Рао В.П. Особенности применения систем технического зрения для измерения пространственного положения объекта вблизи водной поверхности // Научная сессия ГУАП: Сборник докладов: в 3-х частях. Ч. I. Технические науки. - СПб: ГУАП, 2012. - С. 23-25.

12. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2005. - 1072 c.

13. Зажигин Н.Н., Римских М.В., Шемплинер В.В., Юзликеев Я.В. Новые алгоритмы повышения точности восстановления искаженных изображений // Научно-технический вестник СПбГУ ИТМО. -2006. - № 5 (28). - С. 49-54.

14. Небылов А.В. Гарантирование точности управления. - М.: Наука, 1998. - 304 c.

Крысин Дмитрий Юрьевич Небылов Александр Владимирович

Санкт-Петербургский государственный университет аэрокосмического приборостроения, ассистент, wtxt@ya.ru

Санкт-Петербургский государственный университет аэрокосмического приборостроения, доктор технических наук, профессор, зав. кафедрой, nebylov@aanet.ru