CC BY
189
Известия ЮФУ. Технические науки
Тематический выпуск
Scherbinin Victor Victorovich
"CNII AG".
E-mail: [email protected].
5, Sovetskaya Army street, Moscow, 127018, Russia.
Phone: 84956006317.
Шевцова Екатерина Викторовна
Московский государственный технический университет им. Н.Э. Баумана (МГТУ им. Баумана).
107005, Москва, ул. 2-я Бауманская, д. 5 E-mail: [email protected]. Тел.: 89161755938.
Shevtsova Ekaterina Victorovna
Bauman Moscow State Technical University (BMSTU, Bauman MSTU). 2nd Baumanskaia str., Moscow, 5107005, Russia. E-mail: [email protected]. Phone: 89161755938.
УДК 681.511
A.E. Семенов, E.B. Крюков, Д.П. Рыкованов, ДА. Семенов
ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ ТЕХНОЛОГИЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ В РЕШЕНИИ ЗАДАЧ РАСПОЗНАВАНИЯ, ВОССТАНОВЛЕНИЯ 3D, СШИВКИ КАРТ, ТОЧНОГО ЦЕЛЕУКАЗАНИЯ, СЧИСЛЕНИЯ ПУТИ И
НАВИГАЦИИ
В данной статье представлены результаты работ ЗАО "Транзас" в области компьютерного зрения применительно к задачам навигации ЛА и обработки информации, получаемой с ЛА.
Искусственный интеллект; компьютерное зрение; распознавание; навигация; восстановление 3D; сшивка карт; целеуказание, БПЛА.
A.E. Semenov, E.V. Kryukov, D.P. Rykovanov, D.A. Semenov
COMPUTER VISION TECHNIQUES FOR RECOGNITION, 3D EXTRACTION, MAP STITCHING, TARGETING AND NAVIGATION
Current work represents results achieved by Transas Group in the field of computer vision concerning AV/UAV navigation and UAV data processing.
Artificial intelligence; computer vision; recognition; navigation; 3D extraction; map stitching; targeting; UAV.
Введение. Ряд прикладных задач (автоматическая подготовка полетного задания для высокоточного ЛА, точное целеуказание, навигация/ориентация ЛА и т.д.) могут быть решены с использованием технологий компьютерного зрения. Эти технологии имеют ряд существенных преимуществ:
♦ пассивность;
♦ нечувствительность к стандартным средствам постановки помех;
♦ возможность прямого позиционирования изделия относительно цели;
♦ возможность практически гарантированной доставки изделия до цели;
♦ потенциально низкая стоимость единичного изделия.
В процессе выполнения проекта БПЛА в ЗАО "Транзас" был разработан ряд технологий компьютерного зрения, имеющих практическое значение.
Распознавание изображений с самообучением.Система предназначена для автоматического поиска и классификации объектов на любых растровых изображениях. Критерии распознавания определяются системой автоматически, по набору обучающих изображений. Система может работать как с отдельными снимками, так и с видеопотоком в реальном времени (независимо с каждым кадром).
Система выполняет поиск и классификацию объектов. Результат поиска -положение, масштаб и ориентация объекта. Результат классификации - класс объекта и достоверность отнесения к классу.
Система может распознавать как конкретные объекты, так и типы и классы объектов (например, «лицо», «самолет» и т.п.). Положение, размер и ориентация объекта на изображении могут быть произвольными. Произвольной может быть и окружающая обстановка: фон, освещение, сопутствующие предметы и т.д.
Система распознает на изображении все объекты искомого типа. Система может искать и классифицировать несколько типов объектов одновременно.
Алгоритм поиска. Подсистема поиска включает модуль самообучения и ак-.
Рис. 1. Функциональная схема поиска объектов на изображении
Модуль самообучения по набору изображений, на которых присутствует объект, автоматически находит множество критериев, отличающих объект от окружения. Области обучающих изображений, содержащие объект и не содержащие ,
примитивов: линии различного наклона и толщины, эллипсы различного радиуса ,
др. Обучающая программа находит такие сочетания примитивов, которые встре-
, ( ). Программа находит большое количество критериев поиска. Каждый критерий лишь с некоторой вероятностью говорит о наличии объекта, но их совместное применение дает достоверный результат.
Обучение выполняется без участия человека. Оператору необходимо только отметить на обучающих изображениях те области, в которых находится искомый .
Активный модуль работает с поступающими изображениями - фотографиями или кадрами видеопотока. По найденным при самообучении критериям он находит объект и определяет его положение, масштаб и ориентацию.
Алгоритм классификации найденных 00ъел7яое.Подсистема классификации также включает модуль самообучения и активный модуль.
Модуль самообучения по обучающим наборам, на которых присутствуют объекты различных классов, находит критерии, отличающие каждый из классов
Известия ЮФУ. Технические науки
Тематический выпуск
от остальных. Активный модуль по изображению объекта автоматически относит его к одному из классов и определяет достоверность классификации.
Рис. 2. Функциональная схема классификации объектов на изображении
На вход активного модуля поступают нормированные по размеру и ориентации изображения объектов, найденных при поиске.
Производительность поиска для компьютера Core II Duo - 6 кадров 1024x768 в секунду при неизвестной ориентации объекта и 30 кадров в секунду в случае . - 1000
.
пропорционально количеству типов объектов. Для дополнительного повышения производительности разработана система, позволяющая распределять отдельные процедуры (распаковка изображений, поиск, классификация) между несколькими .
Модуль обучения требует значительного процессорного времени. Например, на обучение распознаванию по 1500 фотографиям требуется более 300 часов времени компьютера Core II Duo.
Для ускорения обучения разработана система параллельных вычислений на нескольких вычислительных узлах, объединенных сетью Ethernet.
Сервер системы автоматически распределяет работу по всем компьютерам сети, на которых установлена программа обучения. Сервер передает вычислительным узлам исходные данные для обсчета и принимает от них результаты работы. В процессе работы сервер непрерывно отслеживает состояние всех узлов. При отключении узла назначенная ему задача динамически распределяется между . -
дача. Объемы работы распределяются между узлами пропорционально их произ-
,
скорости работы на предыдущем этапе.
ПО каждого вычислительного узла позволяет динамически изменять количество ресурсов данного компьютера, задействованных в процессе обучения системы.
, . Клиентская и серверная программы реализованы в виде системных сервисов Windows XP, а в серверной части реализована система непрерывного журналиро-вания. Это позволяет:
♦ задействовать в обучении все включенные компьютеры, независимо от входа пользователя в систему;
♦ автоматически возобновлять процесс обучения после сбоя в питании системы;
♦ приостанавливать процесс обуче ния для коррекции исходных данных;
♦ «откатывать» обучение к любому моменту на протяжении пройденных
.
Распознавание объектов с предварительной селекцией. При анализе больших объемов изображений любой отдельно взятый метод распознавания дает значительное количество ложных откликов. Для решения проблемы необходимо применять несколько методов распознавания одновременно и совместно анализи-.
селекцию областей интереса перед распознаванием с самообучением.
Фрактальные методы. Объекты искусственного происхождения, как пра-, . их группового обнаружения эффективно использовать фрактальный метод распо-.
Распознавание 2Б-форм. Некоторые объекты, например дороги детали ЛА и ., .
Рис. 3. Результаты распознавания форм - поиск колеи, поиск УПАЗ. Поскольку размер УПАЗ известен, система позволяет получить как угловое смещение УПАЗ, так и расстояние до него. Обработка видео в целом позволяет также получить угловые скорости и скорость сближения
Метод особых точек. Один из мощных методов распознавания основан на определении особых точек изображения. В этом методе на искомом изображении и на его последовательно уменьшаемых копиях определяются экстремумы яркости, и для каждого экстремума описывается форма его окрестности относительно направления максимального градиента. Таким образом создается набор характеристики , -
рования. Точно так же особые точки выявляются и на исследуемом изображении. Сопоставляя характеристики искомых и найденных особых точек, можно найти на исследуемом изображении искомый объект. Разработанное ПО позволяет на одном компьютере Core II Duo обрабатывать более 10 МПикс в секунду.
Распознавание по текстурным особенностям. Распознавание объектов по текстурным особенностям, например, по цветовой гистограмме, эффективен на
.
фона, освещенности, типа камеры и т.д. Он применим только в особых случаях.
. , -ду двумя сессиями аэрофотосъемки, применяется предварительная обработка изображений:
♦ сшивка изображений первой сессии в единую фотокарту;
♦ сшивка изображений второй сессии в единую фотокарту с одновременной привязкой к первой фотокарте;
♦ фрагментация обеих сшивок по цветовым гистограммам;
♦ нормировка цветовых гистограмм выявленных фрагментов на обеих сшивках (для устранения теней).
Далее стандартными методами выполняется поиск изменений.
Рис. 4. Результат работы программы поиска изменений на паре кадров: исходные кадры, результат совмещения и нормировки, найденные изменения
Данный метод применяется также в задаче «поиска оставленных вещей» - стационарных объектов, появившихся в поле зрения видеокамеры. В видеопотоке выявляется фон, движущиеся объекты и объекты, появившиеся на найденном фоне.
Рис. 5. Результат работы программы поиска оставленных вещей: выделяются оставленные вещи (опционально - движущиеся объекты)
Селекция движущихся целей. Селекция движущихся целей существенно повышает надежность распознавания движущихся объектов. В случае наблюдения с борта ЛА требуется более сложный алгоритм селекции, чем при работе со стационарной камеры, так как все объекты в поле зрения камеры движутся и необходимо различать перемещение в поле зрения поверхности Земли и перемещение объектов по этой поверхности.
Для решения задачи применен метод поиска общих точек. Программа находит общие точки на последовательных кадрах, выбирает наибольший самосогласованный набор, определяет параметры проекционного преобразования, переводящие последующий кадр в предыдущий. Применяя это преобразование к каждому кадру видеопотока, программа «стабгаизирует» поверхность Земли. Поиск на этом видео движущихся объектов и их сопровождение уже не представляет затруднений.
□ВВШЗШНИВЕН^К! jJbüsI
■ьаКп L.гтч^I-«: Lrcrfiflagiatim Псквтэшим iio^jlo
Гитгв MÜM
Рис. 6. Результат селекции движущихся целей
Распознавание ЗБ-форм. Метод распознавания 3Б-форм, полученных в виде DEM (а именно в таком виде выводит результат программа восстановления 3D), в математическом смысле аналогичен распознаванию 2D-06beKT0B: в данном случае высота эквивалентна яркости изображения.
Восстановление 3D. Классическое стереозрение. Форму объекта можно восстановить по двум изображениям объекта, снятым с разных ракурсов. Поскольку при восстановлении выполняется большой объем вычислений, ПО реализовано с применением SSE4 и CUDA. Производительность - 10 пар 384x288 в секунду.
Метод применен в задаче автономного движения робота-автомобиля. Робот
восстанавливает трехмерную картину окружающей обстановки, определяет плос-( ), ,
.
.
, .
обеспечивает метод восстановления 3D не по двум, а по всем кадрам, на котором виден участок поверхности. Этот метод реализован в программе TopoAxis. Программа восстанавливает рельеф и форму отдельных сооружений, текстурирует восстановленную форму по исходным изображениям с выравниванием цветности и яркости, позволяет привязывать восстановленное 3D по опорным точкам. Стереопары программа формирует автоматически. Также автоматически вычисляется и учитывается дисторсия камеры. Таким образом, в полностью автоматическом режиме формируется 3D-KapTa местности. При необходимости она может быть преобразована в ортофотоплан.
Рис. 6. Мобильный робот и результат работы программы восстановления 3В
Стереозрение с одной камеры-Щм установке видеокамеры на движущемся объекте, например на летательном аппарате, возникает стереоэффект между последовательными кадрами видео. Его можно использовать для счисления пути и определения ориентации объекта.
Автоматическая сшивка карт.Для автоматической обработки данных аэрофотосъемки разработана программа ТороАх1Б. Ее основные функции:
♦ поиск общ их точек;
♦ проверка общих точек на самосогласованность, исключение ложных
;
♦ вычисление и устранение дисторсии камеры;
♦ вычисление параметров внешнего ориентирования кадров с учетом найденных общих точек, телеметрических данных и опорных точек;
♦ предварительная сшивка карты с учетом данных о рельефе;
♦ уточнение рельефа и восстановление 3Б;
♦ коррекция цветности и яркости;
♦ построение ортофотоплана;
♦ нарезка рельефа и ортофотоплана в мозаику с созданием пирамиды
.
Программа ТороАх1Б может быть использована для автоматической подготовки полетного задания для низколетящих ЛА.
Точное целеуказание/позиционирование.Как правило, параметры внешнего ориентирования кадров (фото и видео) известны с низкой точностью, что приводит к значительным ошибкам целеуказания. Существенно повысить точность
( ).
Разработанная для этого программа ТороТа^е1 находит на фотооснове особые точки и создает упорядоченную базу данных особых точек. При поступлении изображения и телеметрии программа ищет общие точки между кадром и обла-
стью фотокарты в заданном радиусе вокруг центра кадра по телеметрии. По найденным общим точкам кадр «подшивается» к карте. Тем самым точность целеуказания становится практически такой же, как точность самой фотокарты.
Рис. 7. Исходные кадры и восстановленная ЗБ-карта
Рис. 8. Результат работы программы сшивки
Рис. 9. Результат работы Рис. 10. Результат восстановления
программы точного целеуказания траектории БПЛА при снижении: все
кадры (черные прямоугольники на левом поле) обрабатываются независимо, но формируют плавный трек
Этот же метод может быть использован для точного позиционирования ЛА: зная положение нескольких особых точек в кадре и параметры камеры, можно вычислить положение и ориентацию самой камеры в момент съемки. Поскольку сшивка выполняется с субпиксельной точностью (СКО порядка 0.6 пикселя), ошибка метода не превосходит 1 м при высоте полета 1 км.
Метод применим также и для определения положения/ориентации ЛА по рельефу: в математическом смысле рельеф эквивалентен яркости фотоосновы.
Счисление пути и навигация по видео.Метод аналогичен тому, как ориентируется в пространстве человек. В кадрах видеопотока система находит характерные точки и далее отслеживает их перемещение с течением времени. По характеру перемещения найденных точек система определяет их положение в 3-мерном пространстве и то, как изменяется положение и ориентация самой камеры.
Используемый алгоритм обеспечивает высочайшую точность навигации.
1/10000
относительно пройденного пути, при движении по замкнутым траекториям ошибка может быть обнулена при выходе на уже пройденный участок.
Совмещение метода счисления пути по видео с описанным выше методом позиционирования путем «узнавания» особых точек фотоосновы или рельефа позволяет достичь практически абсолютной точности навигации, причем в полностью пассивном режиме.
Автопосадка по видео.Метод навигации по видео использован также для автоматической посадки ЛА. Программа, используя стереоэффект, возникающий
при движении камеры переднего обзора, восстанавливает трехмерную поверх, ( ),
вертикальную и горизонтальную скорость движения ЛА, а также крен и тангаж. Оператору достаточно указать ось ВПП, чтобы система смогла посадить ЛА.
Ниже показан результат работы программы: синяя сетка - плоскость ВПП, обнаруженная программой, зеленые точки - вычисленные программой точки касания и остановки БПЛА.
Рис. 11. Результат работы программы автопосадки: синяя сетка - плоскость
ВПП, зеленые точки - вычисленные точки касания и остановки БПЛА
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Viola P., Jones M., Rapid Object Detection Using a Boosted Cascade of Simple Features, ICCVPR, 2001.
2. KramerrR. Chemometric Techniques for Quantitative Analysis, Marcel-Dekker, 1998.
3. Zhang T. Convex Risk Minimization, Annals of Statistics, 2004.
4. Christopher J. A Tutorial on Support Vector Machines for Pattern Recognition, Data Mining and Knowledge Discovery 1998.
5. PinalF., Huntsberge T., Jawerth B., Kubota T. Wavelet - based fractal signature analysis for automatic target recognition, Opt. Eng. magazine, 1998.
6. MacKay D. Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003.
7. Schmid C., Mohr R., Bauckhage C. Comparing and Evaluating Interest Points, ICCV98.
8. Chen X., Vierling L., Deering D. A simple and effective radiometric correction method to improve landscape change detection across sensors and across time, Remote Sensing of Environment, 2005.
9. Blake A., Zisserman A. Visual reconstruction, The MIT Press, Cambridge, 1987.
10. Kim Y., Martinez A., Kak A. Robust motion estimation under varying illumination, Image and Vision Computing, 2005.
11. Zokai S., Wolberg G. Image registration using log-polar mappings for recovery of large-scale similarity and projective transformations, Transactions on image processings, 2005.
12. Krotkov E., Hoffman R. Terrain mapping for walking planetary rover, IEEE Trans. Robot. Automat, 1994.
13. Hartley R., Zisserman A. Multiple View Geometry in Computer, Cambridge University Press, 2004.
Семенов Алексей Евгеньевич
Транзас-Вижн.
E-mail: [email protected].
199178, г. Санкт-Петербург, Малый пр., 54.
Тел.: 88123253131.
Крюков Евгений Васильевич
E-mail: [email protected].
Рыкованов Дмитрий Павлович
E-mail: [email protected].
Семенов Дмитрий Алексеевич
E-mail: [email protected].
Известия ЮФУ. Технические науки
Тематический выпуск
Semenov Alexsey Evgen'evich
Tranzas-Vijn.
E-mail: [email protected]. 54, Maliy pr., St. Petersburg, 199178, Russia. Phone: 88123253131.
Kryukov Evgeniy Vasil'evich
E-mail: [email protected].
Rikovanov Dmitriy Pavlovich E-mail: [email protected].
Semenov Dmitriy Alekseevich
E-mail: [email protected].
УДК 537.534.71
М.Д. Бавижев, MA. Лайпанов, Н.В. Кот
УПРАВЛЕНИЕ ПОПЕРЕЧНЫМ ДВИЖЕНИЕМ АТОМОВ В МИКРОКАПИЛЛЯРНОЙ СИСТЕМЕ
На основе модели каналирования атомов в микрокапилляре рассмотрена модель поперечного охлаждения атомов в поле поверхностной световой волны внутри стеклянного
.
микрокапилляре и рассчитана длина эффективного охлаждения атома до энергии
Создана трехмерная модель.
Атомы в микрокапилляре; модель поперечного охлаждения атомов; коэффициент .
M.D. Bavizhev, M.A. Laipanov, N.V. Kot
TRANSVERSAL MOTION ATOMS CONTROL IN MICROCAPILLARY
SYSTEM
On the basis of channeling fenomina atoms in a microcapillary the model of cross-section cooling of atoms in a field of a superficial evanescent light wave inside of a glass capillary is considered. The estimation of factor of attenuation for cross-section fluctuations of atom in a mi-crocapillary is lead and the length of effective cooling of atom up to energy is calculated. The three-dimensional model is created.
Atoms in a microcapillary; the model of cross-section cooling of atoms; factor of attenuation.
.
значимость для электроники, поскольку это позволит увеличить плотность размещения транзисторов в одном чипе.
Наиболее перспективным для нанотехнологии является оптика нейтральных
, ,
нейтральными атомными пучками. В настоящее время существует несколько подходов для управления потоками нейтральных атомных пучков. Эти подходы отличаются различными типами полей используемых для фокусировки нейтральных . , поскольку потенциал взаимодействия атома с оптическими полями гораздо выше, чем в случае статических полей.
. , , внутреннее отражение от границы раздела диэлектрик - вакуум, образует в ва-
