CC BY
26
16. Chang Q., Maruyama T. Real-time stereo vision system: a multi-block matching on GPU, IEEE Access, 2018, Vol. 6, pp. 42030-42046.
17. Banz C., Blume H., Pirsch P. Real-time semi-global matching disparity estimation on the GPU, 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops). IEEE, 2011, pp. 514-521.
18. Fairchild C., Harman T.L. ROS Robotics By Example: Learning to control wheeled, limbed, and flying robots using ROS Kinetic Kame. Packt Publishing Ltd, 2017.
19. Karpachevskiy V.V. Pravila tekhnicheskoy ekspluatatsii zheleznykh dorog [Rules of technical operation of railways], 2017.
20. Sam Schauland, Joerg Velten, Anton Kummert. Motion-Based Object Detection for Automotive Applications using Multidimensional Wave Digital Filters, VTC Spring 2008 - IEEE Vehicular Technology Conference, Singapore, Singapore, 20May 2008, pp. 2700-2704.
Статью рекомендовал к опубликованию к.ф.-м.н. С.В. Семендяев.
Шишков Дмитрий Леонидович - МФТИ; e-mail: shishkov_dmitry_geor@mail.ru; г. Долгопрудный, Россия; ведущий программист-разработчик лаборатории волновых процессов и систем управления.
Зарипов Михаил Нилович - e-mail: mikezmn@mail.ru; ведущий программист-разработчик лаборатории волновых процессов и систем управления.
Горбачев Роман Александрович - к.т.н.; зав. лабораторией волновых процессов и систем управления.
Shishkov Dmitry Leonidovich - MIPT; e-mail: shishkov_dmitry_geor@mail.ru; Dolgoprudnyy, Russia; leading programmer and developer of the laboratory of wave processes and control systems.
Zaripov Mikhail Nilovich - e-mail: mikezmn@mail.ru; leading programmer and developer of the laboratory of wave processes and control systems.
Gorbachev Roman Alexandrovich - cand. of eng. sc.; head of the laboratory of wave processes and control systems
УДК 007:621.865.8 DOI 10.18522/2311-3103-2022-1-268-278
В.П. Носков, А.Н. Курьянов
ИСПОЛЬЗОВАНИЕ КОМПЛЕКСИРОВАННЫХ ДЕСКРИПТОРОВ В РЕШЕНИИ SLAM-ЗАДАЧИ
Рассмотрена актуальная задача определения всех шести координат (трех линейных и трех угловых) текущего положения мобильного робота (беспилотного летательного аппарата) по видео-дальнометрическим изображениям внешней среды (объемным раскрашенным облакам точек), формируемым бортовой комплексированной системой технического зрения, построенной на базе 3D-дальнометрического сенсора (лидара) и цветной видеокамеры, при движении (полете) в неизвестной среде. Предложен алгоритм видеонавигации, основанный на использовании комплексированных (видео-дальнометрических) дескрипторов, для описания которых используются яркостные и геометрические параметры. Сформулированы правила формирования комплексированного дескриптора, обеспечивающие выделение с помощью оператора Собеля особых (центральных) точек дескриптора и вычисление яркостных и геометрических параметров в его локальной области. Дополнение яркостных параметров дескриптора, формируемых видеокамерой, геометрическими параметрами, формируемых дальнометрическим сенсором, снимает проблему инвариантности дескриптора к масштабу и тем самым существенно снижает трудоемкость вычислений при его выделении. Описаны правила нахождения соответствующих друг другу комплексированных дескрипторов в последовательности комплексированных изображений, основанные на вычислении разности яркостных и геометричесих парамет-
ров сравниваемых дескрипторов. Выполнена оценка ошибки решения навигационной задачи с использованием комплксированных дескрипторов в зависимости от ошибки сенсоров системы технического зрения и геометрических размеров дескриптора. За счет построения гистограмм решения навигационной задачи по каждой координате объекта управления для всех пар соответствующих друг другу дескрипторов достигнута статистически устойчивая высокая достоверность решения полной навигационной задачи. При этом ошибка решения навигационной задачи получилась на порядок меньше ошибки при формировании системой технического зрения комплексированных изображений. Использование комплек-сированных дескрипторов позволило при сравнительно малом объеме вычислений с приемлемой точностью и быстродействием решить полную навигационную задачу, что обеспечивает решение SLAM-задачи на бортовых вычислителях в темпе движения объекта управления. Эффективность предложенных алгоритмических и разработанных программно-аппаратных средств подтверждена натурными экспериментами, проведенными в реальных условиях различных сред.
Дальнометрический сенсор; облако точек; телевизионное изображение; комплекси-рованное изображение; комплексированный дескриптор.
V.P. Noskov, A.N. Kuryanov
THE APPLICATION OF COMPLEX DESCRIPTORS IN SOLVING A SLAM
TASK
The actual problem of determining all six coordinates (three linear and three angular) of the current position of a mobile robot (unmanned aerial vehicle) from video rangefinder images of the external environment (volumetric colored point clouds) formed by an onboard integrated vision system built on the basis of a 3D rangefinder sensor (lidar) and a color video camera while moving (flying) in an unknown environment is considered. An algorithm of video navigation based on the use of complexed (video-rangefinder) descriptors is proposed, for the description of which visual and geometric parameters are used. The rules for the formation of a complex descriptor are formulated, which ensure the allocation of special (central) points of the descriptor using the Sobel operator and the calculation of brightness and geometric parameters in its local area. The addition of the brightness parameters of the descriptor provided by the video camera with the geometric parameters provided by the rangefinder sensor removes the problem of invariance of the descriptor to the scale and thereby significantly reduces the complexity of calculations when selecting it. The rules for finding complexed descriptors corresponding to each other in a sequence of complexed images are described, based on calculating the difference in brightness and geometric parameters of the compared descriptors. The estimation of the error in solving the navigation problem using the integrated descriptors was performed depending on the error of the sensors of the vision system and the geometric dimensions of the descriptor. By constructing histograms of the solution of the navigation problem for each coordinate of the control object for all pairs of descriptors corresponding to each other, a statistically stable high reliability of the solution of the complete navigation problem has been achieved. At the same time, the error in solving the navigation task turned out to be an order of magnitude smaller than the error in the formation of complex images by the technical vision system. The use of complex descriptors made it possible, with a relatively small amount of calculations, to solve the complete navigation problem with acceptable accuracy, which provides a solution to the SLAM problem on the onboard computations at the pace of movement of the control object. The effectiveness of the proposed algorithmic and developed software and hardware is confirmed by field experiments conducted in real conditions of various environments.
Rangefinder sensor; point cloud; television image; complex image; complex descriptor.
Введение. Центральной и актуальной для востребованной сейчас автономной робототехники является SLAM -задача - определение текущих координат объекта управления с построением модели внешней среды по данным бортовой СТЗ в процессе движения. Знание текущих координат и модели внешней среды обеспечивает автоматическое планирование безопасных целенаправленных траекторий движения и их отработку, что является основой автономного (без участия человека-
оператора) управления движением. Из этих двух взаимосвязанных подзадач ведущей и наиболее сложной является задача видеонавигации. Наиболее эффективными с точки зрения практичности, точности и полноты ее решения являются средства видеонавигации на основе 3D-дальнометрических сенсоров. Существует множество методов и алгоритмов решения навигационной задачи по данным 3D-cенсоров [1-17]. Практически все они сводятся к трудоемким задачам многомерной оптимизации. Снижения объема вычислений здесь можно добиться за счет использования, когда это возможно, традиционных средств навигации (одометрических, инерциальных, спутниковых), обеспечивающих сужение области поиска глобального оптимума функционала оптимизации до области их ошибки [5, 6, 8, 15, 16]. Другим перспективным направлением повышения эффективности решения видеонавигационной задачи является использование видеосенсоров различной физической природы [9, 17], что позволяет объединять их преимущества, исключать недостатки и получить новое качество. Например, в работе [17] показано, что комплексирование данных 3D-лазерного сенсора и видеокамеры позволяет выделять и использовать для навигации плоские текстуриро-ванные объекты, что существенно упрощает решение навигационной задачи в урбанизированной среде. Однако данный подход не работает в естественной среде, где нет плоских объектов. В работе [12], где также используются видео и дальнометрические изображения, сначала в видеоизображениях выделяются соответствующие друг другу локальные SIFT-дескрипторы [19-21], что существенно упрощает решение навигационной задачи по соответствующим дальнометрическим изображениям. Однако сам процесс выделения необходимого числа достоверных дескрипторов является не тривиальной задачей.
В данной работе предлагается в видео-дальнометрическом изображении, сформированном комплексированной СТЗ, состоящей из взаимно юстированных лидара и цветной видеокамеры, выделять и использовать для решения задачи видеонавигации комплексированные (видео-дальнометрические) дескрипторы, которые характеризуются как яркостными, так и геометрическими параметрами. Наличие геометрических параметров комплексированного дескриптора автоматически обеспечивает инвариантность дескриптора к масштабу, что позволяет по сравнению с обычным дескриптором (например, SIFT) существенно упростить процесс их выделения и использования.
Определение комплексированного дескриптора. В качестве особых точек (кандидатов в центральные точки дескрипторов) целесообразно использовать наиболее контрастные точки телевизионного изображения, выделенные с помощью оператора Собеля [22, 23]:
G = Gx2 + G 2
-1 О +1
-2 О +2
-1 О +1
* А
где А - исходное телевизионное изображение в полутонах.
Такие точки менее чувствительны к ошибкам видеокамеры, так как каждая такая точка представляет собой результат обработки значений яркости соседних пикселов. Направление градиента перепада яркости в локальной области особой
точки рассчитывается как: ср = аг с £ ап (—) . Выделенные оператором Собеля осо-
сх
бые точки инвариантны к смещениям и поворотам, а градиент перепада яркости определяется с высокой точностью по направлению (-1° ) [22].
Одним из основных преимуществ дополнения телевизионного изображения дальнометрическим, является то, что становится известна геометрия изображения и можно напрямую привести текстуры дескрипторов к единому масштабу. При
расчетах только по телевизионным изображениям, для получения инвариантности дескриптора к масштабу чаще всего используют пирамиды гауссианов (Gaussian) и разностей гауссианов (Difference of Gaussian, DoG) [24], что требует значительных объемов вычислений и памяти. При построении же комплексированного дескриптора достаточно просто натянуть текстуру (цветовую яркость) на геометрию окрестности особой точки.
Для формирования параметров комплексированного дескриптора используем крестообразное сечение комплексированного изображения в локальной области особой точки, при этом одна из осей сечения должна совпадать по направлению с градиентом яркости (рис. 1). В качестве параметров такого дескриптора выберем координаты центра (vo) и концов (vh i=1,2,3,4) креста и распределение текстуры по крестообразному сечению.
Таким образом, комплексированный дескриптор в соответствии с выбранным сечением будет иметь следующие параметры: два распределения цветовой яркости, каждое из (т- 2 + 1) элементов (т - число элементов одного плеча креста), и пять координат концов креста и его центра. Так как ошибка дальнометрического сенсора может быть соизмерима и даже превосходить расстояние между соседними точками в дальнометрическом изображении, то для ее нивелировки необходимо выбирать соответствующие размеры локальной области вокруг особой точки, которые определяются значением ш*к (к - шаг дискретизации комплексированного изображения в локальной области дескриптора). Значение параметра т выбирается исходя из практики сравнения телевизионных изображений, которая показывает, что 2*(т * 2 + 1) ~ 16^64 пикселя достаточно для оценки схожести изображений [25], поэтому т можно задавать в пределах 4^8. Такие значения т позволяют достаточно надежно находить соответствующие друг другу дескрипторы в последовательности изображений (на рис. 1 приведен один и тот же дескриптор, выделенный в 2-х комплексированных изображениях, полученных из разных положений сенсора).
Так как дальнометрический сенсор формирует координаты каждой точки с некоторой ошибкой 5, то и вычисление с использованием введенных дескрипторов перемещения сенсора выполняется с ошибкой. При этом линейная составляющая ошибки будет соразмерна 5, а угловая будет зависеть от расстояния между центральной и крайними точками дескриптора (ш*к) и верхняя граница ее д будет
равна (рис. 2). Данная оценка позволяет выбрать значение ^ обеспечи-
вающее решение навигационной задачи с возможной для предлагаемого метода точностью.
рз=(х3.у3,г3) Г ^ =
и'г =(»!>,у]. "г-(*г,Уг,2г)
Рис. 1. Параметры комплексированного дескриптора
/ ^^
Рис. 2. Оценка ошибки комплексированного дескриптора
Сложность выделения особых (центральных) точек дескриптора можно оценить как п21] (п- размер контрастного фильтра, I и ] - размеры изображения). Определение параметров дескриптора сводится в основном к вычислению расстояний между используемыми в структуре дескриптора точками и аппроксимации текстуры на дискретные элементы дескриптора, что не требует большого объема вычислений в следствии ограниченного числа дескрипторов.
Решение навигационной задачи. В начале в двух анализируемых изображениях вычисляются и находятся соответствующие друг другу комплексированные дескрипторы. Соответствие дескрипторов определяется по степени близости их параметров (минимум разности яркостных и геометрических параметров сравниваемых дескрипторов). Пусть в двух изображениях, полученных соответственно из положений О] и О2, найден в соответствующих системах координат (О1XYZ и 02xyz) один и тот же комплексированный дескриптор (рис. 3). Требуется вычислить перемещение < АХ, А У, А! , А р, А ф, А 0 > сенсора из положения О] в О2 в системе координат О/А')"/.
Рис. 3. Комплексированный дескриптор и системы координат сенсора
Для одного и того же вектора п, заданного соответственно в первой (О]XYZ) и второй системах (О2xyz) координат, как щ и п^, можно записать следующее векторное уравнение относительно искомых угловых перемещений < А р, А р, А в >:
щ = А (А р ,А ф, А 0) щ,
где А (Ар ,Аф, А 0 ) = Аг (Ар ) х Ах (Аф) хАу (А 0 ) - обобщенная матрица поворотов при переходе из системы О2xyz в систему О]XYZ (А Е (Р) - матрица поворота вокруг оси Е на угол Р).
Для его однозначного разрешения достаточно подстановки в данное уравнение двух неколлинеарных векторов, координаты которых известны в обеих системах координат. Такими векторами могут быть градиент яркости и нормаль к
плоскости, проходящей через центральную точку и любые две крайние точки разных «перекладин креста» дескриптора. Для формального описания предлагаемого подхода удобно использовать аппарат кватернионов. Для кватерниона поворота нормали qn осью поворота является вектор Vn = пх * п2 , а углом поворота
/ ™1™2 N /
oün = ас о s (■—-—О (п х и п 2 - нормали, полученные из пары соответствующих де-
|п1||п2| ' '
скрипторов):
r Nn . ü)n ü)n,
qn = Г—s in — со s—1 .
™ L|¡V?ll 2 2 J
Для кватерниона поворота градиента яркости qf осью поворота является вектор V9 = пъ а углом поворота = асо s ( 9\f2 ) (¿^ и g2 - градиенты яркостей,
а ' е \ai\\a2\
полученные из пары соответствующих дескрипторов):
q f = í-^-s in —со s—1 .
^з L|W5I 2 2 J
Итоговые угловые перемещения можно представить как композицию кватернионов:
<3 = < <2х - Qy - < - <3w >= qfqn.
Тогда вектор угловых перемещений в соответствии с принятой выше последовательностью элементарных поворотов определяется следующим выражением:
Дф
де
Дф
atan í2QyQx~2Qy®z\ \ l—2Qx~2Qz J
/2QxQw-2QyQz\
{ l-2.Ql-2.Ql J
atan I
asin(2QXQX - 2QZQW )
Вектор линейных перемещений Д = < ДХ, Д У, AZ > можно найти как:
Д = гх - А (Д ф, Дф,Д 0 ) г2,
где гхи г2 - радиус-вектора до центральных точек дескриптора в первой и второй системах координат соответственно.
При использовании одной пары дескрипторов ошибка определения приращения координат будет соответствовать ошибке дескриптора, оценка которой приведена выше. Кроме того существует возможность сбоя в следствии возможности ошибочного определения соответствия дескрипторов из-за неблагоприятного сочетания геометрических и текстурных особенностей внешней среды. Для устранения данных недостатков необходимо учитывать решения для всех выделенных пар дескрипторов путем построения гистограмм вычисленных приращений координат. Такой подход повышения статистической устойчивости при незначительном увеличении объема вычислений позволяет снизить влияние ошибки сенсора за счет усреднения решений и исключить использование неправильно подобранных пар дескрипторов, которых, как показывает практика, гарантированное меньшинство.
Результаты экспериментальных исследований. Для экспериментальной проверки разработанных алгоритмических и программных средств использовались комплексированные изображения (рис. 4), полученные камерой глубины и цветной видеокамерой сенсора Asus Xtion PRO [26].
а) Урбанизированная среда б) Пересеченная местность Рис. 4. Изображения различных сред
Так как в реальных изображениях некоторые точки могут содержать неполную или ошибочную информацию (артефакты), то их необходимо удалить до начала выделения дескрипторов. Возникновение артефактов обусловлено ограничениями по измерению дальностей до объектов внешней среды, а также из-за параллакса камер глубины и видеокамеры. Для удаления артефактов достаточно удалить соседние дальнометрические точки, расстояние между которыми превышает некоторое пороговое значение, а также пикселы видеоизображения, для которых нет соответствующих измерений дальности. На рис. 4,а) приведено уже очищенное от артефактов изображение урбанизированной среды. Результаты применения оператора Собеля для изображений различных сред приведены на рис. 5.
а) урбанизированная среда б) пересеченная местность
Рис. 5. Особые точки изображения
На рис. 6 для примера приведены гистограммы решения навигационной задачи по всем шести координатам для всех пар соответствующих друг другу дескрипторов, выделенных в первом и втором изображениях сцены помещения, приведенной на рис. 4,а). Максимумы гистограмм соответствуют наиболее достоверному решению навигационной задачи.
а) смещение по X
б) смещение по Y
в) смещение по Z
г) смещение по ф
д) смещение по у е) смещение по Q
Рис. 6. Гистограммы решения навигационной задачи в урбанизированной среде
Результаты работы созданных программно-аппаратных средств при решении SLAM-задачи по последовательности из 5-и комплексированных изображений, полученным в процессе движения сенсора в различных средах, приведены на рис. 7. Время вычислений на один цикл решения SLAM -задачи (обработка 2-х соседних изображений из последовательности) на компьютере с процессором Intel(R) Core(TM) i7-9750H составляет 0.15 с.
а) урбанизированная среда б) пересеченная местность
Рис. 7. Результат решения БЬЛМ-задачи
Заключение. Разработанный алгоритм навигации по комплексированным видеоданным, формируемым бортовыми взаимно-юстированными дальнометриче-ским и телевизионным сенсорами, на основе предложенного аппарата видео-дальнометрических дескрипторов обеспечивает при сравнительно малом объеме вычислений достоверное решение полной навигационной задачи и формирование объединенной модели внешней среды на бортовых вычислителях в темпе движе-
ния объектов управления. Эффективность предложенных алгоритмических и разработанных программно-аппаратных средств решения SLAM-задачи подтверждается результатами натурных экспериментов, проведенными в реальных условиях индустриально-городских сред и пересеченной местности.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Каляев А.В., Носков В.П., Чернухин Ю.В., Каляев И.А. Однородные управляющие структуры адаптивных роботов. - М.: Наука, 1990. - 147 с.
2. Besl P.J., McKay Neil D. A Method for Registration of 3-D Shapes // IEEE Transactions on pattern analysis and machine intelligence. - 1992. - Vol. 14, No. 2. - P. 239-256.
3. Zhang Zhengyou. Iterative point matching for registration of free-form curves and surfaces // International Journal of Computer Vision. - 1994. - Vol. 13 (12). - P. 119-152.
4. Носков В.П., Носков А.В. Система экстремальной навигации цехового транспортного робота // Искусственный интеллект в технических системах: Сб. научных трудов. - М.: Гос.ИФТП. 1998. - С. 136-144.
5. Лакота Н.А., Носков В.П., Рубцов И.В., Лундгрен Я.-О. Моор Ф. Опыт использования элементов искусственного интеллекта в системе управления цехового транспортного робота // Мехатроника. - 2000. - № 4. - C. 44-47.
6. Носков В.П., Носков А.В. Распознавание ориентиров в дальнометрических изображениях // Сб. МГУ «Мобильные роботы и мехатронные системы». - 2001. - С. 179-192.
7. Mitra N., Gelfand N., Pottmann H., Guibas L.J. Registration of Point Cloud Data from a Geometric Optimization Perspective // Proceedings of the 2004 Eurographics/ACM SIGGRAPH symposium on Geometry processing. - 2004. - P. 22-31.
8. Носков В.П., Носков А.В. Навигация мобильных роботов по дальнометрическим изображениям // Мехатроника, автоматизация, управление. - 2005. - № 12. - C. 16-21.
9. Носков В.П., Рубцов И.В., Романов А.Ю. Формирование объединенной модели внешней среды на основе информации видеокамеры и дальномера // Мехатроника, автоматизация, управление. - 2007. - № 8. - С. 2-5.
10. Nüchter A., Lingemann K., Hertzberg J., Surmann H. 6D SLAM - 3D Mapping Outdoor Environments // Journal of Field Robotics. - September 2007. - Vol. 24, No. 8-9. - P. 699-722.
11. Segal A., Haehnel D., Thrun S. Generalized-ICP // Proc. of Robotics: Science and Systems, RSS, 2009.
12. Загоруйко С.Н., Носков В.П. Регистрация дальнометрических и телевизионных данных при построении трехмерной модели внешней среды // Инженерный журнал: наука и инновации. - 2013. - Вып. 8. - URL: http://engjournal.ru/catalog/pribor/robot/933.html.
13. Pomerleau F., Colas F., Siegwart R., Magnenat S. Comparing ICP Variants on Real-World Data Sets // Autonomous Robots. - April 2013. - Vol. 34, No. 3. - P. 133-144.
14. Bylow E., Sturm J., Kerl C., KahlF., Cremers D. Real-Time Camera Tracking and 3D Reconstruction Using Signed Distance Functions // Proceedings of "Robotics: Science and Systems". Berlin, Germany, 2013. - Vol. 9.
15. Казьмин В.Н., Носков В.П. Выделение геометрических и семантических объектов в дальнометрических изображениях для навигации роботов и реконструкции внешней среды // Известия ЮФУ. Технические науки. - 2015. - № 10 (171). - С. 71-83.
16. Носков В.П., Киселев И.О. Трехмерный вариант метода Хафа в реконструкции внешней среды и навигации // Мехатроника, автоматизация, управление. - 2018. - № 8. - С. 552-560.
17. Носков В.П., Киселев И.О. Использование текстуры линейных объектов для построения модели внешней среды и навигации // Мехатроника, автоматизация, управление. - 2019. - № 8, Т. 20. - С. 490-497.
18. Носков В.П., Губернаторов Д.В. Экстремальная навигация по 3D-изображениям в мобильной робототехнике // Мехатроника, автоматизация, управление. - 2021. - № 11, Т. 22. - С. 594-600.
19. David L. Object recognition from local scale-invariant features // Proceedings of the International Conference on Computer Vision. - 1999. - Vol. 2. - P. 1150.
20. Bay H., Tuytelaars T., Gool L. V. SURF: Speeded Up Robust Features // Computer Vision and image Understanding. - 2008. - URL: http: // www.vizion.ee.ethz.ch/~surf/eccv06.pdf.
21. Ke Y., Sukthankar R. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors. - URL http://www.cs.cmu.edu/~rahuls/pub/cvpr2004-keypoint-rahuls.pdf.
22. Duda R., Hart P. Pattern Classification and Scene Analysis. - John Wiley and Sons, 1973. - P. 271-272.
23. GonzalezR., WoodsR. Digital Image processing. - Moscow: Technosphere, 2005. - 1007 p.
24. Kevin P. Murphy. Gaussians. - 2006.
25. Ивашечкин А.П., Василенко А.Ю., Гончаров Б.Д. Методы нахождения особых точек изображения и их дескрипторов // Молодой ученый. - 2016. - № 15. - С. 138-140. - URL https://moluch.ru/archive/119/33106/ (дата обращения: 06.03.2020).
26. http: // www.asus.com/ Multimedia/Xtion_PRO_LIVE/.
REFERENCES
1. Kalyaev A.V., Noskov V.P., Chernukhin Yu.V., Kalyaev I.A. Odnorodnye upravlyayushchie struktury adaptivnykh robotov [Homogeneous control structures of adaptive robots]. Moscow: Nauka, 1990, 147 p.
2. Besl P.J., McKay Neil D. A Method for Registration of 3-D Shapes, IEEE Transactions on pattern analysis and machine intelligence, 1992, Vol. 14, No. 2, pp. 239-256.
3. Zhang Zhengyou. Iterative point matching for registration of free-form curves and surfaces, International Journal ofComputer Vision, 1994, Vol. 13 (12), pp. 119-152.
4. Noskov V.P., Noskov A.V. Sistema ekstremal'noy navigatsii tsekhovogo transportnogo robota [System navigation and extreme shop transport robot], Iskusstvennyy intellekt v tekhnicheskikh sistemakh: Sb. nauchnykh trudov [Artificial intelligence in engineering systems: Collection of scientific papers]. Moscow: Gos.IFTP. 1998, pp. 136-144.
5. Lakota N.A., Noskov V.P., Rubtsov I.V., Lundgren Ya.-O. Moor F. Opyt ispol'zovaniya elementov iskusstvennogo intellekta v sisteme upravleniya tsekhovogo transportnogo robota [The experience of using artificial intelligence elements in the control system of a shop transport robot],Mekhatronika [Mechatronics], 2000, No. 4, pp. 44-47.
6. Noskov V.P., Noskov A.V. Raspoznavanie orientirov v dal'nometricheskikh izobrazheniyakh [Recognition of landmarks in rangefinder images], Sb. MGU «Mobil'nye roboty i mekhatronnye sistemy» [Collection of MSU "Mobile robots and mechatronic systems", 2001, pp. 179-192.
7. Mitra N., Gelfand N., Pottmann H., Guibas L.J. Registration of Point Cloud Data from a Geometric Optimization Perspective, Proceedings of the 2004 Eurographics/ACM SIGGRAPH symposium on Geometry processing, 2004, pp. 22-31.
8. Noskov V.P., Noskov A.V.Navigatsiya mobil'nykh robotov po dal'nometricheskim izobrazheniyam [Navigation of mobile robots by rangefinder images], Mekhatronika, avtomatizatsiya, upravlenie [Mechatronics, automation, control], 2005, No. 12, pp. 16-21.
9. Noskov V.P., Rubtsov I.V., RomanovA.Yu. Formirovanie ob"edinennoy modeli vneshney sredy na osnove informatsii videokamery i dal'nomera [Formation of a combined model of the external environment based on information from a video camera and a rangefinder], Mekhatronika, avtomatizatsiya, upravlenie [Mechatronics, automation, control], 2007, No. 8, pp. 2-5.
10. Nüchter A., Lingemann K., Hertzberg J., Surmann H. 6D SLAM - 3D Mapping Outdoor Environments, Journal of Field Robotics, September 2007, Vol. 24, No. 8-9, pp. 699-722.
11. Segal A., Haehnel D., Thrun S. Generalized-ICP, Proc. of Robotics: Science and Systems, RSS, 2009.
12. Zagoruyko S.N., Noskov V.P. Registratsiya dal'nometricheskikh i televizionnykh dannykh pri postroenii trekhmernoy modeli vneshney sredy [Registration of rangefinder and television data in the construction of a three-dimensional model of the external environment], Inzhenernyy zhurnal: nauka i innovatsii [Engineering Journal: Science and Innovation], 2013, Issue 8. vailable at: http://engjournal.ru/catalog/pribor/robot/933.html.
13. Pomerleau F., Colas F., Siegwart R., Magnenat S. Comparing ICP Variants on Real-World Data Sets, Autonomous Robots, April 2013, Vol. 34, No. 3, pp. 133-144.
14. Bylow E., Sturm J., Kerl C., KahlF., Cremers D. Real-Time Camera Tracking and 3D Reconstruction Using Signed Distance Functions, Proceedings of "Robotics: Science and Systems". Berlin, Germany, 2013, Vol. 9.
15. Kaz'min V.N., Noskov V.P. Vydelenie geometricheskikh i semanticheskikh ob"ektov v dal'nometricheskikh izobrazheniyakh dlya navigatsii robotov i rekonstruktsii vneshney sredy [Selection of geometric and semantic objects in rangefinder images for robot navigation and reconstruction of the external environment], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2015, No. 10 (171), pp. 71-83.
16. Noskov V.P., Kiselev I.O. Trekhmernyy variant metoda Khafa v rekonstruktsii vneshney sredy i navigatsii [A three-dimensional version of the Hough method in the reconstruction of the external environment and navigation], Mekhatronika, avtomatizatsiya, upravlenie [Mechatronics, automation, control], 2018, No. 8, pp. 552-560.
17. Noskov V.P., Kiselev I.O. Ispol'zovanie tekstury lineynykh ob"ektov dlya postroeniya modeli vneshney sredy i navigatsii [Using the texture of linear objects to build a model of the external environment and navigation], Mekhatronika, avtomatizatsiya, upravlenie [Mechatronics, automation, control], 2019, No. 8, Vol. 20, pp. 490-497.
18. Noskov V.P., Gubernatorov D.V. Ekstremal'naya navigatsiya po 3D-izobrazheniyam v mobil'noy robototekhnike [Extreme navigation on 3D images in mobile robotics], Mekhatronika, avtomatizatsiya, upravlenie [Mechatronics, automation, control], 2021, No. 11, Vol. 22, pp. 594-600.
19. David L. Object recognition from local scale-invariant features, Proceedings of the International Conference on Computer Vision, 1999, Vol. 2, pp. 1150.
20. Bay H., Tuytelaars T., Gool L.V. SURF: Speeded Up Robust Features, Computer Vision and image Understanding, 2008. Available at: http: // www.vizion.ee.ethz.ch/~surf/eccv06.pdf.
21. Ke Y., Sukthankar R. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors. Available at: http://www.cs.cmu.edu/~rahuls/pub/cvpr2004-keypoint-rahuls.pdf.
22. Duda R., Hart P. Pattern Classification and Scene Analysis. John Wiley and Sons, 1973, pp. 271-272.
23. GonzalezR., WoodsR. Digital Image processing. Moscow: Technosphere, 2005, 1007 p.
24. Kevin P. Murphy. Gaussians, 2006.
25. Ivashechkin A.P., Vasilenko A.Yu., Goncharov B.D. Metody nakhozhdeniya osobykh tochek izobrazheniya i ikh deskriptorov [Methods of finding singular image points and their descriptors], Molodoy uchenyy [Young Scientist], 2016, No. 15, pp. 138-140. Available at: https://moluch.ru/archive/119/33106/ (accessed 06 March 2020).
26. Available at: http: // www.asus.com/ Multimedia/Xtion_PRO_LIVE/.
Статью рекомендовал к опубликованию академик РАН И.А. Каляев.
Носков Владимир Петрович - Московский государственный технический университет им. Н.Э. Баумана; e-mail: noskov_mstu@mail.ru; г. Москва, Россия; тел.: +79166766057; кафедра СМ-7 «Робототехнические системы и мехатроника», к.т.н.; доцент; НИИ Специального машиностроения, зав. сектором.
Курьянов Алексей Николаевич - e-mail: tigr-kur@mail.ru; тел.: +79258248138; кафедра СМ-7 «Робототехнические системы и мехатроника»; магистр.
Noskov Vladimir Petrovich - Bauman Moscow State Technical University; e-mail: noskov_mstu@mail.ru; Moscow, Russia; phone: +79166766057; cand. of eng. sc.; Special robotics and mechatronics department, NIISM sector head.
Kuryanov Alexsei Nikolaevich - e-mail: tigr-kur@mail.ru; phone: +79258248138; master.
