CC BY
13
Вестник ДВО РАН. 2021. № 4
УДК 004.93(.92) DOI: 10.37102/0869-7698_2021_218_04_15
В.А. БОБКОВ, А.П. КУДРЯШОВ, М.А. МОРОЗОВ
Результаты исследований ИАПУ ДВО РАН в области компьютерной графики и компьютерного зрения (1976-2020 гг.)
В обзоре представлены важнейшие результаты, полученные Институтом автоматики и процессов управления ДВО РАН в области компьютерной графики и компьютерного зрения: универсальная графическая система и ее приложения в области автоматизации научных исследований, проектирования и картографии; геоинформационные системы; система воксельной графики и конструктивной геометрии; моделирующий комплекс для автономных подводных роботов (АПР); методы визуальной навигации для АПР и 3D реконструкции объектов по изображениям.
Ключевые слова: компьютерная графика, компьютерное зрение, автономный подводный робот, навигация по изображения, 3D реконструкция.
Research results of the Institute of Automation and Control Processes FEB RAS in computer graphics and computer vision (1976-2020). V.A. BOBKOV, A.P. KUDRYASHOV, M.A. MOROZOV (Institute of Automation and Control Processes, FEB RAS, Vladivostok).
The article provides an overview of the most important results obtained by the Institute of Automation and Control Processes in the field of computer graphics and computer vision: a universal graphic system and its applications in the field of automation of scientific research, design automation and map automation; geoinformation systems; voxel graphics and constructive geometry system; simulator for autonomous underwater robots (AUV); methods of visual navigation for AUV and 3D reconstruction of objects from images.
Key words: computer graphics, computer vision, autonomous underwater robot, image navigation, 3D reconstruction.
Компьютерная графика как научное направление появилось в тематике Института автоматики и процессов управления (ИАПУ), в лаборатории машинной графики, в середине 1970-х годов. На начальном этапе ее развитие было связано с приложениями в автоматизации научных исследований, системе автоматизированного проектирования (САПР) и геоинформатике. Интерактивная визуализация на базе универсальной графической системы ДИСГРАФ [9] применялась при решении многих задач, связанных с тематикой ИАПУ и других институтов ДВНЦ АН СССР. В совместных работах с заинтересованными судостроительными проектными организациями страны были получены первые прикладные результаты применительно к САПР в судостроении [1].
Другим активно развиваемым направлением в лаборатории машинной графики ИАПУ в тот период стала автоматизация картографирования с последующим внедрением результатов в картографическое предприятие в Хабаровске и в ЦНИИГАиК ГУГК (Центральный научно-исследовательский институт геодезии, аэрофотосъемки и картографии Главного управления геодезии и картографии) (Москва) [21]. В 1990-е годы эти работы
*БОБКОВ Валерий Александрович - доктор технических наук, заведующий лабораторией машинной графики, КУДРЯШОВ Алексей Павлович - кандидат технических наук, научный сотрудник, МОРОЗОВ Михаил Александрович - ведущий инженер-программист (Институт автоматики и процессов управления ДВО РАН, Владивосток). *Е-таП: bobkov@iacp.dvo.ru
трансформировались в актуальные геоинформационные приложения, которые эксплуатировались многими ведомственными организациями Владивостока и Приморского края. К их числу относится инструментальная ГИС АТЛАС, земельный, городской и дорожный кадастры [8, 20]. Было предложено решение актуальной задачи моделирования динамики водостока на рельефе местности с реализацией оригинальной математической модели и вычислительной схемы с организацией параллельных вычислений на эксплуатируемой в ВЦ ИАПУ супер-ЭВМ МВС-1000 [11].
Эффективным в плане автоматизации научных исследований было создание в 1980-е годы системы молекулярной графики [22], которая успешно применялась в научных исследованиях ТИБОХ ДВНЦ, ИХ ДВНЦ, научно-исследовательском центре в Пущино и других научных организациях.
В это же время закладывались основы реализации распределенных графических систем с организацией параллельных вычислений на многопроцессорных вычислительных архитектурах. Впоследствии параллелизм применялся в вычислительно трудоемких алгоритмах визуализации пространственных сцен [2, 17].
В связи с возросшими вычислительными возможностями актуальной задачей стало развитие «воксельной графики» как альтернативы традиционно реализуемой в распространенных графических программах «полигональной графики». Воксельное представление объектов является адекватной моделью для визуализации больших объемов пространственных данных, но требует значительных вычислительных ресурсов. В лаборатории машинной графики была разработана система воксельной графики для моделирования сложных геометрических сцен и их визуализации [3]. Она позволила универсальным образом описывать и визуализировать сложные графические объекты и сцены средствами конструктивной геометрии. В частности, система явилась адекватным инструментом для визуализации объемов, задаваемых скалярными полями (рис. 1). При этом была реализована эффективная алгоритмическая база, основанная на октантных структурах данных, методах трассировки лучей, послойного рендеринга и целом ряде оригинальных оптимизационных решений, направленных на повышение скорости рендеринга [4, 13, 19]. Система была адаптирована и применялась для анализа и визуализации скалярных физических полей в океанологии (температура, соленость и др.).
Еще одним важным направлением применения средств компьютерной графики явилась обработка спутниковой информации при решении целого спектра прикладных задач, составляющих фундаментальную проблему моделирования динамики атмосферы и океана. Одним из результатов в этом направлении, полученных совместно со специалистами в области моделирования океанических процессов и спутникового мониторинга, стал релаксационно-контурный метод определения поля скоростей течений по спутниковым изображениям [31]. Другой результат, который следует отметить, - разработка системы
Рис. 1. Визуализация поля температуры: рассматривае мый район Японского моря (слева), изотермическая по верхность Т > 5 °С в феврале (справа)
Рис. 2. Кадр анимационной визуализации динамики циклона Ме-лор над Японскими островами. Среднее значение температуры рассчитывается внутри кольца, центр которого совпадает с центром циклона
визуализации больших объемов пространственных данных, получаемых с искусственных спутников Земли и метеорологических станций в целях изучения синоптических объектов (течения, вихри, циклоны и др.), построения математических моделей и прогноза их динамики [15, 24, 26] (рис. 2).
Поскольку многие практические задачи, связанные с обработкой видеоинформации, требуют комплексного применения средств компьютерной графики, обработки изображений, а также компьютерного зрения, новым направлением исследований в тематике лаборатории стали работы в последней упомянутой области. Фундаментальной проблемой здесь явилось восстановление структуры по движению на основе обработки изображений. В качестве основной задачи в этом направлении была выбрана автоматизация исследований в области подводной робототехники, которая решается в сотрудничестве со специалистами ИПМТ ДВО РАН. Совместными усилиями был разработан имитационный программный моделирующий комплекс, предназначенный для исследования методов управления движением автономных подводных роботов (АПР) [12, 25, 32]. Этот комплекс используется в настоящее время для моделирования рабочих миссий АПР при решении практических задач.
В рамках работы над указанной проблемой - восстановления структуры по движению - был выполнен ряд исследований с привязкой к задачам подводной робототехники. Решались нетривиальные задачи вычисления траектории движения камеры/АПР в априори неизвестной среде и 3D реконструкции подводной обстановки по видеопотоку, захватываемому камерой.
Цель первой задачи - повысить эффективность навигации подводного аппарата в условиях локального маневрирования, когда традиционные гидроакустические средства навигации АПР не всегда могут дать требуемую точность координации при выполнении рабочей миссии. Результатом последних исследований в этом направлении была разработка следующих модификаций классической схемы метода визуальной навигации (визуальной одометрии), основанного на обработке стереоизображений:
1) оригинальный метод быстрого вычисления локального смещения (6 DOF) камеры/ робота по сопоставленным 3D облакам точек, получаемым из изображений средствами компьютерного зрения [28]. Вычисление матрицы локального геометрического преобразования, согласно методу, основывается на совмещении внешних систем координат, генерируемых по случайным выборкам точек. Полученные сравнительные оценки эффективности метода, по данным вычислительных экспериментов, показали его преимущество по сравнению с аналогами;
2) повышение эффективности навигации АПР за счет длительного прослеживания трекером KLT (Kanade-Lucas-Tomasi feature tracker) особенностей на снимках [6]. В отличие от традиционной схемы, в предлагаемом алгоритме при вычислении параметров текущей позиции траектории обрабатываются снимки предшествующего фрагмента траектории, состоящего из нескольких шагов. Это позволило уменьшить накапливаемую ошибку локализации. Одновременно такая схема сокращает объем вычислений без потери точности. Генерация исходного множества особенностей выполняется в начале каждого фрагмента (на 1-м шаге). Прослеживание особенностей осуществляется пошагово, таким образом, что для прослеживания на очередном шаге фрагмента используется множество особенностей, прослеженное на предыдущем шаге. Сопоставление на снимках стереопары выполняется детектором SURF, а прослеживание на снимках соседних позиций - с помощью трекера KLT. Полученное в результате такого многошагового прослеживания множество особенностей в конце фрагмента сопоставляется с исходным множеством (проекция на начало фрагмента). Такая проекция, по существу, является фильтром, исключающим недостоверные особенности. По полученным сопоставленным множествам строятся два 3D облака и вычисляется относительное изменение положения и ориентации камеры/робота;
3) адаптивная методика расчета траектории, учитывающая геометрию сцены, которая реализуется тремя совместно работающими механизмами: а) выбором размера очередного шага в зависимости от степени перекрытия зон видимости стереокамеры для двух соседних позиций, б) уменьшением шага, если число сопоставленных особенностей меньше заданного порога, и в) отсечением тех частей изображения, которые не относятся к перекрытию зон видимости [27] (выполняется непосредственно перед генерацией и сопоставлением особенностей в каждом из 4 исходных изображений).
Первый механизм позволяет задавать максимальный размер очередного шага, гарантирующий заданную величину общей (для двух позиций) зоны видимости, что направлено на минимизацию числа обсчитываемых позиций и, соответственно, на уменьшение времени подсчета (рис. 3). Искомое время перемещения T. на очередном шаге i вычисляется исходя из анализа геометрии сцены с учетом следующих параметров: а - вертикальный угол обзора камеры (по движению камеры), R - среднее расстояние от камеры до дна, H - линейный размер зоны видимости камеры в проекции на плоскость дна, P - заданный процент перекрытия зон видимости двух камер, fps - частота съемки, S - перемещение камеры из предыдущей позиции в текущую позицию при заданном проценте перекрытия зон видимости. Исходя из подсчета пути, пройденного за время T. со средней скоростью V._ j + AT/2, получим для T . = (-V_ j + sqrt(V_ 2 + 2AS))/A. Здесь Tpre - время перемещения на предыдущем шаге (i - 1), Vk - скорость в позиции к, а величина A = (V._ j - V._2)/Tpre определяет ускорение на предыдущем шаге. То есть на прямолинейных участках движения, где скорость высокая, шаг может быть большим, а на криволинейных участках, где скорость движения снижается, шаг должен уменьшаться. Для пересчета размера шага в число кадров полученная величина умножается на fps. Таким образом, обеспечивается адаптивное вычисление текущего шага с учетом расстояния до дна, величины желаемого перекрытия зон видимости и динамики движения АПР.
Второй механизм - итеративная процедура уменьшения шага - направлен на поддержание числа особенностей на уровне не ниже заданного порога, что необходимо для обеспечения высокой точности вычисления матрицы локального преобразования (определяет перемещение АПР из предыдущей в текущую позицию).
Рис. 3. Адаптивный метод визуальной навигации
Третий механизм - отсечение части изображения, не относящейся к общей зоне видимости, позволяет исключить потенциально возможные ошибочные сопоставления особенностей на неперекрывающихся областях, что, в конечном счете, приводит к повышению точности вычислений локальных преобразований и позволяет сократить время обработки;
4) учет повторного посещения подводным аппаратом одних и тех же мест, препятствующий накоплению ошибки локализации. При локальном маневрировании АПР движение осуществляется в ограниченной области подводной среды с возможными самопересечениями траектории. Цель предлагаемого метода навигации - воспрепятствовать накоплению ошибки навигации при длительном локальном маневрировании за счет обработки ситуаций повторного посещения аппаратом одних и тех же мест и тем самым повысить точность навигации в целом. Метод основан на использовании базового алгоритма визуальной одометрии и виртуальной сети координатной привязки. Такая сеть - это множество виртуальных пунктов координатной привязки, в качестве которых рассматриваются локальные системы координат АПР/камеры в конкретных позициях траектории. С каждым пунктом связан набор данных, включающий: полученную в данной позиции стереопару снимков, координатную информацию данной позиции, геометрию видимого камерой участка дна, цепочку матриц локальных геометрических преобразований, накопленную к данному моменту времени. Входной информацией служит видеопоток, фиксируемый сте-реокамерой при движении АПР. В работе метода выделяются два этапа - формирование виртуальной сети привязки и ее использование с соотнесением с одним из пунктов привязки, повышающим точность координации АПР [5] (рис. 4).
Для решения второй задачи восстановления структуры и движения по видеоинформации - 3D реконструкции объектов по последовательности изображений - был разработан метод, основанный на комплексном применении ряда известных апробированных решений: воксельный подход с использованием октантной структуры данных, генерация виртуального скалярного поля с построением триангуляционной поверхности заданного уровня алгоритмом марширующих кубиков, текстурирование построенной модели с предложенной оптимизацией вычислений [7]. Метод получил развитие в ряде последующих работ с реализацией возможности использования многопроцессорной обработки данных [10, 14, 18, 23] (рис. 5).
В рассматриваемых выше задачах предполагалось движение камеры/робота в статической сцене. При таком условии проблема восстановления структуры по движению исследована сегодня достаточно хорошо. Однако применительно к динамическим сценам (с движущимися объектами) предложенные методы мало или совсем неприменимы, что сужает круг возможных практических приложений. В случае динамической сцены возникает более сложная проблема: наряду с определением движения камеры и реконструкции статической части сцены необходимо восстановить траектории движения динамических объектов и реконструировать их форму по видеопотоку.
Для решения указанной проблемы лабораторией машинной графики был разработан подход с реализацией прототип-ных программных средств [29, 30]. Предложенная технология решения задач визуальной навигации автономного робота и 3D реконструкции объектов по стереоизображениям в динамической сцене основана на применении точечной модели объектов, метода визуальной навигации и оригинальной алгоритмической базы многоэтапной обработки графических данных (рис. 6). Реализующая технологию вычислительная схема включает этапы: сопоставление точечных особенностей на последовательности стереоизображений (с использованием детектора SURF и трекера KLT), генерацию 3D облаков, идентификацию недеформируемых и деформируемых динамических объектов (ДО) с построением их точечных моделей и расчетом траекторий движения ДО, построение 3D триангуляционных
Рис. 5. 3Б реконструкция по изображениям. Модель построена по 646 видам (проекциям), количество треугольников в триангуляционной сети - 38,8 млн
Начальная
Рис. 4. Координатное соотнесение АПР с пунктом привязки виртуальной сети
Рис. 6. Вычисление матриц геометрического преобразования, определяющих собственное движение динамического объекта. Позиция Ь - начало движения ДО в сцене
Рис. 7. 3D реконструкция динамической сцены: захват стереоизображений при движении АПР по траектории (слева), пространственная реконструкция динамического объекта (справа
моделей динамических и статических объектов сцены. Предложена методика расширения исходного множества точек за счет измерений, получаемых «дальномером» (3Б сканером или его виртуальным аналогом), направленная на повышение качества 3Б реконструкции. Алгоритмы идентификации ДО построены на применении критериев «жесткости», «сходства движения» и «связности». Метод расчета траекторий движения ДО основан на декомпозиции комплексной матрицы геометрического преобразования, определяющей совместное движение камеры и ДО. Также были разработаны метод 3Б реконструкции ДО с использованием полученных матриц движения ДО [16] (рис. 7) и алгоритм выделения деформируемых ДО. Проведены вычислительные эксперименты с оценкой эффективности разработанных алгоритмов на модельных «подводных» сценах в рамках авторского имитационного программного моделирующего комплекса.
Заключение
В последние годы лаборатория машинной графики ИАПУ ДВО РАН проводила исследования в области компьютерного зрения и применения его методов в области подводной робототехники. Научную новизну полученных результатов составляют:
1) разработка визуального метода навигации АПР, который отличают от известных в литературе аналогов: а) адаптивная методика расчета траектории, учитывающая геометрию сцены, б) большая эффективность метода за счет длительного прослеживания характерных особенностей на снимках стереопары, в) быстрое вычисление локального смещения камеры/робота по сопоставленным 3Б облакам точек, получаемым из изображений методами компьютерного зрения, г) большая точность навигации АПР за счет генерации и использования виртуальной сети координатной привязки;
2) технология решения задачи визуальной навигации автономного робота по стереоизображениям в динамической сцене, которая основана на применении точечной модели объектов, метода визуальной навигации и оригинальной алгоритмической базы многоэтапной обработки графических данных;
3) разработанный оригинальный метод 3Б реконструкции объектов по стереоизображениям применительно как к статическим, так и к динамическим сценам, основанный на воксельном представлении сцены, построении триангуляционной поверхности и методике оптимизации вычислительных затрат.
Дальнейшие исследования связаны с решением актуальной задачи инспекции объектов подводной промышленной инфраструктуры, которая требует применения существующих и разработки новых методов/алгоритмов компьютерного зрения, обработки изображений и компьютерной графики. Эти работы проводятся в сотрудничестве с ИПМТ ДВО РАН. Планируются вычислительные эксперименты как с виртуальными сценами, так и с реальными данными.
ЛИТЕРАТУРА
1. Белов С.Б. и др. Интерактивное конструирование сложных геометрических форм гиперключевым методом с использованием базы данных // Тез. докл. Всесоюз. конф. «Методы и средства обработки сложно-структурированной семантически насыщенной графической информации». Горький, 1983. С. 4.
2. Белов С.Б., Бобков В.А., Май В.П., Роньшин Ю.И. Параллельные вычисления в алгоритмах визуализации пространственных объектов, построенных методом конструктивной геометрии // Программирование. 1994. № 2. С. 16-26.
3. Белов С.Б., Бобков В.А., Май В.П., Роньшин Ю.И. Система конструирования и реалистичной визуализации сложных геометрических объектов // Автометрия. 1995. № 2. С. 73-78.
4. Бобков В.А., Роньшин Ю.И., Мельман С.Ю. Визуализация воксельных сцен // Информ. технологии. 2005. № 6. С. 16-19.
5. Бобков В.А., Май В.П. Визуальная навигация автономного подводного робота с учетом самопересечений траектории // Информ. технологии. 2020. Т. 26, № 10. С. 602-607.
6. Бобков В.А. Визуальная одометрия с длительным прослеживанием особенностей // Информатика и системы управления. 2017. № 3 (53). С. 17-23.
7. Бобков В.А., Кудряшов А.П. Воксельный метод построения триангуляционной поверхности по множеству видов // Информатика и системы управления. 2012. № 2. С. 31-38.
8. Бобков В.А., Васильев А.А. Геоинформационная система РегионГид // Вестн. ДВО РАН. 1994. № 2. С. 49-51.
9. Бобков В.А. и др. Интерактивная графическая система ДИСГРАФ // Интерактивные системы: тр. сов.-фин. симпоз. Тбилиси, 1979. С. 240-247.
10. Бобков В.А., Кудряшов А.П., Мельман С.В. Многопроцессорная обработка в задаче пространственной реконструкции по множеству видов // Программные продукты и системы. 2017. № 1. С. 75-80.
11. Бобков В.А., Борисов Ю.С., Май В.П. Моделирование динамики водостока на рельефе местности // Информ. технологии и вычислительные системы. 2005. № 2. С. 43-50.
12. Бобков В.А., Мельман С.В., Морозов М.А., Тарасов Г.В. Моделирующий комплекс для подводного робота на распределенной архитектуре с использованием кластера // Информатика и системы управления. 2017. № 4 (54). С. 32-42.
13. Бобков В.А., Мельман С.В. Параллельная трассировка октантных деревьев на языке CUDA // Информ. технологии. 2011. № 4. С. 30-36.
14. Бобков В.А., Кудряшов А.П. Построение трехмерной модели морского дна воксельным методом // Подводные исследования и робототехника. 2016. № 2. С. 13-18.
15. Бобков В.А., Мельман С.В., Май В.П., Черкашин А.С. Программный комплекс визуализации синоптических данных // Информатика и системы управления. 2014. № 1. С. 141-150.
16. Бобков В.А., Кудряшов А.П. Пространственная реконструкция объектов в динамической сцене по видеопотоку // Подводные исследования и робототехника. 2020. № 3 (33). С. 11-17.
17. Бобков В.А., Белов С.Б., Соловых И.А. Распределенные графические системы // Машинная графика баз данных / МЦНТИ. 1984. № 26. С. 65-85.
18. Бобков В.А., Кудряшов А.П. Реконструкция и визуализация пространственной сцены с использованием глобальной точечной модели // Информатика и системы управления. 2017. № 2 (52). С. 3-11.
19. Бобков В.А., Мельман С.В. Рендеринг октантных сцен // Информ. технологии. 2006. № 3. С. 39-46.
20. Бобков В.А. и др. Система программной поддержки городского территориального кадастра АТЛАС // Геодезия и картография. 1994. № 6. С. 54-57.
21. Бобков В.А., Говор В.И., Семенов С.М. Структура и функциональные задачи автоматизированной картографической системы // Геодезия и картография. 1983. № 6. С. 33-38.
22. Боровина Т.А., Кислюк О.С. Интерактивная система получения изображений и анализа строения сложных молекул с помощью растровых графических устройств // Автометрия. 1986. № 5. С. 114-116.
23. Кудряшов А.П., Черкашин А.С. Построение единой триангуляционной поверхности по набору видов с зашивкой дыр // Информатика и системы управления. 2015. № 1. С. 32-40.
24. Мельман С.В. Визуализация объемов в задачах анализа физических полей синоптических объектов // Информ. технологии. 2008. № 1. С. 62-66.
25. Мельман С.В., Бобков В.А., Инзарцев А.В., Павин А.М., Черкашин А.С. Программный моделирующий комплекс для автономных подводных аппаратов на базе многопроцессорной архитектуры // Подводные исследования и робототехника. 2015. № 1 (19). С. 23-32.
26. Мельман С.В., Бобков В.А., Черкашин А.С. Технология распределенно-параллельной обработки и визуализации больших объемов синоптических данных // Информатика и системы управления. 2015. № 3. С. 63-71.
27. Bobkov V., Mashentsev V., Tolstonogov A., Scherbatyuk A. Adaptive method for AUV navigation using stereo vision // Proc. 26th ISOPE Intern. Ocean and Polar Engineering Conf., Rhodes, Greece, June 26 - July 2, 2016. ISBN 978-1-880653-88-3. ISSN 1098-6189. ISOPE-I-16-187.
28. Bobkov V.A., Mel'man S.V., Kudryashov A.P. Fast computation of local displacement by stereo pairs // Pattern Recognition and Image Analysis. 2017. Vol. 27, N 3. P. 458-465.
29. Bobkov V.A., Kudryashov A.P. Identification and Recovery of Trajectories of Dynamic Objects from Stereo Images // Programming and Computer Software. 2020. Vol. 46, iss. 1. Р. 1-11.
30. Bobkov V.A., Kudryashov A.P., Mel'man S.V. On the recovery of motion of dynamic objects from stereo images // Programming and Computer Software. 2018. Vol. 44, iss. 3. Р. 148-158.
31. Kazansky A.V., Shupikova A.A. Velocity data assimilation using streamlets // Pacific Sci. Review. 2009. Vol. 11, N 1. P. 5-12.
32. Melman S., Bobkov V., Inzartsev A., Pavin A. Distributed simulation framework for investigation of autonomous underwater vehicles' real-time behavior // Proc. OCEANS'15 MTS/IEEE, Washington DC, October 19-22, 2015. ISBN DVD: 978-0-933957-43-5. DOI: 10.23919/OCEANS.2015.7404479.
