CC BY
8
УДК 004.02
Ротова О.М. студент
факультет «Робототехника и комплексная автоматизация»
Московский государственный технический университет имени Н.Э. Баумана
Россия, г. Москва
МЕТОДЫ УСТРАНЕНИЯ ШУМА НА ПОЛИГОНАЛЬНЫХ СЕТКАХ
Аннотация: в данной статье рассмотрены методы и подходы, применяемые для решения задачи устранения шума с трехмерных полигональных сеток. Описаны алгоритмы, применяемые в рассматриваемых методах. Проанализированы достоинства и недостатки каждого метода. Даны рекомендации по применению методов для устранения шума с полигональных сеток.
Ключевые слова: полигональная сетка, устранение шума, оптимизация, нейронные сети, трехмерное моделирование.
Rotova O.M. student
faculty of robotics and complex automation Moscow State Technical University named after N.E. Bauman
Russia, Moscow
POLYGONAL MESH DENOISING METHODS
Abstract: This article describes the methods and approaches used to solve the problem of polygonal mesh denoising. The algorithms used in the methods are described. The advantages and disadvantages of each method are analyzed. Recommendations on the use of methods for mesh denoising are given.
Keywords: polygonal mesh, mesh denoising, optimization, neural networks, 3D-modeling.
Одной из задач современных трехмерных технологий является создание цифровых двойников. Цифровой двойник — это виртуальный аналог реального объекта, компьютерная модель, которая в своих ключевых характеристиках дублирует его. Для создания таких двойников используются технологии трехмерного сканирования объектов. Одним из примеров таких технологий является фотограмметрия.
Фотограмметрия - это процесс создания SD-моделей из нескольких изображений объекта, сфотографированного с разных ракурсов. Процесс создания трехмерных моделей людей при помощи фотограмметрии состоит из трех этапов: получение рабочих снимков с разных позиций, их цифровая
обработка для исправления освещения и загрузка в специальную программу для получения объемных полигональных моделей. Однако полученные необработанные модели неизбежно содержат аддитивный шум от различных источников - это зависит от разрешающей способности используемых камер, точности алгоритмов построения ЭБ-модели, а также является следствием того, что некоторые части человеческого тела могут быть не в фокусе на исходных фотографиях. Поэтому процесс устранения шума используется в качестве необходимого шага постобработки. Сложной задачей является устранение шума с сохранением при этом нижележащей поверхности модели, а в частности ее мелких геометрических особенностей. В настоящее время данный процесс выполняется вручную художниками-специалистами по трехмерному моделированию для получения качественного результата.
Представление полигональных сеток
Полигональная сетка — это совокупность вершин, рёбер и граней, которые определяют форму многогранного объекта в трёхмерной компьютерной графике и объёмном моделировании. Гранями обычно являются треугольники, четырёхугольники или другие простые выпуклые многоугольники (полигоны), но сетки могут также состоять и из наиболее общих вогнутых многоугольников, или многоугольников с отверстиями.
Объекты, созданные с помощью полигональных сеток, должны хранить разные типы элементов, такие как вершины, рёбра, грани, полигоны и поверхности. Вершина — это позиция вместе с другой информацией, такой как цвет, вектор нормали и координаты текстуры. Ребро — это соединение между двумя вершинами. Грань — это замкнутое множество рёбер, в котором треугольная грань имеет три ребра, а четырёхугольная — четыре. Полигон — это набор компланарных (лежащих в одной плоскости) граней. В системах, которые поддерживают многосторонние грани, полигоны и грани равнозначны. Однако, большинство аппаратного обеспечения для рендеринга поддерживает лишь грани с тремя или четырьмя сторонам, так что полигоны представлены как множество граней. Математически, полигональная сетка может быть представлена в виде неструктурированной сетки, или неориентированного графа, с добавлением свойств геометрии, формы и топологии.
Классические методы устранения шума
Билатеральный фильтр является одним из самых современных фильтров для сглаживания изображения и снижения уровня шума. Билатеральный фильтр - это нелинейный фильтр сглаживания изображения с сохранением четких границ, был введен в работе [7]. Данный фильтр повсеместно используется при обработке фотографий, в компьютерной графике и для других задач. Такой широкий спектр применения фильтр получил из-за нескольких особенностей. С одной стороны, простота формализации и выполнения: пиксель просто заменяется взвешенным средним его соседей. Кроме того, билатеральный фильтр не итерационен, т.е. удовлетворительный результат достигается уже после одного прохождения.
Используя идею билатерального фильтра для изображений, в работе [2] было сформулировано определение билатерального фильтра для полигональных моделей. Основная идея состоит в том, чтобы определить локальное пространство соседних компонент для каждой вершины, используя касательную плоскость к полигональной сетке в вершине. Высоты вершин над касательной плоскостью являются синонимами значений серого уровня изображения [7], а компоненты близости фильтра являются наклонными компонентами. Фильтр применяется к одной вершине за один раз, вычисляя смещение и обновляя ее положение. Смещение вершин происходит по направлению нормали к касательной плоскости. Недостатком классической билатеральной фильтрации для полигональных моделей является обработка граничных вершин. Билатеральный фильтр обрабатывает границы, рассматривая их как ребра с виртуальными вершинами на бесконечности, что может привести к сглаживанию граничных точек.
Для расширения возможностей билатерального фильтра для обработки изображений в работах [1], [6] был определен совместный билатеральный фильтр. Основная идея состоит в том, что фильтрующие веса могут быть определены с использованием разности интенсивности от другого изображения, называемого руководствующим, а не входным изображением.
В работе [11] был обобщен подход по использованию совместного билатерального фильтра для полигональных моделей. Идея заключается в том, чтобы сначала классифицировать вершины в соответствии с их пространственными признаками, такими как угол, ребро и плоские области, а затем применять определенные стратегии шумоподавления к каждому типу вершин. Для этого используется руководствующий компонент совместного билатерального фильтра. Таким образом, алгоритм из работы [11] справляется с устранением шума на граничных вершинах лучше, чем классический алгоритм билатеральной фильтрации.
Рассматривая идеи анизотропной фильтрации полигональных сеток для устранения шума на поверхности, можно выделить ряд преимуществ и недостатков. К преимуществам таких методов можно отнести простоту реализации, интерпретируемость результатов и получение лучшего качества устранения шума по сравнению с более ранними методами изотропной фильтрации. К недостаткам всех данных методов относятся необходимый подбор параметров для каждой отдельной полигональной сетки и уровня шума на поверхности для получения приемлемого результата, а также неспособность в некоторых случаях справиться с геометрическими особенностями топологии полигональных сеток. Также итеративные процессы, представленные в методах фильтрации, не могут быть сильно ускорены из-за того, что выполнение каждого следующего шага требует окончания выполнения предыдущего шага фильтрации.
Впервые в статье [Э] был предложен метод устранения шума на поверхности ЭБ-модели, основанный на решении задачи оптимизации. Данный метод максимизирует плоские области модели и постепенно удаляет
шум, сохраняя резкие черты. Он основан на построении дискретного дифференциального оператора для произвольных треугольных сеток, который является устойчивым по отношению к вырожденным триангуляциям. Предложенный в [3] подход дает результаты лучше, чем при применении методов билатеральной фильтрации, даже при наличии высокого шума.
В работе [10] был предложен другой подход, основанный на тензорном умножении. В отличие от других традиционных методов, данный метод использует элементарный тензор голосования нормалей для вычисления гладких поверхностей. Вводится задача бинарной оптимизации на предложенном тензоре вместе с концепцией локальной бинарной окрестности. Данный метод стабилен при различных типах шума, но количество итераций должно быть подобрано отдельно, а также необходимо заранее знать характеристики шума на поверхности, что само по себе является достаточно сложной задачей.
В статье [4] представлен нелокальный метод фильтрации нормалей низкого ранга для шумоподавления сетки. Исследуя геометрическое сходство между локальными поверхностными наборами на 3D-сетках в виде полей нормалей, авторы разработали модель восстановления низкого ранга, которая фильтрует векторы нормалей с помощью поверхностных наборов. С помощью дескриптора ковариации нормалей анализируется сходство между поверхностными наборами. Из схожих поверхностных наборов в матрицу полей нормалей извлекаются векторы нормалей для рангового анализа. Далее задача устранения шума формулируется как задача восстановления матрицы низкого ранга, основанная на том, что ранг матрицы высок для необработанных сеток с шумом, но может быть значительно уменьшен для сеток без аддитивного шума, нормальные векторы которых через схожие поверхностные наборы должны быть более сильно коррелированы. Данный подход стабилен при низком уровне шума, но не работает исправно при разных типах шума, а также плохо справляется с резкими границами поверхностей полигональных моделей.
Использование нейронных сетей для устранения шума на полигональных моделях
Впервые авторами статьи [9] был сформулирован основанный на обучающих данных подход к устранению шума с 3Б-модели. Ключевая идея метода состоит в том, чтобы сформулировать процесс шумоподавления с каскадными нелинейными регрессионными функциями с помощью нейронных сетей и изучить эти функции из набора зашумленных полигональных сеток и их аналогов без шума. Каждая регрессионная функция выводит нормаль для заданной выходной грани полигональной сетки из геометрических объектов, извлеченных из соседних граней входной сетки, и отправляет результат в качестве входных данных следующей регрессионной функции. Чтобы обрабатывать модели с различными геометрическими особенностями и уменьшить сложность обучения, авторы кластеризуют
входные поверхности сетки и обучают нейронные сети для каждого кластера отдельно. Данный подход хорошо справляется и с разным уровнем шума, и с разным типом шума, показывает лучшие результаты по сравнению со всеми предыдущими рассмотренными методами. Основное ограничение заключается в том, что точность реконструкции важных деталей в значительной степени зависит от того, были ли они изначально включены в учебный набор. В связи с этим, предложенная модель имеет ограниченную обобщающую способность.
В исследовании [8] используется двухступенчатый подход по устранению шума на основе сверточных нейронных сетей и преобразования полигональных моделей в воксельный формат, где первый шаг выполняет грубое шумоподавление, а второй шаг восстанавливает особенности геометрии. Авторы использовали маленький набор 3Б-моделей для обучения сети, что является преимуществом данного метода. Также качество устранения шума с сохранением особенностей геометрии является достаточно высоким. Однако процесс извлечения признаков из тренировочных данных является очень длительным и ресурсоемким, потому что происходит процесс перевода ЭБ-модели из одного формата - полигональной сетки, в другой формат - воксельное представление. Также для получения хорошего результата необходимо вручную подбирать количество итераций для каждой модели. Несмотря на высокое качество результатов, данный подход является ресурсоемким и неудобным для использования обычным пользователем.
В работе [5] рассматривается подход с использованием условных вариационных автоэнкодеров для обнаружения локального пространства соседних компонент для дальнейшей эффективной фильтрации нормалей полигональных моделей. В данном подходе впервые применяется метод разделения входных данных на патчи - отдельные локализированные поверхности всей полигональной сетки. Такие патчи, инвариантные к перемещению, поворотам и масштабу, подаются на вход нейронной сети в процессе обучения. Для получения результата тестовые входные данные также разделяются на патчи, для которых уже происходит процесс фильтрации нормалей для устранения шума. Данный подход не требует знания параметров шума, что является преимуществом, но для получения качественного результата необходимо, чтобы тренировочные данные содержали шумы таких же параметров, как в данных для тестирования. Также для обучения сети необходим небольшой набор данных из-за процесса разделения на патчи. Оценочные исследования в [5] показывают, что предложенный метод демонстрирует меньшую сложность и время выполнения, чем другие современные методы, не основанные на обучающих данных.
Заключение
Условно рассмотренные подходы можно разделить на Э группы: методы, основанные на фильтрации, методы, основанные на оптимизации и
методы, основанные на использовании нейронных сетей и тренировочных данных.
Важно отметить, что для третьей группы методов для реализации необходимы наборы тренировочных и тестовых данных ЭБ-моделей с шумом и без. В то время, как для первых двух групп методов такие данные не нужны. Поэтому при невозможности получить или собрать тренировочные данные решением для задачи устранения шума является использование методов, основанных на фильтрации или оптимизации. Но такие методы могут не достичь результатов достаточно высокого качества.
Если возможность сбора тренировочных и тестовых данных существует, то подходы, основанные на использовании нейронных сетей должны быть приняты во внимание из-за результатов высокого качества.
Использованные источники:
1. Eisemann E., Durand F. Flash photography enhancement via intrinsic relighting. // ACM Transactions on Graphics. - 2004 - № 23(3) - 673.
2. Fleishman S., Drori I., Cohen-or D. Bilateral mesh denoising. // ACM Transactions on Graphics. - 2003 - № 22(3).
3. He L., Schaefer S. Mesh denoising via l0 minimization. // ACM Transactions on Graphics. - 2013 - № 32(4) - 64:1-64:8.
4. Li X., Zhu L., Fu C.-W., Heng P.-A. Non-Local Low-Rank Normal Filtering for Mesh Denoising. // Computer Graphics Forum. - 2018 - № 37(7).
5. Nousias S., Arvanitis G., Lalos A., Moustakas K. Fast mesh denoising with data driven normal filtering using deep variational autoencoders. // IEEE Trans. Ind. Informatics - 2020 - 1-1.
6. Petschnigg G., Szeliski R., Agrawala M., Cohen M., Hoppe H., Toyama K. Digital photography with flash and no-flash image pairs. // ACM Transactions on Graphics. - 2004 - № 23(3) - 664.
7. Tomasi C., Manduchi R. Bilateral filtering for gray and color images. // Computer Vision - 1998. Sixth International Conference on IEEE - 1998 - 839-846.
8. Wang C., Cheng M., Sohel F., Bennamoun M., Li J. NormalNet: A voxel-based CNN for 3D object classification and retrieval. // Neurocomputing. - 2019 - № 323 - 139-147.
9. Wang P.-S., Liu Y., Tong X. Mesh denoising via cascaded normal regression. // ACM Transactions on Graphics. - 2016 - № 35(6) - 1-12.
10. Yadav S. K., Reitebuch U., Polthier K. Mesh Denoising Based on Normal Voting Tensor and Binary Optimization. // IEEE Transactions on Visualization and Computer Graphics. - 2018 - № 24(8) - 2366-2379.
11. Zhang W., Deng B., Zhang J., Bouaziz S., Liu L. Guided mesh normal filtering. // Computer Graphics Forum (Special Issue of Pacific Graphics 2015). -2015 - № 34 - 23-34.
