CC BY
14УДК 004
Технические науки
Никифоров Иван Максимович, студент ФГБОУ ВО «МИРЭА-Российский технологический университет»,
город Москва
Аждер Татьяна Борисовна, научный руководитель, к.т.н., доцент ФГБОУ ВО «МИРЭА-Российский технологический университет»,
город Москва
МЕТОДЫ АНАЛИЗА И ВЫЯВЛЕНИЯ ПОВТОРЯЮЩИХСЯ
ФОТОГРАФИЙ
Аннотация: В данной статье представлен обзор методов анализа и выявления повторяющихся фотографий. Повторяющиеся фотографии являются распространенной проблемой в области обработки изображений, и эффективное обнаружение таких дубликатов имеет важное практическое значение во многих областях, включая компьютерное зрение, медицинскую диагностику, архивирование и поиск информации.
Ключевые слова: компьютерное зрение, повторяющиеся фотографии, анализ изображений, дескрипторы, нейронные сети, машинное обучение, хэширование изображений, гистограммное сравнение.
Abstract: This article presents an overview of methods for the analysis and detection of repeated photographs. Repeated photographs are a common problem in the field of image processing, and the efficient detection of such duplicates holds significant practical importance in various domains, including computer vision, medical diagnostics, archiving, and information retrieval.
Keywords: computer vision, repeated photographs, image analysis, descriptors, neural networks, machine learning, image hashing, histogram comparison.
Введение
В современном информационном обществе, с проникновением цифровых технологий и широким распространением мобильных устройств с камерами, объем цифровых изображений неуклонно возрастает. Вместе с этим ростом появляется серьезная проблема повторяющихся фотографий, когда одни и те же изображения или их вариации реплицируются и хранятся в интернете или цифровых базах данных многократно. Данное явление может привести к избыточности данных, затратам на хранение и обработку, а также осложнить задачи поиска и классификации изображений.
Данная статья направлена на представление обзора современных методов анализа и выявления повторяющихся фотографий. Задача обнаружения дубликатов изображений представляет интерес для широкого круга областей, включая компьютерное зрение, обработку изображений, машинное обучение и информационный поиск. Исследователи и практики стремятся найти эффективные подходы к автоматическому обнаружению и классификации дубликатов, чтобы улучшить качество хранения данных и оптимизировать процессы их анализа и поиска. В данной работе мы сосредоточимся на обзоре основных методов, используемых для решения этой задачи, и оценим их применимость и эффективность в контексте современных требований и вызовов.
Особые точки и дескрипторы
Данный метод основывается на выделении особых точек и границ в изображении с помощью алгоритма Кэнни [1]. Затем для каждой особой точки вычисляются дескрипторы, которые описывают ее окружающую область. Эти дескрипторы содержат информацию о форме и направлении границ вблизи особых точек.
Для анализа и сравнения изображений используется метрика схожести дескрипторов. Например, может быть использован метод подсчета суммарного расстояния Хэмминга между парами дескрипторов границ. Если это расстояние
меньше заданного порогового значения, то изображения считаются похожими или дубликатами.
Применение данного метода состоит в следующих шагах:
• извлечение особых точек и границ изображений с помощью алгоритма Кэнни;
• расчет дескрипторов границ для каждой особой точки, описывающих окружающую область;
• сравнение дескрипторов между парами изображений с использованием метрики Хэмминга;
• установление порогового значения расстояния Хэмминга, ниже которого изображения считаются повторяющимися;
• выделение и отметка повторяющихся изображений на основе результатов сравнения дескрипторов.
Этот метод позволяет эффективно обнаруживать повторяющиеся фотографии, основываясь на их границах и особых точках. Он имеет преимущество в высокой точности и способности обрабатывать большие наборы данных. Однако стоит отметить, что его эффективность может зависеть от выбора параметров алгоритма и порогового значения расстояния Хэмминга, которые требуют настройки для конкретных задач и типов изображений.
На рисунке 1. 1 представлен пример выделения особых точек и границ в изображении с помощью алгоритма Кэнни.
Рисунок 1.1 - Пример выделения особых точек и границ в изображении с помощью
алгоритма Кэнни
Хэширование изображений
Этот метод основан на создании уникальных хэш-кодов для каждого изображения. Хэш-код [2] представляет собой компактное числовое или строковое значение, которое является уникальным и обладает свойством сохранения целостности данных. Хэш-функция преобразует изображение в этот хэш-код на основе его содержимого.
Для анализа и выявления повторяющихся фотографий, хэширование изображений используется следующим образом. Сначала для каждого изображения вычисляется его хэш-код. Затем происходит сравнение хэш-кодов между парами изображений. Если хэш-коды совпадают или очень близки, то изображения считаются похожими или дубликатами.
Одной из преимуществ использования хэширования изображений является его скорость и эффективность. Хэш-коды имеют фиксированную длину и компактно представляют содержимое изображений. Это позволяет быстро сравнивать и искать повторяющиеся фотографии даже в больших наборах, данных.
Однако стоит отметить, что хэширование изображений имеет некоторые ограничения. В некоторых случаях, например, при небольших изменениях в
изображении или наличии шумов, хэш-коды могут несколько отличаться, что может привести к ошибкам при определении повторяющихся изображений. Также существует возможность коллизий, когда разные изображения имеют одинаковый хэш-код.
На рисунке 1.2 представлен пример расчёта хэш-кода для изображения.
Рисунок 1.2 - Пример расчёта хэш-кода
Гистограммное сравнение
Гистограмма изображения представляет собой графическое представление распределения интенсивности пикселей по яркости или цвету. В процессе гистограммного сравнения изображения преобразуются в гистограммы, и затем происходит сравнение формы и содержания этих гистограмм.
Процесс гистограммного сравнения включает несколько этапов. Сначала изображения преобразуются в гистограммы путем подсчета количества пикселей в каждом диапазоне яркости или цвета. Затем гистограммы сравниваются с использованием различных метрик сходства, таких как расстояние Чебышева или корреляция.
Если метрика сходства между гистограммами меньше установленного порогового значения, изображения считаются похожими или дубликатами. Гистограммное сравнение позволяет обнаруживать повторяющиеся
фотографии, основываясь на их распределении яркости или цвета.
Гистограммное сравнение имеет несколько преимуществ. Во-первых, оно относительно просто в реализации и вычислительно эффективно. Оно также устойчиво к небольшим изменениям в изображении, таким как изменения контраста или освещения.
Однако гистограммное сравнение имеет некоторые ограничения. Например, оно не учитывает пространственное расположение объектов на изображении и может давать ложные срабатывания, если два изображения имеют похожую гистограмму, но отличаются по содержанию.
Нейронные сети и глубокое обучение
Нейронные сети и глубокое обучение[3] представляют собой мощные методы анализа и выявления повторяющихся фотографий. Эти методы основаны на использовании глубоких сверточных нейронных сетей для извлечения признаков изображений и последующего сравнения этих признаков для определения их схожести.
Рисунок 1.3 - Сравнение структуры сверточной нейронной сети и сети прямого
распространения
Преимущества использования нейронных сетей и глубокого обучения для анализа и выявления повторяющихся фотографий включают высокую точность и способность обрабатывать сложные и разнообразные наборы данных. Глубокое обучение позволяет автоматически извлекать высокоуровневые признаки изображений, что делает его эффективным для определения схожести между изображениями.
Рисунок 1.4 - Наглядный пример взаимодействия нейронной сети и изображения
Однако, следует отметить, что использование нейронных сетей и глубокого обучения требует больших вычислительных ресурсов и большого объема данных для обучения модели. Кроме того, точность и эффективность такого подхода могут зависеть от выбора архитектуры нейронной сети, размера обучающего набора данных и правильной настройки гиперпараметров.
Библиографический список:
1. Детектор границ Канни [Электронный ресурс] - URL -https://habr.com/ru/articles/114589/.
2. Обеспечение целостности данных с помощью хэш-кодов [Электронный ресурс] - URL - https://learn.microsoft.com/ru-ru/dotnet/standard/security/ensuring-data-integrity-with-hash-codes.
3. Что такое глубокое обучение? [Электронный ресурс] - URL -https: //aws. amazon. com/ru/what-is/deep-learning/.
