CC BY
63
УДК 004.932.4
МЕТОД ОБНАРУЖЕНИЯ ТОЧЕЧНЫХ ОБЪЕКТОВ НА МОНОХРОМНЫХ ИЗОБРАЖЕНИЯХ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ В РЕЖИМЕ РЕАЛЬНОГО
ВРЕМЕНИ
Я.С. Коровин, М.В. Хисамутдинов, Д.Я. Иванов
В статье предложен алгоритм обнаружения точечных объектов на изображении на сложном фоне. Данный алгоритм может быть адаптирован для поиска крупномасштабных объектов. В основе предлагаемого подхода лежит анализ всех контрастных пятен (блобов) на изображении, а также покадровый анализ траектории видеопоследовательности. Новизна предлагаемого подхода заключается в сочетании анализа локальных характеристик дескрипторов изображения с применением графовых алгоритмов и экстраполяции значений смещения камеры методом наименьших квадратов.
Ключевые слова: метод Лукаса-Канаде, метод наименьших квадратов, детектор Харриса, детектор блобов, стабилизация изображений, оптический поток.
Задача выделения аномалий яркости точечных объектов в монохромных изображениях востребована в различных областях человеческой деятельности: системах безопасности, микробиологии, астрономии, робототехнике и т.д. Предложенные ранее детекторы [1,2] имеют некоторые недостатки, а именно: высокую вычислительную сложность, необходимость использование базы данных шаблонов и невозможность ее использования для обнаружения крупномасштабных объектов.
Вцелом процесс обработки видеопоследовательности можно разделить на два основных этапа:
- стабилизация видеопоследовательности;
- выделение точечных объектов.
Рассмотрим подробнее эти этапы и их адаптацию для применения систем реального времени.
1. Стабилизация видеопоследовательности в условиях зашум-ленных данных
Ранее авторами был предложен простой алгоритм анализа движения камеры - стабилизации видеопоследовательности с использованием двух соседних кадров входной видеопотока [1]. На основе данных кадров предполагалась производить расчет элементов вектора оптического потока opt_flow с использованием метода Лукаса-Канаде. Подход сочетал в себе анализ дескрипторов точечных особенностей изображения и методы интеллектуального анализа данных.Однако в реальных условиях возможна ситуация, когда не все кадры в последовательности имеют точечные особенности, пригодные для использования метода Лукаса-Канаде. Это связано с принципами работы видеокамеры - в момент автоподстройки фокуса или эксплозии изображение может быть пере экспонировано либо расфокусировано, а соответственно ключевые точки не могут быть найдены. В такой ситуации произойдет сбой оптического потока и срыв стабилизации видеопоследовательности (см. рис. 1).
356
Рис. 1. Соседние кадры на которых произойдет сбой оптического потока
Для решения данной проблемы, предлагается новый подход учитывающий движение камеры по N кадрам видеопоследовательности, позволяющий отфильтровать кадры без ключевых особенностей за счет экстраполяции значений смещения камеры методом наименьших квадратов [3,4].
Новый алгоритм использует в качества базиса алгоритм, предложенный авторами ранее [1]. Основные шаги предлагаемого алгоритма представлены на рис. 2.
Рис. 2. Алгоритм учета движения камеры с использованием
экстраполяции
357
Входными данными для стабилизации видеопоследовательности являются N соседних кадров входной видеопоследовательности - [frame_0 .. frame_N]. В начальном этапе работы алгоритма производится инициализация векторов Ox, Oy которые будут искомым результатом смещений камеры в каждом кадре. Далее производится обработка всех входных кадров, начиная со второго. В случае если для текущих соседних кадров frame[i] и frame[i-1] возможно выделить ключевые особенности - производится запуск алгоритма разработанного на предыдущем этапе для определения смещения кадров друг относительно друга методом Лукаса-Канаде, и запись полученных результатов в искомые вектора Ox, Oy. В противном случае применяется экстраполяция накопленных значений векторов смещения камеры, с использованием МНК и запись полученных результатов в искомые вектора Ox, Oy.
Таким образом при обработке всех N кадров видеопоследовательности будут получены векторы смещения Ox, Oy, содержащие смещение кадров относительно первого кадра видеопоследовательности.
Новизна метода заключается в сочетании подхода анализа дескрипторов локальных особенностей изображенияграфовых алгоритмов и экстраполяции значений смещения камеры методом наименьших квадратов.
2. Поиск и распознавание точечных объектов на сложном фоне
Ранее авторами был предложен алгоритм детектирования точечных объектов на изображении с использованием углового детектора Харриса. Однако данный алгоритм имеет один недостаток, который связан с высокой вычислительной сложность и невозможность использования данного подхода в задачах обработки видео в реальном масштабе времени. Для этих целей авторами предлагается новый подход к задаче поиска точечных объектов на сложном фоне, который также может быть адаптирован для поиска крупномасштабных объектов.
Основа нового подхода — это анализ всех контрастных пятен (бло-бов[5-9]) на изображении, а также траекторный анализ покадровой обработки видеопоследовательности^].Обнаружение блобов обычно является первым шагом к более сложным задачам, таким как определение локальных деформаций на изображениях [6] или извлечение масштабируемых инвариантных точек интереса [7-9]. Обнаружение блобов часто выполняется путем вычисления локальных экстремумов некоторых нормализованных производных линейного масштабного представления изображения [6].
Рассмотрим укрупненно схему поиска объектов на сложном фоне.
Входными данными для поиска объектов на сложном фоне являются N соседних кадров входной видеопоследовательности - [frame_0 .. frame_N]. На начальном этапе работы алгоритма производится инициализация вектора vObjкоторый будут искомым результатом найденных объектов. Далее производится обработка всех входных кадров, начиная с первого. Для этого производится выделение блобов в каждом кадре frame[i] и дальнейший анализ их центров и габаритов. При пересечении с существующих объектов в векторе vObj параметры объекта обновляются, если пересечение не найдено производится добавление нового объекта в вектор vObj с найденными параметрами блоба.
358
Таким образом при обработке всех N кадров видеопоследовательности будет получен вектор, содержащий характеристики присутствующих объектов уОЬ] входной видеопоследовательности (рис. 3).
Рис. 3. Поиск объектов на сложном фоне на основе парадигмы блобов
Рассмотрим более подробно алгоритм выделения блобов, который является ключевым в предлагаемом методе поиска объектов на сложном фоне (рис. 4).
Рис. 4. Алгоритм выделения блобов на монохромном изображении
359
Входными данными алгоритма выделения блобов является одиночное изображение видеопоследовательности Image, пример изображения представлен на рис.5.
Рис. 5. Пример входного изображения для поиска блобов
Оно представляет собой двухмерный массив 8битных данных, размерностью NxM. На начальном этапе алгоритма производится бинаризация массива, на рис.6 представлен результат бинаризации.
Рис. 6. Результат бинаризации исходного изображения
Следующий этап выделения локально связных областей, которые и определяют искомые блобы. Для поиска локально связных областей используются волновой алгоритм для каждого ненулевого элемента массиваImage, по мере распространения волны элементы обнуляются и обновляется четыре значения границ {left, right, up, down} (левая, правая, верхняя и нижняя). Когда распространение волны будет закончено параметры нового блоба сохраняются в итоговый список блобов на изображении vBlobs. На рис.7 представлен результат выделения блобов на входном изображении.
*
б] в > и
Рис. 7. Результат выделения блобов на исходном изображении
360
Далее необходимо на основе полученных данных о объектах vObj произвести распознавание точечных объектов. Так как размер точечных объектов мал (может достигать 2х2 пикселя) использование паттернов малоэффективно, для этого авторами предлагается использовать данных углового размера объекта, который можно получить, используя пиксельный размер и параметры видеокамеры (угловые размеры пикселя в градусах дуги), а также среднюю скорость перемещения объекта в градусах дуги. Для этого необходимо подготовить таблицу TableObj известных объектов с описанием их возможных угловых скоростей и размеров. Данная таблица представляет из себя вектор, каждый элемент которого кортеж из 6 значений (min_spd - минимальная скорость объекта, max_spd - максимальная скорость объекта, min_W - минимальная ширина объекта, max_W - максимальная ширина объекта, min_H - минимальная высота объекта, max_H - максимальная высота объекта). Таким образом сравнивая параметры найденных объектов vObj с данными таблицы TableObjможно однозначно произвести распознавание точечных объектов. На рис.8 представлен результат распознавания объектов на одиночном изображении видеопоследовательности.
Рис. 8. Итоговый результат распознавания точечных объектов
3. Поиск и сопровождение крупномасштабных объектов
Предложенный выше алгоритм поиска точечных объектов был адаптирован для поиска крупномасштабных объектов.
Суть адаптации заключается в модификации алгоритма поиска бло-бов, а именно в увеличении шага распространения волны. Если для точечных объектов применяется волна с шагом 1, т.е. распространяется только на соседние пиксели, то для выделения крупномасштабных объектов шаг волны необходимо увеличить, в соответствии с характеристиками видеоисточника. Авторами установлено что достаточно использовать шаг волны 3 для уверенного выделения крупномасштабных объектов. При меньшем шаге крупномасштабный объект может разделяться на несколько несвязных блобов. Рассмотрим поэтапно работу алгоритма на примере.
Входными данными алгоритма выделения блобов является одиночное изображение входной видеопоследовательности, пример изображения содержащего крупномасштабные объекты представлен на рис. 9, а.
361
На начальном этапе алгоритма производится бинаризация изображения, на рис.9, б представлен результат бинаризации.
Следующий этап выделения локально связных областей, которые и определяют искомые блобы. На рис.9, в представлен результат выделения блобов на входном изображении, необходимо отметить что некоторые блобы не связны, однако за счет увеличения шага волны удается выделить блобы соответствующие крупномасштабным объектам.
Рис. 9. Пример детектирования крупномасштабных объектов: а - исходное изображение; б - результат бинаризации; в -результат выделения блобов на исходном изображении; г - итоговый результат поиска крупномасштабных объектов
В заключении на рис. 9, г представлен результат поиска крупномасштабных объектов на одиночном изображении видеопоследовательности.
Для сопровождения статических и движущихся объектов авторами предлагается алгоритм, основанный на пид-регрулировании. Рассмотрим в общей форме задачу сопровождения - необходимо удерживать выбранный объект на линии визирования видеоисточника за счет введения корректировок по осям X и У, которые можно вносить через команды приводов моторов поворотной установки, на которой установлен видеоисточник.
Для каждой оси используется свойпид-ругуляторx_pid и y_pid соответственно. Параметры (пропорциональная, интегральная и дифференциальная составляющая) регулятора для каждой оси хранятся в конфигурационном файле и подбирается опытным путем.
Рассмотрим укрупненно схему пид-регулятора для сопровождения объектов с использованием поворотной установки и видеоисточника рис.10.
В качестве входных данных используется ошибка по компонентам х, у e_x(t) и e_y(t) соответственно, данная ошибка определяется разностью координат объекта, который необходимо держать на центре линии визирования. После расчета пид-регулятров получаем управляющие коэффициенты u_x(t) и u_y(t), которые используются для управления приводами поворотной установки. Таким образом осуществляется постоянная корректировка приводов и удержание линии визирования(сопровождения) на выбранном объекте.
Рис.10. Схема пид-регулятора для сопровождения объектов
Выводы
В статье предложен метод, который с высокой вероятностью может успешно обрабатывать точечные объекты. Благодаря БЬОБ-парадигме[5], метод успешно работает как со статическими, так и с движущимися объектами. Метод применим в системах реального времени с использованием алгоритмов с низкой вычислительной сложностью. Этот подход устойчив к сбоям оптического потока благодаря экстраполяции накопленных значений векторов смещения камеры с использованием метода наименьших квадратов. Как уже упоминалось выше, мы предложили новый подход к проблеме поиска точечных объектов на сложном фоне, который можно адаптировать для поиска крупномасштабных объектов. Суть адаптации заключается в необходимости модификации алгоритма поиска блобов, а именно увеличения шага распространения волны. Если волна с шагом 1 применяется для точечных объектов, то есть распространяется только на соседние пиксели, то для выделения крупномасштабных объектов шаг волны должен быть увеличен в соответствии с характеристиками видеоисточника. Авторы обнаружили, что достаточно использовать шаг волны 3 для уверенного выделения крупномасштабных объектов. С меньшим шагом, крупномасштабный объект может быть разделен на несколько разорванных капель.
Исследование выполнено при поддержке проекта РФФИ 17-2903407.
Список литературы
1. Korovin I., Khisamutdinov M., Ivanov D. A Basic Algorithm of a Target Environment Analyzer // Proceedings of the 2nd International Conference on Advances in Artificial Intelligence. 2018. P. 7-11.
2. Korovin I., Khisamutdinov M., Schaefer G. Efficient Noise-free Image Acquisition of Moving Objects in a Complex Background using CUDA // Proceedings of the International Conference on Image Processing, Computer Vision, and Pattern Recognition (IPCV). 2016. P. 331.
363
3. Pratt W.K. Digital image processing: PIKS Scientific inside. Wiley-interscience Hoboken, New Jersey, 2007. Vol. 4. 812 p.
4. Gonzalez R.C. Digital image processing. Prentice hall, 2016.
5. Danker A.J., Rosenfeld A. Blob detection by relaxation // IEEE Trans. Pattern Anal. Mach. Intell. IEEE, 1981. № 1. P. 79-92.
6. Lindeberg T. Feature Detection with Automatic Scale Selection // Int. J. Comput. Vis. 1998. 53 p.
7. Bay H. et al. Speeded-up robust features (SURF) // Comput. Vis. image Underst. Elsevier, 2008. Vol. 110, № 3. P. 346-359.
8. Bay H., Tuytelaars T., Van Gool L. SURF: Speeded up robust features // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2006. 14 p.
9. Mikolajczyk K., Schmid C. Scale & affine invariant interest point detectors // Int. J. Comput. Vis. 2004. 24 p.
10. Ming A., Ma H. A blob detector in color images // Proceedings of the 6th ACM International Conference on Image and Video Retrieval, CIVR 2007. 2007. P. 49-54.
Коровин Яков Сергеевич, канд. техн. наук, директор, korovin_ yakov@mail. ru, Россия, Таганрог, Научно-исследовательский институт многопроцессорных вычислительных систем им. акад. А. В. КаляеваЮФУ,
Хисамутдинов Максим Владимирович, канд. техн. наук, старший научный сотрудник, xisamutdinov86@,mail.ru, Россия, Таганрог, ООО ««Нейросетвые технологии»,
Иванов Донат Яковлевич, канд. техн. наук, старший научный сотрудник, donat.ivanov@gmail.com, Россия, Таганрог, Научно-исследовательский институт многопроцессорных вычислительных систем им. акад. А. В. Каляева ЮФУ
POINT OBJECT DETECTION METHOD ON MONOCHROME VIDEO SEQUENCE
IMAGES IN REAL TIME
I.S. Korovin, M.V. Khisamutdinov, D.Ya. Ivanov
The article proposes an algorithm for detecting point objects in an image on a complex background. This algorithm can be adapted to search for large-scale objects. The proposed approach is based on the analysis of all contrasting spots (blobs) in the image, as well as frame-by-frame analysis of the trajectory of the video sequence. The novelty of the proposed approach lies in a combination of the analysis of the local characteristics of image descriptors using graph algorithms and extrapolation of the camera offset values by the least squares method.
Key words: Lucas-Canada method, least squares method, Harris detector, blob detector, image stabilization, optical flow.
Korovin Yakov Sergeevich, candidate of technical sciences, director, ko-rovin_yakov@mail. ru, Russia, Taganrog, Research Institute of Multiprocessor Computing Systems named after Acad. A. V. Kalyaev SFU,
Khisamutdinov Maxim Vladimirovich, candidate of technical sciences, senior scientific researcher, xisamutdinov86@,mail.ru, Russia, Taganrog, Neural Network Technologies LLC,
Ivanov Donat Yakovlevich, candidate of technical sciences, senior scientific researcher, donat. ivanovagmail. com, Russia, Taganrog, Research Institute of Multiprocessor Computing Systems named after Acad. A. V. Kalyaev SFU
УДК 534.61
ПРИНЦИПЫ ОРГАНИЗАЦИИ СИСТЕМЫ НЕИНВАЗИВНОГО ИССЛЕДОВАНИЯ КРОВИ ДЛЯ MHEALTH
Д.В. Орда-Жигулина, М.В. Орда-Жигулина
В данной работе рассмотрены принципы организации медицинской информационной системы неинвазивного анализа крови пациентов на базе метода оптоаку-стического исследования крови в присутствии наноразмерных объектов, используемых в качестве контрастных агентов и реализованной на базе технологии туманных вычислений. Описан метод и алгоритмы оптоакустического исследования крови с нано-размерными объектами с целью внедрения в сегмент мобильного здравоохранения. Построение и внедрение такой медицинской информационной системы позволит уменьшить затраты медицинских учреждений на содержание стационарных рабочих мест, а также оптимизирует рабочий процесс и упростит обработку и хранение информации без потери качества и эффективности.
Ключевые слова: медицинская информационная система, оптоакустический эффект, мобильное здравоохранение, акустический сигнал, туманные вычисления, лазерное возбуждение звука, системы сбора и обработки данных.
В последние годы увеличивается интерес к разработке и внедрению в клиническую практику медицинских информационных систем (МИС) [110]. В широком смысле информационная медицинская система представляет собой программно-технические средства и базы данных, которые при организации их определенным образом, позволяют перейти к ведению электронной истории болезни пациента и организовать дистанционное взаимодействие врача и пациента[11]. В связи с этим важной прикладной научно-технической задачей становится как создание конкретных приложений для мобильного здравоохранения (mHealth), так и разработка архитектур новых медицинских информационных систем с учетом современных и безопасных методов анализа различных физиологических параметров пациента. В данной работе рассмотрена организация медицинской информационной системы неинвазивного анализа крови пациентов на базе метода оптоакустического исследования крови в присутствии наноразмер-ных объектов, реализованной на базе технологии туманных вычислений.
Основным недостатком существующих медицинских информационных систем является то, что они либо недостаточно автоматизированы, либо часть данных о пациенте и о его состоянии здоровья обрабатываются и хранятся различными методами и в различных информационных системах, принадлежащих различным медицинским учреждениям. Такой подход делает невозможным сопоставление данных о различных анализах
365
