CC BY
57
Применение классических метрик измерения резкости изображений для трекинга резкости
по стереопотоку
Афанасьева А.Е.
Московский государственный университет им. М.В. Ломоносова а(е<1огоуа(а),£гарЫс$. ел1, rn.su. ги
Аннотация. Данная работа посвящена непосредственно трекингу резкости по стереопотоку, поступающему со стереомикроскопа. Для этого формулируется понятие резкости в стерео, приводятся существующие классические методы для измерения резкости изображения, реализуется алгоритм для измерения резкости по стереоизображению с использованием нескольких классических методов измерения резкости, а также реализуется алгоритм диагностики состояния резкости по двум соседним кадрам стереопотока. Полученный алгоритм является индикатором текущего состояния резкости и может использоваться для диагностики текущего изменения резкости. В работе проведено сравнение применимости классических способов измерения резкости для решения задачи трекинга резкости.
Ключевые слова: дополненная реальность, стереоинтерфейс, стереопоток, стереоизображение, метрика резкости, трекинг резкости.
1 Введение
Ряд задач современной компьютерной графики посвящены разработке качественного и удобного интерфейса для взаимодействия пользователя с программным обеспечением. При использовании современных средств взаимодействия с объектами, сложными для восприятия, возникает необходимость в создании дополненной реальности, для наилучшего восприятия информации о рассматриваемом объекте. Ярким примером является взаимодействие пользователя со стереомикроскопом при помощи стереомонитора.
Стереомикроскоп, как правило, используется для рассмотрения небольших по размеру объектов, часто полупрозрачных, возможно -сильно детализированных, сложных для восприятия невооруженным глазом. Стереотехнологии применяются для облегчения восприятия глубины подобных объектов, однако в свою очередь требуют специального программного обеспечения, которое должно обеспечивать для пользователя создание дополненной реальности, снабжающей пользователя рекомендациями по взаимодействию с объектом.
СТг-стереомикроскоп
оператор в стереоочках
Рис. 1. Взаимодействие пользователя с микроскопом
В случае, если рассматриваемый под микроскопом объект сложен для восприятия, пользователь может не понять, какая часть изображения находится в фокусе. При рассмотрении объекта под микроскопом пользователь в процессе изучения различных частей объекта вращает и перемещает подвижку микроскопа. В связи с этим рассматриваемый объект (или его часть) часто выходит из области фокуса. При сильном увеличении зума пользователь часто имеет дело с частично или полностью размытым объектом. Для приведения объекта в состояние фокуса пользователь может попробовать вручную найти оптимальное для просмотра положение объекта, перемещая подвижку микроскопа. Таким образом, мы приходим к необходимости ряда инструментов, упрощающих работу пользователя с фокусировкой объекта, находящегося под микроскопом. Задачами таких инструментов могут быть определение текущей области резкости в стерео ([2014, Афанасьева & Игнатенко]), контроль за состоянием фокуса, а также непосредственно слежение за состоянием фокуса объекта (трекинг резкости). Данная работа посвящена непосредственно трекингу резкости по стереоизображению, т.е. созданию инструмента, который по заданному стереопотоку в реальном времени выдавал бы статус текущего состояния резкости относительно предыдущего. Подобная диагностика может служить своего рода предупреждением для пользователя, рассматривающего один и тот же объект под микроскопом с разных ракурсов, а также инструкцией для пользователя, двигающего подвижку микроскопа с целью найти фокус при работе с размытым изображением под высоким зумом
2 Обзор существующих методов
Существует ряд подходов к измерению резкости изображения. Простейший подход основан на использовании общепринятых метрик резкости: оператор Лапласиана ([2007, Huang & Jing; 1994, Nayar & Nakagawa; 1993, Subbarao et al.]), модифицированный Лапласиан ([1994, Nayar & Nakagawa; 2007, Huang & Jing]), Тененград ([2007, Huang & Jing]), абсолютное значение градиента [1993, Subbarao et al.; 1985, Groen]). Данные метрики основаны на измерении отклика границ в каждом пикселе изображения. Другая группа методов использует информацию о краях, найденных на изображении, измеряя их толщину и основываясь на ней в выводах о резкости изображения (данные алгоритмы представлены в статьях [2008, Wang & Zheng; 2009, Yang Q. et al]). Внимания также заслуживает группа методов, основанных на частотных разложениях изображения и его областей. Пример тому - работа [2005, Fezli et al.], где для измерения резкости изображение разбивается на блоки и для каждого блока, содержащего количество граничных пикселей выше заданного порога, происходит Двумерное Дискретное Преобразование Фурье. Более резкие области изображения характеризуются большими коэффицентами при высоких частотах. Как правило, авторы подобных работ основываются на некоторой метрике, выявляющей высокие частотам.
3 Предметная область
Основная задача исследования, в рамках которого написана работа -трекинг состояния резкости по стереопотоку. В связи с этим нам потребуется определение области резкости на стереоизображении. В данной работе будем основываться на предположении, что область на стереоизображении считается резкой, если выполняется два условия:
1) Все точки данной области на левом изображении стереопары находятся в резкости в классическом понимании. Соответствующие им точки на правом изображении образуют на правом изображении стереопары область, также находящуюся в резкости в классическом понимании.
2) Для каждой точки области резкости, для которой существует соответствие на правом изображении стереопары, диспаритет не превышает некоторого приемлимого значения. Порог на значение диспаритета определяется исходя из расстояния от наблюдателя до экрана, а также из настроек стереомонитора. Обоснования данных требований можно найти в [2014, Афанасьева & Игнатенко].
В данной работе мы будем считать, что пользователя интересует все изображение целиком, а не его центральная часть. Т.е. в случае, если на соседних кадрах область резкости переместилась в другую часть изображения, это должно определяться как смена области фокусировки.
для тренинга резкости по стереопотоку
_1 ■ 1 ■ 1 ■ Л ' ______ ______ 1 А
1 ""—-------- 1 н
------
'<— 1 1 1 1 «
глубина резкости
Рис. 2. Глубина резкости и диспаритет
Также мы принимаем за допущение, что существует некий общий порог для выбранной классической метрики резкости, такой что изображение (или его часть) со значением метрики выше данного порога воспринимается нами как резкая. В данном исследовании пороги для каждой метрики подобраны эмпирически.
При передвижении подвижки микроскопа концептуально возможно несколько вариантов:
1) Резкость рассматриваемого объекта увеличилась. Формально это может произойти в двух случаях:
а) Увеличилась площадь области, применительно к которой классическая метрика резкости дает результат, превосходящий значение выбранного порога (т.е. часть объекта уже находилась в резкости на предыдущих кадрах стереопотока, и на текущем кадре площадь этой части возросла).
б) Объект был в нерезкости на предыдущих кадрах, а на текущем кадре некоторая область вошла в резкость.
2) Резкость рассматриваемого объекта уменьшилась. Формально это также может происходить в двух случаях, аналогично первому варианту.
а) Уменьшилась площадь области, применительно к которой классическая метрика резкости дает результат, превосходящий значение выбранного порога (т.е. часть объекта уже находилась в резкости на предыдущих кадрах стереопотока, и на текущем кадре площадь этой части возросла).
б) Объект или его часть находились в резкости на предыдущих кадрах
3) Произошла перефокусировка с одной области рассматриваемого объекта на другую. Формально это означает, что новая область резкости не совпадает с областью резкости на предыдущем кадре, область резкости на текущем кадре не лежит целиком внутри области резкости на предыдущем кадре и наоборот, область резкости на предыдущем кадре не лежит целиком внутри области резкости на текущем кадре.
4) Статус резкости рассматриваемого объекта не определен. (В некоторых случаях, особенно если объект слишком сильно размыт, для крайне малых значений измерений резкости, опираться на метрики резкости может быть бессмысленно.)
4 Описание алгоритма
4.1 Постановка задачи
Работая с фокусировкой объекта, находящегося под микроскопом, мы формально работаем со стереопотоком (последовательностью кадров) со стереомикроскопа. Т.е. фактически алгоритм, упрощающий нашу работу с резкостью, принимает на вход стереопоток. На выход алгоритма обязан выдавать текущий статус резкости: уменьшение резкости, увеличение резкости или же перефокусировка.
К алгоритму предъявляется несколько требований:
1) Высокая скорость работы (алгоритм должен работать в режиме реального времени)
2) Точность результатов (ошибки в работе алгоритма могут привести к полной дезинформации пользователя, в случае, если невооруженным глазом неясно, что происходит с резкостью.
4.2 Алгоритм измерения метрики резкости для кадра
На первом этапе алгоритма мы разбиваем левое изображение стереопары на заданное количество блоков. Для каждого блока применяем одну из классических метрик резкости. В данной работе для измерения резкости используется метрика на основе оператора модифицированного Лапласиана - [Huang & Jing6 2007; Nayar & Nakagawaö 1994], метрика на основе Двумерного Преобразования Фурье - [Fezli et al., 2005], а также метрика, упомянутая в [Wang & Zheng6 2008; Yang Q. et а1б 2009], основанная на измерении толщины краев на изображении. После измерения резкости каждого блока при помощи приведенных метрик по некоторому порогу (заданному эмпирически для каждой метрики) отбираются блоки левого изображения стереопары, резкие в смысле моно. Также на данном этапе вычисляется интегральная метрика моно-резкости, представляющая собой усредненную метрику по всем блокам mtegralMetricsmQiiû.
На следующем этапе алгоритма для блоков левого изображения, признанных на первом этапе резкими в смысле моно, проводится измерение стерео-резкости. Для этого осуществляется сравнение окон из данного блока, с последовательным вычислением среднего диспаритета. Поиск окна-соответствия осуществляется простейшим методом скользящего окна, сравнения окно - метрикой L2. Блоки с небольшим (менее некоторого порога, также заданному эмпирически) диспаритетом считаются резкими в стерео. Интегральная метрика стерео-резкости представляет собой число блоков со средним диспаритетом ниже выбранного порога (обозначим ее за integralMetrics f ).
исходное изображение, разбитое на блоки метрика резкости-в-моно блоки, метрика резкости-в-стерео блоки,
резкие е моно резкие в стерео
Рис. 3. Схема алгоритма измерения резкости для кадра видео.
Разрешение разбиения выбрано эмпирически, и практически не влияет на конечный результат (рассчитанный статус резкости). Порог для каждой метрики также подобран эмпирически
4.3 Диагностика состояния резкости
Диагностика текущего состояния резкости производится по двум последним кадрам стереопотока. Для каждого из кадров рассчитаны интегральные метрики резкости в моно и в стерео, обозначим их как Ш^™£(метрики для текущего кадра),
iMstereo (метрики для предыдущего кадра).
Также нам известно множество резких блоков текущего и предыдущего кадров, обозначим их за и
SharpBlockspreuimis соответственно. Вывод о текущем статусе изменения резкости принимается по следующему принципу:
1) Если оба множества SkarpBlockspre.l}ímis и ShmyBlockscurrent пусты, то статус резкости определяется по интегральным метрикам резкости в моно. Соответственно, если > то резкость возрастает, в противном случае - наоборот, падает.
2) Если хотя бы одно из множеств SharpBlocksprev¿(ms и SharpBlockScurrentне пусто, возможно 2 ситуации:
1) Оба множества не пусты. Это означает, что и на предыдущем и на текущем кадре есть резкие блоки. В данном случае ответ определяется исходя из взаимного расположения множеств. Если ни одно из них не содержится в другом, это означает, что мы имеем различные множества резких блоков, не вложенных друг в друга, что фактически означает перефокусировку с одной области изображения на другую. Если же множество SА ш^р ShiJ cks ¿^до^
целиком содержится в множестве Sharp Blocksprevious, это означает уменьшение резкости, в противном случае - ее возрастание.
2) Только одно из множеств не пусто. Это означает, что на одном из кадров есть резкие в стерео области, а на другом нет. Таким образом, если множество
не пусто, то
резкость возрастает, иначе - уменьшается.
Схема принятия решения о текущем статусе изменения резкости показана на рисунке ниже.
Рис. 4. Схема алгоритма принятия решения о статусе резкости
5 Результаты
Разработанный алгоритм был протестирован на видео, снятом со стереомикроскопа. Ниже приведены графики различных метрик резкости на одном и том же видео. Как видно из графиков, различные метрики на одной и той же последовательности кадров могут давать различные результаты, что сказывается на итоговом статусе состояния резкости, выдаваемом трекером.
Следует отметить, что текущая реализация алгоритма трекинга дает определенное число выбросов. Для более качественного результата планимруется в дальнейшем использовать более надежный алгоритм для поиска соответствий с целью расчета диспаритетов блоков изображения, используемых для получения метрики резкости-в-стерео.
Рис. 5. График значений метрики, основанной на операторе модифицированного Лапласиана, построенный по видео со стереомикроскопа.
Рис. 6. График значений метрики, основанной на частотном разложении, построенный
по видео со стереомикроскопа.
Рис. 7. График значений метрики, основанной на толщине краев на изображении, построенный по видео со стереомикроскопа.
6 Заключение
В работе рассмотрено несколько общепринятых метрик резкости и их применимость для задачи трекинга резкости по стереопотоку. Разработан алгоритм, использующий данные метрики для трекинга. Алгоритм протестирован для нескольких различных метрик на реальных данных со стереомикроскопа. В дальнейшем планируется точная верификация алгоритма на синтетических данных. Также планируется изучить точность работы трекера на некоторых других разработанных ранее метриках резкости.
Список литературы
[Афанасьева & Игнатенко, 2014] А.Е. Афанасьева, А.В. Игнатенко. Поиск резких областей на стереоизображениях. //Приволжский научный журнал. - 2014. - №. 4 - С. 72-78.
[Fezli et al., 2005] Ferzli R., Karam L. J., Caviedes J. A robust image sharpness metric based on kurtosis measurement of wavelet coefficients //Proc. of Int. Workshop on Video Processing and Quality Metrics for Consumer Electronics. - 2005.
[Groen, 1985] Groen F. C. A., Young I. Т., Ligthart G A comparison of different focus functions for use in autofocus algorithms //Cytometry. - 1985. - T. 6. - №. 2. - C. 81-91.
[Huang & Jing, 2007] Huang W., Jing Z. Evaluation of focus measures in multi-focus image fusion //Pattern Recognition Letters. - 2007. - T. 28. - №. 4. - C. 493-500.
[Nayar & Nakagawa, 1994] Nayar S. K., Nakagawa Y. Shape from focus //Pattern analysis and machine intelligence, IEEE Transactions on. - 1994. - T. 16. - №. 8. - C. 824-831.
[Subbarao et al., 1993] Subbarao M., Choi T. S., Nikzad A. Focusing techniques //Optical Engineering. - 1993. - T. 32. - №. 11. - C. 2824-2836.
[Wang & Zheng, 2008] Wang Z. F, Zheng Z. G A region based stereo matching algorithm using cooperative optimization //Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. - IEEE, 2008. - C. 1-8.
[Yang Q. et al, 2009] Yang Q. et al. Stereo matching with color-weighted correlation, hierarchical belief propagation, and occlusion handling //Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 2009. - T. 31. - №. 3. - C. 492-504.
