CC BY
66
Выделение областей резкости на изображениях с
микроскопа
Афанасьева А.Е.
Московский Государственный Университет им. М.В. Ломоносова afedorova @ graphics, cs. msu. ru
Аннотация. Современная аппаратура позволяет рассматривать различные сложные прозрачные объекты в стерео, используя технологию стерео-очков и стерео-микроскопы. Однако зачастую имеющихся программных средств недостаточно для подробного изучения и анализа объекта, рассматриваемого под микроскопом. Новые технологии, как правило, требуют особого программного обеспечения, требования к которому рождает новые задачи.
В данной статье описан один из возможных алгоритмов для определения текущих областей резкости на изображениях объекта со стереомикроскопа (стереопаре). Алгоритм может быть использован как для нахождения областей резкости на неподвижных объектах, так и для фиксирования изменения состояния фокуса при изменении положения подвижки и камер микроскопа, а также для указания пользователю по изменению параметров микроскопа.
Ключевые слова, метрика резкости, область резкости, стереомикроскоп, стереоизображение
1 Введение
Для более полного восприятия сложных или прозрачных объектов их можно рассматривать со стереомикроскопа. При рассмотрении объекта со стереомикроскопа изображение может получиться расфокусированным, в связи с чем приходится тратить время на настройку положения подвижки микроскопа и камер с целью увидеть объект или какую-то его часть в резкости.
Зачастую при рассмотрении под микроскопом сложного (например, полупрозрачного) объекта, непонятно, находится ли объект или интересующая его часть в фокусе, и что происходит с фокусом при «подкрутке» подвижки микроскопа в какую-то сторону.
Это крайне неудобно, особенно если требуется быстро понять нужные особенности объекта (например, трещины внутри алмазов или царапины на поверхности камней), указать на нужный дефект объекта, или просто сфокусировать изображение.
Для решения подобных проблем потребовался алгоритм нахождения областей резкости на заданном изображении.
2 Постановка задачи
На вход алгоритму подается стереопара. На выходе для каждого из изображений требуется получить области резкости изображения, т.е. те пиксели изображения, которые находятся в резкости.
3 Особенности изображений
Изображениям, которые рассматривает пользователь под микроскопом, часто присуще неравномерное освещение и наличие бликов. В предложенном алгоритме мы будем считать, что не можем определить резкость пикселей в области блика, и на исходных изображениях убирать эти пиксели из рассмотрения.
4 Известные методы решения
Для нахождения областей резкости уже использовались различные метрики: оператор Лапласиана ([Subbarao et al., 1993; Nayar, 1994; Huang & Jing, 2007; Groen et al., 1985]), модифицированный оператор Лапласиана( [Nayar, 1994; Huang & Jing, 2007]), алгоритм Тененбаума(Тененград, [Huang & Jing, 2007]), абсолютное значение градиента([8иЬЬагао et al., 1993; Groen et al., 1985]).
В некоторых статьях используется подход, при котором метрика резкости вычисляется в областях границ объектов изображения. Далее возможна оценка толщины и резкости границ и линий на объектах изображения с использованием Гауссовых моделей ([Dijk et al., 2003]). В одной из работ проводится выделение границ с последующим разложением на частоты посредством дискретного косинусного преобразования Фурье ([Caviedes et al., 2002]). Вейвлет-преобразование также использовалось в работе Хассена ([Hassen et al., 2010]) для метрики оценки резкости целого изображения.
5 Решение задачи
Алгоритм с использованием метрики модифицированного Лапласиана (а также Тененград и абсолютное значение градиента) на исходных изображениях дает неправильные результаты, показывая высокий отклик в тех областях изображения, в которых резкости нет (см. рис. 8). В связи с этим было решено попробовать применить подход с использованием Фурье-разложения.
5.1 Базовый алгоритм поиска областей резкости с использованием двумерного Фурье-разложения
Для каждой точки изображения выделяется окно с центром в этой точке, к нему применятся двумерное преобразование Фурье.
Полученный для каждого блока спектр бинаризуется. Далее из него выбрасываются все низкие частоты, вычисляется метрика от данного
блока. Если метрика выше заданного порога, блок причисляется к фокусному, иначе нет.
5.1.1 Выбор размера блоков
При выборе размера окна для расчета преобразования Фурье нужно учитывать особенности расположения границ объектов на изображении. Поскольку область резкости возможно идентифицировать по высоким частотам в разложении, окно должно быть достаточно большим, чтобы высокие частоты отобразились в разложении именно как высокие.
5.1.2 Выбор метрики для расчета резкости
По рассчитанным коэффициентам двумерного Фурье-преобразования нужно определить, находится ли данная точка (область) в резкости. Из окна с коэффициентами выделяется центральная область, т.е. отбрасываются коэффициенты, отвечающие за низкие частоты (в рассматриваемом двумерном случае мы избавляемся от коэффициентов с низкими частотами хотя бы по одному измерению).
высокие частоты
Рис. 2. Выделение высоких частот из изображения
Рис. 2. Слева - рассчитанные коэффициенты ДПФ для соответствующих фрагментов изображения, справа - коэффициенты после бинаризации, низкие частоты удалены
Далее возможно несколько подходов:
1) Суммирование коэффициентов высоких частот с последующей нормировкой на размер блока
2) Бинаризация коэффициентов, т.е. выделение наибольших, с последующим их суммированием
3) Бинаризация коэффициентов с последующим суммированием и домножением на значение каждой частоты
Затем по предварительно выбранному порогу на значение метрики решается, находится ли данная точка (блок) в резкости или нет. Выбор порога зависит от типов изображения.
5.2 Ускоренный алгоритм поиска областей резкости
В ускоренном варианте алгоритма изображение разбивается на блоки (первоначального размера Ых1Ч), к каждому блоку применятся двумерное преобразование Фурье.
Полученный для каждого блока спектр бинаризуется. Далее из него, как и в первоначальном алгоритме, выбрасываются все низкие частоты, вычисляется метрика от данного блока. Если метрика выше заданного порога, блок причисляется к фокусному, иначе нет. После этого каждый блок подразбивается на 4 части (т.е. размер блока уменьшается в 2 раза) и текущая карта фокуса уточняется: по двумерному бинарному массиву блоков определяется, какие блоки нуждаются в уточнении (это подблоки исходных блоков, распознанных как блоки, находящиеся в резкости, и граничащие с областью в нерезкости). При таком подходе возможно:
4) уменьшать порог метрики на каждой итерации на некоторую величину блока,
5) не уменьшать блоки на каждой итерации, а сразу брать маленькие блоки и к ним "цеплять" остальные блоки с уменьшением порога итерации (данный подход испытан, работает плохо),
6) уменьшать блоки на тех итерациях, на которых к ним уже
"прицепились" все возможные блоки большего размера для текущего порога метрики фокуса (пока не реализовано в работе).
5.3 Предобработка изображений: выравнивание яркости
Объекты на изображениях с микроскопа часто бывают освещены неравномерно, что затрудняет нахождение областей резкости. Отклик оператора Лапласиана в области, которая лучше освещена, выше, чем в области, которая освещена хуже, за счет того, что разница яркостей на границах объектов будет выше.
Рис. 3. Слева - оригинал, справа - нормализованное изображение
Поэтому перед применением алгоритмов нахождения областей резкости проводилось выравнивание яркости изображения.
Примерная схема работы алгоритма отображена в блок-схеме:
V
результат
Рис. 4. Схема работы алгоритма
6 Результаты
Далее приводятся результаты работы ускоренной реализации алгоритма. Зеленым выделены пиксели, в которых метрика резкости дает высокий отклик. В подписях к изображениям указаны параметры алгоритма (начальный размер окна, количество итераций, порог для метрики).
Рис. 5. Сахар. Разрешение 625x476, начальный размер окна 10x7, порог 0.5, количество
итераций 3
1 1 1 £ , А
т 9 .*«чиД___
Рис. 6. Полупрозрачный камень. Разрешение 625x476, начальный размер окна 10x7,
порог 0.5, количество итераций: 3
€ ■г V, • к 4 ' \
ч / <6 \ л Ч ) \ V > \
*ч V ~ • чц N ' ' 1 1 / $ Ч 1 - \ * 1
»V** л с ( <. ш ^ ^ \ ' '^НШ \ V V , ' ) :( » /
Рис. 7. Сравнение результатов метрики модифицированного Лапласиана и метрики,
основанной на Фурье-разложении
Рис. 8. Сравнение результатов метрики модифицированного Лапласиана и метрики,
основанной на Фурье-разложении
7 Заключение
В сравнении с известными и относительно быстрыми метриками резкости (Лапласиан, Тененградом) метод разложения фрагментов изображения на частоты с последующим отсечением низких частот дает лучшие результаты на изображениях, полученных со стереомикроскопа. Главные недостатки реализованного алгоритма - ложное обнаружение фокуса в некоторых пикселях, а также отсутствие адаптивного порога для обнаружения областей резкости, в связи с чем возникает эффект «блочности» результата и ошибочное определение (или неопределение) фокуса на границах областей. В дальнейшей работе планируется разработка алгоритма для вычисления адаптивного порога для разработанной метрики резкости, а также более детальная работа с областями изображения вокруг бликов и границ.
8 Дальнейшие планы
Разработанный алгоритм планируется применять на изображениях со стереомикроскопа, т.е. на каждом из изображений стереопары. При этом нужно будет искать области резкости на каждом изображении стереопары
и делать вывод о том, какую именно область видит в резкости человек, видящий изображение через стерео-очки. При этом планируется учитывать диспаритеты точек из областей резкости.
В планы также входит разработка алгоритма определения порога для метрики резкости по заданному изображению.
В итоговой реализации планируется также выделять непосредственно объекты на изображении, находящиеся в резкости.
9 Список литературы
[Subbarao et al., 1993] Murali Subbarao, Tae-Sun Choi, Arman Nikzad. Focusing techniques. // Opt. Eng. 32(11), 2824-2836 (Nov 01, 1993).
[Nayar, 1994] Nayar, S.K. Shape from focus. // Pattern Analysis and Machine Intelligence, ШЕЕ Transactions on, Aug 1994, Volume 16, Issue 8, pp. 824 - 831
[Huang & Jing, 2007] W. Huang, Z. Jing. Evaluation of focus measure in multifocus image fusion. // Pattern Recognition Letters, 28 (2007), pp. 493-500.
[Groen et al., 1985] Groen FC,Young IT,Ligthart G. A comparison of different focus functions for use in autofocus algorithms. // Cytometry 1985; 6:81-91.
[Dijk et al., 2003] Judith Dijk, Michael van Ginkel, Rutger J. van Asselt, Lucas J. van Vliet, Piet W. Verbeek. A New Sharpness Measure Based on Gaussian Lines and Edges. // Computer Analysis of Images and Patterns, Lecture Notes in Computer Science Volume 2756, 2003, pp 149-156.
[Caviedes et al., 2002] Caviedes, J.; Philips Res., Briarcliff Manor, NY, USA ; Gurbuz, Sabri. No-reference sharpness metric based on local edge kurtosis. // Image Processing. 2002. Proceedings. 2002 International Conference on. 2002, pp. Ш-53 - Ш-56 vol.3
[Hassen et al., 2010] Hassen, R.; Zhou Wang; Salama, Magdy. No-reference image sharpness assessment based on local phase coherence measurement. // Acoustics Speech and Signal Processing (ICASSP), 2010 IEEE International Conference on , vol., no., pp.2434,2437, 14-19 March 2010.
