CC BY
0УДК 004.932+004.258 Б01 10.52928/2070-1624-2023-41-2-18-28
ВЗВЕШЕННОЕ СЛОЖЕНИЕ АСМ-ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ЛОКАЛЬНОЙ КОРРЕЛЯЦИОННОЙ МЕТРИКИ
М. Ю. ЛОВЕЦКИЙ12, д-р техн. наук, проф. В. Ю. ЦВЕТКОВ1, д-р техн. наук, проф. А. А. БОРИСКЕВИЧ1, канд. техн. наук В. А. ЛАПИЦКАЯ2, акад. НАНБеларуси, д-р техн. наук, проф. С. А. ЧИЖИК2
1 (Белорусский государственный университет информатики и радиоэлектроники, Минск) 2(Институт тепло- и массообмена имени А. В. Лыкова НАН Беларуси, Минск)
Рассматривается задача взвешенного сложения компонентных изображений поверхности материала, формируемых в двух синхронных каналах атомного силового микроскопа (АСМ). Предложена вычислительно простая метрика качества комбинирования компонентных АСМ-изображений на основе коэффициентов локальной корреляции, учитывающая вклад каждого из компонентных АСМ-изображений в результирующее комбинированное АСМ-изображение и корреляцию между компонентными АСМ-изображениями. Показано, что локальная корреляция обеспечивает более высокую точность оценки качества комбинирования АСМ-изображений по сравнению с глобальной корреляцией. Получены зависимости локальной корреляционной метрики от размера окна корреляционного анализа и вклада компонентных АСМ-изображений в результирующее комбинированное АСМ-изображение. Предложена схема адаптивного взвешенного сложения компонентных АСМ-изображений.
Ключевые слова: атомная силовая микроскопия, оценка качества комбинирования изображений, глобальная корреляция изображений, локальная корреляция изображений.
Введение. Для эффективного визуального анализа поверхностей материалов с помощью атомного силового микроскопа иногда необходимо объединять изображения нескольких параллельных синхронных измерительных каналов для совместного отображения различных физических величин на стандартных мониторах, имеющих относительно узкий динамический диапазон, с минимальными искажениями и потерями деталей. Для объединения изображений широко используются подходы, основанные на преобразованиях в пространственной области (усреднение, выбор наименьших или наибольших значений [1; 2], взвешенное сложение [3], преобразование цветовых пространств [2; 4], анализ главных компонент [5], управляемая фильтрация [6]), частотной области (пирамида Лапласа [5], дискретное вейвлет-преобразование [7; 8], дискретное косинусное преобразование [9]) и машинном обучении [10; 11]. Однако данные подходы специально не ориентированы на объединение изображений, формируемых в измерительных каналах атомного силового микроскопа. Рекомендации по выбору алгоритма для эффективного формирования комбинированных АСМ-изображений отсутствуют. Разработка таких рекомендаций требует оценки качества формируемых различными алгоритмами комбинированных АСМ-изображений.
Для оценки качества комбинированных изображений широко используются показатели, основанные на анализе краев [12; 13], взаимной информации [14], оценке количества информации в изображении [15], оценке точности визуальной информации в различных масштабах представления изображения [16] и др., однако эти показатели специально не ориентированы на оценку качества комбинированных АСМ-изображений. Относительно низкую вычислительную сложность имеет коэффициент корреляции, однако он не учитывает локальные особенности распределения яркости, что снижает точность оценки качества АСМ-изображений, отличающихся существенными локальными неоднородностями. В таком случае более точная оценка качества комбинирования АСМ-изображений может быть получена на основе локальной корреляции.
Целью работы является повышение качества комбинирования двух АСМ-изображений на основе взвешенного сложения с использованием локальной корреляции.
Постановка задачи. Благодаря низкой вычислительной сложности для объединения изображений широкое распространение получил метод взвешенного сложения (рисунок 1) [3]. Согласно данному методу значения пикселей тС (у, х) комбинированного АСМ-изображения МС =||тС (у, х
у х )11 _ _
( у=0,7-1,х=0,Х -1)
. - - вы-
( у=0,7-1,х=0,Х -1)
числяются на основе значений пикселей компонентных АСМ-изображений М1 =||т1 (у, х)||
первого и М2 = ||т(у,х)| 0у г _дх г) второго измерительных каналов атомного силового микроскопа по формуле
тс (у, х) = \_кщ (у, х) + (1 - к) щ (у, х)]
при у = 0,У -1, х = 0, X -1,
(1)
где к - коэффициент, определяющий вклад значений пикселей каждого компонентного АСМ-изображения М1 и М2 в значения пикселей комбинированного АСМ-изображения Мс, 0 < к < 1;
У, X - размеры (в пикселях) компонентных и комбинированного АСМ-изображений по вертикали и горизонтали;
[ ] - операция округления значений пикселей до ближайшего целого.
Рисунок 1. - Схема формирования комбинированного АСМ-изображения на основе взвешенного сложения компонентных АСМ-изображений
Для согласования динамических диапазонов компонентных АСМ-изображений в схеме на рисунке 1 предусмотрено линейное контрастирование на основе минимаксного растяжения гистограммы без насыщения. Меньшие значения коэффициента к соответствуют меньшей относительной доле значений компонентного АСМ-изображения М1 в комбинированном АСМ-изображении Мс по сравнению с компонентным АСМ-изображением М2.
Схема, приведенная на рисунке 1, не предусматривает использования критериев качества для выбора значения к. Качество комбинирования АСМ-изображения может быть оценено его корреляцией с компонентными АСМ-изображениями. Коэффициент г(А, В) корреляции двух компонентных АСМ-изображений
А = 1 \а (у,
11( у=0,У-1,х=0,X -1)
1) и В =1 \Ь ( у, х )||,
(у=0,У-1,х=0, X -1)
1) вычисляется по формуле
У -1 X-1
XXI а( у, х) - а\\ь( у, х) - ь\
г( А, В) =-
у=0 х=0
ÍL -1 X -1 У-1 X-1 -
XX (а( у, х) - а )2 XX (Ь( у, х) - Ь)
(2)
у =0 х=0
у =0 х=0
где а, Ь - средние значения яркостей пикселей изображений А и В.
Для оценки вклада каждого компонентного АСМ-изображения в комбинированное АСМ-изображение может быть использована схема, приведенная на рисунке 2. С ее помощью оценивается глобальная корреляция между исходными компонентными АСМ-изображениями М1 и М2 , комбинированным АСМ-изображением Мс и компонентным АСМ-изображением М1 , комбинированным АСМ-изображением Мс и компонентным АСМ-изображением М2 .
В таблице 1 приведены значения коэффициентов глобальной корреляции, вычисленные с помощью схемы на рисунке 2 для десяти тестовых АСМ-изображений поверхностей различных материалов.
х
Из таблицы 1 следует, что компонентные АСМ-изображения М1 и М2 слабо коррелированы, причем вклад компонентного АСМ-изображения М1 в комбинированное изображение МС всегда более значителен, чем компонентного АСМ-изображения М2. При этом значения коэффициента глобальной корреляции т(МС, М1) и т(МС,М2) находятся в некотором противоречии: при коэффициенте глобальной корреляции т(МС, М1), равном или очень близком к единице (что говорит о практически полном соответствии между компонентным АСМ-изображением М1 и комбинированным АСМ-изображением МС , т. е. фактически М1 = МС), разница в значениях коэффициентов глобальной корреляции г(МС, М2) и г(М1, М2) является более существенной для всех видов изображений. В таблице 1 приведены значения разностей Ат(к,,кн) динамических диапазонов коэффициентов т(МС,М1,к) и т(МС,М2,к) глобальной корреляции, вычисленных по формуле
Ат(к,,кн ) = |т(МС,Мркн) - т(МС,Мк,)| -|т(МС,М2,кн) - т(МС,М2,к,)|
(3)
для к, = 0,3, кн = 0,7.
Рисунок 2. - Схема оценки корреляции комбинированного и компонентных АСМ-изображений
Таблица 1. - Значения коэффициентов глобальной корреляции
Показатели к Значения коэффициентов корреляции АСМ-изображений
АСМ1 АСМ2 АСМ3 АСМ4 АСМ5 АСМ6 АСМ7 АСМ8 АСМ9 АСМ10
т(М„ М 2) 0,5 0,5650 0,425 0,3291 0,6020 0,2360 0,5379 0,5010 0,6555 0,6005 0,4500
т( Мс, М.) 0,7 0,9932 0,993 1,0000 0,9992 0,9748 0,9868 0,9843 0,9872 0,9955 0,9998
0,5 0,9678 0,970 0,9999 0,9956 0,8868 0,9289 0,9273 0,9403 0,9775 0,9990
0,3 0,8775 0,870 0,9990 0,9785 0,6590 0,7791 0,7645 0,8217 0,9035 0,9944
т(Мс , М 2) 0,7 0,6075 0,446 0,3232 0,6131 0,4251 0,5554 0,6050 0,6756 0,6158 0,4583
0,5 0,6696 0,525 0,3317 0,6297 0,6215 0,6173 0,7117 0,7218 0,6434 0,4728
0,3 0,7875 0,703 0,3514 0,6706 0,8446 0,7903 0,8443 0,8156 0,7184 0,5064
Б ( к ) 0,7 7,35 6,19 5,94 6,94 10,79 6,65 8,36 8,14 7,07 5,98
0,5 9,72 7,90 6,06 7,38 24,09 9,23 15,17 11,60 8,08 6,22
0,3 32,74 22,16 6,34 8,90 34,33 260,50 40,24 409,47 14,59 6,83
Ат ( кн ) -0,0643 -0,134 -0,0272 -0,0368 -0,1037 -0,0272 -0,0195 0,0255 -0,0106 -0,0427
Приведенные в таблице 1 значения Ат (к,, кн) свидетельствуют о несогласованности изменений коэффициентов глобальной корреляции т(МС,М1,к) и т(МС,М2,к) при изменении коэффициента к, определяющего вклад компонентных АСМ-изображений в комбинированное АСМ-изображение: динамический диапазон коэффициента т(МС,М1,к) меньше, чем коэффициента т(МС,М2,к). В этой связи актуальной является задача повышения точности корреляционной оценки качества комбинирования АСМ-изображений.
Взвешенное сложение АСМ-изображений с использование локальной корреляции. Повышение точности корреляционной оценки качества комбинирования АСМ-изображений возможно за счет учета
локальных особенностей распределений значений пикселей в компонентных и комбинированном АСМ-изображениях. Для этого может использоваться коэффициент г1_( А, В) локальной корреляции двух АСМ-
изображений А = ||а (у,х=0у 1 ) и В = ||ь (у, х=0у 1 ), вычисляемый по формуле
У-1 X-1
XXI а( у, х) - аь( у, х, р)||Ь( у, х) - Ь^( у, х, р)\ 1( А, В, р) = , у=0 х=0 , (4)
^^ |у-1 X-1 У-1 X-1
XX (а( y, х) - аь( y, x, р))2 XX (Ь( y, х) - Ьь( y, x, р))2
у =0 х=0 у =0 х=0
где а]^(у, х, р), Ь1^(у,х, р) - средние значения яркостей пикселей изображений А и В в окрест-
1 р р
ности пикселя с координатами (у,х) размером р х р пикселей, aL(у,х,р) = —^XXа(у + 7,х + г),
р 7=0 ¡=0
1 р р
м y, х р) =— XXЬ( у+7 х+¡')-
р 7=0 ¡=0
В таблицах 2, 3 для нескольких значений размера р окрестности приведены значения коэффициентов локальной корреляции, вычисленные с помощью схемы на рисунке 2 для АСМ-изображений поверхностей различных материалов. В таблицах 2, 3 приведены также значения разностей Дгь (кL, кн) динамических диапазонов коэффициентов Мс, М1, р, к) и Мс, М 2, р, к) локальной корреляции, вычисляемых с помощью выражения (4) для ^ = 0,3, кн = 0,7, и значения отношений |Дг(к^кн )/Д^ (к^кн )|. Из таблиц 2, 3 следует, что разница Дгь (кь, кн) в динамических диапазонах коэффициентов локальной корреляции в 4-6 раз меньше по сравнению с разницей Дг(кь,кн) в динамических диапазонах коэффициентов глобальной корреляции для р = {3,5,7,9} с усреднением по десяти АСМ-изображениям. Это говорит о лучшей согласованности изменений коэффициентов Мс, М1, р, к) и Мс, М 2, р, к) локальной корреляции по сравнению с коэффициентами глобальной корреляции г( Мс, М1, к) и г(Мс, М2, к) при изменении коэффициента к. Из сопоставления выражений (2) и (4) следует, что временная сложность вычислений коэффициента А,В,р) локальной корреляции примерно в 2р2 раз больше по сравнению с временной сложностью вычислений коэффициента глобальной корреляции г( А, В).
Таблица 2. - Значения коэффициентов локальной корреляции при р = 3
Показатель к Значения коэффициентов корреляции АСМ-изображений
АСМ1 АСМ2 АСМ3 АСМ4 АСМ5 АСМ6 АСМ7 АСМ8 АСМ9 АСМ10
1( М,, М 2, р) 0,5 0,5906 0,598 0,2743 0,4935 0,5971 0,6254 0,6294 0,6318 0,5496 0,3217
Г.( Мс, М1; р) 0,7 0,7341 0,861 0,9426 0,9374 0,8012 0,6290 0,6406 0,6426 0,7371 0,9611
0,5 0,6030 0,736 0,7847 0,8114 0,6716 0,6257 0,6328 0,6352 0,6108 0,8375
0,3 0,5855 0,651 0,5339 0,6590 0,6152 0,6253 0,6306 0,6330 0,5649 0,6024
1( Мс, М 2, р) 0,7 0,8240 0,866 0,5379 0,7021 0,7942 0,9931 0,9917 0,9935 0,8537 0,5392
0,5 0,9483 0,955 0,7557 0,8484 0,9338 0,9987 0,9984 0,9987 0,9603 0,7413
0,3 0,9893 0,989 0,9230 0,9519 0,9849 0,9998 0,9997 0,9998 0,9916 0,9111
А. ( к ) 0,7 29,35 577,59 13,34 14,12 381,70 7,12 7,39 7,38 24,82 11,05
0,5 7,61 12,91 193,65 90,90 10,25 6,96 7,09 7,11 8,18 51,02
0,3 6,60 8,11 13,65 11,14 7,25 6,94 7,02 7,05 6,64 15,24
Дг (к., кн) -0,0167 0,087 0,0236 0,0286 -0,0047 -0,003 0,002 0,0033 0,0343 -0,0132
|Дг(кн ^/Дг, (кн )| 3,85 1,54 1,15 1,29 22,06 9,07 9,75 7,73 0,31 3,23
Для оценки качества комбинирования АСМ-изображений с учетом корреляции между комбинированным АСМ-изображением и каждым из двух компонентных АСМ-изображений, а также между компонентными АСМ-изображениями предлагается локальная корреляционная метрика Б]^(к), вычисляемая по формуле (чем больше ее значение, тем лучше)
Б (к)= г(Мс,М„к) + г(Мс,М2,к)
а ' \гь(Мс,М1,к)-гь(Мс,М2,к)гь(М,,М2,0,5).
Из таблиц 2, 3 следует, что локальная корреляционная метрика к) позволяет определить значение к, обеспечивающее лучшее соотношение вкладов компонентных АСМ-изображений в комбинированное АСМ-изображение. Аналогичная метрика к) на основе коэффициентов глобальной корреляции (см. таблицу 1) не позволяет это сделать, что связано с ее низкой точностью. Эта метрика указывает на к = 0,3 для любых АСМ-изображений. Из таблиц 2, 3 также следует, что значения локальной корреляционной метрики к) для одних и тех же изображений не всегда совпадают при различных значениях
размера р окна корреляционного анализа. Эта зависимость позволяет осуществлять оценку качества комбинирования АСМ-изображений с учетом размера значимых объектов.
Таблица 3. - Значения коэффициентов локальной корреляции при р = 9
Показатель к Значения коэффициентов корреляции АСМ-изображений
АСМ1 АСМ2 АСМ3 АСМ4 АСМ5 АСМ6 АСМ7 АСМ8 АСМ9 АСМ 10
1( М„ М 2, р) 0,5 0,6080 0,532 0,2744 0,6208 0,6450 0,6556 0,6703 0,6487 0,5902 0,4635
Мс, М1; р) 0,7 0,9056 0,872 0,9774 0,9605 0,7752 0,6509 0,6842 0,6491 0,9408 0,9973
0,5 0,7340 0,715 0,8906 0,8862 0,6818 0,6528 0,6754 0,6479 0,8096 0,9848
0,3 0,6192 0,603 0,6717 0,7824 0,6467 0,6542 0,6723 0,6482 0,6687 0,9300
1(Мс , М2, р) 0,7 0,6500 0,764 0,4364 0,7902 0,6760 0,9932 0,9926 0,9930 0,6512 0,5100
0,5 0,8123 0,908 0,6286 0,8933 0,9056 0,9987 0,9985 0,9987 0,7784 0,5844
0,3 0,9456 0,977 0,8516 0,9647 0,9813 0,9998 0,9997 0,9998 0,9241 0,7162
Бь(к) 0,7 10,01 28,47 9,52 16,56 22,68 7,33 8,11 7,36 9,31 6,67
0,5 32,48 15,81 21,13 403,73 11,00 7,28 7,73 7,24 86,24 8,46
0,3 7,89 7,94 30,86 15,44 7,54 7,30 7,62 7,23 10,57 16,61
Дг (к' кн) -0,0092 0,056 -0,1095 0,0036 -0,1768 -0,0033 0,0048 -0,0059 -0,0008 -0,1389
Дг (кL , кн )/Д^ (к^ кн) 6,99 2,39 0,25 10,22 0,59 8,24 4,06 4,32 13,25 0,31
На рисунке 3 приведены зависимости значений метрики к) от размера р окна корреляционного анализа и коэффициента к для 10 комбинированных АСМ-изображений. Из рисунка 3 следует, что для некоторых АСМ-изображений локальные максимальные значения метрики Б]^(к) зависят
от значения р. Размер р окна корреляционного анализа определяет размер значимых объектов на компонентных АСМ-изображениях, которые должны вносить основной вклад в комбинированное АСМ-изображение Мс.
Из рисунка 3 следует, что для АСМ-изображений 5-8 при любых р наибольшие значения локальной корреляционной метрики к) обеспечиваются при к = 0,7. На рисунке 4 приведены компонентные АСМ-изображения 5-8, полученные при различных значениях к. Для АСМ-изображений 1-4, 9, 10 наибольшие значения локальной корреляционной метрики к) при различных значениях р достигаются для различных значений к.
При необходимости передачи в комбинированные АСМ-изображения 1, 3, 9, 10 наиболее полной информации о мелких объектах (р = 3) компонентных АСМ-изображений необходимо использовать значения к, равные 0,7, 0,5, 0,7, 0,5, соответственно. При необходимости передачи в комбинированные АСМ-изображения 1, 3, 9, 10 наиболее полной информации о более крупных объектах (р > 5) необходимо использовать значения к, равные 0,5, 0,3, 0,5 (0,3 при р > 40), 0,3, соответственно. На рисунке 5 приведены компонентные АСМ-изображения 1, 3, 9, 10, полученные при различных значениях к.
Для АСМ-изображения 2 при р < 40 наибольшие значения локальной корреляционной метрики Б,(к) обеспечиваются при к = 0,7. При р > 40 наибольшие значения локальной корреляционной метрики к) обеспечиваются при к = 0,5. Для АСМ-изображения 4 при р < 110 наибольшие значения локальной корреляционной метрики Б,(к) обеспечиваются при к = 0,5. При р > 110 наибольшие значения локальной корреляционной метрики к) обеспечиваются при к = 0,3. На рисунке 6 приведены компонентные АСМ-изображения 2 и 4, полученные при различных значениях к.
Из рисунка 3 следует, что по глобальному максимальному значению локальной корреляционной метрики Б,(к) во всем диапазоне изменения значения р можно определить значение к, обеспечивающее лучшие условия для передачи в комбинированное АСМ-изображение информации об объектах компонентных АСМ-изображений, имеющих наиболее часто встречающиеся размеры. С учетом данного свойства предлагается схема адаптивного взвешенного сложения компонентных АСМ-изображений (рисунок 7) с автоматическим выбором значения к, определяющим вклад значений пикселей компонентных АСМ-изображений в комбинированное АСМ-изображение.
1 1 -1-1—I—I—1мм-1-1—I—I—мм-1—
1 10 100 р 1 ю 100 Р
д е
а - АСМ-1; б - АСМ-2; в - АСМ-3; г - АСМ-4; д - АСМ-5; е - АСМ-6
Рисунок 3. - Зависимости значений локальной корреляционной метрики от размера окна корреляционного анализа для компонентных АСМ-изображений
(начало)
ж - АСМ-7; з - АСМ-8; и - АСМ-9; к - АСМ-10
Рисунок 3. - Зависимости значений локальной корреляционной метрики от размера окна корреляционного анализа для компонентных АСМ-изображений
(окончание)
а б в г
а - АСМ-5; б - АСМ-6; в - АСМ-7; г - АСМ-8
Рисунок 4. - Комбинированные АСМ-изображения при значениях к = 0,7 (верхний ряд), к = 0,5 (средний ряд), к = 0,3 (нижний ряд)
а - АСМ-1; б - АСМ-3; в - АСМ-9; г - АСМ-10
Рисунок 5. - Комбинированные АСМ-изображения при значениях к = 0,7 (верхний ряд), к = 0,5 (средний ряд), к = 0,3 (нижний ряд)
а - АСМ-2; б - АСМ-4
Рисунок 6. - Комбинированные АСМ-изображения при значениях к = 0,7 (верхний ряд), к = 0,5 (средний ряд), к = 0,3 (нижний ряд)
Рисунок 7. - Схема адаптивного формирования комбинированного АСМ-изображения на основе взвешенного сложения компонентных АСМ-изображений с автоматическим определением вклада значений пикселей компонентных АСМ-изображений в комбинированное АСМ-изображение
Заключение. Для оценки качества комбинирования АСМ-изображений предложена локальная корреляционная метрика, вычисляемая на основе коэффициентов локальной корреляции, определяемых в квадратной окрестности каждого пикселя сравниваемых АСМ-изображений. Метрика учитывает вклад каждого из компонентных АСМ-изображений в результирующее комбинированное АСМ-изображение, а также корреляцию между компонентными АСМ-изображениями. Для взвешенного сложения исходных АСМ-изображений установлено, что при изменении вклада одного из компонентных АСМ-изображений в результирующее комбинированное АСМ-изображение от 0,7 до 0,3 разница в динамических диапазонах коэффициентов локальной корреляции компонентных АСМ-изображений в 4-6 раз меньше разницы в динамических диапазонах коэффициентов глобальной корреляции при размере окрестности локальной оценки от 3x3 до 9x9 пикселей. Это свидетельствует о существенно лучшей согласованности изменений коэффициентов локальной корреляции по сравнению с коэффициентами глобальной корреляции при изменении вкладов компонентных АСМ-изображений в комбинированное АСМ-изображение и повышении точности корреляционной оценки качества комбинирования АСМ-изображений. Получены зависимости значений локальной корреляционной метрики от размера окна корреляционного анализа и вклада компонентных АСМ-изображений в комбинированное АСМ-изображение. Данные зависимости позволяют определить вклады значений пикселей компонентных АСМ-изображений, обеспечивающих передачу в комбинированное АСМ-изображение наиболее полной информации об объектах определенного размера. Предложена схема адаптивного взвешенного сложения компонентных АСМ-изображений с автоматическим определением вклада значений пикселей компонентных АСМ-изображений в комбинированное АСМ-изображение.
Благодарности. Работа выполнена в рамках задания 3.03.3 подпрограммы «Междисциплинарные исследования и новые зарождающиеся технологии» ГПНИ «Конвергенция-2025».
ЛИТЕРАТУРА
1. Jasiunas M. D., Kearney D. A., Hopf J. et al. Image fusion for uninhabited airborne vehicles // Proc. IEEE Intern. Conf. on Field-Programmable Technology / Hong Kong, China (16-18 Dec. 2002). - 2002. - P. 348-351. - DOI: 10.1109/FPT.2002.1188708.
2. Morris C., Rajesh R. S. Survey of spatial domain image fusion techniques // Intern. J. of Advanced Research in Computer Science. - 2014. - Vol. 2, iss. 3. - P. 249-254.
3. Song L., Lin Y., Feng W. et al. A novel automatic weighted image fusion algorithm // Intern. Workshop on Intelligent Systems and Applications / Wuhan, China (23-24 May 2009). - 2009. - P. 1-4. - DOI: 10.1109/IWISA.2009.5072656.
4. Mishra D., Palkar B. Image fusion techniques: a review // Intern. J. of Computer Applications. - 2015. - Vol. 130, iss. 9. -P. 7-13. - DOI: 10.5120/ijca2015907084.
5. Bai L., Xu C., Wang C. A review of fusion methods of multi-spectral image // Optik: Intern. J. for Light and Electron Optics. - 2015. - Vol. 126, iss. 24. - P. 4804-4807. - DOI: 10.1016i.ijleo.2015.09.201.
6. He K., Sun J., Tang X. Guided image filtering // IEEE Transactions on Pattern Analysis and Machine Intelligence. -2013. - Vol. 35, iss. 6. - P. 1397-1409. - DOI: 10.1109/TPAMI.2012.213.
7. Li B., Xian Y., Zhang D. et al. Multi-Sensor Image Fusion: A Survey of the State of the Art // J. of Computer and Communications. - 2021. - Vol. 9, iss 6. - P. 73-108. - DOI: 10.4236/icc.2021.96005.
8. Kekre H. B. Sarode T., Dhannawat R. Kekre' s wavelet transform for image fusion and comparison with other pixel based image fusion techniques // Intern. J. of Computer Science and Information Security (IJCSIS). - 2012. - Vol. 10, iss. 3. -P. 23-31.
9. Toet A. Image fusion by a ratio of low-pass pyramid // Pattern Recognition Letters. - 1989. - Vol. 9, iss. 4. - P. 245-253. -DOI: 10.1016/0167-8655(89)90003-2.
10. Liu Y., Chen X., Wang Z. et al. Deep learning for pixel-level image fusion: recent advances and future prospects // Information Fusion. - 2018. - Vol. 1, iss. 42. - P. 158-173. - DOI: 10.1016/i.inffus.2017.10.007.
11. Liu K., Kang G. Multiview convolutional neural networks for lung nodule classification // Intern. J. of Imaging Systems and Technology. - 2017. - Vol. 27, iss. 1. - P. 12-22. - DOI: 10.1002/ima.22206.
12. Petrovic V., Xydeas C. Objective image fusion performance characterisation // Tenth IEEE Intern. Conf. on Computer Vision (ICCV'05) / Beijing, China (17-21 Oct. 2005). - 2005. - Vol. 1. - P. 1866-1871. - DOI: 10.1109/ICCV.2005.175.
13. Piella G., Heijmans H. A new quality metric for image fusion // Proc. Intern. Conf. on Image Processing / Barcelona, Spain (14-17 Sept. 2003). - 2003. - P. 111-173. - DOI: 10.1109/ICIP.2003.1247209.
14. Qu G., Zhang D., Yan P. Medical image fusion by wavelet transform modulus maxima // Opt. Express. - 2001. - Vol. 9. -P. 184-190.
15. Aslantas V., Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences // AEU -Intern. J. of Electronics and Communications. - 2015. - Vol. 69, iss. 12. - P. 1890-1896. DOI: 10.1016/i.aeue.2015.09.004.
16. Han Y., Cai Y., Cao Y. et al. A new image fusion performance metric based on visual information fidelity // Inf. Fusion. -2013. - Vol. 14, iss. 2. - P. 127-135. DOI: 10.1016/i.inffus.2011.08.002.
REFERENCES
1. Jasiunas, M. D., Kearney, D. A., Hopf, J., & Wigley, G. B. (2002). Image fusion for uninhabited airborne vehicles. Proceedings IEEE International conference on field-programmable technology (348-351). IEEE. DOI: 10.1109/FPT.2002.1188708.
2. Morris, C., & Rajesh, R. S. (2014). Survey of spatial domain image fusion techniques. International Journal of Advanced Research in Computer Science, 2(3), 249-254.
3. Song, L., Lin, Y., Feng, W., & Zhao, M. (2009). A Novel Automatic Weighted Image Fusion Algorithm. International Workshop on Intelligent Systems and Applications (1-4). IEEE. DOI: 10.1109/IWISA.2009.5072656.
4. Mishra, D., & Palkar, B. (2015) Image fusion techniques: a review. International Journal of Computer Applications, 130(9), 7-13. DOI: 10.5120/ijca2015907084.
5. Bai, L., Xu, C., & Wang, C. (2015). A review of fusion methods of multi-spectral image. Optik: International Journal for Light and Electron Optics, 126(24), 4804-4807. DOI: 10.1016i.ijleo.2015.09.201.
6. He, K., Sun, J., & Tang, X. (2013). Guided image filtering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(6), 1-14. DOI: 10.1109/TPAMI.2012.213.
7. Li, B., Xian, Y., Zhang, D., Su, J., Hu, X., & Guo, W. (2021). Multi-Sensor Image Fusion: A Survey of the State of the Art. Journal of Computer and Communications, 9(6), 73-108. DOI: 10.4236/icc.2021.96005.
8. Kekre, H. B., Sarode, T., & Dhannawat, R. (2012). Kekre's wavelet transform for image fusion and comparison with other pixel based image fusion techniques. International Journal of Computer Science and Information Security (IJCSIS), 10(3), 23-31.
9. Toet, A. (1989). Image fusion by a ratio of low-pass pyramid. Pattern Recognition Letters, 9(4), 245-253. DOI: 10.1016/0167-8655(89)90003-2.
10. Liu, Y., Chen, X., Wang, Z., Wang, Z. J., Ward, R. K., & Wang, X. (2018). Deep learning for pixel-level image fusion: recent advances and future prospects. Information Fusion, 1(42), 158-173. DOI: 10.1016/j.inffus.2017.10.007.
11. Liu, K., & Kang, G. (2017) Multiview convolutional neural networks for lung nodule classification. International Journal of Imaging Systems and Technology, 27(1), 12-22. DOI: 10.1002/ima.22206.
12. Petrovic, V., & Xydeas, C. (2005) Objective image fusion performance characterisation. Tenth IEEE International Conference on Computer Vision (ICCV'05): Vol. 1 (1866-1871). IEEE. DOI: 10.1109/ICCV.2005.175.
13. Piella, G., & Heijmans, H. (2003). A new quality metric for image fusion. International Conference on Image Processing 111-173. IEEE. DOI: 10.1109/ICIP.2003. 1247209.
14. Qu, G., Zhang, D., & Yan, P. (2001). Medical image fusion by wavelet transform modulus maxima. Opt. Express, (9), 184-190.
15. Aslantas, V., & Bendes, E. (2015). A new image quality metric for image fusion: The sum of the correlations of differences. AEU - International Journal of Electronics and Communications, 69(12), 1890-1896. DOI: 10.1016/j.aeue.2015.09.004.
16. Han, Y., Cai, Y., Cao, Y., & Xu, X. (2013). A new image fusion performance metric based on visual information fidelity. Inf. Fusion, 14(2), 127-135. DOI: 10.1016/i.inffus.2011.08.002.
Поступила 06.09.2023
WEIGHTED SUMMATION OF AFM IMAGES USING LOCAL CORRELATION METRIC
M. LAVETSKI12, V. TSVIATKOU1, A. BORISKEVICH1, V. LAPITSKAYA2, S. CHIZHIK2 1(Belarusian State University of Informatics and Radioelectronics, Minsk) 2(A. V. Luikov Heat and Mass Transfer Institute of the National Academy of Sciences of Belarus, Minsk)
The problem of weighted summation of component images of the surface of a material formed in two synchronous channels of an atomic force microscope (AFM) is considered. A computationally simple quality metric for combining component AFM images based on local correlation coefficients is proposed, which takes into account the contribution of each of the component AFM images to the resulting combined AFM image and the correlation between component AFM images. It is shown that local correlation provides a higher accuracy of AFM images combination quality estimation in comparison with global correlation. The dependences of the local correlation metric on the size of the correlation analysis window and the contribution of component AFM images to the resulting combined AFM images are obtained. A scheme for adaptive weighted summation of component AFM images is proposed.
Keywords: atomic force microscopy, image combination quality assessment, global image correlation, local image correlation.
