CC BY
29
НАУЧНЫЕ ВЕДОМОСТИ
Серия Экономика. Информатика. 2015. №7 (204). Выпуск 34/1
67
КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ
УДК 004.932.2
МЕТОД ФОРМИРОВАНИЯ РЕНТГЕНОВСКОГО МУЛЬТИИЗОБРАЖЕНИЯ ИЗДЕЛИЯ МИКРОЭЛЕКТРОНИКИ С НЕОДНОРОДНОЙ СТРУКТУРОЙ
METHOD OF FORMATION OF THE X-RAY MULTIIMAGE OF THE PRODUCT OF MICROELECTRONICS WITH NON-UNIFORM STRUCTURE
М.С. Григоров, О.О. Басов М-S. Grigorov, O.O. Basov
Академия Федеральной службы охраны Российской Федерации, Россия, 302034, г. Орел, ул. Приборостроительная, 35 Academy of Federal Agency of protection of Russian Federation, 35 Priborostroitel'naja St, Orel, 302034, Russia
e-mail: [email protected]
Аннотация. В работе приведен метод сегментации рентгеновских изображений изделий микроэлектроники с неоднородной структурой на основе разделения и слияния областей, отличающийся модификацией на случай формирования мультиизображения из сегментов требуемого качества.
Resume. The method of segmentation of x-ray images of products of microelectronics with heterogeneous structure based on splitting and merging of areas and differed in modification for multiimage formation from segments of required quality is presented in this work.
Ключевые слова: сегментация, рентгеновское изображение, изделие микроэлектроники, квадродерево, гистограмма яркости.
Keywords: segmentation, x-ray image, the product of microelectronics, quadradrive, the luminance histogram.
Введение
В задаче неразрушающего рентгеновского контроля (НРК) изделия микроэлектроники (ИМ) интерес представляет анализ рентгеновских изображений (РИ) с целью выявления определенных дефектов [5]. Особенностью процедуры НРК ИМ является то, что, как правило, не представляется возможным проанализировать дефекты всех функциональных узлов (элементов) ИМ на одном РИ. Причиной этому служит значительная неоднородность элементов ИМ и, как следствие, формирование их изображений с различным качеством. Разрешение данного противоречия может быть достигнуто за счет формирования мультиизображения ИМ путем объединения (слияния) отдельных областей различных сегментированных РИ одного ИМ требуемого качества.
Постановка задачи
Пусть при формировании рентгеновского мультиизображения осуществляется его восстановление на основе некоторой области
z о, }=11=1
(1)
такой что:
a) Gji является связной областью, J , г ^■■■°, где Z - число РИ одного ИМ; Uj - чис-
G О
ло подобластей области J, соответствующей одному j-му РИ (в общем случае, J для разных РИ
различно);
O
б) J
O
G,i °G,t = 0 i,t = \..Oj,i *t.
для
m=GJ
- J / — ] 7
в) *=i для J *" ;
г) P (Gi ) = TRUE j=n, i=T-Oj;
P(g ^ G )= FALSE uG G
д) v J J/ для любых двух смежных областей J и Jt j-го РИ.
Здесь 0 обозначает пустое множество, а P - некоторый логический предикат, определен-
G,,
ный на точках множества
P (Gi):
[ TRUE, если GJt = GQ; \FALSE,если G * GQ.
G.,
(2)
Условие (а) означает, что точки каждой области J должны быть связными в некотором оговоренном смысле (например, они 4- или 8-связны [1]). Условие (б) указывает на то, что области одного (j-го) изображения не должны пересекаться. Условие (в) означает, что сегментация j-го
G
изображения должна быть полной, т.е. каждый пиксел изображения j принадлежит какой-то
G
области ji . Условие (г) относится к свойствам, которые должны соблюдаться для каждого пик-
G
села из одной области ji каждого изображения, так, чтобы можно было сделать однозначный вывод о ее соответствии заданному значению показателя качества. Условие (д) означает, что при-
GG
Jt
одного (j-го) изображения различаются в смысле логического пре-
легающие области ji и диката P (2).
Тогда для автоматизации процесса обработки рентгеновских изображений изделий микроэлектроники с неоднородной структурой необходимо разработать метод их сегментации на подоб-
G
ласти J , удовлетворяющие приведенным выше условиям (а)-(д), при минимальном числе РИ одного ИМ и минимальных затратах (временных, вычислительных) на сегментацию одного РИ.
Метод сегментации рентгеновских изображений изделий микроэлектроники с неоднородной структурой
Один из возможных подходов к сегментации Gj [1] состоит в том, чтобы последовательно
разбивать эту область на все более и более мелкие квадратные подобласти Gji , пока выполняется
P(G ) = TRUE
условие ji .
P(g ) = FALSE
Процесс начинается со всей области изображения. Если v J ' , то изображение
делится на четверти вертикальной и горизонтальной прямыми, проходящими через середину. Если для какой-то четверти предикат Р принимает значение FALSE, то она аналогичным образом делится на более мелкие четверти, и так далее. Такой метод разбиения удобно представлять в форме так называемого квадродерева, т. е. дерева, у которого вершины, не являющиеся листьями, имеют в точности четыре потомка. Корень дерева соответствует целому изображению, а каждая другая вершина - какой-то из его подобластей.
Если использовать только операцию разделения, то в окончательном разбиении изображения могут присутствовать соседние области, имеющие одинаковые свойства. Этот недостаток можно устранить, применяя наряду с разделением также операцию слияния. Для соблюдения условий (а)-(д) требуется, чтобы слиянию подвергались только соседние области, пикселы которых в совокупности удовлетворяют предикату Р.
НАУЧНЫЕ ВЕДОМОСТИ
Серия Экономика. Информатика. 2015. №7 (204). Выпуск 34/1
69
Возможны различные варианты реализации основной схемы разделения и слияния. Например, изображение вначале может разбиваться на множество блоков Дальнейшее разделение проводится, как описано выше, но слияние допускается только внутри группы из четырех блоков, являющихся потомками в квадродереве и удовлетворяющих предикату Р. Когда дальнейшее слияние такого вида оказывается невозможным, процедура заканчивается однократным слиянием об-
P G и Gjt ) = TRUE
ластей, для которых v j j/ , при этом объединяемые области могут быть разных
размеров. Главное достоинство такого подхода состоит в использовании одного и того же квадродерева для разделения и слияния на всех шагах, кроме заключительного шага слияния.
Рассмотренный подход можно обобщить на случай сегментации нескольких РИ ИМ с неоднородной структурой (рис. 1).
Рис. 1. Разделение и слияние областей: а) принцип деления областей на части; б) соответствующее квадродерево Fig. 1. Division and merge of areas:
a) principle of division of areas into parts; b) corresponding quadra-tree
Процессы разделения и слияния для первого РИ G1 аналогичны описанным выше. Для
каждого последующего РИ (j > 1) операция разделения осуществляется только для подобластей, для которых на предыдущих изображениях предикат Р принимал значение FALSE, а операция слияния - для «соседних» подобластей всех доступных для сегментации РИ, удовлетворяющих условиям (а)-(д). Соответствующая такому разбиению форма мульти-квадродерева представлена на рисунке 1 (б).
Достоинствами предлагаемого подхода к сегментации множества РИ одного ИМ являются:
- соответствие представления разделяемых областей изображений (в виде матриц с размерностью кратной степень числа 2) принципу получения РИ на основе строчных матричных детекторов;
- соответствие формы областей изображений структуре ИМ;
- использовании одного и того же квадродерева для разделения и слияния подобластей РИ;
- сокращение временных (вычислительных) затрат на сегментацию одного РИ за счет исключения из анализа (разделения, слияния) областей, для которых предикат Р имеет истинное значение на предыдущих РИ.
Основываясь на приведенных сведениях метод сегментации РИ ИМ можно представить в виде следующих шагов.
1. Получение первого (j = 1 РИ ИМ.
2. Приведение размера РИ1 к наименьшему объемлющему квадрату, сторона которого есть степень числа 2.
3. Разделение на четыре непересекающиеся подобласти (рис. 1, а) любой области
P G )= FALSE
Gi i, i = 1- °j
для которой
4. Объединение в одну область любых двух соседних подобластей
P(Gi, и Gi, ) = TRUE; i,t = T~O,
G и G
для которых
1
Для обеспечения возможности разделения изображения вплоть до единичного размера.
70
НАУЧНЫЕ ВЕДОМОСТИ
Серия Экономика. Информатика. 2015 № 7(204). Выпуск 34/1
5. При невозможности выполнения ни одной операции слияния или разделения при
любых г Oj, выполнение следующего шага. Иначе - переход к шагу 3.
6. Получение следующего (j = j +1) РИ.
7. Приведение размера РИ к наименьшему объемлющему квадрату, сторона которого есть степень числа 2.
8.
Если
P (Ggi ) = FALSE
для всех имеющихся
(g = j, j - 1,-Л)
РИ, то разделение области
G i = 1.. .O j -
g' на четыре непересекающиеся подобласти.
G G
9. Объединение в одну область любых двух соседних подобластей gi и ht,
g,h = 1...j; i,t = 1...Oj
для которых
P(Gg, ^Ght) = TRUE
10. При невозможности выполнения ни одной операции слияния или разделения при
любых i = 1.Oj, выполнение следующего шага. Иначе - переход к шагу 8.
11. Если итоговая область (1) не сформирована и j < , переход к шагу 6. Иначе - вы-
полнение следующего шага.
gq
12. Приведение размера области к исходному.
13. Формирование и вывод результирующего мультиизображения.
Результаты применения предложенного метода
Экспериментально установлено [2], что в качестве предиката P (2) при реализации разработанного метода сегментации РИ может быть использовано правило, основанное на сравнении сосредоточенности долей энергии РИ по подобластям пространственных частот [3, 4, 8, 9] с некоторым пороговым значением. Также в ходе исследований установлено, что для формирования об-
пя gq
ласти G (1) необходимо получение 3-5 РИ одного ИМ. Результаты формирования на основе
разработанного метода при Z = 3 представлены ниже (рис. 2).
Рис. 2. Область Gq (внизу) и ее увеличенный фрагмент (вверху)
Fig. 2. Area GQ (below) and its increased fragment (above)
НАУЧНЫЕ ВЕДОМОСТИ
Серия Экономика. Информатика. 2015. №7 (204). Выпуск 34/1
71
Для устранения краевых эффектов, неизбежно возникающих при объединении в одну об-
G~i и Ght (g,h = 1 = i 2,* = 1-Oj)
ласть любых двух соседних подобластей g
. j; i,t = 1_j ,
различных РИ, в исследовании использовано выравнивание гистограмм.
Положительный эффект достигается с помощью преобразования значений пикселов (рис. Gq
2) области (1) таким образом, чтобы гистограмма яркостей пикселов результирующего мультиизображения (рис. 3) приблизительно соответствовала некоторой предопределенной гистограмме [6, 7]. В качестве таковой выбрана гистограмма hist, являющаяся усреднением локальных
= Г
гистограмм отдельных областей G ji РИ
GQ (J = 1...3)
Gj РИ v /
Рис. 3. Рентгеновское мультиизображение исследуемого ИМ Fig. 3. The x-ray multiimage of the studied microelectronics product
Выводы
Предложенный метод сегментации одного рентгеновского изображения на основе разделения и слияния областей модифицирован на случай формирования мультиизображения и позволяет соблюсти ограничения по числу изображений одного изделия микроэлектроники и минимуму затрат на сегментацию. Сформированное по результатам применения метода рентгеновское мультиизображение исследуемого ИМ после применения процедуры устранения краевых эффектов может быть подвержено анализу с целью выявления дефектов ИМ.
Список литературы
References
1. Госалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2012. -
1104 с.
Gosales, R. Cifrovaja obrabotka izobrazhenij / R. Gonsales, R. Vuds. - M.: Tehnosfera, 2012. - 1104 s.
2. Григоров, М. С. Анализ распределения энергии рентгеновского изображения по частотным интервалам. / М. С. Григоров, О. О. Басов // Наукоемкие технологии и инновации: сб. докладов Юбилейной Меж-дунар. науч.-практ. конф., посвященной 60-летию БГТУ им. В. Г. Шухова. - Белгород: Изд-во БГТУ, 2014. -Ч.6. - С. 160-165.
72
НАУЧНЫЕ ВЕДОМОСТИ
Серия Экономика. Информатика. 2015 № 7(204). Выпуск 34/1
Grigorov, M. S. Analiz raspredelenija jenergii rentgenovskogo izobrazhenija po chastotnym inter-valam / M. S. Grigorov, O. O. Basov // Naukoemkie tehnologii i innovacii: sb. dokladov Jubilejnoj Mezhdunar. nauch.-prakt. konf., posvjashhennoj 60-letiju BGTU im. V. G. Shuhova. - Belgorod: Izd-vo BGTU, 2014. - Ch.6. - S. 160-165.
3. Жиляков, Е.Г. О субполосных свойствах изображений / Е.Г. Жиляков, А.А. Черноморец, А.С. Белов, Е.В. Болгова // Научные ведомости БелГУ. Сер. История. Политология. Экономика. Информатика. - 2013. -№8(151). - вып.26/1. - С.175-182.
Zhilyakov, E.G. O subpolosnyh svojstvah izobrazhenij / E.G. Zhilyakov, A.A. Chernomorets, A.S. Belov, E.V. Bolgova // Nauchnye vedomosti BelGU. Ser. Istorija. Politologija. Jekonomika. Informatika. - 2013. -№8(151). - vyp.26/1. - S.175-182.
4. Жиляков, Е.Г. Метод определения точных значений долей энергии изображений в заданных частотных интервалах / Е.Г. Жиляков, А.А. Черноморец, И.В. Лысенко // Вопросы радиоэлектроники. Сер. РЛТ. - 2013. - вып. 4. - С.115-123.
Zhilyakov, E.G. Metod opredelenija tochnyh znachenij dolej jenergii izobrazhenij v zadannyh cha-stotnyh in-tervalah / E.G. Zhilyakov, A.A. Chernomorets, I.V. Lysenko / / Voprosy radiojelektroniki. Ser. RLT. - 2013. - vyp. 4. -S.115-123.
5. Неразрушающий контроль: Справочник: В 8 т. Под общ. ред. В.В. Клюева. Т. 1: В 2 кн. Кн. 2. Ф.Р. Соснин. Радиационный контроль. - 2-е изд., испр. - М.: Машиностроение, 2008. - 560 с.: ил.
Nerazrushajushhij kontrol': Spravochnik: V 8 t. Pod obshh. red. V.V. Kljueva. T. 1: V 2 kn. Kn. 2. F.R. Sosnin. Radiacionnyj kontrol'. - 2-e izd., ispr. M.: Mashinostroenie, 2008. 560 s.: il.
6. Павлидис, Т. Алгоритмы машинной графики и обработки изображений / Т. Павлидис. - М.: Радио и связь, 1986.
Pavlidis, T. Algoritmy mashinnoj grafiki i obrabotki izobrazhenij / T. Pavlidis. - M.: Radio i svjaz', 1986.
7. Претт, У. Цифровая обработка изображений. Кн. 1.: Пер. с англ. / У. Претт. - М.: Мир, 1982. - 312 с.
Prett, U. Cifrovaja obrabotka izobrazhenij. Kn. 1.: Per. s angl. / U. Prett. - M.: Mir, 1982. - 312 s.
8. Черноморец, А.А. О частотной концентрации энергии изображений / А.А. Черноморец, В.А. Голощапова, И.В. Лысенко, Е.В. Болгова // Научные ведомости БелГУ. Сер. История. Политология. Экономика. Информатика. - 2011. - №1(96). - вып.17/1. - С.146-151.
Chernomorets, A.A. O chastotnoj koncentracii jenergii izobrazhenij / A.A. Chernomorets, V.A. Golo-shhapova, I.V. Lysenko, E.V. Bolgova // Nauchnye vedomosti BelGU. Ser. Istorija. Politologija. Jekonomika. Informatika. - 2011. - №1(96). - vyp.17/1. - S.146-151.
9. Черноморец, А.А. Метод анализа распределения энергий изображений по заданным частотным интервалам / А.А. Черноморец, О.Н. Иванов // Научные ведомости БелГУ. Сер. История. Политология. Экономика. Информатика. - 2010. - №19(90). - вып.16/1. - С.161-166.
Chernomorets, A.A. Metod analiza raspredelenija jenergij izobrazhenij po zadannym chastotnym intervalam / A.A. Chernomorets, O.N. Ivanov // Nauchnye vedomosti BelGU. Ser. Istorija. Politologija. Jekonomika. Informatika. - 2010. - №19(90). - vyp.16/1. - S.161-166.
