CC BY
36
УДК 004.896
Б.В. Ширяев, А.Ю. Ющенко, А.В. Безрук
Алгоритм автоматизированного визуального контроля монолитных интегральных схем с использованием искусственных нейронных сетей
Работа посвящена проблеме визуального контроля при производстве СВЧ МИС. Рассматривается подход к автоматическому визуальному контролю с использованием искусственных нейронных сетей. Нейронная сеть производит одновременный анализ микрофотографии СВЧ МИС, полученной в автоматическом режиме, и чертежа её фотошаблона, получает информацию о степени дефектности изготовленной СВЧ МИС. Таким образом, повышается скорость визуального контроля СВЧ МИС без потери качества детектирования дефектов. Ключевые слова: автоматизация, СВЧ МИС, свёрточные нейронные сети. ао1: 10.21293/1818-0442-2019-22-2-72-76
Визуальный контроль при производстве СВЧ МИС заключается в контроле качества изготавливаемых СВЧ МИС по их внешнему виду с использованием специальных оптических приборов [1]. Изготовленная СВЧ МИС по визуальному признаку оценивается в нескольких категориях, наиболее важные из которых точность повторения фотошаблона, качественный анализ поверхностей элементов СВЧ МИС и отсутствие повреждений и загрязнений. В результате анализа степени дефектности выносится общий вердикт о годности СВЧ МИС по внешнему виду.
Автоматизация визуального контроля заключается в создании программного продукта, который повышает скорость и качество детектирования дефектов СВЧ МИС. Для сохранения интеллектуального уровня распознавания дефектов в программном продукте визуального контроля в качестве анализирующего модуля была использована искусственная нейронная сеть.
Алгоритм автоматизированного визуального контроля
Алгоритм оценки степени дефектности СВЧ МИС построен на сравнении её микрофотографии, полученной в автоматическом режиме, с чертежом фотошаблона в электронном формате (далее - чертёж), который применяется для её изготовления. В идеальном случае чертёж и микрофотография СВЧ МИС должны полностью совпадать, в реальности они имеют незначительные отличия из-за особенности технологии изготовления и контроля: искажённая форма элементов [2], рассовмещение слоёв, механические повреждения (царапины, касания зондов), недостаточное разрешение камеры визуального контроля и др. (рис. 1).
Общая последовательность алгоритма оценки дефектности сведена к выполнению следующих этапов:
1) поиск двух точек совмещения, заранее указанных в алгоритме визуального контроля;
2) расчёт масштаба, положения и состояния чертежа с использованием найденных координат точек совмещения на микрофотографии СВЧ МИС и их зафиксированного положения на чертеже;
3) растеризация векторного чертежа с заливкой областей;
4) преобразование цветной микрофотографии в изображение в оттенках серого;
5) сквозное выделение областей анализа из изображения и его растрированного чертежа с заливкой. Области подготавливаются на этапе настройки алгоритма;
6) дробление полученных областей на участки, размер которых соответствует входу нейронной сети. Участки перекрывают друг друга по площади для повышения качества распознавания. Дробление позволяет уйти от общей микрофотографии СВЧ МИС к анализу отдельных её участков, сравнивая их с подобными деталями чертежа;
7) получение оценки дефектности нейронной сетью для каждой области п. 6;
8) анализ полученных значений, устранение случайных ошибок.
Рис. 1. Изображение готовой СВЧ МИС (а) и растрированный чертеж фотошаблона (б)
Результатом обработки микрофотографии является маска дефектов, наложение которой на микрофотографию СВЧ МИС показывает его дефектные области.
Поиск точек совмещения
Для оценки степени дефектности СВЧ МИС по микрофотографии следует перед поиском дефектов совместить её с чертежом. Рисунок чертежа совмещается по двум заранее определённым точкам совмещения (рис. 2). Используемая в программе структура данных точек совмещения содержит ин-
Б.В. Ширяев, А.Ю. Ющенко, А.В. Безрук. Алгоритм автоматизированного визуального контроля
73
формацию о приблизительном положении области их поиска на микрофотографии, координаты их положения на чертеже и малое цветное изображение для осуществления поиска расчётом коэффициента различия участков.
Точка' совмещения 1
Рис. 2. Совмещение чертежа и микрофотографии СВЧ МИС по двум точкам совмещения
Определение положения точек совмещения (х; у) производится путём поиска минимального ко -эффициента различия между изображением точки совмещения и участком области поиска [3]:
Кх,у = Х(1 Вх+1,у+] -В-и \ +1Ох+1,у+] - с!?} I +
+\Бх+иу+? - ВС I), (1)
где Ях+1,у+?, Ох+1,у+? , Бх+1,у+? - компоненты цвета
ЯвВ-формата с диапазоном значений [0; 255] облас-
ТС ТС ТС ти поиска точки совмещения; Щ? , О,,? , Б-
компоненты цвета ЯвВ-формата с диапазоном значений [0; 255] изображения окрестности точки совмещения.
Расчёт состояния чертежа Состояние чертежа описывается масштабом, положением, вертикальным и горизонтальным зеркальным отражением относительно микрофотографии СВЧ МИС. Для упрощения задачи угловая составляющая была исключена на стадии съёмки микрофотографии.
Формулы расчёта масштаба чертежа:
Лс1 - 1х 2
Sx =
Fl - Fx
Sy =
x2
Iyl - !y2
Fy1 - Fy 2
(2)
где 1х, 1у - координаты точек совмещения на микрофотографии (в пикселях); Рх, Ру - координаты точек совмещения на чертеже фотошаблона (в относительных единицах) [4].
Расчёт положения чертежа относительно микрофотографии производится из известных координат одной точки и масштаба:
Рх = 1х -Рх ■ Ях, Ру = 1у -Ру ■ Ъу . (3)
Масштаб может иметь отрицательное значение, что свидетельствует о зеркальном отражении чертежа фотошаблона.
Растеризация векторного чертежа Чертёж фотошаблона представляет собой цифровой файл векторного изображения в формате .dxf [5] и содержит информацию обо всём фотошаблоне и всех его слоях. Для проведения визуального контроля требуются определённые слои и участки чертежа, которые участвуют в формировании внешнего вида конкретной СВЧ МИС. Для этого требуется предварительная подготовка чертежа: выбор набора необходимых слоёв и извлечение конкретной СВЧ МИС, подвергающейся визуальному контролю. После расчёта состояния чертежа производится его растеризация из векторного вида в заданное разрешение и положение.
Растеризация чертежа необходима для определения областей с идентичными областями текстур и для обозначения мест с эквивалентными визуальными характеристиками.
Преобразование микрофотографии Особенностью используемой искусственной нейронной сети является то, что на вход нейрона входного слоя сети требуется подавать значения в пределах от 0 до 1. Однако микрофотографии, полученные в автоматическом режиме, представлены в виде матрицы пикселей, цвет которых принадлежит цветовому пространству RGB 8 бит на канал - 256 градаций яркости для каждого канала (от 0 до 255). Для преобразования цвета пикселя используется следующая формула:
r ■ R + g ■ G+b ■ B
F=-
255
(4)
где R, G, B - компоненты цветового пространства RGB; r, g, b - коэффициенты преобразования цветового пространства. В соответствии со стандартом «Recommendation ITU-R BT.709-6» [6] коэффициенты принимают следующие значения соответственно: r = 0,2126; g = 0,7152; b = 0,0722. Выделение области анализа При получении микрофотографий производится автоматическая съёмка СВЧ МИС с захватом частей соседних СВЧ МИС (см. рис. 2). Это позволяет СВЧ МИС находиться в центре микрофотографии даже при возникновении незначительного смещения.
Введение шага выделения области анализа позволяет выделить СВЧ МИС из микрофотографии и устранить возможное смещение при автоматической съёмке. Область анализа привязана к безразмерным координатам фотошаблона, что позволяет переносить размер области на микрофотографию с сохранением всех важных элементов СВЧ МИС. Положение и размер области анализа рассчитываются исходя из положения и масштаба чертежа фотошаблона. Разбиение области анализа Полученные области анализа микрофотографии и растрированного чертежа фотошаблона сквозным методом разбиваются на участки (каждый полученный участок микрофотографии СВЧ МИС соответ-
ствует участку растрированного фотошаблона). Размер каждого участка 29*29 пикселей и равен размеру входного слоя искусственной нейронной сети (рис. 3). Участки перекрывают друг друга на половину своего размера (14 пикселей), это позволяет оценить правильность работы искусственной нейронной сети, оценивая степень дефектности смежных участков на этапе обработки полученных оценок дефектности.
а О б
и ыы
[ЗрЩ _п 4|т
29 пике
Рис. 3. Пример сквозного разбиения области анализа на участки: исходные области анализа (а), полученные пары участков (б)
Определение степени дефектности
Большинство нейронных сетей по обработке изображений [7-9] имеют всего один вход, на кото -рый подаётся участок изображения. Для предложенного алгоритма визуального контроля СВЧ МИС требуется сравнение её микрофотографии с чертежом. В статьях [10, 11] рассматривается обучаемая искусственная нейронная сеть с двумя входами для определения дальности расположения объектов на стереоизображении. Показано, что нейронная сеть принимает на вход два участка разных изображений, обрабатывает их в одном цикле, делает на их основе заключение и обучается.
С учётом [10, 11] разработана архитектура искусственной нейронной сети для автоматизированного визуального контроля с двумя входами: первый вход для участка изображения СВЧ МИС, второй вход для участка растрированного чертежа. Далее следует параллельное преобразование изображений набором свёрточных слоёв, слияние результатов с использованием объединяющего слоя и заключительная обработка данных полносвязными слоями до получения на выходе одного значения. Все слои имеют в качестве функции активации сигмоиду [12]. Пример архитектуры нейронной сети приведён на рис. 4.
Искусственная нейронная сеть предварительно обучена на этапе подготовки алгоритма на наборе пар изображений: участки микрофотографии и чертежа сопоставлены с числовым значением степени дефектности этой пары изображений. Метод обучения - метод обратного распространения ошибки [13-14]. Уход от анализа всей СВЧ МИС к анализу её участков позволяет использовать искусственную нейронную сеть для определения степени дефектности СВЧ МИС других топологий.
После преобразования нейронной сетью области анализа, разбитой на участки, получается двумерный массив вещественных чисел в диапазоне от 0 до 1, где 0 - отсутствие дефектов, 1 - полностью дефектный участок или разные участки.
Вхолнои слоГг Д.ТЯ участка микрофотографии размер входа: 29x29 пикселей
Входной слой для участка чертежа фотошаблона размер входа: 29x29 пикселей
Слой свёртки 6 ядер свёртки (нейронов) размер ядра свёртки 5x5, шаг 2x2
I
Слой свёртки 30 ядер свёртки (нейронов) размер ядра свёртки 5x5, шаг 2x2
I
Слой свёртки 6 ядер свёртки (нейронов) размер ядра свёртки 5x5, шаг 2x2
I
Слон свёртки 100 ядер свёртки {нейронов) размер ядра свёртки 5x5
Слой свёртки 30 ядер свёртки ( нейронов) размер ядра свёртки 5x5. шаг 2x2
£
Слои свёртки 100 ядер свёртки (нейронов) размер ядра свёртки 5x5
Т
Слой объединения: 100 + 100 = 200 нейронов
I
Полносвя 'НЫП слой: 20 нейронов
Полносвязный слой: 1 нейрон {вы холной слой)
Рис. 4. Архитектура нейронной сети с двумя входами для автоматизированного визуального контроля
Этап обработки полученных оценок дефектности
Заключительным этапом работы алгоритма является обработка двумерного массива степени дефектности. Для каждых соседних значений проверяются 2 условия: сумма значений соседних участков по вертикали и горизонтали не должна быть меньше значения степени дефектности центрального участка; разница степени дефектности 2 соседних участков по вертикали и горизонтали не должна превышать 0,5. Введение этих условий позволяет выявить случайные ошибки расчётов дефектности и повторно провести оценку проблемного участка со смещением сетки разбиения.
Масштабирование двумерного массива до размера микрофотографии позволяет получить маску дефектов (рис. 5). Маска дефектов указывает места скопления дефектов на СВЧ МИС, это помогает выявлять причины дефектов и вносить предложения по улучшению технологического маршрута изготовления СВЧ МИС для уменьшения количества брака.
Рис. 5. Полученная маска дефектов, совмещённая с микрофотографией СВЧ МИС
Заключение о качестве внешнего вида полученной СВЧ МИС выносится с учётом предварительно
Б.В. Ширяев, А.Ю. Ющенко, А.В. Безрук. Алгоритм автоматизированного визуального контроля
установленного порога допустимой степени дефектности как всей микрофотографии СВЧ МИС, так и отдельных её участков. СВЧ МИС считается негодной при превышении порога дефектности хотя бы одним участком микрофотографии. Величина порога дефектности определяется на этапе отладки алгоритма для достижения минимального количества ошибок при определении годности. Значение порога находится в пределах от 0 (все аномалии изображения считать дефектом) до 1 (все аномалии допустимы).
Испытание алгоритма автоматизированного визуального контроля
На основе алгоритма автоматизированного визуального контроля разработан программный продукт, позволяющий настроить алгоритм, обучить нейронную сеть и проводить визуальный контроль.
Для обучения искусственной нейронной сети сформированы обучающий и тестовый наборы. Обучающий набор содержит 20 микрофотографий дефектных СВЧ МИС - максимальное разнообразие дефектов с годными участками. Таким образом, нейронная сеть получит набор дефектных и недефектных областей. Также набор содержит пары несоответствующих участков микрофотография - чертёж. В общей сложности обучающий набор содержит около 10 000 пар участков. Тестовый набор содержит 428 микрофотографий полупроводниковой пластины, на которой ранее был проведён ручной визуальный контроль. Ошибка обучения искусственной нейронной сети - доля неправильно отбракованных чипов (ошибки первого и второго рода [15]) от всего числа чипов в тестовом наборе.
В результате обучения нейронной сети, архитектура которой изображена на рис. 4, получены следующие ошибки обучения на тестовом наборе (рис. 6).
0 5 10 15 Эпохи, шт.
Рис. 6. График зависимости ошибки детектирования дефектов от количества эпох обучения на тестовом наборе
Среднее время обучения эпохи - 34 мин. Среднее время расчёта тестового набора - 7,3 мин. Минимальная ошибка 7,1%.
Для определения пригодности нейронной сети сравнивать участки микрофотографий СВЧ МИС с участком растрированного чертежа фотошаблона сформирован обучающий набор из 30 микрофотографий: 3 топологии по 10 микрофотографий дефектных СВЧ МИС. В общей сложности обучающий набор содержит около 14 000 пар. Тестовый набор содержит 3 топологии СВЧ МИС по 428 мик-
75
рофотографий. Для каждой группы тестового набора вычисляется независимая ошибка обучения (рис. 7).
-Топология 1 ----Топология 2 ............Топология 3
Рис. 7. График зависимости ошибки определения
годности МИС СВЧ от количества эпох обучения для 3 топологий
Среднее время обучения эпохи - 47 мин. Среднее время расчёта тестового набора - 22 мин. Минимальная средняя ошибка для 3х топологий 11%.
Заключение
Рассмотренный в данной статье алгоритм автоматизированного визуального контроля позволяет сравнивать микрофотографию с векторным изображением чертежа фотошаблона и оценивать степень дефектности поверхности СВЧ МИС. Алгоритм использует искусственную нейронную сеть с двумя входами. Разработан программный продукт на основе предложенного алгоритма.
Тестирование программного продукта при производстве СВЧ МИС в АО «НИИПП» показало, что средняя скорость процесса автоматизированного визуального контроля по сравнению с ручным увеличивается в 4-5 раз. Совпадение результатов предложенного алгоритма и ручного визуального кон -троля составляет 89%.
Литература
1. Груздов В. В. Контроль новых технологий в твердотельной СВЧ-электронике / В.В. Груздов, Ю.В. Колков-ский, Ю.А. Концевой. - М.: Техносфера, 2016. - 328 с.
2. Test method standard microcircuits [Электронный ресурс]. - Режим доступа: http://scipp.ucsc.edu/groups/ fermi/electronics/mil-std-883.pdf, свободный (дата обращения: 20.05.2019).
3. Forsyth D.A. Computer Vision: A Modern Approach / D.A. Forsyth, J. Ponce. - Pearson Education Limited, 2015. - 792 p.
4. Шапиро Л. Компьютерное зрение / Л. Шапиро, Дж. Стокман; пер. с англ. - М.: БИНОМ. Лаборатория знаний, 2006. - 752 с.
5. DXF Reference [Электронный ресурс]. - Режим доступа: http://images.autodesk.com/adsk/files/autocad_ 2012_ pdf_dxf-reference_enu.pdf, свободный (дата обращения: 20.05.2019).
6. Recommendation ITU-R BT. 709-6. Parameter values for the HDTV standards for production and international programme exchange. - 2015. - P. 19.
7. Изотов П.Ю. Технология реализации нейросетево-го алгоритма в среде CUDA на примере распознавания рукописных цифр / П.Ю. Изотов, С.В. Суханов, Д. Л. Голо-вашкин // Компьютерная оптика. - 2010. - Т. 34, № 2. -С. 243-251.
8. Друки А.А. Применение свёрточных нейронных сетей для выделения и распознавания автомобильных
номерных знаков на изображениях со сложным фоном // Изв. ТПУ. - 2014. - Т. 324, № 5. - С. 85-92.
9. Dan Cire^an. Multi-column Deep Neural Networks for Image Classification / Dan Cire^an, Ueli Meier, Jürgen Schmidhuber [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1202.2745.pdf, свободный (дата обращения: 21.05.2019).
10. Jure Zbontar Computing the Stereo Matching Cost with a Convolutional Neural Network / Jure Zbontar, Yann LeCun // Computer Vision Foundation. - 2015. - P. 1592-1599.
11. Luo W. Efficient Deep Learning for Stereo Matching / W. Luo, A.G. Schwing, R. Urtasun // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). -2016. - P. 5695-5703.
12. Haykin S. Neural Networks and Learning Machines. - 3rd Ed. - Pearson, 2008. - 936 p.
13. Heaton J. Introduction to Neural Networks for C#. -2nd Ed. - Heaton Research, Inc., 2008. - 428 p.
14. Нейронная сеть - обучение ИНС с помощью алгоритма обратного распространения [Электронный ресурс]. - Режим доступа: http://robocraft.ru/blog/algorithm/ 560.html, свободный (дата обращения: 20.05.2019).
15. Серафинович Л.П. Планирование эксперимента: учеб. пособие. - Томск: Томский межвузовский центр дистанционного образования, 2006. - 128 с.
Ширяев Борис Владимирович
Аспирант Томского государственного ун-та систем управления и радиоэлектроники (ТУСУР) Ленина пр-т, 40, г. Томск, Россия, 634050 Программист Научно-исследовательского института полупроводниковых приборов (АО «НИИПП») Красноармейская ул., д. 99а, г. Томск, Россия, 634034 Тел.: +7-961-886-75-42 Эл. почта: shiryaev_bv@niipp.ru
Ющенко Алексей Юрьевич
Канд. техн. наук, нач. отд. АО «НИИПП» Красноармейская ул., д. 99а, г. Томск, Россия, 634034 Эл. почта: yushenko_ay@niipp.ru
Безрук Алексей Владимирович
Нач. измерит. участка отд. АО «НИИПП» Красноармейская ул., д. 99а, г. Томск, Россия, 634034 Эл. почта: bezruk_av@niipp.ru
Shiryaev B.V., Yushchenko A.Yu., Bezruk A.V. Algorithm for automated visual inspection of monolithic integrated circuits using neural networks
The article describes the problem of visual control in the production of MMIC. The algorithm for automated visual control is implemented using neural networks. The neural network performs a parallel analysis of micrograph and photo-mask device. Then it outputs information about the defectiveness of the device. Thus, the speed of visual control of MMIC increases without losing the quality of defect detection. Keywords: automation, MMIC, convolutional neural networks.
doi: 10.21293/1818-0442-2019-22-2-72-76 References
1. Gruzdov V.V., Kolkovskij YU.V., Koncevoj YU.A. Kontrol novyh tekhnologij v tverdotelnoj SVCH elektronike [Control of new technologies in solid-state microwave electronics]. Moscow, Technosphere, 2016. 328 p. (in Russ.).
2. Test method standard microcircuits. Available at: http://scipp.ucsc.edu/groups/fermi/electronics/mil-std-883.pdf (accessed: May 21, 2019).
3. Forsyth D.A., Ponce J. Computer Vision: A Modern Approach. Pearson Education Limited, 2015, 792 p.
4. Shapiro L. G., Stockman G.C. Computer Vision. Pearson, 2001, 608 p.
5. DXF Reference. Available at: http://images.autodesk.com/ adsk/files/autocad_2012_pdf_dxf-reference_enu.pdf (accessed: May 21, 2019).
6. Recommendation ITU-R BT.709-6. Parameter values for the HDTV standards for production and international programme exchange, 2015, 19 p.
7. Isotov P.Y., Sukhanov S.V., Golovashkin D.L. Technology of implementation of neural network algorithm in CUDA environment at the example of handwritten digits recognition. Computer optics, 2010, vol. 34, no. 2, pp. 243-251 (in Russ.).
8. Druki A.A. Application of convolutional neural networks for extraction and recognition of car number plates on images with complex background. Bulletin of the Tomsk Polytechnic University, 2014, vol. 324, no. 5, pp. 85-92 (in Russ.).
9. Cire^an D., Meier U., Schmidhuber J. Multi-column Deep Neural Networks for Image Classification. Available at: https://arxiv.org/pdf/1202.2745.pdf (accessed: May 21, 2019).
10. Zbontar J., LeCun Y. Computing the Stereo Matching Cost with a Convolutional Neural Network. Computer Vision Foundation, 2015, pp. 1592-1599.
11. Luo W., Schwing A.G., Urtasun R. Efficient Deep Learning for Stereo Matching. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 5695-5703.
12. Haykin S. Neural Networks and Learning Machines. Pearson, 3rd Ed., 2008, 936 p.
13. Heaton J. Introduction to Neural Networks for C#. Heaton Research, 2nd Ed., 2008. 428 p.
14. Nejronnaya set - obuchenie INS s pomoshch'yu algo-ritma obratnogo rasprostraneniya [Neural network - training NN using the back propagation algorithm]. Available at: http://robocraft.ru/ blog/algorithm/560.html (accessed: May 21, 2019) (in Russ.).
15. Serafinovich L.P. Planirovanie eksperimenta: Uchebnoe posobie [Experiment Planning: Tutorial]. Tomsk: Tomskij mezhvuzovskij centr distancionnogo obrazovaniya, 2006, 128 p. (in Russ.).
Boris V. Shiryaev
Postgraduate student, Tomsk State University of Control Systems and Radioelectronics (TUSUR) 40, Lenin pr., Tomsk, Russia, 634050 Programmer Research Institute of Semiconductor Devices (JSC «RISD») 99a, Krasnoarmeyskaya st., Tomsk, Russia, 634034 Phone: +7-961-886-75-42 Email: shiryaev_bv@niipp.ru
Aleksey Yu. Yushchenko
Candidate of Engineering, Head of Department Research Institute of Semiconductor Devices (JSC «RISD») 99a, Krasnoarmeyskaya st., Tomsk, Russia, 634034 Email: yushenko_ay@niipp.ru
Aleksey V. Bezruk
Head of Measurement Department
Research Institute of Semiconductor Devices (JSC «RISD») 99a, Krasnoarmeyskaya st., Tomsk, Russia, 634034 Email: bezruk_av@niipp.ru
