Научная статья на тему 'МЕТОД АВТОМАТИЗИРОВАННОГО КОНТРОЛЯ ЭЛЕКТРОННЫХ КОМПОНЕНТОВ НА МИКРОФОКУСНЫХ РЕНТГЕНОВСКИХ СНИМКАХ'

МЕТОД АВТОМАТИЗИРОВАННОГО КОНТРОЛЯ ЭЛЕКТРОННЫХ КОМПОНЕНТОВ НА МИКРОФОКУСНЫХ РЕНТГЕНОВСКИХ СНИМКАХ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
102
29
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
РЕНТГЕНОВСКОЕ ИЗЛУЧЕНИЕ / НЕРАЗРУШАЮЩИЙ КОНТРОЛЬ / ЭЛЕКТРОННЫЕ КОМПОНЕНТЫ / ЦИФРОВАЯ ОБРАБОТКА ИЗОБРАЖЕНИЙ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Староверов Н. Е.

Введение. Все более популярным становится внедрение в промышленность систем машинного зрения, особенно это актуально для контроля электронных компонентов. Одним из наиболее широко распространенных видов неразрушающего контроля является рентгеновский. Поскольку рассматриваемые электронные компоненты, как правило, имеют небольшой размер, то для повышения информативности контроля выполнять их рентгенографию целесообразно по схеме съемки с увеличением изображения. Специфика рентгеновской аппаратуры для выполнения таких исследований предполагает сравнительно небольшие входные дозы рентгеновского излучения в плоскости приемника, что обуславливает более высокую зашумленность снимков, чем при традиционной рентгенографии.Цель работы. Разработка метода автоматизированного поиска объектов на микрофокусных рентгеновских снимках.Методы и материалы. Предложен метод сегментации рентгеновских изображений. На первом шаге выполняется адаптивная медианная фильтрация, на втором шаге - коррекция фона изображения путем вычитания искажающей функции. Далее выделяются контуры объектов на изображении по методу Кэнни, затем на полученном изображении определяются объекты.Результаты. Разработанный метод был апробирован в задаче контроля качества установки микросхем и в задаче определения числа электронных компонентов. Эксперименты подтвердили корректность работы предлагаемого метода. Было выявлено, что при определении качества установки микросхем количество обнаруженных дефектов отличается от верифицированных оператором не более чем на 10 %, при определении количества электронных компонентов предложенным методом средняя ошибка составила менее 0.1 %.Заключение. Представленный метод определения объектов на микрофокусных рентгеновских снимках продемонстрировал достаточную точность в типичных задачах неразрушающего контроля электронных компонентов.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Староверов Н. Е.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

A METHOD FOR AUTOMATED CONTROL OF ELECTRONIC COMPONENTS ON MICROFOCUS X-RAY IMAGES

Introduction. Machine vision systems are increasingly used in industrial production, particularly for monitoring the quality of electronic components. Radiographic (Х-ray) inspection is currently one of the most popular types of non-destructive testing. Electronic components are typically characterized by a small size, hence, their radiographic inspection should be based on obtaining images and their further enlargement. X-ray equipment for performing such studies is designed such that there are relatively small input doses of X-ray radiation in the plane of the receiver, which leads to a higher image noise than that using conventional X-ray devices.Aim. To develop a method for automated object recognition on microfocus X-ray images.Materials and methods. A method for segmentation of X-ray images is proposed. In the first step, adaptive median filtering is performed followed by correction of the image background by subtracting the distorting function. Next, the contours of the objects in the image are identified using the Canny edge detector followed by recognition of the objects on the resulting image.Results. The developed method was tested for quality control of the installation of microcircuits and for determining the number of electronic components. The experiments confirmed the accuracy of the proposed method. When monitoring the quality of microcircuit installation, the number of detected defects differed from that verified by the operator by less than 10 %. The average error of the proposed method was less than 0.1% when determining the number of electronic components.Conclusion. The proposed method for object recognition on microfocus X-ray images demonstrated sufficient accuracy in typical tasks of non-destructive testing of electronic components.

Текст научной работы на тему «МЕТОД АВТОМАТИЗИРОВАННОГО КОНТРОЛЯ ЭЛЕКТРОННЫХ КОМПОНЕНТОВ НА МИКРОФОКУСНЫХ РЕНТГЕНОВСКИХ СНИМКАХ»

Телевидение и обработка изображений

УДК 004.932 Оригинальная статья

https://doi.org/10.32603/1993-8985-2021 -24-4-27-36

Метод автоматизированного контроля электронных компонентов на микрофокусных рентгеновских снимках

Н. Е. Староверов^

Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), Санкт-Петербург, Россия

н [email protected]

Аннотация

Введение. Все более популярным становится внедрение в промышленность систем машинного зрения, особенно это актуально для контроля электронных компонентов. Одним из наиболее широко распространенных видов неразрушающего контроля является рентгеновский. Поскольку рассматриваемые электронные компоненты, как правило, имеют небольшой размер, то для повышения информативности контроля выполнять их рентгенографию целесообразно по схеме съемки с увеличением изображения. Специфика рентгеновской аппаратуры для выполнения таких исследований предполагает сравнительно небольшие входные дозы рентгеновского излучения в плоскости приемника, что обуславливает более высокую зашумленность снимков, чем при традиционной рентгенографии.

Цель работы. Разработка метода автоматизированного поиска объектов на микрофокусных рентгеновских снимках.

Методы и материалы. Предложен метод сегментации рентгеновских изображений. На первом шаге выполняется адаптивная медианная фильтрация, на втором шаге - коррекция фона изображения путем вычитания искажающей функции. Далее выделяются контуры объектов на изображении по методу Кэнни, затем на полученном изображении определяются объекты.

Результаты. Разработанный метод был апробирован в задаче контроля качества установки микросхем и в задаче определения числа электронных компонентов. Эксперименты подтвердили корректность работы предлагаемого метода. Было выявлено, что при определении качества установки микросхем количество обнаруженных дефектов отличается от верифицированных оператором не более чем на 10 %, при определении количества электронных компонентов предложенным методом средняя ошибка составила менее 0.1 %.

Заключение. Представленный метод определения объектов на микрофокусных рентгеновских снимках продемонстрировал достаточную точность в типичных задачах неразрушающего контроля электронных компонентов.

Ключевые слова: рентгеновское излучение, неразрушающий контроль, электронные компоненты, цифровая обработка изображений

Для цитирования: Староверов Н. Е. Метод автоматизированного контроля электронных компонентов на микрофокусных рентгеновских снимках // Изв. вузов России. Радиоэлектроника. 2021. Т. 24, № 4. С. 27-36. doi: 10.32603/1993-8985-2021 -24-4-27-36

Конфликт интересов. Автор заявляет об отсутствии конфликта интересов.

Статья поступила в редакцию 18.05.2021; принята к публикации после рецензирования 28.06.2021; опубликована онлайн 29.09.2021

© Староверов Н. Е., 2021

Контент доступен по лицензии Creative Commons Attribution 4.0 License This work is licensed under a Creative Commons Attribution 4.0 License

Television and Image Processing

Original article

A Method for Automated Control of Electronic Components on Microfocus X-ray Images

Nikolay E. Staroverov3

Saint Petersburg Electrotechnical University, St Petersburg, Russia

3 [email protected]

Abstract

Introduction. Machine vision systems are increasingly used in industrial production, particularly for monitoring the quality of electronic components. Radiographic (Х-ray) inspection is currently one of the most popular types of non-destructive testing. Electronic components are typically characterized by a small size, hence, their radiographic inspection should be based on obtaining images and their further enlargement. X-ray equipment for performing such studies is designed such that there are relatively small input doses of X-ray radiation in the plane of the receiver, which leads to a higher image noise than that using conventional X-ray devices. Aim. To develop a method for automated object recognition on microfocus X-ray images. Materials and methods. A method for segmentation of X-ray images is proposed. In the first step, adaptive median filtering is performed followed by correction of the image background by subtracting the distorting function. Next, the contours of the objects in the image are identified using the Canny edge detector followed by recognition of the objects on the resulting image.

Results. The developed method was tested for quality control of the installation of microcircuits and for determining the number of electronic components. The experiments confirmed the accuracy of the proposed method. When monitoring the quality of microcircuit installation, the number of detected defects differed from that verified by the operator by less than 10 %. The average error of the proposed method was less than 0.1% when determining the number of electronic components.

Conclusion. The proposed method for object recognition on microfocus X-ray images demonstrated sufficient accuracy in typical tasks of non-destructive testing of electronic components.

Keywords: X-ray radiation, non-destructive testing, electronic components, digital image processing

For citation: Staroverov N. E. A Method for Automated Control of Electronic Components on Microfocus X-ray Images. Journal of the Russian Universities. Radioelectronics. 2021, vol. 24, no. 4, pp. 27-36. doi: 10.32603/19938985-2021-24-4-27-36

Conflict of interest. The author declares no conflict of interest. Submitted 18.05.2021; accepted 28.06.2021; published online 29.09.2021

Введение. Все более популярным становится внедрение в промышленность систем машинного зрения, особенно это актуально для контроля электронных компонентов. Одним из наиболее широко распространенных видов неразрушающего контроля является рентгеновский, а одна из наиболее часто возникающих задач при неразру-шающем контроле электронных компонентов -контроль качества пайки микросхем BGA (Ball Grid Array). На корпусе такой микросхемы с обратной стороны находится массив шариков припоя. Микросхема устанавливается на контактную площадку печатной платы, затем выполняется пайка. Проконтролировать результаты пайки визуально невозможно, поэтому основным методом 28

контроля таких соединений является рентгеновский. Автоматизированный анализ пайки BGA-микросхем подробно рассмотрен в [1-4]. В [1] выделены основные параметры объектов на изображении, отвечающие за качество пайки, проведен анализ дефектов. Показаны методы автоматизированного определения таких дефектов пайки, как отклонение паяного соединения от круглой формы и короткого замыкания выводов.

Поскольку рассматриваемые электронные компоненты, как правило, имеют небольшой размер, то для повышения информативности контроля выполнять их рентгенографию целесообразно по схеме съемки с увеличением изображения [5-8]. Для того чтобы получить резкие рентгеновские снимки

по схеме с увеличением изображения, требуется использовать микрофокусные источники рентгеновского излучения (размер фокусного пятна менее 100 мкм - ГОСТ Р МЭК 60336-2010) [6]. Специфика рентгеновской аппаратуры для выполнения таких исследований предполагает сравнительно небольшие входные дозы рентгеновского излучения в плоскости приемника, что обуславливает более высокую зашумленность снимков, чем при традиционной рентгенографии. Кроме того, схема съемки с увеличением изображения предполагает неравномерный фон рентгеновского снимка.

Исходя из вышеизложенного, для автоматизированного анализа микрофокусных рентгеновских снимков требуется разработка специализированных методик, так как применение традиционных может не приводить к желаемым результатам.

В [2] предпринята попытка контроля установки BGA-микросхем при помощи специализированного фильтра. У этого метода есть очевидное достоинство - высокая точность анализа, однако использование такой фильтрации требует большого количества вычислительных ресурсов и достаточно много времени для анализа.

Еще одной важной задачей при неразрушаю-щем рентгеновском контроле является определение числа электронных компонентов в упаковке или на плате. Методы, обеспечивающие контроль числа компонентов, реализованы в программном обеспечении крупных производителей рентгеновского оборудования, например Nordson Dage, однако алгоритмы, которые использованы для этого, представляют коммерческую тайну и не опубликованы в открытых источниках.

Таким образом, актуальным представляется создание универсального метода выделения объектов в задачах неразрушающего контроля электронных компонентов при помощи микрофокусной рентгенографии.

Алгоритм сегментации рентгеновских изображений. Одной из основных задач, которые должны быть решены для выполнения автоматического анализа изображений, является сегментация. Рентгенография при помощи микрофокусных источников рентгеновского излучения позволяет получать снимки с прямым увеличением изображения. Однако снимки с увеличением изображения характеризуются неравномерным фоном изображения и увеличенным по сравнению с традиционной рентгенографией шумом изображения,

поэтому для микрофокусных снимков требуются специализированные алгоритмы сегментации.

На рис. 1 представлен алгоритм сегментации для микрофокусных рентгеновских изображений. На первом шаге выполняется адаптивная медианная фильтрация, алгоритм, представленный в [9], был изменен для корректной работы с микрофокусными рентгеновскими изображениями. На втором шаге выполняется коррекция фона изображения путем вычитания искажающей функции. Далее выделяются контуры объектов на изображении по методу Кэнни [10], затем на полученном изображении определяются объекты. Далее методы, входящие в алгоритм, будут рассмотрены подробнее.

Рис. 1. Алгоритм сегментации рентгеновских изображений

Fig. 1. Algorithm for segmentation of X-ray images

Адаптивный медианный фильтр. На сегодняшний день для шумоподавления на рентгеновских снимках чаще всего используются усредняющие фильтры или фильтры, основанные на порядковых статистиках (чаще всего медианные фильтры). Однако эти методы имеют значительные недостатки: слабое подавление импульсных шумов и искажение деталей на изображении. Этих недостатков лишен модифицированный адаптивный медианный фильтр.

Адаптивный медианный фильтр работает по алгоритму, представленому на рис. 2. Здесь Zmjn и Zmax - минимальное и максимальное значения яркости в окрестности S; Zmed - медиана яркости в окрестности S; Zp - значение яркости обрабатываемого пикселя; ^max - максимально допустимый размер окрестности. Алгоритм работает следующим образом: вначале происходит проверка,

С

Начало

)

A = 7 7 med - 7 • • mm5

A = 7 7 med - 7 max

Рис. 2. Алгоритм адаптивного медианного фильтра Fig. 2. Adaptive median filter algorithm

является ли медиана локальным минимумом или максимумом: если является, то, значит, выполнять фильтрацию нельзя и следует увеличить размер окрестности; если нет, то происходит переход к оценке центрального значения. В блоке оценки центрального значения проверяется, является ли значение яркости пикселя максимумом или минимумом окрестности: если является, то яркость пикселя меняется на медиану; если нет, то остается без изменений.

Рассмотренный фильтр подавляет шумы и при этом сохраняет значительно больше деталей изображения, чем обыкновенный медианный фильтр. Однако при фильтрации микрофокусных рентгеновских изображений было обнаружено, что в ряде случаев фильтр недостаточно эффективно удаляет шумы, например когда в окрестности не 1 зашум-ленный пиксель. В этом случае шумы остаются на изображении. Такое может происходить, если в приемнике изображения перестают работать несколько близко расположенных пикселей или если на люминесцирующий экран попадают мелкие металлические частицы. Для улучшения работы рассмотренного фильтра было предложено заменить в

блоке проверки центрального значения минимальное и максимальное значения яркости в окрестности 5" на значения яркости, идущие после минимума и перед максимумом (второй минимум и второй максимум) соответственно.

Коррекция фона изображения. При выполнении рентгенографии по схеме с прямым геометрическим увеличением возникает неравномерный фон изображения. В случае традиционной рентгенографии неравномерность фона невелика (не более 10 %), при съемке с увеличением изображения неравномерность фона может достигать 50 %. Объясняется это тем, что интенсивность рентгеновского излучения убывает пропорционально квадрату расстояния от центра фокусного пятна до точки, где осуществляется регистрация. Таким образом, на краях приемника изображения интенсивность рентгеновского излучения значительно меньше, чем в центре.

Неравномерный фон снимка существенно усложняет автоматизированный анализ рентгеновских изображений. Для устранения неравномерного фона изображения можно представить полученное изображение как сумму истинного изображения и искажающей функции. Искажающую функцию можно описать выражением

( х -;

д2 | (У ~ Утах f

g ( х,У ) = с

где С - константа, зависящая от параметров приемника излучения и режима работы рентгеновской трубки; х, у - координаты пикселя изображения; хтах и утах - размеры изображения.

Для определения константы С применяется следующий метод: по всем сторонам изображения на удалении 20 пикселей от края строятся профили, затем выполняется проверка профилей на разрывы первого рода. Если разрывы есть, то такой профиль исключается из рассмотрения. Для каждого профиля определяются минимум и максимум, находится их разность. Константа С определяется как средняя разность между минимумом и максимумом профилей по выражению

С =

N

X ak k

ak

N

где N - число профилей; ak

и ak

- мак-

симальное и минимальное значения яркости профиля к соответственно. Результат применения операции коррекции фона иллюстрируется рис. 3.

б

а

300 250 200 150 100 50 0

1000

800

1400

0

200

в г

Рис. 3. Рентгеновский снимок микросхемы: а - исходное изображение; б - изображение после коррекции фона; в - поверхность, построенная по исходному изображению; г - поверхность, построенная по изображению

после коррекции фона

Fig. 3. X-ray image of the chip: а - original image; б - image after background correction; в - the surface constructed from the original image; г - the surface constructed from the image after background correction

Как видно из рис. 3, фон изображения стал равномерным, что делает возможным его автоматизированный анализ.

Выделение контуров на изображении. Для выделения контуров на изображении был модифицирован алгоритм Кэнни. Для разработки этого алгоритма были использованы следующие критерии: детектор должен реагировать на границы, но при этом игнорировать ложные; точно определять линию границы (без ее фрагментирования); реагировать на каждую границу только один раз, что позволяет не воспринимать полосы плавного изменения яркости как совокупности границ. В [10] показано, что приближенное решение задачи определения контуров на изображении можно получить, если сначала сгладить изображение фильтром Гаусса:

где С (х, у) - функция Гаусса; (х, у) - координаты пикселя; о - произвольное положительное число. Затем при помощи оператора Собела (который сверткой с соответствующим ядром выделяет градиенты яркости) [11] найдем градиенты по вертикали и горизонтали. Обозначим сглаженное изображение как 5(х, у), тогда модуль и угол градиента вычисляются по формулам

Г - — -г - — ■

ох 7 оу

F ( х, y ) = >/ G2 + G2;

A( х, y) = arctan

Г G,}

Gr

( х2 + y 2 )

G ( х, y ) = e

2а2

где F (х, y) - модуль градиента; A (х, y) - угол градиента.

В классическом алгоритме на следующем этапе на изображении Е (х, у) выполняется подавление

немаксимальных точек (не являющихся локальным максимумом в окрестности), что необходимо для утончения контура. В данной статье этот этап реализован при помощи математической морфологии, а именно операции эрозии.

Эрозия множества А по множеству В - это множество таких точек 2, при сдвиге в которые множество В будет полностью содержаться в А. Для бинарного изображения морфологическая эрозия определяется выражением

А<ЭВ = {г\(В)=^А}.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Данная операция выполняется быстрее, чем подавление немаксимальных точек.

Заключительный этап алгоритма - пороговая обработка изображения для удаления ложных контуров. В отличие от используемого в оригинальном алгоритме двойного порога был использован динамический порог, описанный в [12], что позволило отказаться от лишних параметров. Реализация алгоритма подробно рассмотрена в [13].

Определение объектов. Для определения объектов на изображении использовалось бинарное изображение, полученное на предыдущем этапе. Затем методом обхода границы для каждой замкнутой области устанавливались точки, ей принадлежащие. В результате выполнения алгоритма были получены координаты точек, принадлежащих границам объектов на изображении.

Метод контроля качества установки BGA-микросхем. Описанный алгоритм может быть применен для сегментации микрофокусных рентгеновских снимков в широком круге задач, решаемых при помощи компьютерного зрения, а именно метода контроля качества установки BGA-микросхем и метода определения количества электронных компонентов в упаковке.

Для решения этой задачи к рентгеновским снимкам применялся разработанный алгоритм, после чего были получены границы объектов на изображении. Рентгеновское изображение после выделения контуров показано на рис. 4.

В данной статье выполнен поиск следующих дефектов пайки:

1. Короткие замыкания соседних выводов.

2. Отклонения формы паяного соединения от круга на 25 % и более.

3. Наличие пустот в паяном соединении более 10 % площади.

Для определения коротких замыканий в паяных соединениях анализируются периметры всех имеющихся на изображении объектов. Вычисляется медиана всех периметров. Если периметр объекта существенно отличается от медианы в большую сторону, то такой объект признается коротким замыканием.

Для проверки формы паяного соединения для каждого объекта на изображении требуется найти его площадь. Площадь каждого объекта определяется как все точки, лежащие внутри его границы.

оооооооооооооооооооооо

ОООООООООООООООООООООО

оооооооооооооооооооооо ОООООООООООООООООООООО

oooo О ООО

oooo oooo

oooo ■ oooo

oooo oooo

oooo oooooo oooo

oooo OQOO oooo

oooo OOÖÖOQ) oooo

oooo ooooOo oooo

oooo OOOOQO oooo

oooo oooooo oooo

oooo oooo

oooo oooo

oooo oooo

oooo oooo

ОООООООООООООООООООООО ОООООООООООООООООООООО ОООООООООООООООООООООО ОООООООООООООООООООООО

б

Рис. 4. Рентгеновский снимок микросхемы: а - исходное рентгеновское изображение; б - бинарное изображение с выделенными объектами

Fig. 4. X-ray image of the chip: а - the original X-ray image; б - binary image with selected objects

а

Для контроля формы паяного соединения используется коэффициент округлости, который определяется по выражению

R =

4nS

P

где £ - площадь объекта; Р - периметр объекта. Для круга К будет равен 1. При отклонении его значения от 1 более чем на 25 % объект признается дефектом пайки. Для определения пустот в паяном соединении не представляется возможным пользоваться методами определения краев на изображении, так как контраст областей слишком мал и получить связные контуры внутри шаров припоя затруднительно. Вместо этого используется оценка дисперсии яркости внутри каждого объекта на снимке.

Вероятность обнаружения ^-уровня яркости на снимке, математическое ожидание и дисперсия определяются выражениями [14]

р()=N;

1-Х

М = Е 2кР (ч); к=0

Ь-Х 9

В =Е(Ъ -М)2Р(2к), к=0

где zfr - ^-уровень яркости; N - количество пикселей, принадлежащих объекту; L - общее количество уровней яркости объекта. При наличии пустот в паяном соединении дисперсия яркости объекта значительно возрастает, поэтому такие объекты могут быть отмечены как дефекты пайки.

Метод определения количества электронных компонентов. При автоматическом монтировании электронных компонентов на печатную плату часто возникает задача контроля количества оставшихся компонентов SMD (Surface Mounted Device). Такой контроль довольно затруднительно осуществить вручную, поэтому для этой задачи широко используется рентгенография. Выполнив рентгенографический анализ упаковки с компонентами, можно определить их число.

Для решения этой задачи может быть применен разработанный алгоритм сегментации рентгеновских изображений. Однако при съемке с невысоким коэффициентом увеличения на приемник с размером пикселя 100 мкм и более требуется специализированная обработка изображения. Невысокий коэффициент увеличения обусловлен значительными линейными размерами исследуемого объекта. Часть рентгеновского снимка упаковки электронных компонентов приведена на рис. 5, а. Как видно из рисунка, некоторые компоненты сливаются друг с другом, что делает невозможным прямой подсчет их численности как числа объектов на изображении. Однако, построив

> о»в I

fv °0 oii ° о0 О

Оо 1«, о »О о 2 <5 е $ © 0 ос

оо оо i,« ' ° 6 О

* •**' Л* V* -

оо 00 Jo .50 ft|)ff \

«« ОО О о о О о . g * Ой оо ОО _ О о Л Л

° г «*в

«О « оо о а 8 S

* 1*\гш1»г

°° оо %*%6* о° а о о» о о о &> о° ©О ©о tfi а" о ©о о о с

Л

а б

Рис. 5. Рентгеновский снимок электронных компонентов: а - исходное изображение; б - изображение с выделенными компонентами

Fig. 5. X-ray of electronic components: а - the original image; б - image with selected components

Табл. 1. Результаты экспериментальной проверки метода определения качества установки BGA-микросхем Table 1. Experimental verification of the method for determining the quality of BGA microcircuit installation

Характеристики микросхем Определено оператором Определено алгоритмом Средняя ошибка, %

Количество выводов микросхемы 180 324 484 180 324 484 0

Количество микросхем 12 35 23 12 35 23 0

Короткие замыкания соседних выводов 3 4 4 3 4 4 0

Отклонения формы паяного соединения от круга на 25 % и более 18 12 2 18 10 1 9

Наличие пустот в паяном соединении более 10 % площади 16 14 14 14 10 13 9.3

Табл. 2. Результаты экспериментальной проверки метода определения количества компонентов Table 2. Experimental verification of the method for determining the number of components

Компоненты Тип корпуса Истинное значение Значение, определенное алгоритмом Ошибка, % Истинное значение Значение, определенное алгоритмом Ошибка, %

Конденсаторы 0402 5000 5001 0.02 4673 4675 0.0043

Конденсаторы 0603 5000 5000 0 4237 4237 0

Резисторы 0402 5000 5000 0 4587 4583 0.0087

Резисторы 0603 5000 4999 0.02 3456 3456 0.0039

Диоды sot23 5000 5002 0.04 2567 2568 0.026

Диоды sod123 5000 5001 0.02 3892 3891 0.026

гистограмму распределения числа объектов от их площади, можно видеть, что объекты разделены на два класса: первый класс - объект есть один электронный компонент; второй класс - два компонента.

Для того чтобы разделить эти два класса, можно найти оптимальный порог. Оптимальным будет порог, максимизирующий межклассовую дисперсию. Для этого использовался алгоритм, предложенный в [15].

На рис. 5, б показан снимок с наложенными на него контурами объектов. Синими контурами отмечены объекты, которые распознаны как один компонент, зелеными - объекты, распознанные как два компонента.

Обсуждение результатов. Экспериментальная проверка метода контроля качества установки BGA-микросхем проводилась при помощи набора данных, собранных на кафедре ЭПУ СПбГЭТУ "ЛЭТИ". Для проверки были использованы 70 микрофокусных рентгеновских снимков BGA-компонентов, полученных с помощью установки для контроля изделий микроэлектроники "Орел".

Как видно из табл. 1, различие количества дефектов, определенных оператором и алгоритмом не превышает 10 %.

Экспериментальная проверка метода определения количества электронных компонентов проводилась при помощи рентгеновской установки ПРДУ, предназначенной для различных рентгенографических исследований, в частности для нераз-рушающего контроля электронных компонентов. Результаты экспериментальной проверки метода представлены в табл. 2. Ошибка не превышает 0.01 от числа компонентов, что является приемлемым результатом.

Заключение. Был разработан метод автоматизированного контроля электронных компонентов на микрофокусных рентгеновских снимках. Микрофокусные рентгеновские снимки имеют специфические особенности, которые потребовали разработки специализированного алгоритма сегментации. Метод имеет небольшое количество параметров, что позволяет использовать его практически без участия оператора.

Предложенный метод был применен для решения двух практических задач: контроля качества пайки BGA-компонентов и определения количества электронных компонентов при помощи рентгенографии. В обоих случаях метод продемонстрировал удовлетворительные результаты, поэтому он может быть интегрирован в промышленную рентгеновскую аппаратуру.

Список литературы

1. Laghari M. S., Memon Q. A. Identification of faulty BGA solder joints in X-ray images // Intern. J. of Future Computer and Communication. 2015. Т. 4, № 2. P. 122-125. doi: 10.7763/IJFCC.2015.V4.369

2. Shao-hu Peng, Hyun Do Nam. Void defect detection in ball grid array X-ray images using a new blob filter // J. of Zhejiang University SCIENCE C. 2012. Vol. 13, № 11. P. 840-849. doi: 10.1631 /jzus.C1200065

3. Detection of defects at BGA solder joints by using X-ray imaging / T. Sumimoto, T. Maruyamay, Y. Azuma, S. Goto, M. Mondo, N. Furukawa, S. Okada // IEEE Intern. Conf. on Industrial Technology, 2002. IEEE ICIT'02. IEEE, 2002. Vol. 1. P. 238-241. doi: 10.1109/ICIT.2002.1189898

4. TGrer Akdeniz C., Dokur Z., Olmez T. Detection of BGA solder defects from X-ray images using deep neural network // Turkish J. of Electrical Engineering & Computer Sciences. 2020. Vol. 28, iss. 4. P. 2020-2029. doi: 10.3906/elk-1910-135

5. Staroverov N. E., Gryaznov A. Y., Kholopova E. D. Digital x-ray image processing with using adaptive histogram equalization and adaptive background correction // Биомедицинская радиоэлектроника. 2018. № 5. P. 56-58.

6. Мазуров А. И., Потрахов Н. Н. Возможности и ограничения микрофокусной рентгенографии в медицине //Биотехносфера. 2010. № 4. С. 20-24.

7. Микрофокусная рентгенография в медицине: физико-технические особенности и современные средства рентгенодиагностики / Н. Н. Потрахов, А. Ю. Грязнов, К. К. Жамова, В. Б. Бессонов, А. В. Обо-довский, Н. Е. Староверов, Е. Д. Холопова // Биотехносфера. 2015. № 5 (41). С. 55-63.

8. Грязнов А. Ю., Потрахов Е. Н., Потрахов Н. Н. Портативная установка для рентгеновского экпресс-контроля качества пищевой продукции // Биотехносфера. 2009. № 6. С. 26-28.

9. Гонсалес Р. С., Вудс Р. Е. Цифровая обработка изображений / пер. с англ. Л. И. Рубанова, П. А. Чочиа. М.: Техносфера, 2012. 1104 с.

10. Canny J. A computational approach to edge detection // IEEE Transactions on pattern analysis and machine intelligence. 1986. Vol. PAMI-8, № 6. P. 679-698.

11. Vincent O. R., Folorunso O. A descriptive algorithm for sobel image edge detection // Proc. of informing science & IT education conference (InSITE). Informing Science Institute California, 2009. Т. 40. P. 97-107. doi: 10.28945/3351

12. Xuan L., Hong Z. An improved canny edge detection algorithm // 8th IEEE intern. Conf. on software engineering and service science (ICSESS). IEEE, Shenyang, China, 2017. P. 275-278. doi: 10.1109/ICSESS.2017.8342913

13. Dynamic thresholding based adaptive canny edge detection / F. Hossain, M. Asaduzzaman, Md. A. Rahman, M. A. Yousuf // Intern. J. of Computer Applications. 2016. Vol. 135, iss. 4. P. 37-41. doi: 10.5120/ijca2016908337

14. Peebles P. Z., Shi B. E. Probability Random Variables and Random Signal Principles / ed. by S. W. Director // McGraw-Hill Series in Electrical Engineering. 2015. 349 p.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

15. A fast 2D otsu thresholding algorithm based on improved histogram / N. Zhu, G. Yang, W. Dai, G. Wang // Chinese Conf. on pattern recognition. IEEE, 2009. P. 1-5. doi: 10.1109/CCPR.2009.5344078

Информация об авторе

Староверов Николай Евгеньевич - аспирант 4-го года обучения, ассистент кафедры электронных приборов и устройств. Окончил магистратуру (2017) по направлению "Электроника и наноэлектроника" Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор 20 научных работ. Сфера научных интересов - рентгеновские методы контроля и диагностики. Адрес: Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), ул. Профессора Попова, д. 5, Санкт-Петербург, 197376, Россия E-mail: [email protected]

References

1. Laghari M. S., Memon Q. A. Identification of faulty BGA solder joints in X-ray images. Intern. J. of Future Computer and Communication. 2015, vol. 4, no. 2, pp. 122-125. doi: 10.7763/IJFCC.2015.V4.369

2. Shao-hu Peng, Hyun Do Nam Void defect detection in ball grid array X-ray images using a new blob filter. J. of Zhejiang University SCIENCE C. 2012, vol. 13, no. 11, pp. 840-849. doi: 10.1631/jzus.C1200065

3. Sumimoto T., Maruyamay T., Azuma Y., Goto S., Mondo M., Furukawa N., Okada S. Detection of defects at BGA solder joints by using X-ray imaging. IEEE Intern. Conf. on Industrial Technology, 2002. IEEE ICIT'02. IEEE, 2002, vol. 1, pp. 238-241. doi: 10.1109/ICIT.2002.1189898

4. Turer Akdeniz C., Dokur Z., Olmez T. Detection of BGA solder defects from X-ray images using deep neural network. Turkish J. of Electrical Engineering & Computer

35

Sciences. 2020, vol. 28, iss. 4, pp. 2020-2029. doi: 10.3906/elk-1910-135

5. Staroverov N. E., Gryaznov A. Y., Kholopova E. D. Digital x-ray image processing with using adaptive histogram equalization and adaptive background correction. J. Biomedical Radioelectronics. 2018, no. 5, pp. 56-58.

6. Mazurov A. I., Potrakhov N. N. Possibilities and limitations of microfocus radiography in medicine. J. Biotech-nosphere. 2010, no. 4, pp. 20-24.

7. Potrakhov N. N., Gryaznov A. Yu., Zhamova K. K., Bessonov V. B., Obodovsky A. V., Staroverov N. E., Kholopova E. D. Microfocus radiography in medicine: physical and technical features and modern means of X-ray diagnostics. J. Biotechnosphere. 2015, no. 5 (41), pp. 55-63.

8. Gryaznov A. Yu., Potrakhov E. N., Potrakhov N. N. Portable installation for X-ray express-quality control of food products. J. Biotechnosphere. 2009, no. 6, pp. 26-28.

9. Gonzalez R. S., Woods R. E. Digital image processing. Ed. by L. I. Rubanov, P. A. Chochia. M., Technosphera, 2012, 1104 p.

10. Canny J. A computational approach to edge detection. IEEE Transactions on pattern analysis and machine intelligence. 1986, vol. PAMI-8, no. 6, pp. 679-698.

11. Vincent O. R., Folorunso O. A descriptive algorithm for sobel image edge detection. Proc. of informing science & IT education conference (InSITE). Informing Science Institute California. 2009, vol. 40, pp. 97-107. doi: 10.28945/3351

12. Xuan L., Hong Z. An improved canny edge detection algorithm. 8th IEEE intern. Conf. on software engineering and service science (ICSESS). IEEE, Shenyang, China, 2017, pp. 275-278. doi: 10.1109/ICSESS.2017.8342913

13. Hossain F., Asaduzzaman M., Rahman Md. A., Yousuf M. A. Dynamic thresholding based adaptive canny edge detection. Intern. J. of Computer Applications. 2016, vol. 135, iss. 4, pp. 37-41. doi: 10.5120/ijca2016908337

14. Peebles P. Z., Shi B. E. Probability Random Variables and Random Signal Principles. Ed. by S. W. Director. McGraw-Hill Series in Electrical Engineering, 2015, 349 p.

15. Zhu N., Yang G., Dai W., Wang G. A fast 2D otsu thresholding algorithm based on improved histogram. Chinese Conf. on pattern recognition. IEEE, 2009, pp. 1 -5. doi: 10.1109/CCPR.2009.5344078

Information about the author

Nikolay E. Staroverov, Post-graduate student of fourth year, assistant at the Department of Electronic Systems and Devices. Graduated from the magistracy (2017) in the direction of "Electronics and nanoelectronics" of the Saint Petersburg Electrotechnical University. Author of 20 scientific papers. Area of expertise: X-ray methods of control and diagnostics.

Address: Saint Petersburg Electrotechnical University, 5 Professor Popov St., St Petersburg 197376, Russia E-mail: [email protected]

i Надоели баннеры? Вы всегда можете отключить рекламу.