Научная статья на тему 'Определение области перекрытия изображений электронных модулей'

Определение области перекрытия изображений электронных модулей Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
192
43
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ОБЛАСТЬ ПЕРЕКРЫТИЯ ИЗОБРАЖЕНИЙ / ПРЕОБРАЗОВАНИЕ ИЗОБРАЖЕНИЙ / ЭЛЕКТРОННЫЙ МОДУЛЬ / OVERLAPPING REGION OF IMAGES / IMAGE TRANSFORMATION / ELECTRONIC MODULE

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Игнатенкова О. А., Григоров М. С.

Исследованы особенности методов определения особых точек на изображениях электронных модулей с целью оценки возможности их применения для выявления области перекрытия. Сделан вывод о недостаточности применения данных методов для однозначного определения наличия области перекрытия. Рассмотрены особенности преобразования к единому центру координат изображений областей электронных модулей, не имеющих области перекрытия. Исследовано разложение матрицы проективного преобразования изображения в суперпозицию простых геометрических преобразований для изображения, получаемого в условиях формирования изображений областей электронных модулей. Предложен алгоритм определения наличия области перекрытия пары изображений областей электронных модулей, основанный на анализе матрицы проективного преобразования и определении параметров аффинного и проективного преобразования изображений при приведении их к единому центру координат. Предложенный алгоритм инвариантен относительно изменений масштаба и ориентации сшиваемых пар изображений областей электронных модулей и позволяет исключить в ходе сшивки изображения, полученные с искажениями, превышающими допустимые значения. Разработанный алгоритм может быть использован для оптимизации автоматизированных компьютерных алгоритмов обработки изображений электронных модулей и получения крупномасштабного изображения электронного модуля требуемого качества.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Игнатенкова О. А., Григоров М. С.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Determination of overlapping region for electronic module images

This paper deals with the examination of features of methods for determination of special points on electronic module images aimed at evaluating their application possibility for determination of an overlapping region. The conclusion is drawn about an insufficiency of the application of these methods for the unique determination of an overlapping region presence. Also this research considers features of the transformation to the uniform center of coordinates of electronic module image regions which do not have an overlapping region. We study a matrix decomposition of projective image transformation to the superposition of simple geometrical transformations for the image obtained within the conditions of formation of electronic module image regions. We propose an algorithm which determines an overlapping region presence of a couple of image regions of electronic modules based on the analysis of a projective transformation matrix and determination of parameters of an affine and projective transformation of images in case of their coercion to the uniform center of coordinates. The proposed algorithm is invariant with respect to scale changes and orientation of a pair of crosslinking images of electronic module regions and allows excluding images obtained with the distortions, which exceed admissible values, during the image stitching. The developed algorithm can be used for optimization of automated computer algorithms of processing of electronic module images and an acquisition of a large-scale electronic module image of the required quality.

Текст научной работы на тему «Определение области перекрытия изображений электронных модулей»

НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ сентябрь-октябрь 2018 Том 18 № 5 ISSN 2226-1494 http://ntv.i1mo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS September-October 2018 Vol. 18 No 5 ISSN 2226-1494 http://ntv.ifmo.ru/en

УДК 004.932

ОПРЕДЕЛЕНИЕ ОБЛАСТИ ПЕРЕКРЫТИЯ ИЗОБРАЖЕНИЙ ЭЛЕКТРОННЫХ МОДУЛЕЙ! О.А. Игнатенкова", М.С. Григоровb

a Войсковая часть 43753-С, Москва, 121351, Российская Федерация

b Академия Федеральной службы охраны Российской Федерации, Орел, 302034, Российская Федерация Адрес для переписки: [email protected] Информация о статье

Поступила в редакцию 20.06.18, принята к печати 20.07.18 doi: 10.17586/2226-1494-2018-18-5-870-877 Язык статьи - русский

Ссылка для цитирования: Игнатенкова О.А., Григоров М.С. Определение области перекрытия изображений электронных модулей// Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 5. С. 870-877. doi: 10.17586/2226-1494-2018-18-5-870-877

Аннотация

Исследованы особенности методов определения особых точек на изображениях электронных модулей с целью оценки возможности их применения для выявления области перекрытия. Сделан вывод о недостаточности применения данных методов для однозначного определения наличия области перекрытия. Рассмотрены особенности преобразования к единому центру координат изображений областей электронных модулей, не имеющих области перекрытия. Исследовано разложение матрицы проективного преобразования изображения в суперпозицию простых геометрических преобразований для изображения, получаемого в условиях формирования изображений областей электронных модулей. Предложен алгоритм определения наличия области перекрытия пары изображений областей электронных модулей, основанный на анализе матрицы проективного преобразования и определении параметров аффинного и проективного преобразования изображений при приведении их к единому центру координат. Предложенный алгоритм инвариантен относительно изменений масштаба и ориентации сшиваемых пар изображений областей электронных модулей и позволяет исключить в ходе сшивки изображения, полученные с искажениями, превышающими допустимые значения. Разработанный алгоритм может быть использован для оптимизации автоматизированных компьютерных алгоритмов обработки изображений электронных модулей и получения крупномасштабного изображения электронного модуля требуемого качества. Ключевые слова

область перекрытия изображений, преобразование изображений, электронный модуль

DETERMINATION OF OVERLAPPING REGION FOR ELECTRONIC MODULE IMAGES O.A. Ignatenkova", M.S. Grigorovb

a Military Unit 43753-S, Moscow, 121351, Russian Federation

bAcademy of Federal Agency of Protection of the Russian Federation, Oryol, 302034, Russian Federation Corresponding author: [email protected] Article info

Received 20.06.18, accepted 20.07.18 doi: 10.17586/2226-1494-2018-18-5-870-877 Article in Russian

For citation: Ignatenkova O.A., Grigorov M.S. Determination of overlapping region for electronic module images. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2018, vol. 18, no. 5, pp. 870-877 (in Russian). doi: 10.17586/2226-1494-2018-185-870-877

Abstract

This paper deals with the examination of features of methods for determination of special points on electronic module images aimed at evaluating their application possibility for determination of an overlapping region. The conclusion is drawn about an insufficiency of the application of these methods for the unique determination of an overlapping region presence. Also this research considers features of the transformation to the uniform center of coordinates of electronic module image regions which do not have an overlapping region. We study a matrix decomposition of projective image transformation to the

superposition of simple geometrical transformations for the image obtained within the conditions of formation of electronic module image regions. We propose an algorithm which determines an overlapping region presence of a couple of image regions of electronic modules based on the analysis of a projective transformation matrix and determination of parameters of an affine and projective transformation of images in case of their coercion to the uniform center of coordinates. The proposed algorithm is invariant with respect to scale changes and orientation of a pair of crosslinking images of electronic module regions and allows excluding images obtained with the distortions, which exceed admissible values, during the image stitching. The developed algorithm can be used for optimization of automated computer algorithms of processing of electronic module images and an acquisition of a large-scale electronic module image of the required quality. Keywords

overlapping region of images, image transformation, electronic module

Введение

На различных этапах производства и эксплуатации электронных модулей (ЭМ) к их качеству предъявляется ряд высоких требований. Одним из самых распространенных в настоящее время методов контроля качества ЭМ является оптический контроль, основанный на получении изображений ЭМ и их анализе на предмет наличия и локализации дефектов. При этом масштаб получаемых изображений должен быть достаточным для решения задачи распознавания и последующего анализа элементов ЭМ. С учетом того, что для получения изображения ЭМ максимально возможного масштаба необходимо получение максимально увеличенного изображения на матрице фотокамеры, крупномасштабное изображение ЭМ (КИ ЭМ) можно определить как изображение ЭМ, полученное посредством последовательной съемки и последующей сшивки изображений областей ЭМ (ОЭМ), сформированных в условиях минимальной дистанции фокусировки фотокамеры, максимально возможного фокусного расстояния линзы фотокамеры и минимально возможного в указанных условиях расстояния от фотографируемого ЭМ до линзы фотокамеры [1].

В работе [2] показаны следующие недостатки существующих систем проведения автоматической оптической инспекции (АОИ) и их специализированного программного обеспечения, непосредственно управляющего этими системами:

1. алгоритмы, реализующие задачу формирования КИ с высоким разрешением, основаны на сшивке изображений по координатной сетке. В случае нарушения позиционирования фотокамеры процесс обнаружения дефектов будет связан с большим количеством ошибок;

2. программно-алгоритмическое обеспечение рассматриваемых систем является интеллектуальной собственностью производителя, что не позволяет применять и адаптировать его для систем другого типа.

Габариты систем АОИ значительно превышают размеры анализируемых ЭМ, так, например, габариты универсальной инспекционной системы X7056 компании VISCOM, способной анализировать ЭМ размером до 610 х 508 мм (24" х 20"), составляют 1,74 х 1,62 х 3,16 м, а вес, в зависимости от комплектации, - от 2500 кг до 3600 кг [2]. Таким образом, транспортирование таких систем, как и транспортирование ЭМ к местам расположения систем АОИ, требует дополнительных финансовых и временных затрат.

Следовательно, на сегодняшний день актуальна задача совершенствования алгоритмического и программного обеспечения систем АОИ, с целью устранения недостатков формирования КИ посредством систем АОИ, а также возможности его использования в ходе разработки мобильных систем автоматической инспекции (МАОИ). C учетом того, что в соответствии с требованиями ГОСТ 10317-791 максимальный размер любой из сторон ЭМ должен быть не более 470 мм, максимальный размер рабочего поля МАОИ должен составлять 470 х 470 мм.

При получении изображений ЭМ посредством сканера на одном и том же изображении элементы ЭМ будут получены под разными углами обзора, что накладывает ограничения на проведение их последующего анализа и делает невозможным сравнение их изображений с эталонными.

Таким образом, для эффективного решения задач автоматизации оптического контроля изображений ЭМ представляется целесообразной разработка алгоритма формирования КИ ЭМ, в соответствии с механизмом получения изображения ЭМ требуемого качества, приведенным в работе [1]. Одной из задач здесь является определение наличия области перекрытия пары изображений ОЭМ.

При этом предполагается формирование изображений ОЭМ в следующих условиях:

- могут применяться области перекрытия, занимающие более 50% от размеров изображений (с целью дальнейшего получения изображения требуемого качества);

- расположение областей перекрытия и их размеры заранее не определены и могут быть уникальны для каждой пары изображений;

- изображения ОЭМ могут быть сформированы не последовательно (соседние изображения во всем наборе изображений ОЭМ могут не иметь области перекрытия);

- изображения ОЭМ могут быть получены с некоторыми искажениями, такими как, например, изменения масштаба (с учетом небольших различий положения фотокамеры относительно ЭМ и ее фокуси-

1 ГОСТ 10317-79. Платы печатные. Основные размеры. Введ. 01.01.80. М.: Изд-во стандартов, 1985. 3 с.

ровки при формировании изображения), небольшие наклоны и повороты изображений друг относительно друга.

В приведенных условиях алгоритмы определения области перекрытия изображений, основанные на вычислении характеристик схожести изображений в предполагаемой области перекрытия, таких как, например, средний модуль разности яркостей пикселей [3] или коэффициент корреляции [4], являются неэффективными в связи с тем, что данные методы чувствительны к различного рода искажениям, в том числе к поворотам изображений друг относительно друга и изменениям освещенности.

Таким образом, для определения области перекрытия пары изображений необходимо применение методов, инвариантных к искажениям в процессе съемки изображений ОЭМ [5] и основанных на поиске особых точек изображений (пикселей, характеристики которых, например, яркость, значительно отличаются от аналогичных характеристик соседних пикселей) [6] и последующем их сопоставлении для пары изображений.

С учетом того, что эффективность методов поиска и сопоставления особых точек может различаться в зависимости от типа изображений, по отношению к которым они применяются, в рамках работы проведена оценка эффективности методов поиска и сопоставления особых точек при обработке изображений ЭМ, а также предложен алгоритм определения наличия области перекрытия пары изображений ОЭМ, который может быть использован для оптимизации алгоритма формирования КИ ЭМ.

Особенности определения области перекрытия изображений посредством

поиска особых точек

Одними из наиболее известных алгоритмов определения особых точек являются Scale Invariant Feature Transform (SIFT) [7] и Speed Up Robust Feature (SURF) [8]. В то же время согласно [9] метод SIFT обладает высокой сложностью обработки, и его применение целесообразно при размере входного изображения 320^240 точек. При размере изображения в 3 мегапикселя обработка пары снимков требует порядка 2-3 мин. Как показано в работе [10], недостатки SURF проявляются на сильно размытых фотографиях, при сшивке разномасштабных фотографий, а также при смене угла обзора.

Задача формирования КИ ЭМ заключается в последовательном сшивании пар изображений, соответствующих различным ОЭМ. Процедура сшивки указанных изображений рассматривается в условиях, когда изображения ОЭМ сделаны с одного ракурса со смещением друг относительно друга в горизонтальном и (или) вертикальном направлении, при этом должны выполняться требования к механизму получения изображения ЭМ требуемого качества, приведенные в работе [1]. В данных условиях недостатки алгоритма SURF не проявляются, таким образом, применение метода SIFT, который работает в 2,5 раза медленнее SURF, для поиска особых точек на изображениях ЭМ представляется нецелесообразным.

В табл. 1 представлены результаты эксперимента по определению особых точек посредством методов SURF, детектора Харриса [11], Features from Accelerated Segment Test (FAST) [12] и Maximally Stable Extremal Regions (MSER) [13] для 20 пар изображений ОЭМ.

Метод Среднее число определенных особых точек

SURF 214

детектор Харриса 40

FAST 10

MSER 80

Таблица 1. Результаты работы методов определения количества особых точек на изображениях

электронных модулей

Из табл. 1 видно, что для определения числа особых точек для пары изображений ОЭМ метод SURF является наиболее эффективным.

В то же время в ходе проведения эксперимента по определению особых точек посредством метода SURF было установлено, что в случае сравнения пары изображений, не имеющих области перекрытия, последующее применение алгоритма RANdom SAmple Consensus (RANSAC), исключающего из наборов установленных соответствий особых точек изображений мнимые соответствия [14], не исключает все установленные соответствия особых точек, которые являются мнимыми. Таким образом, делается вывод о наличии области перекрытия для пары изображений, не имеющих указанной области.

Особенности преобразования к единому центру координат изображений ОЭМ, не имеющих

области перекрытия

Для приведения координат изображения одной ОЭМ к координатам другой применяется метод NDLT (Normalized Direct Linear Transformation), посредством которого осуществляется построение проективного преобразования. Проективное преобразование позволяет провести преобразование координат пикселей одного изображения в координаты относительно другого: P' = TP , где P - исходные координа-

ты пикселей изображения, P' - координаты пикселей изображения, преобразованные по отношению к координатам другого изображения, T- матрица проективного преобразования (МММ) [6].

Все особые точки, определенные посредством последовательного применения методов SURF и RANSAC для пары изображений, не имеющих области перекрытия, являются мнимыми. В то же время в общем случае по ним может быть определена МПП. Преобразование изображений ОЭМ к единому центру координат в данном случае приводит к тому, что по крайне мере одно изображение является сильно искаженным.

Пример набора мнимых особых точек, определенных для пары изображений ОЭМ, не имеющих области перекрытия, представлен на рисунке, а. На рисунке, б, представлены изображения ОЭМ, преобразованные к единому центру координат посредством определенной МПП.

а б

Рисунок. Мнимые соответствия особых точек для пары изображений областей электронных модулей (а);

изображения областей электронных модулей, преобразованные к единому центру координат (б)

Таким образом, для определения наличия или отсутствия области перекрытия необходимо применение дополнительных методов анализа изображений ОЭМ.

Оценка наличия области перекрытия пары изображений ОЭМ посредством анализа МПП

В процессе формирования изображений ОЭМ в соответствии с механизмом получения изображения ЭМ требуемого качества, приведенным в работе [1], могут быть получены изображения с некоторыми искажениями. МПП представляет собой группу простых геометрических преобразований изображения и в рассматриваемых условиях формирования изображений ОЭМ может включать в себя набор аффинных преобразований, а также проективное преобразование изображения.

Таким образом, представляется целесообразным в качестве дополнительного метода анализа изображений ОЭМ на наличие области перекрытия применять анализ МПП с целью определения параметров аффинного и проективного преобразования изображений при приведении их к единому центру координат.

В работе [15] приведено разложение матрицы центроаффинного преобразования в суперпозицию простых геометрических преобразований для случая комбинированного преобразования БХи, где Б - матрица неоднородного масштаба; Х- матрица косого сдвига вдоль оси х; и - матрица поворота; X и ц - коэффициенты масштабирования; h - коэффициент косого сдвига; а - угол поворота относительно

начала координат:

i a~\

12

a

sin а

(1)

X 0 Y1 h Y cos а

21 a22 J ^ 0 цУ^О 1J^- sin а cos ay

Для определения параметров указанного преобразования (1) производится решение следующей системы уравнений:

a11 = X(cos a- h sin а), a12 = X(sin a + h cos a),

a21 = -Ц sin a, a22 = ц cos a.

При разрешении уравнений (2) относительно a, h, X, ц получаются следующие значения [15]:

(2)

(

а = arctg

а

22 У

(

cos

arctgl —^i-

(3)

h = а 21а11 +а 22а12 а11а 22 — а12а 21

X = апа22 —а12«21 cos a22

í í arctgl

v V

л22 У

В процессе формирования изображений ОЭМ общим случаем комбинированного преобразования будет являться КБ'Х'и'Я, где К - матрица смещения по осям х и у, Б' - матрица неоднородного масштаба, X' - матрица косого сдвига вдоль оси х, и' - матрица поворота, Я- матрица наклона (при этом К, Б', X' и и' являются аффинными преобразованиями, Я - проективным), тх и ту - коэффициенты смещения по осям х и у соответственно, е и ф - коэффициенты наклона:

í t11 t12 Í13 ^

¿21 l22 ¿23

V ¿31 ¿32 ^3 У

í 1 0

0YX 0 0Y1 h 0Y cos а sin а 0Y1 0 еЛ

0

0 ц 0

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

0 1 0

— sin а cos а 0 00

0 1 ф

1 А° 0 1 у

(4)

Для определения параметров преобразования (4) производится решение следующей системы уравнений:

tn = X(cos а — h sin а), t\2 =X(sin а + h cos а), t21 = —Ц sin а, t22 = ц cos а,

< t31 = Xxx cos а — sin а(Xтxh + цту), (5)

t32 = Xtx sin а + cos а(Xтxh + цту), tj3 = eX(cos а — h sin а)+фХ(ш а + h cos а), t23 = —ец sinа + фцcos а,

t33 = e(Xxx cos а — sin а(Xтxh + цту) ^(Xxxsin а + cos а(Xтxh + цту))+1.

Из (3) и (5) видно, что a11 = t11, a12 = t12, a21 = t21, a22 = t22. Таким образом, значения а, h, X, ц, приведенные в (3), справедливы для случая комбинированного преобразования KD'X'U'R .

При разрешении уравнений (5) относительно то, ту, е, ф получаются следующие значения:

ту =

е =

ф =

t31t22 t32t21

t22t11 — t12t21

t32t11 — t31t12

t22t11 — t21t12

t12t23 " — t22t13

t21t12 " — t11t22

= t13 — "et12

где - значения матрицы комбинированного преобразования КБ'Х'и'.

В табл. 2 представлены результаты эксперимента по определению параметров комбинированного преобразования для 20 пар изображений ОЭМ, имеющих область перекрытия, а также 20 пар изображений ОЭМ, не имеющих области перекрытия (параметры матрицы смещения по осям х и у не рассматриваются ввиду отсутствия влияния на трансформацию изображения).

По результатам анализа данных табл. 2 можно сделать следующие выводы.

1. Для пары изображений, имеющих область перекрытия:

- параметр поворота (а) не превышает нескольких градусов;

- параметр косого сдвига (И) имеет значение, близкое к нулю.

2. Для пары изображений, не имеющих области перекрытия:

- параметры поворота (а) и косого сдвига (И) на порядок и более превышают значение аналогичных параметров для пары изображений, имеющих область перекрытия.

a

21

a

22

a

22

a

21

t

3. Для пар изображений, как имеющих, так и не имеющих области перекрытия:

- значения параметров масштабирования (X, ц) и наклона (е, ф) не являются информативными и не могут применяться с целью определения критериев оценки наличия или отсутствия области перекрытия.

Параметр Диапазон значений параметра для пары изображений

имеющих область перекрытия не имеющих области перекрытия

Поворота(а, градусы) -0,785520—а < 2,017328 15,983519< а < 71,287781

Косого сдвига (к) -0,036751— к < 0,020090 2416164< к <49237412

Масштабирования (X) 0,919988—X — 1,008762 -0 < X < 0

Масштабирования (ц) 0,967411—ц< 1,007639 -6,786528 <ц< 0,548084

Наклона(е) -0,000008— е< 0 -0,000317—е< 0,001630

Наклона (ф) -0,000005 <ф< 0,000001 -0,002867 <ф< 0,000245

Таблица 2. Диапазоны значений параметров проективного преобразования для различных пар изображений (значения коэффициентов к, X, ц, е, ф являются безразмерными величинами)

С учетом указанных выводов для определения наличия области перекрытия пары изображений ОЭМ представляется целесообразным проведение оценки значений параметров поворота (а) и косого сдвига (к). С целью повышения качества КИ ЭМ, получаемого в процессе сшивания изображений ОЭМ, пороговые значения данных параметров должны определяться по результатам сравнения качества сшивки набора пар изображений ОЭМ, сформированных в процессе съемки с различными искажениями, полученными случайным образом в условиях формирования изображений ОЭМ, рассматриваемых в данной работе.

Определение указанных пороговых значений позволит исключить в ходе формирования КИ ЭМ изображения ОЭМ, полученные с искажениями, превышающими допустимые значения и влияющими на качество КИ ЭМ, и является предметом дальнейших исследований. Для их проведения предварительной оценки представляется целесообразным применение значений математического ожидания (МО) рассматриваемых параметров и среднеквадратического отклонения от их МО:

0 — атах фа±8а|, 0 < ктах <К ±8й| ,

где атах- пороговое значение параметра поворота (а), ктах- пороговое значение параметра косого сдвига (к), ц - МО соответствующего параметра, 8 - среднеквадратическое отклонение соответствующего параметра от МО.

При проведении эксперимента по определению параметров комбинированного преобразования для 20 пар изображений ОЭМ, результаты которого представлены в табл. 2, были получены следующие значения МО и среднеквадратического отклонения параметров поворота (а) и косого сдвига (к) для изображений, имеющих область перекрытия: ца = 0,365986, 8а = 0,693035, цк =-0,010868, 8к = 0,017460. Таким образом, пороговые значения данных параметров будут находиться в следующих диапазонах: 0 — атах — 0,365986 + 0,6930351,

0 — ктах <|-0,010868 + 0,0174601.

Таким образом, для однозначного определения наличия области перекрытия и целесообразности сшивки анализируемых пар изображений ОЭМ при формировании итогового КИ ЭМ требуемого качества, предлагается следующий алгоритм.

1. Вычисление МПП для пары изображений ОЭМ.

2. Определение параметров проективного преобразования.

3. Вывод о применимости анализируемой пары изображений для формирования итогового КИ ЭМ, который делается при выполнении следующих условий:

- 0 < |а| < атах ;

- 0 < Щ < ктах.

При наличии нескольких изображений одной ОЭМ для формирования итогового КИ ЭМ применяется изображение, имеющее наименьшее значение параметров поворота и косого сдвига, а следовательно, наименьшие искажения в процессе сшивки.

Применение указанного подхода позволит решить следующие задачи в процессе сшивания изображений ОЭМ и формирования КИ ЭМ требуемого качества:

- исключить в процессе последовательной сшивки изображений ОЭМ сшивку изображений, не имеющих области перекрытия, и, как следствие, искажение итогового КИ ЭМ;

- повысить качество итогового изображения за счет применения для формирования КИ ЭМ изображений ОЭМ, полученных с наименьшими искажениями.

Заключение

Предложенный подход к определению наличия области перекрытия изображений посредством анализа матрицы проективного преобразования учитывает процесс формирования изображений областей электронных модулей и позволяет сделать однозначный вывод о наличии области перекрытия для пары изображений областей электронных модулей. Данный алгоритм инвариантен к изменениям масштаба и ориентации сшиваемых пар изображений областей электронных модулей, позволяет учесть искажения в процессе съемки данных изображений, исключить в ходе сшивки изображения, полученные с искажениями, превышающими допустимые значения, и может быть использован для оптимизации автоматизированных компьютерных алгоритмов обработки изображений электронных модулей и получения крупномасштабного изображения электронного модуля требуемого качества. Показана целесообразность определения допустимых значений параметров поворота и косого сдвига в качестве направления дальнейших исследований в целях повышения качества формируемого крупномасштабного изображения электронного модуля.

Литература

1. Игнатенкова О.А., Осипенко А.А. Крупномасштабные изображения электронных модулей // Проблемы фундаментальной и прикладной информатики в управлении, автоматизации и мехатронике: Сборник научных трудов Международной научно-технической конференции. Курск, 2017. С. 42-44.

2. Осипенко А.А., Игнатенкова О.А., Григоров М.С., Басов О.О. Обоснование необходимости совместного применения автоматической оптической инспекции и неразрушающего рентгеновского контроля электронных модулей // Научный результат. Информационные технологии. 2017. Т. 2. № 2. C. 3-8. doi: 10.18413/2518-1092-2017-2-2-3-8

3. Theodoridis S., Koutroumbas K. Pattern Recognition. 4th ed. NY: Academic Press, 2009. 984 p.

4. Rankov V., Locke R.J., Edens R.J. et al. An algorithm for image stitching and blending // Three Dimensional and Multidomensional Microscopy: Image Acquisition and Processing. San Jose, 2005. P. 190-199. doi: 10.1117/12.590536

5. Adel E., Elmogy M., Elbakry H. Image stitching system based on ORB feature based technique and compensation blending // International Journal of Advanced Computer Science and Applications. 2015. V. 6. N 9. doi: 10.14569/ijacsa.2015.060907

6. Панков В.В., Каплиева Н.А. Создание панорамных изображений методами компьютерного зрения // Вестник ВГУ. Серия: системный анализ и информационные технологии. 2014. № 4. С. 71-74.

7. Lowe D.G. Distinctive image features from scale-invariant keypoints // International Journal of Computer Vision. 2004. V. 60. N 2. P. 91-110. doi: 10.1023/b:visi.0000029664.99615.94

8. Bay H., Ess A., Tuytelaars T., Gool L.V. Speeded-Up Robust Features (SURF) // Computer Vision and Image Understanding. 2008. V. 110. N 3. P. 346-359. doi: 10.1016/j.cviu.2007.09.014

9. Цудиков М.Б., Акименко Т.А., Горбунова О.Ю. Аппаратно-программное формирование панорамы // Известия ТулГУ. Технические науки. 2012. № 3. С. 356-363.

10. Khan N.Y., McCane B., Wyvil G. SIFT and SURF performance evaluation against various image deformations on benchmark dataset // Proc. Int. Conf. on Digital Image Computing: Techniques and Applications. 2011. P. 501-506. doi: 10.1109/DICTA.2011.90

11. Harris C., Stephens M. A combined corner and edge detector // Fourth Alvey Vision Conference. Manchester, 1988. P. 147151. doi: 10.5244/c.2.23

12. Trajkovic M., Hedley M. Fast corner detection // Image and Vision Computing. 1998. V. 16. N 2. P. 75-87.

13. Matas J., Chum O., Urban M., Pajdla T. Robust wide-baseline stereo from maximally stable extremal regions // Image and

References

1. Ignatenkova O.A., Osipenko A.A. Large-scale images of electronic modules. Proc. Int. Science-Technical Conf. on Problems of Fundamental and Applied Informatics in Control, Automation and Mechatronics. Kursk, Russia, 2017, pp. 4244.

2. Osipenko A.A., Ignatenkova O.A., Grigorov M.S., Basov O.O. Justification for need of combined use of automatic optical inspection and nondestructive x-ray control of electronic modules. Research Result, Information Technologies Series, 2017, vol. 2, no. 2, pp. 3-8. (in Russian) doi: 10.18413/2518-1092-2017-2-2-3-8

3. Theodoridis S., Koutroumbas K. Pattern Recognition. 4th ed. NY, Academic Press, 2009, 984 p.

4. Rankov V., Locke R.J., Edens R.J. et al. An algorithm for image stitching and blending. Three Dimensional and Multidomensional Microscopy: Image Acquisition and Processing. San Jose, 2005, pp. 190-199. doi: 10.1117/12.590536

5. Adel E., Elmogy M., Elbakry H. Image stitching system based on ORB feature based technique and compensation blending. International Journal of Advanced Computer Science and Applications, 2015, vol. 6, no. 9. doi: 10.14569/ijacsa.2015.060907

6. Pankov V.V., Kaplieva N.A. Creating panoramic images with the computer vision methods. Proceedings of Voronezh State University. Series: Systems Analysis and Information Technologies, 2014, no. 4, pp. 71-74. (in Russian)

7. Lowe D.G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, vol. 60, no. 2, pp. 91-110. doi: 10.1023/b:visi.0000029664.99615.94

8. Bay H., Ess A., Tuytelaars T., Gool L.V. Speeded-Up Robust Features (SURF). Computer Vision and Image Understanding, 2008, vol. 110, no. 3, pp. 346-359. doi: 10.1016/j.cviu.2007.09.014

9. Tsudikov M.B., Akimenko T.A., Gorbunova O.Y. Hardware and software creation of a panorama. Izvestiya TulGU, 2012, no. 3, pp. 356-363. (in Russian)

10. Khan N.Y., McCane B., Wyvil G. SIFT and SURF performance evaluation against various image deformations on benchmark dataset. Proc. Int. Conf. on Digital Image Computing: Techniques and Applications, 2011, pp. 501-506. doi: 10.1109/DICTA.2011.90

11. Harris C., Stephens M. A combined corner and edge detector. Fourth Alvey Vision Conference. Manchester, 1988, pp. 147-151. doi: 10.5244/c.2.23

12. Trajkovic M., Hedley M. Fast corner detection. Image and Vision Computing, 1998, vol. 16, no. 2, pp. 75-87.

13. Matas J., Chum O., Urban M., Pajdla T. Robust wide-baseline stereo from maximally stable extremal regions. Image and

Vision Computing. 2004. V. 22. N 10. P. 761-767. doi: 10.1016/j.imavis.2004.02.006

14. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Communications of the ACM. 1981. V. 24. N 6. P. 381-395. doi: 10.1145/358669.358692

15. Путятин Е.П., Яковлева Е.В., Любченко В.А. Разложение матрицы центроаффинного преобразования для нормализации изображений // Радиоэлектроника и информатика: Харьковский национальный университет радиоэлектроники. 1998. № 4. С. 91-94.

Vision Computing, 2004, vol. 22, no. 10, pp. 761-767. doi: 10.1016/j.imavis.2004.02.006

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

14. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM, 1981, vol. 24, no. 6, pp. 381-395. doi: 10.1145/358669.358692

15. Putyatin E.P., Yakovleva E.V., Lyubchenko V.A. Decomposition of the centro-affine transformation matrix for normalization of images. Radioelektronika i Informatika: Khar'kovskii Natsional'nyi Universitet Radioelektroniki, 1998, no. 4, pp. 91-94. (in Russian)

Авторы

Игнатенкова Олеся Александровна - сотрудник, Войсковая часть 43753-С, Москва, 121351, Российская Федерация, ORCID ГО: 0000-0003-4517-7697, [email protected] Григоров Михаил Сергеевич - кандидат технических наук, сотрудник, Академия Федеральной службы охраны Российской Федерации, Орел, 302034, Российская Федерация, ORCID ГО: 0000-0003-4938-3818, [email protected]

Authors

Olesya A. Ignatenkova - officer, Military Unit 43753-S, Moscow, 121351, Russian Federation, ORCID ID: 0000-0003-4517-7697, [email protected]

Mikhail S. Grigorov - PhD, officer, Academy of Federal Agency of Protection of the Russian Federation, Oryol, 302034, Russian Federation, ORCID ID: 0000-0003-4938-3818, [email protected]

i Надоели баннеры? Вы всегда можете отключить рекламу.