Научная статья на тему 'Подход для повторной идентификации модели транспортного средства по его изображению'

Подход для повторной идентификации модели транспортного средства по его изображению Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
326
89
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ОБРАБОТКА ВИЗУАЛЬНЫХ ДАННЫХ / МАШИННОЕ ОБУЧЕНИЕ / СВЕРТОЧНЫЕ НЕЙРОННЫЕ СЕТИ / ВЫДЕЛЕНИЕ ПРИЗНАКОВ ОБЪЕКТОВ / СРАВНЕНИЕ ПРИЗНАКОВ ОБЪЕКТОВ / СЕТЬ ALEXNET / VISUAL DATA PROCESSING / MACHINE LEARNING / CONVOLUTIONAL NEURAL NETWORKS / FEATURE EXTRACTION / FEATURE COMPARISON / ALEXNET

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Немцев Н.С.

Постановка задачи. В работе проведено исследование существующих методов выделения и сравнения признаков объектов, используемых в задаче повторной идентификации (верификации) модели транспортного средства по его изображению, являющейся одной из наиболее важных задач, стоящих перед системами автоматизированного контроля дорожной обстановки и решаемой за счет сравнения признаков верифицируемого автомобиля с некоторым набором признаков, полученных системой контроля ранее, и принятия решения о принадлежности сравниваемых образцов к одной модели транспортного средства или к разным. Предложен метод выделения и сравнения векторов признаков модели автомобиля по его изображению, основанный на использовании сверточных нейронных сетей. Проведено сравнение эффективности предложенного подхода с существующими алгоритмами повторной идентификации моделей транспортных средств по критерию точности верификации (accuracy). Метод. В статье описан подход, используемый для выделения вектора признаков изображения транспортного средства и его последующего сравнения с эталонным вектором для анализа схожести. В основе подхода лежит метод выделения вектора признаков с использованием классификационной сверточной нейронной сети и критерий сравнения векторов признака, базирующийся на технике подсчета совпадающих признаков. Основные результаты. Предлагаемый подход демонстрирует точность, сопоставимую с современными аналогичными методами в сценариях использования, когда обрабатываемые данные обладают характеристиками, совпадающими с тренировочными (используется похожая модель камеры и ракурсы съемки, схожий уровень освещения и шумов, верифицируемые модели автомобилей, содержатся и в наборе данных, используемых для тренировки классификационной сети), и демонстрирует значительно более высокую сравнительную точность повторной идентификации при обработке данных, значительно отличающихся от тренировочных, при более низкой вычислительной сложности и размерности используемого вектора признаков. Практическая значимость. Предложенный подход может быть использован на практике в задаче идентификации модели транспортного средства в системах контроля дорожной обстановки.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Немцев Н.С.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Image-based approach for vehicle model re-identification

Subject of Research. The paper presents a study of the existing methods for identifying and comparing the features of objects used in the re-identification task of vehicle model by its image. This task is one of the most important tasks facing automated traffic control systems, and it is solved by comparing the features of the vehicle being verified with a certain set of features obtained earlier by the monitoring system. Then decision is made whether the compared samples belong to the same vehicle model or to different ones. A method is proposed for feature vectors extraction and comparison of vehicle model according to its image. The method is based on the use of convolutional neural networks. The proposed approach is compared with existing algorithms for vehicle model re-identification by the accuracy criterion. Method. The paper describes the approach for vehicle image feature vector extraction and its subsequent comparison with the reference vector for similarity examination. The approach is based on the method of feature vector extraction, using classification convolutional neural network, and on comparison criterion for feature vectors applying the estimate of coincidental features. Main Results. The proposed vehicle model verification method demonstrates accuracy comparable to modern analogous in scenarios when the testing data have characteristics that coincide with training ones (similar camera model and camera angles are used; the level of lighting and noise are similar; models of re-identifiable vehicles are contained in the dataset used for the classification network training). In case of data significantly different from the training dataset, the method shows a lower computational complexity and uses smaller size of used feature vector and demonstrates significantly higher relative accuracy of re-identification. Practical Relevance. The proposed approach is practically applicable in vehicle identification task for highly loaded traffic control systems.

Текст научной работы на тему «Подход для повторной идентификации модели транспортного средства по его изображению»

НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2019 Том 19 № 4 ISSN 2226-1494 http://ntv.itmo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTCS July-August 2019 Vol. 19 No 4 ISSN 2226-1494 http://ntv.itmo.ru/en/

ИНШОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ

УДК 004.932.2 doi: 10.17586/2226-1494-2019-19-4-722-729

ПОДХОД ДЛЯ ПОВТОРНОЙ ИДЕНТИФИКАЦИИ МОДЕЛИ ТРАНСПОРТНОГО СРЕДСТВА ПО ЕГО ИЗОБРАЖЕНИЮ

Н.С. Немцев

Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: nicknemcev@gmail.com

Информация о статье

Поступила в редакцию 28.04.19, принята к печати 29.05.19 Язык статьи — русский

Ссылка для цитирования: Немцев Н.С. Подход для повторной идентификации модели транспортного средства по его изображению // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 4. С. 722-729. doi: 10.17586/2226-1494-2019-19-4-722-729

Аннотация

Постановка задачи. В работе проведено исследование существующих методов выделения и сравнения признаков объектов, используемых в задаче повторной идентификации (верификации) модели транспортного средства по его изображению, являющейся одной из наиболее важных задач, стоящих перед системами автоматизированного контроля дорожной обстановки и решаемой за счет сравнения признаков верифицируемого автомобиля с некоторым набором признаков, полученных системой контроля ранее, и принятия решения о принадлежности сравниваемых образцов к одной модели транспортного средства или к разным. Предложен метод выделения и сравнения векторов признаков модели автомобиля по его изображению, основанный на использовании сверточных нейронных сетей. Проведено сравнение эффективности предложенного подхода с существующими алгоритмами повторной идентификации моделей транспортных средств по критерию точности верификации (accuracy). Метод. В статье описан подход, используемый для выделения вектора признаков изображения транспортного средства и его последующего сравнения с эталонным вектором для анализа схожести. В основе подхода лежит метод выделения вектора признаков с использованием классификационной сверточной нейронной сети и критерий сравнения векторов признака, базирующийся на технике подсчета совпадающих признаков. Основные результаты. Предлагаемый подход демонстрирует точность, сопоставимую с современными аналогичными методами в сценариях использования, когда обрабатываемые данные обладают характеристиками, совпадающими с тренировочными (используется похожая модель камеры и ракурсы съемки, схожий уровень освещения и шумов, верифицируемые модели автомобилей, содержатся и в наборе данных, используемых для тренировки классификационной сети), и демонстрирует значительно более высокую сравнительную точность повторной идентификации при обработке данных, значительно отличающихся от тренировочных, при более низкой вычислительной сложности и размерности используемого вектора признаков. Практическая значимость. Предложенный подход может быть использован на практике в задаче идентификации модели транспортного средства в системах контроля дорожной обстановки. Ключевые слова

обработка визуальных данных, машинное обучение, сверточные нейронные сети, выделение признаков объектов, сравнение признаков объектов, сеть Alexnet

doi: 10.17586/2226-1494-2019-19-4-722-729

IMAGE-BASED APPROACH FOR VEHICLE MODEL RE-IDENTIFICATION

N.S. Nemcev

ITMO University, Saint Petersburg, 197101, Russian Federation Corresponding author: nicknemcev@gmail.com Article info

Received 28.04.19, accepted 29.05.19 Article in Russian

For citation: Nemcev N.S. Image-based approach for vehicle model re-identification. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2019, vol. 19, no. 4, pp. 722-729 (in Russian). doi: 10.17586/2226-1494-2019-19-4-722-729

Abstract

Subject of Research. The paper presents a study of the existing methods for identifying and comparing the features of objects used in the re-identification task of vehicle model by its image. This task is one of the most important tasks facing automated traffic control systems, and it is solved by comparing the features of the vehicle being verified with a certain set of features obtained earlier by the monitoring system. Then decision is made whether the compared samples belong to the same vehicle

model or to different ones. A method is proposed for feature vectors extraction and comparison of vehicle model according to its image. The method is based on the use of convolutional neural networks. The proposed approach is compared with existing algorithms for vehicle model re-identification by the accuracy criterion. Method. The paper describes the approach for vehicle image feature vector extraction and its subsequent comparison with the reference vector for similarity examination. The approach is based on the method of feature vector extraction, using classification convolutional neural network, and on comparison criterion for feature vectors applying the estimate of coincidental features. Main Results. The proposed vehicle model verification method demonstrates accuracy comparable to modern analogous in scenarios when the testing data have characteristics that coincide with training ones (similar camera model and camera angles are used; the level of lighting and noise are similar; models of re-identifiable vehicles are contained in the dataset used for the classification network training). In case of data significantly different from the training dataset, the method shows a lower computational complexity and uses smaller size of used feature vector and demonstrates significantly higher relative accuracy of re-identification. Practical Relevance. The proposed approach is practically applicable in vehicle identification task for highly loaded traffic control systems. Keywords

visual data processing, machine learning, convolutional neural networks, feature extraction, feature comparison, Alexnet

Введение

В автомобильной промышленности алгоритмы компьютерного зрения используются для решения различных задач: от обнаружения транспортных средств, определения их скорости и подсчета количества до создания функций анализа окружения для автономных движущихся устройств. Задача повторной идентификации транспортного средства является одной из наиболее важных задач, решаемых системами контроля дорожной обстановки, и сводится к выделению признаков автомобиля (как каждого конкретного автомобиля, так и определенной группы автомобилей одной модели) для их последующего сравнения с некоторым набором извлеченных ранее признаков с целью определения соответствия образцов.

Задача повторной идентификации автомобиля является смежной к задаче ре-идентификации лиц, однако имеет и свою специфику — так, в задаче идентификации автомобиля необходимо обеспечить уверенное сопоставление признаков автомобиля вне зависимости от ракурса съемки (спереди, сбоку, сзади, под различными углами), в то время как идентификация лица обычно производится с одного ракурса (как правило, в анфас). Также различные модели автомобиля могут визуально отличаться только с определенного ракурса, а изображения одного и того же автомобиля, снятые с разных ракурсов, могут содержать мало общих деталей, что существенно усложняет задачу повторной идентификации [1].

Условно все подходы для повторной идентификации объектов можно разделить на использующие классические методы выделения признаков [2, 3] и опирающиеся на подходы выделения признаков с использованием сверточных нейронных сетей [1, 4], при этом нейросетевые (основанные на использовании искусственных нейронных сетей) подходы можно разделить на методы, работающие по классической схеме, в которой признаки выделяются для каждого сравниваемого изображения отдельно, а их сопоставление вынесено в отдельный модуль [5], и на методы, основанные на использовании сиамских нейросетей [6], в которых два входных изображения обрабатываются параллельно в рамках одной сети, а метрика схожести вычисляется непосредственно на последнем слое [1, 7].

Классические подходы извлечения и сопоставления признаков на практике малоприменимы в задаче верификации модели транспортного средства в силу того, что в реальных сценариях использования сравнение зачастую производится для транспортных средств, снятых на значительном расстоянии, изображения которых не обладают достаточно высоким для выделения значительного числа признаков разрешением [8]; сама процедура сравнения изображений транспортных средств сводится к подсчету количества соответствий между полученными дескрипторами [9], что не позволяет корректно сравнивать объекты, снятые с разных ракурсов (набор признаков, полученный с разных ракурсов съемки для одной и той же модели транспортного средства, будет различным).

Нейросетевые методы сравнения объектов по изображению используют некоторую архитектуру классификационной сети для извлечения векторов признаков объектов (например, [10, 11]) и производят их последующее сравнение или в отдельном модуле [5], или непосредственно в последнем слое сети в случае с сиамскими сетями [6]. К основным плюсам данного подхода можно отнести возможность многоракурсного сравнения и отсутствие строгих требований к разрешению сравниваемых изображений. Основным минусом является необходимость обучения модуля выделения признаков на соответствующем наборе данных, к примеру, для корректного выделения признаков определенной модели автомобиля классификатор должен быть обучен классифицировать максимально полное подмножество моделей автомобилей, в идеальном случае содержащее искомую верифицируемую модель, при этом визуальные характеристики используемого набора данных должны максимально полно соответствовать реальным (так для надежной идентификации модели автомобиля в ночное время, используемый классификатор должен быть обучен на наборе данных, содержащих ночные фото) [12].

Помимо этого, у всех нейросетевых подходов наблюдается эффект «перетренированности», при котором некоторая модель классификатора или в исследуемом случае верификатора демонстрирует хорошие результаты на тренировочных данных, однако значительно теряет точность на данных, существенно

отличающихся от тренировочных [13]. При этом к данному эффекту склонны как модули извлечения признаков, так и модули сравнения наборов признаков, базирующиеся на методах машинного обучения [14], что существенно снижает универсальность таких подходов.

У подходов, базирующихся на применении сиамских сетей, помимо проблем с «переобучением», имеются проблемы со сходимостью сети на этапе обучения, вызванные разнородностью входных данных [15], что затрудняет их использование в ряде случаев.

Предложенный подход сочетает в себе подход для извлечения короткого вектора признаков, базирующийся на использовании модифицированной классификационной сети Alexnet [10], обученной на специально подготовленном наборе данных, и простую метрику схожести, оперирующую векторами признаков небольшого размера и базирующуюся на принципе оценки количества совпадающих признаков. Использование данной метрики обусловлено как необходимостью в уменьшении вычислительной сложности задачи и оптимизации вычислительного процесса верификации (повторной идентификации) модели транспортного средства для использования в высоконагруженных системах контроля дорожной обстановки [16-18], так и в целях уменьшения влияния эффекта «перетренированности», свойственного алгоритмам машинного обучения, на стабильность работы системы, обрабатывающей данные, значительно отличающиеся по своим характеристикам от используемых в процессе обучения модуля извлечения признаков объекта [13].

Полученные результаты показывают, что, несмотря на свою простоту, предложенный подход демонстрирует точность решения задачи верификации модели автомобиля, сопоставимую с другими современными подходами, при более высокой универсальности и менее высокой вычислительной сложности.

Используемая модель извлечения признаков

В качестве модуля извлечения признаков в данной работе использовалась модифицированная сеть Л1ехпе1 [10] (рис. 1).

13

13

227

227

Свертка 11x11, шаг 4, 96 ядер

Подвыборка по максимуму 3x3, шаг 2,

55 Свертка 3x3, дополнение 1,

Свертка 3x3, дополнение 1, 256 ядер

(13+2*1 3)/1+ +1=13

13

13

Свертка 5x5, дополнение 2, 256 ядер

256

27

Подвыборка по максимуму 3x3, шаг 2,

Подвыборка по максимуму 3x3, шаг 2,

(27 3)/2+ +1=13

13

Полносвязные слои

13

О О

О О

о О

о о

Свертка 3x3, дополнение 1, 384 ядер

(13+2*1 3)/1+ +1=13

о

о

Выходной слой

4096

4096

Рис. 1. Архитектура используемой классификационной сети

В качестве активационной функции вместо ReLU (англ. Rectified linear unit, линейный выпрямитель), вычисляемой как:

fx) = max(0, x),

где x — входное значение функции активации, использовалась RReLU (англ. Randomized rectified linear unit, линейный выпрямитель c рандомизированной утечкой) [19]:

Г х, если x > 0

fix)-

а-х, иначе

где на этапе обучения а С и(1,и), I < и, 1,и € [0,1], и(1,и) — некоторое равномерное распределение (исполь-

о

зовалось распределение и(3,8)), а на этапе тестирования а =

1 + и

6

Классические ReLU в процессе обучения могут выходить из строя [19], например, большой градиент, проходящий через ReLU, может привести к такому обновлению весов, что данный нейрон никогда больше не активируется [10]. Если это произойдет, то, начиная с данного момента, градиент, проходящий через этот нейрон, всегда будет равен нулю, что негативным образом сказывается на эффективности обучения классификатора. Исследования, проведенные в [19], показали, что использование в RReLU некоторой «утечки» для х < 0 позволяет как уменьшить вероятность выхода нейрона из строя на этапе обучения, так и несколько уменьшить эффект перетренированности сети за счет случайного характера параметра .

С целью ускорения сходимости сети (уменьшения времени обучения) и повышения стабильности ее работы на этапе обучения был использован стандартный подход, основанный на добавлении специальных нормализующих слоев, используемых на этапе обучения (BacthNorm, пакетная нормализация [20]).

Использование архитектуры сети Alexnet [10] обусловлено ее изученностью и относительно небольшой глубиной (малым количеством скрытых слоев), облегчающей процесс обучения классификатора и позволяющей обеспечить невысокую относительно других архитектур сетей вычислительную сложность процесса извлечения признаков.

Для обучения классификатора использовался набор данных StanfordCars [21], содержащий 16 185 изображений автомобилей 196 различных моделей, для повышения точности классификации, уменьшения эффекта перетренированности и повышения универсальности классификатора исходный набор данных был размножен в 10 раз, при этом была выполнена дополнительная балансировка данных [20] (выравнено количество изображений между различными моделями автомобилей). Аугментация исходных изображений выполнялась путем изменения яркостно-контрастных характеристик изображения, его цветности, а также добавлением различных моделей шумов и аффинных преобразований, параметры и набор используемых фильтров выбирался случайно для каждого генерируемого изображения отдельно (рис. 2).

Исходное изображение

Примеры аугментированных изображений

Рис. 2. Пример аугментированных данных

Для получения вектора признаков объекта на вход классификационной сети подается соответствующее изображение и извлекается набор коэффициентов после последнего МахРоо1 слоя, представляющий собой матрицу значений размером 256 х 6 х6. В качестве вектора признаков используются значения, полученные из исходной матрицы путем сложения элементов:

£ ¿(Са>и-тах(С)

р _ к=1 т=1_

тах(С)-тш(С) '

где ¥1 € ¥ — элемент результирующего вектора признаков, состоящего из 256 элементов, С1кт € С — элемент матрицы коэффициентов, извлеченной из сети.

Критерий схожести векторов признаков

Используемый критерий схожести векторов признаков принимает на вход два вектора признаков объектов F и F', вычисляют некоторый критерий схожести S & [0,1]:

NM

где FC — количество значащих признаков, NM — количество различающихся признаков,

256

FC=ZI(Ft,Fl'),

¡=1

где Fj & F, F' & F', I(Fi,Fi') — индикаторная функция, вычисляемая, как:

1, если F, > thr или F,' > thr

0, иначе

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

где Жг — некоторый предзаданный порог чувствительности (в данной работе использовался Жг = 1,5); НЫ — количество отличающихся признаков, вычисляемое, как:

256

NM= X J(F„ Ft% ¡=1

где J(F ,F') — индикаторная функция, вычисляемая как:

J(F„F')=\ если F - F\ > imax^.F/).

0, иначе

Оценка эффективности предложенного подхода

На данном этапе производилась сравнительная оценка эффективности предложенного критерия схожести признаков, метода сравнения признаков базирующегося на оценке евклидова расстояния между сравниваемыми векторами, подхода использующего метод опорных векторов (SVM [14]), а также подхода опирающегося на использование сиамских нейронных сетей [15] и других современных аналогов как на тестовом подмножестве набора данных StanfordCars, использованного для обучения [21], так и на примерах из набора данных CompCars, акцентирующем свое внимание на задаче верификации как обобщенных моделей автомобилей, так и конкретных транспортных средств снятых камерами наблюдения [5].

В качестве тестовых данных набора StanfordCars [21] использовались 5000 «положительных» примеров, состоящих из изображений автомобилей одной модели, и 5000 «отрицательных» пар изображений, состоящих из изображений автомобилей разных моделей, выбранных случайным образом из подмножества изображений, не использованных в процессе обучения. В качестве тестовых данных набора CompCars использовалась оригинальная структура тестовых данных из трех уровней сложности, содержащая на каждом уровне сложности по 20 000 сравниваемых пар изображений (по 10 000 «положительных» и «отрицательных» примеров) [5].

В качестве критерия качества использовалась метрика точности повторной идентификации (accuracy), вычисляемая, как:

л inn TR + TN 0/ Accuracy = 100--——, %,

где TP — количество правильно распознанных «положительных» пар изображений (пара содержит изображения транспортных средств одной модели, и верификатор оценивает их как элементы одного подмножества), TN — количество правильно распознанных «отрицательных» пар, N — число пар изображений, используемых для сравнения.

Оценка эффективности предложенного подхода и подхода на тестовом подмножестве тренировочного набора данных приведено в табл. 1, при этом для оценки эффективности предложенного критерия и метрики, базирующейся на оценке евклидова расстояния, использовался порог, подобранный для обеспечения максимальной эффективности (точности) верификации на тренировочных данных.

Сравнение, приведенное в табл. 1, позволяет сделать вывод, что при обработке данных, максимально приближенных к тренировочным, предложенный критерий сравнения векторов признаков несколько уступает методу сравнения, основанному на техниках машинного обучения (в данном случае использовался метод опорных векторов), и превосходит подход, основанный на оценке евклидова расстояния между векторами. Также необходимо отметить, что отсутствие результатов для сиамской сети [15] вызвано тем, что несмотря

на произведенный перебор гиперпараметров обучения не удалось обеспечить сходимость сети на наборе данных Б1ап6огдСаг8, что является известной проблемой процесса обучения сетей с сиамской архитектурой на разнородных данных [1].

Таблица 1. Оценка эффективности предложенного критерия схожести признаков (StanfordCars)

Метод Точность (Accuracy), %

Предложенный метод извлечения признаков + евклидово расстояние 65,5

Предложенный метод извлечения признаков + SVM [4] 71,2

Предложенный метод извлечения + предложенный критерий схожести признаков 69,8

Сиамская сеть (Triplet Loss [15]) —

Случайный выбор 50

Сравнительных анализ эффективности предложенного подхода на наборе данных СошрСаге [5] приведен в табл. 2.

Таблица 2. Оценка эффективности предложенного критерия схожести признаков (CompCars)

Метод Тренировочный Точность (Accuracy), %

датасет Easy Medium Hard

Предложенный метод извлечения признаков + + евклидово расстояние StanfordCars [21] 62,1 60,3 57,6

Предложенный метод извлечения признаков + + SVM [4] StanfordCars [21] 67,1 63,7 61,5

Предложенный метод извлечения + предложенный критерий схожести признаков StanfordCars [21] 72,4 70,1 66,8

GoogleNet + SVM [5] CompCars [5] 70 69 65,9

Mixed Diff + CCL [1] CompCars [5] 83,3 78,8 70,3

Случайный выбор — 50 50 50

Исходя из анализа табл. 2 можно сделать следующие выводы:

— предложенная метрика схожести векторов признаков позволяет сохранить относительную точность верификации при переходе на набор данных, значительно отличающихся от тренировочных, в то время как подход для сравнения признаков с помощью метода опорных векторов значительно теряет в точности в связи с влиянием эффекта перетренированности;

— предложенная система верификации модели транспортного средства демонстрирует на наборе данных, значительно отличающихся от тренировочных, точность, сравнимую с точностью аналогичных базовых алгоритмов (GoogleNet + SVM [5]), обученных на подмножестве данных близких к тестовым, однако значительно проигрывает современным подходам верификации (Mixed Diff + CCL [1]), обучение которых также производилось подмножестве данных близких по своим характеристикам к тестовым.

Помимо этого, необходимо отметить, что предлагаемый подход для верификации модели автомобиля оперирует более короткими по сравнению с GoogleNet + SVM [5] векторами признаков (256 у предложенного подхода, 4096 у GoogleNet + SVM [5]) и не требует длительного процесса тренировки модуля определения схожести. А также в отличие от Mixed Diff + CCL [1], относящегося к классу сиамских сетей, позволяет отдельно сохранить вектор признаков для последующего сравнения без вычислительно сложных операций извлечения признаков.

Заключение

Предложенный в данной статье подход для выделения и сравнения признаков объектов по их изображению используется в задаче верификации модели транспортного средства. Выделение происходит с помощью модификации известной искусственной нейронной сети, обученной на специально подготовленном (аугментированном) наборе данных. Предложенный критерий схожести векторов признаков базируется на техниках сравнения и обладает крайне низкой вычислительной сложностью. Предлагаемый метод верификации транспортного средства демонстрирует точность, сопоставимую с современным аналогичным методами в тех сценариях использования, когда обрабатываемые данные обладают характеристиками, совпадающими с тренировочными (используется похожая модель камеры и ракурсы съемки, схожий уровень

освещения и шумов, модели верифицируемых автомобилей, как правило, содержались и в наборе данных, используемых для тренировки), и демонстрирует более высокую относительную точность при обработке данных, значительно отличающихся от тренировочных.

Литература

1. Liu H., Tian Y., Wang Y., Pang L., Huang T. Deep relative distance learning: Tell the difference between similar vehicles // Proc. IEEE Conf. on Computer Vision and Pattern Recognition. Las Vegas, USA, 2016. P. 2167-2175. doi: 10.1109/cvpr.2016.238

2. Rublee E. et al. ORB: An efficient alternative to SIFT or SURF // Proc. Int. Conf. on Computer Vision. Barcelona, Spain, 2011. doi: 10.1109/iccv.2011.6126544

3. Pan X., Lyu S. Region duplication detection using image feature matching // IEEE Transactions on Information Forensics and Security. 2010. V. 5. N 4. P. 857-867. doi: 10.1109/tifs.2010.2078506

4. Zapletal D., Herout A. Vehicle re-identification for automatic video traffic surveillance // Proc. IEEE Conf. on Computer Vision and Pattern Recognition Workshops. Las Vegas, USA, 2016. P. 25-31. doi: 10.1109/cvprw.2016.195

5. Yang L., Luo P., Loy C.C., Tang X. A large-scale car dataset for fine-grained categorization and verification // Proc. IEEE Conf. on Computer Vision and Pattern Recognition. Boston, USA,

2015. P. 3973-3981. doi: 10.1109/cvpr.2015.7299023

6. Koch G., Zemel R., Salakhutdinov R. Siamese neural networks for one-shot image recognition // Proc. 32nd Int. Conf. on Machine Learning. Lille, France, 2015.

7. Cheng D. et al. Person re-identification by multi-channel parts-based CNN with improved triplet loss function // Proc. IEEE Conf. on Computer Vision and Pattern Recognition. Las Vegas, USA,

2016. P. 1335-1344. doi: 10.1109/cvpr.2016.149

8. Ke Y., Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors // Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, 2004. V. 4. P. 506-513. doi: 10.1109/cvpr.2004.1315206

9. Ng P.C., Henikoff S. SIFT: Predicting amino acid changes that affect protein function // Nucleic Acids Research. 2003. V. 31. N 13. P. 3812-3814. doi: 10.1093/nar/gkg509

10. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet classification with deep convolutional neural networks // Communication of the ACM. 2017. V. 60. N 6. P. 84-90. doi: 10.1145/3065386

11. Szegedy C. et al. Going deeper with convolutions // Proc. IEEE Conf. on Computer Vision and Pattern Recognition. Boston, USA, 2015. doi: 10.1109/cvpr.2015.7298594

12. Tanner M.A. Tools for Statistical Inference: Observed Data and Data Augmentation Methods. Springer, 2012. 110 p. doi: 10.1007/978-1-4684-0510-1

13. John G.H., Kohavi R., Pfleger K. Irrelevant features and the subset selection problem / In: Machine Learning Proceedings. Morgan Kaufmann, 1994. P. 121-129. doi: 10.1016/b978-1-55860-335-6.50023-4

14. Joachims T. Making Large-Scale SVM Learning Practical. Technical Report SFB 475. Komplexitätsreduktion in Multivariaten Datenstrukturen, Universität Dortmund, 1998.

15. Hoffer E., Ailon N. Deep metric learning using triplet network // Proc. Similarity-Based Pattern Recognition. 2015. P. 84-92. doi: 10.1007/978-3-319-24261-3_7

16. Богатырев С.В., Богатырев В.А. Объединение резервированных серверов в кластеры высоконадежной компьютерной системы // Информационные технологии. 2009. № 6. С. 41-47.

17. Богатырев А.В., Богатырев В.А., Богатырев С.В. Оптимизация кластера с ограниченной доступностью кластерных групп // Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики. 2011. № 1(71). С. 63-67.

18. Богатырев В.А. Оптимальное резервирование системы разнородных серверов // Приборы и системы. Управление, контроль, диагностика. 2007. № 12. С. 30-36.

19. Xu B., Wang N., Chen T., Li M. Empirical evaluation of rectified activations in convolutional network // arXiv. arXiv:1505.00853. 2015.

References

1. Liu H., Tian Y., Wang Y., Pang L., Huang T. Deep relative distance learning: Tell the difference between similar vehicles. Proc. IEEE Conf. on Computer Vision and Pattern Recognition. Las Vegas, USA, 2016, pp. 2167-2175. doi: 10.1109/cvpr.2016.238

2. Rublee E. et al. ORB: An efficient alternative to SIFT or SURF. Proc. Int. Conf. on Computer Vision. Barcelona, Spain, 2011. doi: 10.1109/iccv.2011.6126544

3. Pan X., Lyu S. Region duplication detection using image feature matching. IEEE Transactions on Information Forensics and Security, 2010, vol. 5, no. 4, pp. 857-867. doi: 10.1109/tifs.2010.2078506

4. Zapletal D., Herout A. Vehicle re-identification for automatic video traffic surveillance. Proc. IEEE Conf. on Computer Vision and Pattern Recognition Workshops. Las Vegas, USA, 2016, pp. 25-31. doi: 10.1109/cvprw.2016.195

5. Yang L., Luo P., Loy C.C., Tang X. A large-scale car dataset for fine-grained categorization and verification. Proc. IEEE Conf. on Computer Vision and Pattern Recognition. Boston, USA, 2015, pp. 3973-3981. doi: 10.1109/cvpr.2015.7299023

6. Koch G., Zemel R., Salakhutdinov R. Siamese neural networks for one-shot image recognition. Proc. 32ndInt. Conf. on Machine Learning. Lille, France, 2015.

7. Cheng D. et al. Person re-identification by multi-channel parts-based CNN with improved triplet loss function. Proc. IEEE Conf. on Computer Vision and Pattern Recognition. Las Vegas, USA, 2016, pp. 1335-1344. doi: 10.1109/cvpr.2016.149

8. Ke Y., Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors. Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, 2004, vol. 4, pp. 506-513. doi: 10.1109/cvpr.2004.1315206

9. Ng P.C., Henikoff S. SIFT: Predicting amino acid changes that affect protein function. Nucleic Acids Research, 2003, vol. 31, no. 13, pp. 3812-3814. doi: 10.1093/nar/gkg509

10. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet classification with deep convolutional neural networks. Communication of the ACM, 2017, vol. 60, no. 6, pp. 84-90. doi: 10.1145/3065386

11. Szegedy C. et al. Going deeper with convolutions. Proc. IEEE Conf. on Computer Vision and Pattern Recognition. Boston, USA, 2015. doi: 10.1109/cvpr.2015.7298594

12. Tanner M.A. Tools for Statistical Inference: Observed Data and Data Augmentation Methods. Springer, 2012, 110 p. doi: 10.1007/978-1-4684-0510-1

13. John G.H., Kohavi R., Pfleger K. Irrelevant features and the subset selection problem. In Machine Learning Proceedings. Morgan Kaufmann, 1994, pp. 121-129. doi: 10.1016/b978-1-55860-335-6.50023-4

14. Joachims T. Making Large-Scale SVM Learning Practical. Technical Report SFB 475. Komplexitätsreduktion in Multivariaten Datenstrukturen, Universität Dortmund, 1998.

15. Hoffer E., Ailon N. Deep metric learning using triplet network. Proc. Similarity-Based Pattern Recognition, 2015, pp. 84-92. doi: 10.1007/978-3-319-24261-3_7

16. Bogatyrev V.A., Bogatyrev S.V. Association reservation servers in clasters highly reliable computer system. Informatsionnye Tekhnologii, 2009, no. 6, pp. 41-47. (in Russian)

17. Bogatyrev V.A., Bogatyrev S.V., Bogatyrev A.V. Clusters optimization with the limited availability of clusters groups. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2011, no. 1, pp. 63-67. (in Russian)

18. Bogatyrev V.A. An optimum backup execution for the heterogeneous server system. Instruments and Systems: Monitoring, Control, and Diagnostics, 2007, no. 12, pp. 30-36. (in Russian)

19. Xu B., Wang N., Chen T., Li M. Empirical evaluation of rectified activations in convolutional network. arXiv, arXiv:1505.00853, 2015.

20. Howard A.G., Zhu M., Chen B., Kalenichenko D. et al. Mobilenets: efficient convolutional neural networks for mobile vision applications // arXiv. arXiv:1704.04861. 2017.

21. Krause J., Stark M., Deng J., Fei-Fei L. 3D object representations for fine-grained categorization // Proc. IEEE Int. Conf. on Computer Vision Workshops. Sydney, Australia, 2013. P. 554561. doi: 10.1109/iccvw.2013.77

20. Howard A.G., Zhu M., Chen B., Kalenichenko D. et al. Mobilenets: efficient convolutional neural networks for mobile vision applications. arXiv, arXiv:1704.04861, 2017.

21. Krause J., Stark M., Deng J., Fei-Fei L. 3D object representations for fine-grained categorization. Proc. IEEE Int. Conf. on Computer Vision Workshops. Sydney, Australia, 2013, pp. 554561. doi: 10.1109/iccvw.2013.77

Автор

Немцев Николай Сергеевич — аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, Scopus ID: 57196051054, ORCID ID: 0000-0003-4801-3284, nicknemcev@gmail.com

Author

Nikolay S. Nemcev — postgraduate, ITMO University, Saint Petersburg, 197101, Russian Federation, Scopus ID: 57196051054, ORCID ID: 0000-0003-4801-3284, nicknemcev@gmail.com

i Надоели баннеры? Вы всегда можете отключить рекламу.