Научная статья на тему 'АЛГОРИТМ ОТСЛЕЖИВАНИЯ И ВЫДЕЛЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ВИДЕОПОТОКЕ'

АЛГОРИТМ ОТСЛЕЖИВАНИЯ И ВЫДЕЛЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ВИДЕОПОТОКЕ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
388
51
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
OPENCV / PYTHON / АЛГОРИТМ СЛЕЖЕНИЯ ОБЪЕКТА / СРАВНЕНИЕ КАДРОВ / ОБРАБОТКА ИЗОБРАЖЕНИЯ В РЕАЛЬНОМ ВРЕМЕНИ / BACKGROUNDSUBSTRACTIONMOG2 / NUMPY / MASK-RCNN / DETECTION ALGORITHM / FRAMES COMPARISON / REAL-TIME PROCESSING / BACKGROUND SUBSTRACTION MOG2

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Лошаков Константин Павлович, Мамонова Татьяна Егоровна

Актуальность представленной работы определяется потребностью в создании автоматических охранных систем в местах скопления людей, обнаруживающих подозрительное поведение человека, которое проявляется в резких движениях. Это необходимо в целях предупреждения потенциальной опасности и принятия впоследствии соответствующих мер. Разработаны две программы по слежению за объектами (примером объектов в данной статье являются люди), изменяющими свое положение в кадре, с выделением их в обрамляющие прямоугольники. Описаны алгоритм сравнения двух кадров из видеопотока и обрамление в прямоугольник людей, изменивших свое положение в кадре. Созданный алгоритм позволяет обрабатывать вплоть до 17 пар кадров в секунду, что означает применимость алгоритма в задачах реального времени. Установлено, что задание минимальной высоты объекта для определения именно человека как объекта, который будет обрамлен прямоугольником, является необходимой частью алгоритма для исключения выделения шумов как подвижных объектов. Показан высокий результат по точности и времени выделения объектов в задачах реального времени при использовании предложенного алгоритма.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Лошаков Константин Павлович, Мамонова Татьяна Егоровна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

AN ALGORITHM OF TRACKING AND DETECTION OF MOVING OBJECTS IN A VIDEO STREAM

The relevance of the presented work is determined by the need to create automatic security systems in places of crowds of people to detect suspicious human behaviors which are manifested in sudden movements. This is necessary in order to warn of a potential danger and take appropriate measures afterwards. Two programs have been developed for tracking objects (people are used as an example of objects in this article) that change their positions in the frame and place them into framing rectangles. Describes an algorithm for comparing two frames from a video stream and framing in a rectangle of people who have changed their position in the frame. The created algorithm allows processing up to 17 pairs of frames per second, which means the applicability of the algorithm in real-time tasks. It has been established that setting a minimum height of an object is a necessary part of the algorithm in order to exclude the selection of noises as moving objects. A high result is shown in accuracy and time of object selection in real-time tasks using the proposed algorithm.

Текст научной работы на тему «АЛГОРИТМ ОТСЛЕЖИВАНИЯ И ВЫДЕЛЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ВИДЕОПОТОКЕ»

ISSN 1814-1196 Научный вестник НГТУ том 76, № 3, 2019, с. 77-86

http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 7б, No. 3, 2019, pp. 77-8б

ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ

INFORMATICS, COMPPUTER ENGINEERING AND MANAGEMENT

УДК 004.932.2 DOI: 10.17212/1814-1196-2019-3-77-8

Алгоритм отслеживания и выделения движущихся объектов в видеопотоке

К.П. ЛОШАКОВ", Т.Е. МАМОНОВА4

634050, РФ, г. Томск, пр. Ленина, 30, Национальный исследовательский Томский политехнический университет

akpl2@tpu.ru b stepte@tpu.ru

Актуальность представленной работы определяется потребностью в создании автоматических охранных систем в местах скопления людей, обнаруживающих подозрительное поведение человека, которое проявляется в резких движениях. Это необходимо в целях предупреждения потенциальной опасности и принятия впоследствии соответствующих мер. Разработаны две программы по слежению за объектами (примером объектов в данной статье являются люди), изменяющими свое положение в кадре, с выделением их в обрамляющие прямоугольники. Описаны алгоритм сравнения двух кадров из видеопотока и обрамление в прямоугольник людей, изменивших свое положение в кадре. Созданный алгоритм позволяет обрабатывать вплоть до 17 пар кадров в секунду, что означает применимость алгоритма в задачах реального времени. Установлено, что задание минимальной высоты объекта для определения именно человека как объекта, который будет обрамлен прямоугольником, является необходимой частью алгоритма для исключения выделения шумов как подвижных объектов. Показан высокий результат по точности и времени выделения объектов в задачах реального времени при использовании предложенного алгоритма.

Ключевые слова: OpenCV, python, алгоритм слежения объекта, сравнение кадров, обработка изображения в реальном времени, BackgroundSubstractionMOG2, numpy, MaskR-CNN

ВВЕДЕНИЕ

С увеличением количества камер на улицах, в переулках, торговых центрах и прочих местах растет возможность записывать всё, что происходит в месте видеосъемки. Соответственно, появляется возможность применения технического зрения для решения ряда задач, основанных на анализе видеопотока [1]. Особенность внедрения технического зрения заключается в возможности анализа видеопотока. Например, решение задачи слежения за изменениями обстановки в кадре (появление объекта, его движение), что

Статья получена 03 марта 2019 г.

напрямую связано с возможностью обнаружения подозрительного поведения человека в кадре, находящегося в магазине, в банке, в аэропорту или в другом общественном месте. На основе анализа видеопотока предпринимаются конкретные действия (например, отсылка информации о подозрительном поведении объекта в пункт охраны заведения). Другая целевая задача - определение скорости перемещения автомобилей по автомагистрали для контроля соблюдения водителями правил скоростного движения [2]. Также техническое зрение используется для создания эффективных систем автоматизированного контроля технологических процессов с целью обеспечения заданных показателей точности и быстродействия [3].

В целом техническое зрение охватило огромное количество разнообразных сфер жизни человека - от промышленности до сельского хозяйства и медицины [4-6].

Настоящая работа предлагает алгоритм для слежения за изменяющими свое положение в кадре объектами путем заключения их в прямоугольные области.

Известно, что для решения подобных задач применяются каскады Хаара [7]. Цель применения состоит в нахождении определенного объекта на изображении. В рамках представляемой работы выполняется сравнение разницы между кадрами и выделение именно объектов, изменяющих положение через установленный промежуток времени. Время выполнения алгоритма программы составляет 0,058 секунды. Можно уменьшить время обработки, использовав сочетание CPU + GPU с планировщиком (scheduler) [8]. В качестве другого и, возможно, более быстродействующего алгоритма для распознавания движений в кадре может быть применен метод ^-ближайших соседей. Метод в данной статье может быть не всегда пригоден в случае динамического заднего плана, но конкретных исследований не проводилось [9]. В сравнении с методом использования каскада Хаара не нужно подготавливать примеры позитивных и негативных изображений, то есть не нужно использовать определенные инструменты, при использовании которых на выходе создаются XML-файлы, которые затем обрабатываются командами классификатора каскадов [10, 11].

1. ОПИСАНИЕ АЛГОРИТМА НАХОЖДЕНИЯ КООРДИНАТ ПРЯМОУГОЛЬНИКОВ, ОБРАМЛЯЮЩИХ ОБЪЕКТЫ

Предлагаемый в рамках работы алгоритм слежения предназначен для обнаружения людей в помещении. Он является универсальным, и его можно использовать для определения людей или других движущихся объектов в различных местах съемки.

Обобщенная блок-схема алгоритма программы движущихся объектов представлена на рис. 1.

Рис. 1. Обобщенная блок-схема алгоритма программы нахождения движущихся объектов

Fig. 1. Block-diagram of the moving object detection algorithm

Основные этапы алгоритма, блок-схема которого показана на рис. 1, следующие.

Вычитание заднего фона с помощью применения алгоритма BackgroundSubtractorMOG2 библиотеки OpenCV к двум кадрам [12-14].

Устранение шумов с использованием морфологической трансформации morphologyEx библиотеки OpenCV с параметром MORPH_OPEN.

Определение кривых на изображении, вдоль которых происходит резкое изменение яркости или других видов неоднородностей с помощью алгоритма определения границ Canny библиотеки OpenCV.

Написание кода программы для разбиения матрицы пикселей кадра на зоны вдоль горизонта, в которых находятся границы объектов. Поиск в зонах границ с учетом того, что в зоне может находиться несколько объектов.

Для эффективных численных вычислений при работе с матрицей пикселей изображения используется библиотека Numpy [15]. Сначала создается матрица-строка, заполненная нулями, которая впоследствии проходит вдоль изображения по горизонтали, находя и записывая в новый numpy массив индексы столбцов, в которых какое-либо значение не равно нулю. Если размер нового массива не равен нулю, то начинается цикл, который выполняется, пока значение инкрементирующийся переменной не достигнет величины длины размерности массива индексов. В данном цикле осуществляется запись граничных индексов объектов по горизонтали. Величина дистанции между объектами может быть задана пользователем. После обнаружения границ всех объектов или группы объектов по горизонтали происходит выделение сегмента кадра, в котором находится объект. Далее происходят операции, аналогичные тем, что проводились при нахождении границ по горизонтали. В конечном счете происходит запись в лист координат точек крайнего левого верхнего и крайнего правого нижнего углов объекта или группы объектов. После нахождения всех объектов алгоритм возвращает список координат (четырех точек) всех обрамляющих объекты прямоугольников.

2. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ РАЗРАБОТАННОГО АЛГОРИТМА

Для исследования эффективности предлагаемого алгоритма было обработано видео длительностью 150 секунд с шириной кадра 1280 пикселей и высотой кадра 720 пикселей.

Выбрано видео высокой четкости (HD) для оценивания быстродействия алгоритма при обработке с популярным форматом.

На рис. 2 представлены примеры кадров, которые обрабатываются с применением разработанного алгоритма, реализованного на языке python. Данный язык программирования имеет множество библиотек как для решения задач технического зрения, так и для анализа данных и машинного обучения.

Рис. 2. Пример кадров для обработки Fig. 2. A sample of frames toprocess

В соответствии с обобщенной блок-схемой алгоритма 2-й этап включает обработку изображений. На рис. 3 представлено необработанное (рис. 3, а) и обработанное от шумов (рис. 3, б) изображение.

Переход от изображения, указанного на рис. 3, а, к изображению рис. 3, б, произведен при помощи функции библиотеки ОрепСУ 'morphologyEx', которая была использована для удаления внешних шумов. За шум были приняты контуры на рис. 3, а, размер которых меньше чем 10 х 10 пикселей. На рис. 4 представлены результаты обработки изображений.

Рис. 4, а и б представляют два кадра, между которыми происходит поиск разницы изображений. Рис. 4, в иллюстрирует определение объектов по границам их контуров. Стоит заметить, что незначительные части (нижняя часть контура по центру изображения) не выделяются, поскольку алгоритм предусматривает определенные минимальные размеры объекта по высоте. Рис. 4, г - результат обработки изображений.

Рис. 3. Пример удаления шумов Fig. 3. An example of noise deletion

Рис. 4. Результат обработки изображений Fig. 4. The result of frames processing

Таким образом, в ходе работы алгоритма было замечено, что при низкой динамике объектов алгоритм не находит разницы. Это связано со следующим. При низкой скорости изменения объектом положения в кадре между двумя кадрами есть малые отличия, которые распознаются алгоритмом как шум и устраняются. Для решения данной проблемы предлагается увеличить временной промежуток между двумя сравниваемыми кадрами.

Точность выделения людей, изменяющих свое положение в кадре, составила не менее 85 %. Время выполнения алгоритма составляет 0,058 секунды (среднее время выполнения алгоритма за 1000 вызовов).

3. СРАВНЕНИЕ БЫСТРОДЕЙСТВИЯ АЛГОРИТМОВ НАХОЖДЕНИЯ КООРДИНАТ ПРЯМОУГОЛЬНИКОВ, ОБРАМЛЯЮЩИХ ОБЪЕКТЫ

Дополнительно был разработан алгоритм, реализация которого имела ту же схему, что и на рис. 1, но при реализации нахождения обрамляющих объекты прямоугольников использовалась функция йп^оПюиге библиотеки ОрепСУ. Цель данной функции заключается в определении координаты контуров. Затем с помощью функции Ьоип^^Яес! определялись крайние точки обрамляющих контуры прямоугольников. Далее был написан алгоритм по слиянию пересекающихся прямоугольников. В результате время выполнения всего алгоритма составила 0,061 секунды. От дополнительного алгоритма было принято отказаться, поскольку время выполнения оказалось больше. Существует и другой подход к решению задачи выделения объектов, реализованный с помощью каскада Хаара библиотеки ОрепСУ, но время выполнения данного алгоритма дольше на 0,032 секунды, чем работа основного алгоритма, описанного в настоящей статье [16].

Аналогичную задачу можно также решить при помощи нейронных сетей, например при обучении с учителем, используя готовую модель из репо-зитория TensorFlowobjectdetectionAPI [17-20]. Время обработки изображения зависит от выбранной предобученной модели [21]. Стоит заметить, что время обработки изображения у некоторых моделей меньше по сравнению с временем обработки изображения описанной в данной статье программы. Существенное отличие между такими подходами, как использование нейронных сетей и алгоритма, описанного в данной программе, заключается в том, что нейронные сети, как правило, решают задачу нахождения и классификации объектов в каждом кадре, в то время как описанный алгоритм нацелен на нахождение объекта только при изменении его положения через установленный пользователем промежуток времени.

ЗАКЛЮЧЕНИЕ

В работе был предложен алгоритм выделения изменяющих свои положения людей в видеопотоке. Для проведения экспериментального исследования была разработана и протестирована программа слежения и выделения движущихся объектов.

В итоге можно сделать следующие выводы.

1. Время сравнения двух кадров составляет 0,058 секунды, что означает возможность использования программы в задачах реального времени.

2. Точность не менее 85 % при съемке внутри помещения.

3. Универсальность, которая проявляется в возможности настраивать параметры под разные среды съемки и выделять разные объекты (например, для фиксирования автомобилей, движущихся по автомагистрали с превышенной скоростью).

Один из недостатков разработанного алгоритма относительно использования нейронных сетей заключается в настройке параметров алгоритма программы под определенную среду видеосъемки.

Динамический фон изображений также может повлиять на точность выполнения программы из-за увеличения количества и размера шумов.

Указанные недостатки не являются критичными при решении задач в помещении или иной среде, где отсутствует или имеется только низкая динамичность заднего фона.

СПИСОК ЛИТЕРАТУРЫ

1. Prasad P.B. Machine vision systems and image processing with applications // Journal of Innovation in Computer Science and Engineering. - 2013. - Vol. 2 (2). - P. 1-4.

2. Luvizon D.C., Nassu B.T., Minetto R. Vehicle speed estimation by license plate detection and tracking [Electronic resource] // 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - Florence, Italy, 2014. - P. 6563-6567. - URL: https://www.researchgate.net/publication/262067228_Vehicle_speed_estimation_by_license_plate_de tection_and_tracking (accessed: 15.09.2019).

3. Методы вычитания фона в системе управления технологическим процессом [Электронный ресурс] / М.П. Шлеймович, М.В. Медведев, С.А. Ляшева, А.П. Кирпичников // Вестник технологического университета. - 2015. - Т. 18, № 13. - С. 166-170. - URL: https://cyberleninka.ru/article/v/metody-vychitaniya-fona-v-sisteme-upravleniya-tehnologicheskim-protsessom (дата обращения: 15.09.2019).

4. Ke Xia, Zhengxin Weng. Workpieces sorting system based on industrial robot of machine vision // 2016 3rd International Conference on Systems and Informatics (ICSAI). - Shanghai, China,

2016. - P. 422-426.

5. Лошаков К.П. Разработка системы компьютерного зрения для сельскохозяйственной техники // Молодежь и современные информационные технологии: сборник трудов XVI Международной научно-практической конференции студентов, аспирантов и молодых ученых. -Томск, 2018. - С. 340-341.

6. Surface defect detection of plaster coating based on machine vision / H. Wu, H. Luo, W. Zhu, Y. Wang, Q. Zhang, B. Ma, Y. Yang, H. Fan, H. Xu // 2017 IEEE International Conference on Unmanned Systems (ICUS). - Beijing, China, 2017. - P. 277-281.

7. Govardhan P., Pati U.C. NIR image based pedestrian detection in night vision with cascade classification and validation // 2014 IEEE International Conference on Advanced Communications, Control and Computing Technologies. - Ramanathapuram, India, 2014. - P. 1435-1438.

8. Pertsau D., UvarovA. Face detection algorithm using haar-like feature for GPU architecture // 2013 IEEE 7th International Conference on Intelligent Data Acquisition and Advanced Computing Systems (IDAACS). - Berlin, Germany, 2013). - P. 726-730.

9. Bradsky G., Kaehler A. Learning OpenCV. - Sebastopol, CA: O'Reilly, 2008. - ISBN 9780-596-51613-0.

10. Localization of white blood cell images using Haar cascade classifiers [Electronic resource] / Rezha Aditya Maulana Budiman, Balza Achmad, Faridar, Agus Arif, Nopriadi, Luthfi Zharif // 2016 1st International Conference on Biomedical Engineering (IBIOMED). - Yogyakarta, Indonesia, 2016. -URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7869822 (accessed: 19.09.2019).

11. The structure of the XML file generated: understanding the XML file [Electronic resource]. -

2017. - URL: https://knowledge.exlibrisgroup.com/Primo/Product_Documentation/Technical_Guide/ 050Matching_Records_in_the_Serials_and_Non-Serials_Dedup_Algorithm/030Structure_of_the_ XML_File_(accessed: 15.09.2019).

12. Review and evaluation of commonly-implemented background subtraction algorithms / Y. Benezeth, P.M. Jodoin, B. Emile, H. Laurent, C. Rosenberger // 2008 19th International Conference on Pattern Recognition. - Tampa, FL, 2008. - P. 1-4.

13. Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction // Proceedings of the 17th International Conference on Pattern Recognition, ICPR 2004. - Cambridge, UK, 2004. - Vol. 2. - P. 28-31.

14. Zivkovic Z. Heijden F. Van Der. Efficient adaptive density estimation per image pixel for the task of background sub-traction // Pattern Recognition Letters. - 2006. - Vol. 27 (7). - P. 773-780.

15. Walt S. van der, Colbert S.C., Varoquaux G. The NumPy array: a structure for efficient numerical computation // Computing in Science and Engineering. - 2011. - Vol. 13 (2). - P. 22-30.

16. VidanapathiranaM. Real-time human detection in computer vision [Electronic resource]. -URL: https://medium.com/@madhawavidanapathirana/https-medium-com-madhawavidanapathirana-real-time-human-detection-in-computer-vision-part-1-2acb851f4e55_(accessed: 15.09.2019).

17. Васильева Т.Н., Мамонова Т.Е. Применение методов искусственного интеллекта // Молодежь и современные информационные технологии: сборник трудов XII Международной научно-практической конференции студентов, аспирантов и молодых ученых. - Томск, 2014. -С. 402, 403.

18. Sukhadeve A. Understanding neural network [Electronic resource]. - 2017. - URL: https://www.datasciencecentral.com/profiles/blogs/understanding-neural-network-a-beginner-s-guide (accessed: 15.09.2019).

19. SeifE. What is deep learning? Who are the deep learning teachers? [Electronic resource]. -2018. - URL: http://inservice.ascd.org/what-is-deep-learning-who-are-the-deep-learning-teachers/ (accessed: 15.09.2019).

20. Tensorflow Object Detection API [Electronic resource]. - URL: https://github.com/ tensorflow/models/tree/master/research/object_detection (accessed: 15.09.2019).

21. Tensorflow detection model zoo [Electronic resource]. - URL: https://github.com/ tensorflow/models/blob/master/research/object_detection/g3doc/detection_model_zoo.md (accessed: 15.09.2019).

Лошаков Константин Павлович, студент направления «Робототехника и мехатро-ника» Национального исследовательского Томского политехнического университета. Основное направление научных исследований - компьютерное зрение и машинное обучение. Имеет одну публикацию. E-mail: konstant970406@bk.ru.

Мамонова Татьяна Егоровна, кандидат технических наук, доцент отделения автоматизации и робототехники Национального исследовательского Томского политехнического университета. Основное направление научных исследований - моделирование течения жидкости в трубопроводе на основе гидродинамических процессов, искусственный интеллект и его применение, цифровизация процессов и систем, когнитивная визуализация данных, обработка изображений. Имеет 56 публикаций. E-mail: stepte@tpu.ru.

Loshakov Konstantin Pavlovich, student at the Robotics and mechatronics department in TPU. The main research subjects are computer vision and machine learning. He is the author of 1 research paper. E-mail: konstant970406@bk.ru.

Mamonova Tatyana Egorovna, PhD, an associate professor at the TPU automation and robotics department. The main research subjects are fluid flow modeling in a pipeline based on hydrodynamic processes, artificial intelligence and its application, digitalization of processes and systems, cognitive data visualization, and image processing. She is the author of 56 research papers. E-mail: stepte@tpu.ru.

DOI: 10.17212/1814-1196-2019-3-77-86 An algorithm of tracking and detection of moving objects in a video stream

K.P. LOSHAKOV, T.E. MAMONOVAb

Tomsk National Research Polytechnic University, 30 Lenina Street, Tomsk, 634050, Russian Federation

akpl2@tpu.ru b stepte@tpu.ru

Abstract

The relevance of the presented work is determined by the need to create automatic security systems in places of crowds of people to detect suspicious human behaviors which are manifested in sudden movements. This is necessary in order to warn of a potential danger and take appropriate measures afterwards. Two programs have been developed for tracking objects (people are used as an example of objects in this article) that change their positions in the frame and place them into framing rectangles. Describes an algorithm for comparing two frames from a video stream and framing in a rectangle of people who have changed their position in the frame. The created algorithm allows processing up to 17 pairs of frames per second, which means the applicability of the algorithm in real-time tasks. It has been established that setting a minimum height of an object is a necessary part of the algorithm in order to exclude the selection of noises as moving objects. A high result is shown in accuracy and time of object selection in real-time tasks using the proposed algorithm.

Keywords: OpenCV, python, detection algorithm, frames comparison, real-time processing, Background Substraction MOG2, numpy, MaskR-CNN

REFERENCES

1. Prasad P.B. Machine vision systems and image processing with applications. Journal of Innovation in Computer Science and Engineering, 2013, vol. 2 (2), pp. 1-4.

2. Luvizon D.C., Nassu B.T., Minetto R. Vehicle speed estimation by license plate detection and tracking [Electronic resource]. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Florence, Italy, 2014, pp. 6563-6567. Available at: https://www.researchgate.net/publication/262067228_Vehicle_speed_estimation_by_license_plate_de tection_and_tracking (accessed 15.09.2019).

3. Shleymovich M.P., Medvedev M.V., Lyasheva S.A., Kirpichnikov A.P. Metody vychitaniya fona v sisteme upravleniya tekhnologicheskim protsessom [Lantern subtraction methods in the process control system] Vestnik tekhnologicheskogo universiteta - Herald of technological university. Available at: https://cyberleninka.ru/article/v/metody-vychitaniya-fona-v-sisteme-upravleniya-tehno-logicheskim-protsessom (accessed 15.09.2019).

4. Ke Xia, Zhengxin Weng. Workpieces sorting system based on industrial robot of machine vision. 2016 3rd International Conference on Systems and Informatics (ICSAI), Shanghai, China, 2016, pp. 422-426.

5. Loshakov K.P. [Development of computer vision system for agriculture technic]. Molodezh' i sovremennye informatsionnye tekhnologii: sbornik trudov XVI Mezhdunarodnoi nauchno-prakticheskoi konferentsii studentov, aspirantov i molodykh uchenykh [Youth and Modern Information Technology (YMIT): XVI International Scientific-Practical Conference of Students, Postgraduates and Young Scientists], Tomsk, 2018, pp. 340-341. (In Russian).

6. Wu H., Luo H., Zhu W., Wang Y., Zhang Q., Ma B., Yang Y., Fan H., Xu H. Surface defect detection of plaster coating based on machine vision. 2017 IEEE International Conference on Unmanned Systems (ICUS), Beijing, China, 2017, pp. 277-281.

7. Govardhan P., Pati U.C. NIR image based pedestrian detection in night vision with cascade classification and validation. 2014 IEEE International Conference on Advanced Communications, Control and Computing Technologies, Ramanathapuram, India, 2014, pp. 1435-1438.

*

Received 03 March 2019.

8. Pertsau D., Uvarov A. Face detection algorithm using haar-like feature for GPU architecture. 2013 IEEE 7th International Conference on Intelligent Data Acquisition and Advanced Computing Systems (IDAACS), Berlin, Germany, 2013, pp. 726-730.

9. Bradsky G., Kaehler A. Learning OpenCV. Sebastopol, САб O'Reilly, 2008. ISBN 978-0596-51613-0.

10. Rezha Aditya Maulana Budiman, Balza Achmad, Faridar, Agus Arif, Nopriadi, Luthfi Zha-rif. Localization of white blood cell images using Haar cascade classifiers. 2016 1st International Conference on Biomedical Engineering (IBIOMED), Yogyakarta, Indonesia, 2016. Available at: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7869822 (accessed 19.09.2019).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

11. The structure of the XML file generated: understanding the XML file. 2017. Available at: https://knowledge.exlibrisgroup.com/Primo/Product_Documentation/Technical_Guide/050Matching_ Records_in_the_Serials_and_Non-Serials_Dedup_Algorithm/030Structure_of_the_XML_File_(accessed 15.09.2019).

12. Benezeth Y., Jodoin P.M., Emile B., Laurent H., Rosenberger C. Review and evaluation of commonly-implemented background subtraction algorithms. 2008 19th International Conference on Pattern Recognition, Tampa, FL, 2008, pp. 1-4.

13. Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction. Proceedings of the 17th International Conference on Pattern Recognition, ICPR 2004, Cambridge, UK, 2004, vol. 2, pp. 28-31.

14. Zivkovic Z. Heijden F. Van Der. Efficient adaptive density estimation per image pixel for the task of background sub-traction. Pattern Recognition Letters, 2006, vol. 27 (7), pp. 773-780.

15. Walt S. van der, Colbert S.C., Varoquaux G. The NumPy array: a structure for efficient numerical computation. Computing in Science and Engineering, 2011, vol. 13 (2), pp. 22-30.

16. Vidanapathirana M. Real-time human detection in computer vision. Available at: https://medium.com/@madhawavidanapathirana/https-medium-com-madhawavidanapathirana-real-time-human-detection-in-computer-vision-part-1-2acb851f4e55_(accessed 15.09.2019).

17. Vasil'eva T.N., Mamonova T.E. [Application of artificial intelligence]. Molodezh' i sov-remennye informatsionnye tekhnologii: sbornik trudov XII Mezhdunarodnoi nauchno-prakticheskoi konferentsii studentov, aspirantov i molodykh uchenykh [Youth and Modern Information Technology (YMIT): XII International Scientific-Practical Conference of Students, Post-graduates and Young Scientists], Tomsk, 2014, pp. 402-403. (In Russian).

18. Sukhadeve A. Understanding neural network. 2017. Available at: https://www.datascience-central.com/profiles/blogs/understanding-neural-network-a-beginner-s-guide (accessed 15.09.2019).

19. Seif E. What is deep learning? Who are the deep learning teachers? 2018. Available at: http://inservice.ascd.org/what-is-deep-learning-who-are-the-deep-learning-teachers/ (accessed 15.09.2019).

20. Tensorflow Object Detection API. Available at: https://github.com/tensorflow/models/tree/ master/research/object_detection (accessed 15.09.2019).

21. Tensorflow detection model zoo. Available at: https://github.com/tensorflow/models/blob/ master/research/object_detection/g3doc/detection_model_zoo.md (accessed 15.09.2019).

Для цитирования:

Лошаков К.П., Мамонова Т.Е. Алгоритм отслеживания и выделения движущихся объектов в видеопотоке // Научный вестник НГТУ. - 2019. - № 3 (76). - С. 77-86. - DOI: 10.17212/18141196-2019-3-77-86.

For citation:

Loshakov K.P., Mamonova T.E. Algoritm otslezhivaniya i vydeleniya dvizhushchikhsya ob"ek-tov v videopotoke [An algorithm of tracking and detection of moving objects in a video stream]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta - Science bulletin of the Novosibirsk state technical university, 2019, no. 3 (76), pp. 77-86. DOI: 10.17212/1814-11962019-3-77-86.

ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 76, No 3, 2019, pp. 77-86

i Надоели баннеры? Вы всегда можете отключить рекламу.