CC BY
80
УДК 681.772.7
DOI: 10.17586/0021-3454-2021-64-10-811-820
МЕТОДЫ ПОВЫШЕНИЯ КАЧЕСТВА ИЗОБРАЖЕНИЯ
ДЛЯ РАБОТЫ СИСТЕМЫ ВИДЕОНАБЛЮДЕНИЯ В УСЛОВИЯХ НЕДОСТАТОЧНОЙ ОСВЕЩЕННОСТИ
В. А. Ковалевский, В. В. Волхонский
Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: [email protected]
Подготовка видеоизображений низкого качества для извлечения полезных данных является сложной задачей из области обработки изображений и компьютерной графики. Рассмотрены наиболее часто применяемые методы повышения качества изображения, такие как полное или частичное изменение экспозиции, а также алгоритмы пространственной и частотной фильтрации. Выбранные алгоритмы и методы рассматриваются с учетом особенностей работы нейронной сети с конечным видеорядом. На основе проведенного исследования выделены основные параметры и критерии видеоизображений для обеспечения корректной работы нейронной сети.
Ключевые слова: метод повышения качества изображения, методы фильтрации изображения, изменение времени экспозиции, выравнивание гистограммы, RETINEX
Введение. Видеоизображения (ВИ) являются основным средством представления информации в системах видеонаблюдения. Извлечение информации из ВИ с применением технологии компьютерного зрения в условиях слабой освещенности — ресурсоемкий процесс. В настоящее время обработка изображений низкого качества для упрощения процесса извлечения полезных данных является сложной задачей. Несмотря на многообразие алгоритмов улучшения изображения, на затемненных или засвеченных изображениях нередко возникают различные артефакты. Этой теме посвящен ряд работ, например, [1—42], однако в них недостаточно рассмотрен вопрос выбора алгоритмов улучшения ВИ для обучения нейронной сети и ее работы.
В процессе обработки информации, полученной из фото- или видеоизображений, человеку свойственно допускать ошибки или наблюдать за процессом, не уделяя внимания отдельным объектам. Появление подобной неточности в работе систем видеонаблюдения и обеспечения безопасности может угрожать жизни и здоровью человека. Для обеспечения продуктивного видеонаблюдения рекомендуется каждые два часа производить смену оператора, при этом каждый сотрудник в заданном режиме работы сможет следить максимум за 32 *
камерами .
В связи с этим большинство компаний переходят к использованию интеллектуальных методов работы камер, которые помогают минимизировать человеческий фактор в работе системы.
Методы преобразования данных в видеокамерах обеспечивают наибольшую эффективность в идеальных условиях, при этом при ухудшении погодных условий результативность работы системы резко снижается. Алгоритмы повышения качества изображения не могут полноценно решить описанную проблему, как при работе оператора, так и при использовании технологии нейронных сетей: современные методы анализа и работы с видеорядом не будут корректно функционировать в штатном режиме.
Р 78.36.002-2010 „Рекомендации. Выбор и применение систем охранных телевизионных".
Удаление затемнений и извлечение значимого содержимого — актуальные направления для работы в таких областях, как отслеживание, обнаружение объекта, распознавание лиц. Разработаны различные подходы к обработке темных областей изображения, шумов, светлых искажений, деталей текстуры, цвета и т.д. [2—42]. Алгоритмы, используемые для улучшения изображений при слабом освещении, должны эффективно устранять темные области при сохранности важного содержимого кадра, что не может гарантировать метод удаления затемнения. Качество изображения может значительно снижаться под действием нескольких факторов, и исправления только одного из них недостаточно для получения изображения требуемого качества. В этом случае непригоден метод, который используется для повышения яркости или контрастности изображения, обработки изображений, имеющих участки с высокой насыщенностью.
Алгоритмы улучшения изображения можно разделить на локальные и глобальные. Вне зависимости от пространственного распределения пикселов глобальное улучшение изображения влияет на все пикселы изображения, в то время как метод локального улучшения учитывает пространственное распределение пикселов в кадре.
Удаление темных участков с изображений при слабом освещении — один из самых простых и интуитивно понятных алгоритмов глобального повышения качества. Однако его использование, если часть изображения характеризуется слишком высокой яркостью или насыщенностью, приведет к потере значимых деталей. Для преодоления описанной проблемы используется комбинация математических методов, основанных на применении логарифмов, уравнений степенного знака и гамма-функций.
Выравнивание гистограммы является наиболее распространенным методом предотвращения чрезмерной насыщенности, яркости, контрастности изображения. Следствием применения такого выравнивания может стать потеря некоторых деталей локальных частей. Использование пространственного распределения для получения координат пикселов и последующего локального изменения времени экспозиции по стратегии скользящего затвора с дальнейшим выравниванием гистограммы может повысить качество кадра.
Таксономия методов улучшения качества изображения. Методы повышения качества изображения можно разделить на используемые до и после преобразования аналогового сигнала в цифровой.
Методы и алгоритмы цифровой обработки изображений классифицируются по манипуляциям с изображениями — восстановление кадра, повышение качества и извлечение полезной информации (рис. 1).
Методы улучшения изображения путем изменения алгоритма работы матрицы применяются для видеокамер на основе как ПЗС, так и КМОП. В настоящей работе методы повышения качества изображения для видеокамер на основе ПЗС-матриц не рассматриваются. В случае с КМОП-матрицами наиболее актуальным методом улучшения качества изображения будет глобальное или локальное изменение времени экспозиции, которое позволяет повысить пригодность формируемого изображения для дальнейшей" обработки. Основным недостатком такого подхода является изменение параметров кадра без учета особенностей" формируемого изображения (различных показателей яркости, динамики движения в кадре). Улучшение изображения путем изменения алгоритма работы матрицы требует определенной подготовки оборудования, поэтому в настоящий момент основное внимание специалистов в области повышении качества изображения сфокусировано на этапе после преобразования аналогового сигнала.
Рис. 1
В настоящей работе рассматриваются цифровые методы [43] улучшения качества изображения с пространственной и частотной фильтрацией.
Идея пространственной фильтрации заключается в определении логической функции, вычисляемой в окрестности текущего пиксела исходного изображения в зависимости от пространственного расположения и значений пикселов данной окрестности, и в присвоении соответствующему пикселу итогового изображения значения 0 или 1 как результата вычисления логической функции [3]. Такие преобразования результативны в процессе изменения значений уровня серого и контрастности всего изображения. Недостатком пространственной фильтрации часто является размытие контуров, снижение резкости.
Методы обработки в частотной области основываются на модификации сигнала, формируемого путем применения к изображению преобразования Фурье. Частотная фильтрация при наличии периодических помех позволяет оказывать более локальное влияние, минимально затрагивая полезную информацию. Ключевым элементом частотной фильтрации является преобразование Фурье. Операции для улучшения изображения, выполняемые в частотной плоскости, также используются в преобразовании Хартли [2].
Методы повышения качества изображения. Рассмотрим наиболее применяемые на сегодняшний день алгоритмы улучшения изображения [44]: выравнивания гистограммы, адаптивного выравнивания гистограммы, адаптивного выравнивания гистограммы с ограничением контраста, алгоритм нормализации яркости и контрастности изображения (RETINEX) [10, 11].
1. Выравнивание гистограммы. С помощью гистограммы можно выравнять уровень серого, а также яркости и контрастности. Такой метод относится к глобальным и применим
для однородных изображений (рис. 2). Выравнивание гистограммы описывается дискретной функцией.
Рис. 2
2. Адаптивное выравнивание гистограммы — изображение разбивается на сегменты и для каждого сегмента получается отдельная гистограмма, используемая с целью замены значения интенсивности для каждого сегмента изображения [45]. Недостатком этого метода является усиление шума в однородных фоновых областях. Результат применения описанного алгоритма представлен на рис. 3 [4].
Рис. 3
3. Адаптивное выравнивание гистограммы с ограничением контраста. Алгоритм получил широкое распространение в связи с недостаточной контрастностью и низким отношением сигнал/шум при работе камеры в инфракрасном режиме [5]. Помимо адаптивного выравнивания гистограммы происходит разбиение на элементы, однако необходимо учитывать предел отсечения и количество элементов.
4. Алгоритм RETINEX. Анализируется не абсолютная, а относительная яркость изображения [46]. Алгоритмы группы RETIEX разделились на два типа: на основе анализа относительной яркости изображения путем сравнения целого изображения или набора случайных пикселов; на основе использования маски свертки, или вариационные методы для вычисления локального контраста.
В программе MatLab обработаны два изображения: слабо освещенная рентгенограмма (рис. 4) и фото с узкой гистограммой (рис. 5).
¡тгИоу^И) ¡теЬс^МЬгтип.Ьтах]) твИс^.П)
Рис. 4
И - ¡гладе а Ьоу Ыэ^дгат И
О 50 100 150 200 250
Рис. 5
Рис. 4 обработан следующим образом: если яркость меньше минимального значения яркости пиксела изначального изображения /<ЛШщ, то пиксел отображается черным цветом, если />^шах, то белым, остальные — промежуточными оттенками. На рис. 5 выравнена гистограмма: I2=histeq(I1).
Анализ результатов. В таблице проанализирована пригодность рассмотренных методов повышения качества изображения для кадра с низким уровнем освещенности.
Метод/алгоритм Тип принимаемых данных Результат работы Выводы
Глобальное или локальное изменение времени экспозиции Изображение с локальными или глобальными затемнениями Сохраняет среднюю интенсивность изображения Пригоден при последующей дополнительной обработке изображения
Пространственная фильтрация Изображение с низким уровнем контраста Улучшение детализации небольших темных участков изображения Бесполезен при наличии большой темной области в изображении
Выравнивание гистограммы Изображение с низким уровнем контраста, интенсивностью или яркостью Улучшение всего изображения Пригоден для однородных изображений, но локальные детали могут теряться
Адаптивное выравнивание гистограммы Изображение с множественными пиками в гистограмме Улучшение изображения без значительных визуальных артефактов Нельзя применять к однородным изображениям
Адаптивное выравнивание гистограммы с ограничением контраста Изображение с градацией серого Обеспечивает оптимальный контраст, а также сохраняет или увеличивает яркость и контрастность изображения Наиболее оптимальный метод для работы с ночными изображениями
ЯЕТШЕХ Изображение при слабом освещении Дает наилучший для дальнейшей работы фон Непригоден для работы с деталями переднего плана в ночном изображении
В результате обработки ВИ в среде MatLab становится очевидным различие в требованиях к ВИ для корректного восприятия человеческим глазом и для обучения нейронной сети. Для работы оператора предпочтительнее ВИ с высоким уровнем локального контраста. Если нейронная сеть обучается на ВИ с исключительно высокой контрастностью, увеличивается вероятность возникновения систематических ошибок (рис. 5); но следует помнить, что обучение сети с использованием ВИ с низким уровнем локального контраста для работы в сфере медицины (рис. 4) приведет к обратной ситуации.
Основываясь на выполненном анализе, можно сделать вывод, что каждый метод и алгоритм в отдельных ситуациях позволяет повысить качество изображения для дальнейшего использования в работе нейронной сети. Наиболее эффективным можно считать адаптивное выравнивание гистограммы с ограничением контраста. Этот алгоритм при различных условиях освещенности позволяет наиболее эффективно выравнивать насыщенность и контрастность изображения, несмотря на добавление зернистости.
Необходимо отметить, что не существует универсального алгоритма, способного улучшить изображение любого типа.
Весомым преимуществом алгоритма является способность подготовить изображение к обработке оператором или системой на основе машинного обучения [47]. Возможность участия нейронной сети в обработке информации, получаемой от систем видеонаблюдения, является важным критерием в подборе алгоритмов и методов улучшения качества изображения. На сегодняшний день многие системы ТВ-наблюдения ведут анализ ВИ без участия оператора, используя средства автоматизированного анализа ВИ [1], при необходимости уведомляя оператора о тех иди иных событиях (обнаружение, классификация и идентификация обнаруженных объектов). Следовательно, необходимо выбирать методы улучшения качества изображения, позволяющие алгоритмам работы нейронной сети наиболее эффективно анализировать изображение.
Заключение. На практике эффективность работы системы ТВ-наблюдения во многом зависит от используемых методов повышения качества получаемого ВИ. В представленном обзоре сравниваются различные методы и алгоритмы воздействия на изображение с учетом возможности получения качественного кадра в условиях недостаточной освещенности. Поскольку большинство современных систем видеонаблюдения работают с применением технологий машинного обучения или простейших нейронных сетей, необходимы методы, результат работы которых пригоден для алгоритмов автоматизированного обнаружения, классификации и идентификации объектов без дополнительного изменения формата и различных параметров получаемого на входе кадра ВИ. Ни один из методов и алгоритмов в полной мере не позволяет достигнуть требуемого результата при вариативности условий работы камеры в условиях недостаточной освещенности, что подтверждает актуальность задачи разработки метода улучшения качества изображения, ориентированного именно на работу с нейронными сетями.
список литературы
1. Волхонский В. В. Системы телевизионного наблюдения: основы проектирования и применения. М.: Горячая линия - Телеком, 2020. 392 с.
2. Hanspal R. K., Sahoo K. A survey of image enhancement techniques // Intern. J. of Science and Research (IJSR). 2017. Vol. 6, N 5. P. 2467—2471.
3. Kim Y. T. Contrast enhancement using brightness preserving bi-histogram equalization // IEEE Transactions on Consumer Electronics. 1997. Vol. 43, N 1. P. 1—8.
4. Kumar M., Rana A. Image enhancement using contrast limited adaptive histogram equalization and wiener filter // Intern. J. of Engineering and Computer Science. 2016. Vol. 5, N 6. P. 16977—16979.
5. Sengee N., Choi H. K. Brightness preserving weight clustering histogram equalization // IEEE Transactions on Consumer Electronics. 2008. Vol. 54, N 3. P. 1329—1337.
6. Azzari L., Foi A. Variance stabilization for noisy+ estimate combination in iterative Poisson denoising // IEEE Signal Processing Letters. 2016. Vol. 23, N 8. P. 1086—1090.
7. Caballero J. et al. Real-time video super-resolution with spatio-temporal networks and motion compensation // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2017. P. 4778—4787.
8. Celik T., Tjahjadi T. Contextual and variational contrast enhancement // IEEE Transactions on Image Processing. 2011. Vol. 20, N 12. P. 3431—3441.
9. Chen Z. Y. et al. Gray-level grouping (GLG): an automatic method for optimized image contrast Enhancement-part I: the basic method // IEEE Transactions on Image Processing. 2006. Vol. 15, N 8. P. 2290—2302.
10. DongX. et al. Fast efficient algorithm for enhancement of low lighting video // 2011 IEEE International Conference on Multimedia and Expo. IEEE. 2011. P. 1—6.
11. Everingham M. et al. The pascal visual object classes (voc) challenge // Intern. J. of Computer Vision. 2010. Vol. 88, N 2. P. 303—338.
12. Fu X. et al. A fusion-based enhancing method for weakly illuminated images // Signal Processing. 2016. Vol. 129. P. 82—96.
13. Fu X. et al. A weighted variational model for simultaneous reflectance and illumination estimation // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2016. P. 2782—2790.
14. Guo X., Li Y., Ling H. LIME: Low-light image enhancement via illumination map estimation // IEEE Transactions on Image Processing. 2016. Vol. 26, N 2. P. 982—993.
15. Ibrahim H., Kong N. S. P. Brightness preserving dynamic histogram equalization for image contrast enhancement // IEEE Transactions on Consumer Electronics. 2007. Vol. 53, N 4. P. 1752—1758.
16. Isola P. et al. Image-to-image translation with conditional adversarial networks // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2017. P. 1125—1134.
17. Kim M. et al. A novel approach for denoising and enhancement of extremely low-light video // IEEE Transactions on Consumer Electronics. 2015. Vol. 61, N 1. P. 72—80.
18. Ko S. et al. Artifact-free low-light video enhancement using temporal similarity and guide map // IEEE Transactions on Industrial Electronics. 2017. Vol. 64, N 8. P. 6392—6401.
19. Ledig C. et al. Photo-realistic single image super-resolution using a generative adversarial network // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2017. P. 4681—4690.
20. Lee C. H. et al. Adaptive multiscale retinex for image contrast enhancement // 2013 Intern. Conf. on Signal-Image Technology & Internet-Based Systems. 2013. P. 43—50.
21. Lee C., Lee C., Kim C. S. Contrast enhancement based on layered difference representation of 2D histograms // IEEE Transactions on Image Processing. 2013. Vol. 22, N 12. P. 5372—5384.
22. Lore K. G., Akintayo A., Sarkar S. LLNet: A deep autoencoder approach to natural low-light image enhancement // Pattern Recognition. 2017. Vol. 61. P. 650—662.
23. Nakai K., Hoshi Y., Taguchi A. Color image contrast enhacement method based on differential intensity/saturation gray-levels histograms // 2013 Intern. Symp. on Intelligent Signal Processing and Communication Systems. 2013. P. 445—449.
24. Pang J., Zhang S., Bai W. A novel framework for enhancement of the low lighting video // 2017 IEEE Symp. on Computers and Communications (ISCC). 2017. P. 1366—1371.
25. Tao L. et al. Low-light image enhancement using CNN and bright channel prior // 2017 IEEE Intern. Conf. on Image Processing (ICIP). 2017. P. 3215—3219.
26. Tao L. et al. LLCNN: A convolutional neural network for low-light image enhancement // 2017 IEEE Visual Communications and Image Processing (VCIP). 2017. P. 1—4.
27. Wang Z. et al. Image quality assessment: from error visibility to structural similarity // IEEE Transactions on Image Processing. 2004. Vol. 13, N 4. P. 600—612.
28. Yeganeh H., Wang Z. Objective quality assessment of tone-mapped images // IEEE Transactions on Image Processing. 2012. Vol. 22, N 2. P. 657—667.
29. Ying Z., Li G., Gao W. A bio-inspired multi-exposure fusion framework for low-light image enhancement // arXiv preprint arXiv:1711.00591. 2017.
30. Ying Z. et al. A new image contrast enhancement algorithm using exposure fusion framework // Intern. Conf. on Computer Analysis of Images and Patterns. Springer, Cham, 2017. P. 36—46.
31. Ying Z. et al. A new low-light image enhancement algorithm using camera response model // Proc. of the IEEE Intern. Conf. on Computer Vision Workshops. 2017. P. 3015—3022.
32. Dabov K. et al. Image denoising with block-matching and 3D filtering // Image Processing: Algorithms and Systems, Neural Networks, and Machine Learning. International Society for Optics and Photonics, 2006. Vol. 6064. P. 606414.
33. Sakaridis C. et al. Model adaptation with synthetic and real data for semantic dense foggy scene understanding // Proc. of the Europ. Conf. on Computer Vision (ECCV). 2018. P. 687—704.
34. Dai D., Van Gool L. Dark model adaptation: Semantic image segmentation from daytime to nighttime // 2018 21st Intern. Conf. on Intelligent Transportation Systems (ITSC). 2018. P. 3819—3824.
35. Gharbi M. et al. Deep bilateral learning for real-time image enhancement // ACM Transactions on Graphics (TOG). 2017. Vol. 36, N 4. P. 1—12.
36. Guo S. et al. Toward convolutional blind denoising of real photographs // Proc. of the IEEE/CVF Conf. on Computer Vision and Pattern Recognition. 2019. P. 1712—1722.
37. Iizuka S., Simo-Serra E., Ishikawa H. Let there be color! Joint end-to-end learning of global and local image priors for automatic image colorization with simultaneous classification // ACM Transactions on Graphics (ToG). 2016. Vol. 35, N 4. P. 1—11.
38. Kingma D. P., Ba J. Adam: A method for stochastic optimization // arXiv preprint arXiv:1412.6980. 2014.
39. Lv F. et al. MBLLEN: Low-Light Image/Video Enhancement Using CNNs // BMVC. 2018. P. 220.
40. Yang F., Wu J. An improved image contrast enhancement in multiple-peak images based on histogram equalization // 2010 Intern. Conf. on Computer Design and Applications. 2010. Vol. 1. P. V1-346—V1-349.
41. Lyu G. et al. A novel visual perception enhancement algorithm for high-speed railway in the low light condition // 2014 12th Intern. Conf. on Signal Processing (ICSP). 2014. P. 1022—1025.
42. Wang D., Niu X., Dou Y. A piecewise-based contrast enhancement framework for low lighting video // Proc. 2014 IEEE Intern. Conf. on Security, Pattern Analysis, and Cybernetics (SPAC). 2014. P. 235—240.
43. Гонсалес Р., Вудс Р. Цифровая обработка изображений. 2012. 1072 с.
44. Кругль Г. Профессиональное видеонаблюдение. Практика и технологии аналогового и цифрового CCTV. М.: Секьюрити Фокус, 2010. Т. 360. 640 с.
45. Pizer S. M. et al. Adaptive histogram equalization and its variations // Computer vision, graphics, and image processing. 1987. Vol. 39, N 3. P. 355—368.
46. Land E. H., McCann J. J. Lightness and retinex theory // JOSA. 1971. Vol. 61, N 1. P. 1—11.
47. Хайкин С. Нейронные сети: полный курс. М.: Вильямс, 2008. 1104 с.
Сведения об авторах
Владислав Александрович Ковалевский — аспирант; Университет ИТМО, факультет наноэлектроники;
E-mail: [email protected]
Владимир Владимирович Волхонский — д-р техн. наук, доцент; Университет ИТМО, факультет наноэлектроники; E-mail: [email protected]
Поступила в редакцию 25.05.2021 г.
Ссылка для цитирования: Ковалевский В. А., Волхонский В. В. Методы повышения качества изображения для
работы системы видеонаблюдения в условиях недостаточной освещенности // Изв. вузов. Приборостроение.
2021. Т. 64, № 10. С. 811—820.
METHODS FOR IMPROVING IMAGE QUALITY FOR VIDEO SURVEILLANCE SYSTEM OPERATION IN
CONDITIONS OF INSUFFICIENT ILLUMINATION
V. A. Kovalevsky, V. V. Volkhonsky
ITMO University, 197101, St. Petersburg, Russia E-mail: [email protected]
Preparing low quality video images for payload extraction is considered as a challenging task in the field of imaging and computer graphics. The most frequently used methods of image quality improvement are reviewed, such as full or partial exposure change, as well as algorithms for spatial and frequency filtering. The selected algorithms and methods are analyzed with the account for peculiarities of neural network operation with a finite video sequence. Based on the study, the main parameters and criteria of video images were identified to ensure the correct operation of the neural network.
Keywords: image quality improvement method, image filtering methods, exposure time change, histogram equalization, RETINEX
REFERENCES
1. Volkhonsky V.V. Sistemy televizionnogo nablyudeniya: osnovy proyektirovaniya i primeneniya (Television Surveillance Systems: Design and Application Fundamentals), Moscow, 2020, 392 p. (in Russ.)
2. Hanspal R.K., Sahoo K. International Journal of Science and Research (IJSR), 2017, no. 5(6), pp. 2467-2471.
3. Kim Y.T. IEEE transactions on Consumer Electronics, 1997, no. 1(43), pp. 1-8.
4. Kumar M., Rana A. International Journal of Engineering and Computer Science, 2016, no. 6(5), pp. 16977-16979.
5. Sengee N., Choi H.K. IEEE Transactions on Consumer Electronics, 2008, no. 3(54), pp. 1329-1337.
6. Azzari L., Foi A. IEEE signal processing letters, 2016, no. 8(23), pp. 1086-1090.
7. Caballero J. et al. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 4778-4787.
8. Celik T., Tjahjadi T. IEEE Transactions on Image Processing, 2011, no. 12(20), pp. 3431-3441.
9. Chen Z.Y. et al. IEEE transactions on image processing, 2006, no. 8(15), pp. 2290-2302.
10. Dong X. et al. 2011 IEEE International Conference on Multimedia and Expo, IEEE, 2011, pp. 1-6.
11. Everingham M. et al. International journal of computer vision, 2010, no. 2(88), pp. 303-338.
12. Fu X. et al. Signal Processing, 2016, vol. 129, pp. 82-96.
13. Fu X. et al. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 2782-2790.
14. Guo X., Li Y., Ling H. IEEE Transactions on image processing, 2016, no. 2(26), pp. 982-993.
15. Ibrahim H., Kong N.S.P. IEEE Transactions on Consumer Electronics, 2007, no. 4(53), pp. 1752-1758.
16. Isola P. et al. Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 1125-1134.
17. Kim M. et al. IEEE Transactions on Consumer Electronics, 2015, no. 1(61), pp. 72-80.
18. Ko S. et al. IEEE Transactions on Industrial Electronics. 2017, no. (), pp.64. №. 8. C. 6392-6401.
19. Ledig C. et al. Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 4681-4690.
20. Lee C. H. et al. 2013 International Conference on Signal-Image Technology & Internet-Based Systems, IEEE, 2013, pp. 43-50.
21. Lee C., Lee C., Kim C.S. IEEE transactions on image processing, 2013, no. 12(22), pp. 5372-5384.
22. Lore K. G., Akintayo A., Sarkar S. Pattern Recognition, 2017, vol. 61, pp. 650-662.
23. Nakai K., Hoshi Y., Taguchi A. 2013 International Symposium on Intelligent Signal Processing and Communication Systems, IEEE, 2013, pp. 445-449.
24. Pang J., Zhang S., Bai W. 2017 IEEE Symposium on Computers and Communications (ISCC), IEEE, 2017, pp. 1366-1371.
25. Tao L. et al. 2017 IEEE International Conference on Image Processing (ICIP), IEEE, 2017, pp. 3215-3219.
26. Tao L. et al. 2017 IEEE Visual Communications and Image Processing (VCIP), IEEE, 2017, pp. 1-4.
27. Wang Z. et al. IEEE transactions on image processing, 2004, no. 4(13), pp. 600-612.
28. Yeganeh H., Wang Z. IEEE Transactions on Image Processing, 2012, no. 2(22), pp. 657-667.
29. Ying Z., Li G., Gao W. A bio-inspired multi-exposure fusion framework for low-light image enhancement, arXiv preprint arXiv:1711.00591, 2017.
30. Ying Z. et al. International Conference on Computer Analysis of Images and Patterns, Springer, Cham, 2017, pp. 36-46.
31. Ying Z. et al. Proceedings of the IEEE International Conference on Computer Vision Workshops, 2017, pp. 3015-3022.
32. Dabov K. et al. Image Processing: Algorithms and Systems, Neural Networks, and Machine Learning, International Society for Optics and Photonics, 2006, vol. 6064, pp. 606414.
33. Sakaridis C. et al. Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 687-704.
34. Dai D., Van Gool L. 2018 21st International Conference on Intelligent Transportation Systems (ITSC), IEEE, 2018, рр. 3819-3824.
35. Gharbi M. et al. ACM Transactions on Graphics (TOG), 2017, no. 4(36), pp. 1-12.
36. Guo S. et al. Proceedings of the IEEE/cVf Conference on Computer Vision and Pattern Recognition, 2019, рр. 1712-1722.
37. lizuka S., Simo-Serra E., Ishikawa H. ACM Transactions on Graphics (ToG), 2016, no. 4(35), pp. 1-11.
38. Kingma D.P., Ba J. Adam: A method for stochastic optimization, arXiv preprint arXiv:1412.6980, 2014.
39. Lv F. et al. BMVC, 2018, рр. 220.
40. Yang F., Wu J. 2010 International Conference on Computer Design and Applications, IEEE, 2010, vol. 1, рр. V1-346-V1-349.
41. Lyu G. et al. 2014 12th International Conference on Signal Processing (ICSP), IEEE, 2014, рр. 1022-1025.
42. Wang D., Niu X., Dou Y. Proceedings 2014 IEEE International Conference on Security, Pattern Analysis, and Cybernetics (SPAC), IEEE, 2014, рр. 235-240.
43. Gonzalez R.C., Woods R.E. Digital Image Processing, Prentice Hall, 2008
44. Kruegle H. CCTV Surveillance. Analog and Digital Video Practices and Technology, Elsevier Butterworth Heinemann, 2007, 656 р.
45. Pizer S.M. et al. Computer vision, graphics, and image processing, 1987, no. 3(39), pp. 355-368.
46. Land E.H., McCann J.J. JOSA, 1971, no. 1(61), pp. 1-11.
47. Haykin S. Neural Networks a Comprehensive Foundation, McMaster University, 2001.
For citation: Kovalevsky V. A., Volkhonsky V. V. Methods for improving image quality for video surveillance system operation in conditions of insufficient illumination. Journal of Instrument Engineering. 2021. Vol. 64, N 10. P. 811—820 (in Russian).
DOI: 10.17586/0021-3454-2021-64-10-811-820
Vladimir V. Volkhonsky
Vladislav A. Kovalevsky
Data on authors
Post-Graduate Student; ITMO University, Faculty of Nanoelectronics; E-mail: [email protected] Dr. Sci., Associate Professor; ITMO University, Faculty of Nanoelectronics; E-mail: [email protected]
