CC BY
0
Известия Алтайского государственного университета. 2024. № 1 (135). С. 89-94. Izvestiya of Altai State University. 2024. No 1 (135). Р. 89-94.
Научная статья
УДК 519.6:004.42:004.8:004.93
DOI: 10.14258/izvasu(2024)1-12
Алгоритмы обработки изображений и распознавания объектов животного мира на фотоснимках фотовидеорегистраторов методами машинного обучения Алексей Владимирович Ваганов1, Константин Сергеевич Печененко2, Любовь Анатольевна Хворова3
1Южно-Сибирский ботанический сад, Барнаул, Россия, vaganov_vav@mail.ru 2Алтайский государственный университет, Барнаул, Россия, kostya.pechenenko@mail.ru
3Алтайский государственный университет, Барнаул, Россия, Khvorovala@gmail.com
Original article
Machine Learning Algorithms for Image Processing and Recognition of Animal Objects in Photo-DVR Images
Aleksey V. Vaganov1, Konstantin S. Pechenenko2, Lyubov A. Khvorova3
1South-Siberian Botanical Garden, Barnaul, Russia, vaganov_vav@mail.ru 2Altai State University, Barnaul, Russia, kostya.pechenenko@mail.ru 3Altai State University, Barnaul, Russia, Khvorovala@gmail.com
Статья посвящена разработке алгоритмов и программного обеспечения с применением технологий компьютерного зрения, интеллектуального анализа изображений, машинного обучения и искусственного интеллекта для обработки, анализа и распознавания объектов животного мира на фотоснимках с фотоловушек, позволяющих повысить скорость обработки фотоснимков и достоверность распознавания объектов.
Программное обеспечение позволяет обрабатывать большие массивы данных с изображениями с фотоловушек от исходных фотоснимков до их каталогизации по видам объектов и направлено на повышение качества и скорости обработки фотоснимков, повышение достоверности распознавания объекта. Для этого осуществляется автоматическая классификация массива фотоснимков на не содержащие дефект и содержащие дефект (изображения с поврежденными пикселями, засвеченные и с потерей резкости).
С помощью глубокой сверточной нейронной сети формируются классы, содержащие изображения животных и не содержащие распознаваемых объектов животного мира. Проводится сортировка фотоснимков, содержащих образ человека, образ транспортного
© Ваганов А.В., Печененко К.С., Хворова Л.А., 2024
The article is devoted to the development of algorithms and software for processing and analyzing camera traps images to recognize animal objects in them. The algorithms are based on computer vision technologies, image mining, machine learning, and artificial intelligence, which helps increase the speed of image processing photographs and the reliability of object recognition. The software allows processing large amounts of image data, starting from the raw set of camera traps images and up to cataloging the images by types of objects in them. It aims at improving the quality and speed of processing images and increasing the reliability of object recognition. Thus, automatic classification of images with defects (images with damaged pixels, fogged and blurred images) and no defects is essentially the first step of the proposed algorithms. Next, a deep convolutional neural network is used to identify and classify images with animals and images with no animals. Images containing humans, vehicles, and objects of nature are identified and sorted out. The detailed .CSV file report is generated with the file names of images and labels of identified objects in them.
средства или изображение природной среды без животного. В процессе обработки фотоснимков и классификации изображений генерируется отчет в виде табличного файла .csv, где имена файлов с изображениями имеют метки, соответствующие изображенным на них объектам.
Ключевые слова: алгоритм, программное обеспечение,
искусственный интеллект, компьютерное зрение, фотоснимки, фотоловушки, язык программирования Python
Финансирование: исследование выполнено за счет внутриуниверситетского гранта для научно-педагогических работников ФГБОУ ВО «Алтайский государственный университет» по программе «Приоритет-2030»: «Виртуальная лаборатория для обработки и анализа данных по биоразнообразию видов растений и животных», 2022, 2023 гг.
Для цитирования: Ваганов А.В., Печененко К.С., Хво-рова Л.А. Алгоритмы обработки изображений и распознавания объектов животного мира на фотоснимках фото-видеорегистраторов методами машинного обучения // Известия Алтайского государственного университета. 2024. № 1 (135). С. 89-94. DOI: 10.14258/izvasu(2024)1-12
Введение
Фотоловушка — автономный фотовидеоре-гистратор с внутренней памятью, в котором присутствует датчик определения движения. Фото-видеорегистраторы обычно устанавливаются для наблюдения за животными в их естественной среде обитания. Специалисты заповедников получают много ценной научной информации с помощью фотоловушек: с помощью фотокадров можно рассчитать количество и плотность особей на отдельном участке, регистрировать суточную активность животных, наблюдать взаимодействие видов между собой, осуществлять мониторинг территорий и многое другое, важное для специалистов заповедников.
Датчики фоторегистратора срабатывают на любое движение, и не всегда удается установить камеру так, чтобы в кадр не попадала растительность, движимая потоками воздуха. В ряде случаев, из-за климатических условий, фотоловушка может перегреться и начать делать дефектные снимки, непригодные для анализа. Таким образом на картах памяти фоторегистратора накапливается много снимков, не со-
Keywords: algorithm, software, artificial intelligence, computer vision, photographs, camera traps, Python programming language
Funding: the research was funded by the In-university Grant for Scientific and Pedagogical Workers of Altai State University (project "Virtual Laboratory for Processing and Analyzing Data on Biodiversity of Plant and Animal Species", 2022, 2023).
For citation: Vaganov A.V, Pechenenko K.S., Khvorova L.A. Machine Learning Algorithms for Image Processing and Recognition of Animal Objects in Photo-DVR Images. Izvestiya of Altai State University. 2024. No 1 (135). P. 89-94. (In Russ.). DOI: 10.14258/izvasu(2024)1-12
держащих основного объекта исследований — животных.
При обработке большого массива снимков специалистом выборка «хороших» кадров занимает достаточно большое количество времени. Специалисту приходится просматривать каждое изображение. Сортировка производится «вручную», что является нерациональным использованием как интеллектуальных, так и материальных ресурсов.
Таким образом, задача автоматической обработки и классификации изображений является актуальной и практически значимой.
1. Степень разработанности проблемы
Проблема автоматической обработки изображений с фотоловушек не является новой. Уже существуют готовые решения и аналоги, которые адаптированы под видовой состав животных локальной территории (местная фауна) [1-6]. Сравнительные характеристики некоторых программ для работы с данными фотоловушек по основным параметрам приведены в таблице 1.
Таблица 1
Характеристики и возможности некоторых программ
Программа Поддержка Уровень интерфейса Возможности анализа данных Интеграция с ГИС Формат экспорта Удобство тегирования
PhotoSpread Все модели камер Низкий Низкие Нет csv Среднее
Aardwolf Все модели камер Средний Низкие Низкая, только геопривязка локаций csv Среднее
Camera Trap Manager Все модели камер Высокий Высокие Высокая, полная интеграция csv, shp и другие Высокое
Окончание таблицы 1
Программа Поддержка Уровень интерфейса Возможности анализа данных Интеграция с ГИС Формат экспорта Удобство тегирования
Map View Professional Преимущество Reconyx Высокий Низкие Низкая, только Google maps csv Высокое
Camera Base Все модели камер Низкий, на БД MS Access Высокие Средняя,только экспорт в shp csv, shp и другие Среднее
DeskTEAM Только TEAM Высокий Низкие Нет Нет Высокое с ограничениями
Отметим, что и в России некоторые научные коллективы добились значительных успехов в использовании специальных методов, подходов и программных средств в мониторинговых исследованиях, инвентаризации фаун, изучении особенностей экологии копытных и крупных хищников, изучении особенностей поведения животных [7-10].
В большинстве рассмотренных нами работ распознавание объектов животного мира осуществляется с использованием нейросетей. Однако их использование требует высокого потребления вычислительных ресурсов, а именно большого объема памяти. Кроме того, рассмотренные нами исследования не демонстрируют предварительную обработку фотоснимков, а описывают применение нейронных сетей к уже предварительно размеченным (скорее всего, вручную) изображениям. Из текста публикаций не следует, что осуществляется автоматическая сортировка фотоснимков на качественные и содержащие дефект.
2. Алгоритмическая и программная реализация исследования
Научный и технический результаты данного исследования заключаются в разработке алгоритмов обработки изображений и распознавания объектов животного мира на фотоснимках фотовидеорегистра-торов методами машинного обучения и в автоматизации процесса классификации исходных изображений по категориям
Результат исследования достигается за счет осуществления параллельно / последовательного четы-
рехэтапного способа обработки, анализа и распознавания объектов животного мира по фотоснимкам с фотоловушек.
Каждому из этапов соответствует определенный алгоритм: алгоритм предварительной обработки фотоснимков, алгоритм бинарной классификации фотоснимков, применение глубокой нейронной сети для распознавания объектов на изображении, алгоритм для сортировки изображений, алгоритм для генерации отчета о проделанной работе.
Первый этап отвечает за предварительную обработку изображений, классификацию изображения по признаку дефекта и связан с автоматическим выявлением и удалением некачественных фотографий (с расплывчатыми и засвеченными кадрами). На данном этапе решается задача бинарной классификации, т.е. осуществляется сортировка изображений на содержащие дефект (класс «Defect», рис. 1) и не содержащие дефект (класс «Correct», рис. 2). Фотографии с дефектами определяются и классифицируются по типу дефекта: изображения с поврежденными пикселями («Broken_pixels»), пересвеченные изображения («Overexposed»), изображения с потерей резкости («Blurred»). Тип дефекта определяется по числовому значению интенсивности каждого пикселя изображения, которые образуют матрицу. Далее дается вероятностная оценка класса, к которому относится изображение. Такой подход упрощает задачу построения классификатора, так как позволяет более удобно извлекать признаки и подбирать их пороговые значения.
ШМ м Camera NameA 21.04in* ITC
Рис. 1. Фотоснимки из класса «Defect»
Для реализации алгоритма классификации все фотоснимки приводятся к единому размеру — 1024 на 1024 пикселя, и осуществляется перевод изображений в цветовые пространства моделей grayscale и hsv. Для каждого канала изображения, загружен-
ного в определенную цветовую модель, вычисляются описательные статистики: среднее значение по каналу изображения (mean) и стандартное отклонение (std) по каналу изображения (табл. 2).
Таблица 2
Средние значения описательных статистик дефектных изображений из разных классов в цветовых моделях HSV и Grayscale
Класс Grayscale mean Grayscale std Hue mean Hue std Saturation mean Saturation std Value mean Value std
Correct 142,05 55,72 69,83 32,89 65,51 38,46 157,58 55,6
Blurred 153,61 51,14 51,81 19,19 36,06 14,05 162,59 53,83
Broken pixels 122,55 37,66 21,29 31,51 57,66 61,01 136,09 42,26
Overexposed 214,11 33,77 0 0 0 0 214,11 33,77
На основе различий средних значений описательных статистик выбираются статистики для классификации изображений с определенным дефектом.
Как было указано выше, для каждого класса дефектных изображений строятся модели бинарной классификации на основе одного из выбранных признаков. Обучение происходит при помощи подбора
порогового значения признака, при котором значение метрики Б-мера является наибольшим. Предсказание класса изображения происходит путем сравнения вычисленной статистики с пороговым значением. В результате обучения получаем пороговые значения статистик, их знаки и соответствующие значения Б-меры (табл. 3).
Таблица 3
бинарных классификаторов
Пороговые значение статистик
Класс Grayscale mean Grayscale std Hue mean Hue std Saturation mean Saturation std Value mean
Blurred <22,7 F 0.7 <20,4 F 0,98
Broken pixels <24,3 F 0,88 >42,4 F 0,80
Overexposed >187 F 0,87 <39,2 F 0,86 <15 F 1.0 >198 F 0,77
Для каждого класса дефектных изображений построенные модели бинарной классификации объединяются в единую модель для распознавания определенного дефекта. Для того чтобы признать изображение дефектным, необходимо, чтобы хотя бы один из классификаторов определенного вида дефектов распознал изображение как дефектное.
На втором этапе обрабатываются только те фотоснимки, которые были признаны качественными (не содержащие дефект) на первом этапе, и удаляются качественные, но малозначимые изображения (не содержат распознаваемых объектов). При этом выполняется распознавание объектов на фотоснимках при помощи глубокой сверточной нейронной сети:
формируются классы (поддиректории) «Empty» (рис. 2б), не содержащие распознаваемых объектов животного мира и/или содержащие изображения людей и транспортных средств, и «Animal» (рис. 2а), содержащие изображения животных.
Параллельно формируется отчет в виде табличного файла .csv, в котором для каждого фотоснимка указаны: название местности, имя фотоснимка и соответствующие метки (последние 4 цифры). Метки в отчете указаны в четко определенном порядке: животное, человек, транспортное средство или на фотоснимке изображение природной среды без животного, человека или транспортного средства (0 — если нет, 1 — если присутствует). Если на фотоснимке присутствуют сразу несколько вышеуказанных объектов, то данная информация будет отражена во всех соответствующих метках.
На третьем этапе осуществляется сортировка исходных изображений по поддиректориям в операционной системе, исходя из меток изображений, которые они получают в результате первых двух этапов.
Сортировка входящих изображений по поддиректориям используется для наглядной и удобной группировки изображений в зависимости от их содержимого. Поддиректории категорий в порядке приоритета следующие:
1. «Defect» — для фотографий, содержащих дефект.
2. «Animal» — для фотографий, содержащих образ животного.
3. «Human» — для фотографий, содержащих образ человека.
4. «Vehicle» — для фотографий, содержащих образ транспортного средства.
5. «Empty» — изображение подходит для анализа и не содержит не один из вышеуказанных образов.
В ситуации, если изображение не содержит дефект и содержит несколько образов объектов из разных классов, оно будет помещено в директорию категории, имеющую больший приоритет. Так, если изображение содержит образы животного и грузовика, то ему будет присвоено несколько категорий, но оно будет помещено в директорию «Animal».
На четвертом этапе генерируется отчет в виде табличного файла .csv, в который записываются имена
файлов с изображениями и метки, соответствующие содержимому изображений.
Алгоритм обработки изображений и распознавания объектов животного мира на фотоснимках фотовидеорегистраторов методами машинного обучения реализован в виде программного комплекса и работает локально на вычислительной машине, не требуя вмешательства оператора. Разработка осуществлялась на языке программирования Python версии 3.8.
Для успешной сортировки изображений с фотоловушек создаются хранилище и следующие директории: «Input» — для исходных фотографий с фотоловушек, «Output» — для отсортированных по классам фотографий, «Code» — для исходного кода приложения, «Reports» — для отчетов о сортировке фотографий.
«Code» содержит исполняемый Python файл, после запуска которого происходит классификация фотоснимков, создание отчета о классификации и сортировка фотоснимков из директории «Input» в директорию «Output» по категориям.
Категории в директории «Output» представлены поддиректориями, имена которых совпадают с названиями результирующих классов, которые прогнозирует классификатор изображений.
Заключение
Современная тенденция исследований с использованием фотоловушек такова: сведений о животных с труднодоступных мест для исследований становится все больше; увеличивается среднее количество устройств в особо охраняемых природных территориях (ООПТ), занятых в подобных исследованиях; в разы возрастают и объемы получаемых данных (фотографии в 4K разрешении), которые сотрудники в научных отделах ООПТ порой не в силах обработать, как следствие — потеря ценной информации в отсутствие автоматизации процесса сортировки.
Результаты данного исследования позволят обрабатывать большие массивы данных и предоставят возможность системной каталогизации изображений.
Библиографический список
1. Официальный сайт приложения «WildId ». URL: https://www.wildid.app/ (дата обращения: 15.05.2023).
2. Официальный сайт приложения «Timelapse: An Image Analyser for Camera Traps». URL: https://saul.cpsc.ucal-gary.ca/timelapse/ (дата обращения: 15.04.2023).
3. Harris G., Thompson R., Childs J.L., Sanderson J.G. Automatic storage and Analysis of Camera Trap Data // Bulletin
of the Ecological Society of America. 2010. Vol. 91. P. 352-360. DOI: 10.1890/0012-9623-91.3.352
4. Sundaresan S.R., Riginos C., Abelson E.S. Management and Analysis of Camera Trap Data: Alternative Approaches (Response to Harris et al., 2010) // Bulletin of the Ecological Society of America. 2011. Vol. 92. P. 188-195. DOI: 10.1890/00129623-92.2.188
5. Tobler M.W. Camera Base Version 1.7. User Guide. Botanical Research Institute of Texas. 2015. 38 p.
6. Niedballa J, Sollmann R, Courtiol A., Wilting A. CamtrapR: an R Package for Efficient Camera Trap Data Management // Methods in Ecology and Evolution. 2016. Vol. 7 (12). P. 1457-1462. DOI: 10.1111/2041-210X.12600
7. Есипов А.В., Головцов Д.Е., Быкова Е.А. Материалы к фауне млекопитающих и птиц западной части Чаткаль-ского хребта по данным фотоловушек // Вестник Тюменского государственного университета. Экология и природопользование. 2015. Т. 1. № 1 (1). С. 141-150.
8. Сухоруков Е.Г. Опыт обработки данных фотоловушек в Тигирекском заповеднике // Труды Тигирекского заповедника. 2015. Вып. 7. С. 77-79. DOI: 10.53005/20767390_2015_7_77
9. Эрнандес-Бланко Х.А., Лукаревский В.С., Найден-ко С.В., Сорокин П.А., Литвинов М.Н., Чистополова М.Д., Котляр А.К., Рожнов В.В. Опыт применения цифровых фотоловушек для идентификации амурских тигров, оценки их активности и использования основных маршрутов перемещений животными // Амурский тигр в Северо-Восточной Азии: проблемы сохранения в XXI веке : материалы научно-практической конференции. Владивосток: Дальнаука. 2010. С. 100-103.
10. Виткалова А.В., Сторожук В.Б., Матюхина Д.С., Салманова Е.И. Мониторинг популяции дальневосточного леопарда при помощи автоматических фотокамер // Современные технологии в деятельности ООПТ: ГИС, ДЗЗ : Сб. науч. статей. Минск: А.Н. Вараксин. 2015. С. 44-45.
References
1. The Official Website of the Application WildId. URL: https://www.wildid.app/ (accessed: 15.05.2023).
2. The Official Website of the Application «Timelapse: An Image Analyser for Camera Traps». URL: https://saul.cpsc.ucal-gary.ca/timelapse/ (accessed: 15.04.2023).
3. Harris G., Thompson R., Childs J.L., Sanderson J.G. Automatic Storage and Analysis of Camera Trap Data. Bulletin of the Ecological Society of America. 2010. Vol. 91. P. 352-360. DOI: 10.1890/0012-9623-91.3.352
4. Sundaresan S.R., Riginos C., Abelson E.S. Management and Analysis of Camera Trap Data: Alternative Approaches (Response to Harris et al., 2010). Bulletin of the Ecological Society of America. 2011. Vol. 92. P. 188-195. DOI: 10.1890/00129623-92.2.188
5. Tobler M.W. Camera Base Version 1.7. User Guide. Botanical Research Institute of Texas. 2015. 38 p.
6. Niedballa J, Sollmann R, Courtiol A., Wilting A. CamtrapR: an R Package for Efficient Camera Trap Data Management. Methods in Ecology and Evolution. 2016. Vol. 7(12). P. 1457-1462. DOI: 10.1111/2041-210X.12600
7. Esipov A.V., Golovtsov D.E., Bykova E.A. Materials on the Fauna of Mammals and Birds of the Western Part of the
Chatkal Range According to Camera Traps. Bulletin of Tyumen State University. Ecology and Environmental Management. 2015. Vol. 1. No 1 (1). P. 141-150 (In Russ.).
8. Sukhorukov E.G. Experience in Processing Camera Traps in the Tigirek Reserve. Proceedings of the Tigirek Reserve. 2015. Vol. 7. P. 77-79. DOI: 10.53005/20767390_2015_7_77 (In Russ.).
9. Hernandez-Blanco HA, Lukarevsky VS, Naydenko S.V., Sorokin P.A., Litvinov M.N., Chistopolova M.D., Kotlyar A.K., Rozhnov V.V. Experience in the Use of Digital Camera Traps to Identify Amur Tigers, Assess Their Activity and Use the Main Routes of Movement by Animals. Amur Tiger in Northeast Asia: Conservation Problems in the 21st Century. Materials of the Scientific and Practical Conference. Vladivostok: Dalnauka. 2010. P. 100-103 (In Russ.).
10. Vitkalova A.V, Storozhuk V.B., Matyukhina DS, Salmanova E.I. Monitoring of the Population of the Far Eastern Leopard Using Automatic Cameras. Collection of Scientific Articles "Modern Technologies in Activity of Specially Protected Natural Areas: GIS, Remote Earth Sensing». 2015. Minsk: A.N. Varaksin. P. 44-45 (In Russ.).
Информация об авторах
А.В. Ваганов, кандидат биологических наук, старший научный сотрудник, Южно-Сибирский ботанический сад, Барнаул, Россия;
к.С. Печененко, студент Института математики и информационных технологий, Алтайский государственный университет, Барнаул, Россия;
Л.А. хворова, кандидат технических наук, доцент кафедры теоретической кибернетики и прикладной математики, Алтайский государственный университет, Барнаул, Россия.
Information about the authors
A.V. Vaganov, Candidate of Sciences in Biology, Senior Researcher, South-Siberian Botanical Garden, Barnaul, Russia;
K.S. Pechenenko, Undergraduate Student of the Institute of Mathematics and Information Technologies, Altai State University, Barnaul, Russia;
L.A. Khvorova, Candidate of Sciences in Technology, Associate Professor of the Department of Theoretical Cybernetics and Applied Mathematics, Altai State University, Barnaul, Russia.
