CC BY
6(1 RUSSIAN JOURNAL OF ECOSYSTEM ECOLOGY Vol. 9 (1), 2024
Revived 29.12.23 Revised 25.01.24 Accepted 05.03.24 1 REVIEW Open Access
УДК 004.8; 59.087 DOI 10.21685/2500-0578-2024-1-2
обзор программного обеспечения для обработки и анализа данных с фотоловушек:
V» _ _
нейронные сети и веб-сервисы
С. С. Огурцов1, В. А. Ефремов2, А. В. Леус3
1 Центрально-Лесной государственный природный биосферный заповедник, пос. Заповедный, Тверская обл., Россия 1 Институт проблем экологии и эволюции имени А. Н. Северцова Российской академии наук, Москва, Россия 23 Московский физико-технический институт (Национальный исследовательский университет), г. Долгопрудный, Московская обл., Россия 1 etundra@mail.ru,2 efremov.va@phystech.edu,3 leus.av@mipt.ru
Аннотация. Обработка данных с фотоловушек до сих пор является одной из самых существенных проблем в исследованиях с применением этих приборов по всему миру. В настоящем обзоре рассматриваются современные программы для такой обработки с применением технологий искусственных нейронных сетей, которые многократно упрощают данный процесс. Всего разобрано пять программ. Три из них являются веб-сервисами (Wildlife Insights, Agouti, WildTrax), а две - настольными приложениями (Timelapse, Camelot). Все программы являются бесплатными, свободными в использовании, эффективными в работе, простыми в освоении и не требуют навыков программирования. Все они прошли тестирование в рамках работы Программы фотомониторинга в Центрально-Лесном заповеднике. В результате выявлены их ключевые особенности, преимущества и недостатки. Для каждой программы измерена скорость тегирования и точность автоматической классификации. Все три веб-сервиса оказались очень удобными и эффективными. Наилучшей классификацией обладал Wildlife Insights (Accuracy = 87 %). Тем не менее самая высокая скорость тегирования среди веб-сервисов была у Agouti (1,22 кадра/с). Абсолютным лидером по скорости тегирования являлся Time-lapse (1,32 кадра/с). Среди всех имеющихся на сегодняшний день зарубежных настольных программ для обработки данных с фотоловушек лучшей мы считаем Timelapse, которую настоятельно рекомендуем всем биологам и экологам, проводящим исследования с фотоловушками.
Ключевые слова: веб-сервисы, искусственный интеллект, обработка данных, программное обеспечение, сверточные нейронные сети, фотоловушки, фотомониторинг
Для цитирования: Огурцов С. С., Ефремов В. А., Леус А. В. Обзор программного обеспечения для обработки и анализа данных с фотоловушек: нейронные сети и веб-сервисы // Russian Journal of Ecosystem Ecology. 2024. Vol. 9 (1). https://doi.org/10.21685/2500-0578-2024-1-2
review of the software for processing and analyzing camera trap data: neural networks and web services
S.S. Ogurtsov1, V.A. Efremov2, A.V. Leus3
1 Central Forest State Nature Biosphere Reserve, Zapovedniy village, Tver region, Russia
1 A. N. Severtsov Institute of Ecology and Evolution of RAS, Moscow, Russia
2 3 Moscow Institute of Physics and Technology (National Research University), Dolgoprudny, Moscow Region, Russia 1 etundra@mail.ru,2 efremov.va@phystech.edu,3 leus.av@mipt.ru
Abstract. Сamera trap data processing is still one of the most significant problems in research with these devices worldwide. This review considers modern software for such processing using convolutional neural network technologies, which simplify this process many times over. A total of 5 software applications are parsed. Three of them are web-services (Wildlife Insights, Agouti, WildTrax), and two are desktop applications (Timelapse, Camelot). All software applications are open access, free to use, efficient in operation, easy to learn, and do not require programming skills. All of them have been tested within the framework of the Central Forest Nature Reserve Camtrap Monitoring Program. As a result, their key features, advantages and disadvantages are identified. Tagging speed and accuracy of automatic classification were measured for each software application. Results. All three web services proved to be very user-friendly and efficient. Wildlife Insights had the most accurate classification (Accuracy = 87 %). However, Agouti had the fastest tagging speed among the web services (1.22 frames/sec). The absolute leader in
© Огурцов С. С., Ефремов В. A., /leyc А. В., 2024. Данная статья доступна по условиям всемирной лицензии Creative Commons Page 1 from 18
Attribution 4.0 International License (http://creativecommons.0rg/licenses/by/4.o/), которая дает разрешение на неограниченное использование, копирование на любые носители при условии указания авторства, источника и ссылки на лицензию Creative Commons, а также изменений, если таковые имеют место.
tagging speed was Timelapse (1.32 frames/sec). Among all currently available desktop applications for camera trap data processing, we consider Timelapse to be the best, which we strongly recommend to all biologists and ecol-ogists conducting research with camera traps.
Keywords: artificial intelligence, camera traps, convolutional neural networks, data processing, monitoring, software, web services
For citation: Ogurtsov S.S., Efremov V.A., Leus A.V. Review of the software for processing and analyzing camera trap data: neural networks and web services. Russian Journal of Ecosystem Ecology. 2024;9(i). (In Russ.). Available from: https://doi.org/ 10.21685/2500-0578-2024-1-2
Введение
Обработка данных с фотоловушек до сих пор является одной из самых существенных проблем в исследованиях с применением этих приборов [1], а процесс классификации полученных изображений (тегирование) - наиболее трудоза-тратным этапом всей работы [2]. Одним из наиболее эффективных способов решения такой проблемы является удобное и функциональное программное обеспечение (ПО), которое позволяет быстро и эффективно обрабатывать большие объемы фото и видеоизображений (далее оба формата мы будем называть просто изображениями). Этому способствует активное применение искусственного интеллекта (ИИ) с использованием технологий компьютерного зрения и машинного обучения (Machine Learning, ML) [2-10].
За годы, прошедшие с нашего предыдущего обзора [11], ситуация в области обработки данных с фотоловушек претерпела существенные изменения. Окончательно сформировался глобальный тренд в сторону применения сверточ-ных нейронных сетей (Convolutional Neural Network, CNN) [7, 8, 12], открытых веб-сервисов [1, 2, 7, 13] и сотрудничества с гражданской наукой [5, 14, 15]. Значительно развились крупные проекты на национальном (Mammal Web, Wildlife Spotter, WildTrax) и международном (eMammal, Agouti, Trapper, Wildlife Insights) уровнях. Появилось несколько обзоров разных программных решений для обработки данных с фотоловушек с использованием ИИ [2, 4, 7, 8, 14]. В то же время единое ПО, которое удовлетворяло бы требованиям большинства пользователей, до сих пор отсутствует [1, 7].
В своем предыдущем обзоре мы лишь упоминали некоторые веб-сервисы (Agouti, Wildlife Insights), которые были либо недоступны для всеобщего пользования, либо были только анонсированы, но еще не запущены [11]. После их официального релиза или открытия для массового использования у нас появилась возможность оценить их функциональность на собственных данных и подготовить настоящий аналитический обзор. Особенности применения
ИИ в области обработки изображений с фотоловушек уже были подробно рассмотрены ранее [10]. В связи с этим в настоящей статье мы не будем акцентировать внимание на ИИ как таковом, а продемонстрируем прикладные и наглядные возможности его применения для решения повседневных задач в области обработки данных. В то же время мы настоятельно рекомендуем первоначально ознакомиться с предыдущим обзором [10], чтобы получить общие представления о машинном (глубоком) обучении в сфере обработки изображений с фотоловушек.
Целью настоящей статьи является демонстрация современного ПО для обработки данных с фотоловушек с применением технологий ИИ (машинного обучения и компьютерного зрения). В рамках поставленной цели выделены следующие задачи: провести обзор современных веб-сервисов для хранения и обработки данных с фотоловушек с возможностями применения ИИ; провести обзор современных настольных программ для обработки данных с фотоловушек с возможностями применения ИИ; дать характеристику опробованному ПО на примере собственных исследований.
Материалы и методы
В настоящем обзоре мы рассматриваем следующие программные продукты, так или иначе связанные с CNN: Wildlife Insights [16], Agouti [17], WildTrax [18], Timelapse [19] и Camelot [20]. Указанные программы являются общими решениями, совмещающими в себе как технологии CNN, так и стандартные возможности менеджмента проектов и тегирования изображений. Это их ключевое отличие от ML-программ, рассмотренных ранее [10]. Первые три из них (Wildlife Insights, Agouti, WildTrax) являются веб-сервисами, а последние две (Timelapse, Camelot) - настольными приложениями. Рассматриваемые программы имеют различные возможности в плане использования CNN. Веб-сервисы могут проводить детектирование и классификацию, а настольные приложения могут лишь интегрировать внешние обученные ML-модели (например, из MegaDetector или
EcoAssist) в свою среду. Все ПО является бесплатным, свободным в использовании, эффективным в работе, простым в освоении и не требует навыков программирования. Оно прошло тестирование в рамках Программы фотомониторинга в Центрально-Лесном государственном природном биосферном заповеднике (ЦЛГЗ) CFNR CAMMON (Central Forest Nature Reserve CAMtrap MONitoring). Фотографии были размещены на веб-сервисах лишь частично, исключительно в образовательных и демонстрационных целях. В дальнейшем все данные оттуда были удалены. Мы намеренно не рассматриваем платные веб-сервисы с доступом к CNN, такие как eMammal (https://emammal.si.edu) и WildID (https://www.wildid.app), а также программу TRAPPER [21] из-за необходимости владения языком Python. В связи с ограниченным объемом статьи мы также не смогли рассмотреть открытый и перспективный веб-сервис TrapTagger (https://wildeyeconservation.org/traptagger).
В качестве основного метода использовался анализ литературы, презентаций и видеороликов. Поиск литературы (статей, монографий, технических отчетов) и презентаций осуществлялся посредством запросов в базах данных Scopus (https://www.scopus.com), Web of Science (https://www.webofscience.com), ResearchGate (https://www.researchgate.net) и системе Google Scholar (https://scholar.google.com) по ключевым запросам «camera trap software» и «camera trap web-app» с временным фильтром после 2018 г. включительно.
Для определения скорости тегирования каждой программы был использован один и тот же набор фотографий с фотоловушек из случайно выбранной рабочей сессии за 2023 г. (976 фотографий). Тестовое тегирование проводилось последовательно в каждом ПО с промежутком в 1 месяц, чтобы минимизировать возможность запоминания конкретных регистраций. В итоге измерялось общее время, затрачиваемое на теги-рование, и его скорость.
Для определения точности классификации веб-сервисов был использован тот же набор фотографий, содержащий основные виды животных и категории антропогенной активности (всего девять классов): барсук европейский (Meles me les L., 1758), енотовидная собака (Nyctereutes procyonoides Gray, 1834), лисица (Vulpes vulpes L., 1758), благородный олень (Cervus elaphus L., 1758), лось (Alces alces L., 1758), бурый медведь (Ursus arctos L., 1758), человек (Homo sapiens L., 1758), техника (Vehicle) и пустые кадры (Blank). В каждом веб-сервисе была проведена автоматическая классификация с дальнейшим экспортом результатов в формат
CSV. Затем были рассчитаны метрики оценки качества классификации в программе RStudio 1.1.447 (RStudio, Inc.) при помощи R-пакетов «caret» [22] и «Metrics» [23]. В качестве основных метрик были выбраны Accuracy (доля правильно распознанных ответов), Precision (точность) и Recall (полнота). Подробнее о метриках см. [10]. Эталонными классами выступали результаты ручного тегирования в программе Timelapse.
Веб-сервисы для хранения и обработки данных с доступом к CNN
Объединение разрозненных проектов в глобальные мониторинговые сети и создание единых баз данных с фотоловушек (camera trap database, CTD) является следующим главным вектором развития исследований с фотоловушками после самих ML-технологий [1, 7, 13, 15, 16]. Сбор данных в едином хранилище (дата-ре-позитории) сопряжен с рядом трудностей: технических (совместимость, устойчивость, стандартизация и простота доступа), финансовых (плата за хостинг и серверное обслуживание), юридических (гарантия защиты данных) и моти-вационных (предоставление доступа к данным) [15]. Если первые три проблемы могут быть успешно решены исключительно за счет разработчиков и координаторов, то мотивировать исследователей делиться своими данными не так просто. Как правило, для этого используется ряд «поощрений», которые предлагают пользователю возможности обработки собственных изображений через удобный веб-сервис в обмен на их загрузку. Среди них разнообразные аналитические инструменты, построение карт, автоматическая классификация с помощью CNN, архивирование и компрессия, экспорт обработанных данных в различные форматы, а также возможность эмбарго на их публичность [7, 15].
Сегодня большинство веб-сервисов работают примерно по одной схеме. На первом этапе тщательным образом прописывается структура и содержание проекта [16]. Затем происходит загрузка файлов, после чего извлекаются их метаданные в формате EXIF. Далее проводится детектирование объектов и автоматическая классификация их образов по основным категориям: кадры с людьми, другими животными и кадры с техникой (так называемые «person -animal - car», или PAC), а также пустые снимки. После этого пустые кадры сортируются в отдельный блок и скрываются от пользователя. При желании они могут сразу удаляться (рис. 1). Изображения с людьми также скрываются согласно политике конфиденциальности [16].
Рис. 1. Схема потока данных и действий при оптимальном дизайне применения ИИ при обработке данных с фотоловушек (полуавтоматическая классификация)
Fig. 1. Scheme of data flow and actions for optimal design of AI application in camera trap images processing (semi-automatic classification)
Затем реализуется первый этап идентификации видов животных на оставшихся снимках. Пользователю предлагается на выбор несколько уже обученных классификаторов (как правило, для фаун конкретных стран или регионов) или возможность загрузки своей модели со сторонних ML-сервисов. После автоматической классификации изображений можно выбрать желаемый порог (уровень) уверенности (confidence level). Результаты выше этого порога автоматически заносятся в итоговую базу данных (CTD), а результаты ниже порога предлагаются пользователю для ручной проверки и утверждения (см. рис. 1).
При использовании услуг волонтеров включается еще один этап перекрестной проверки, при котором некоторое число пользователей должно дать единую классификацию для изображения, прежде чем оно будет отмечено как проверенное. Для сложно идентифицируемых видов при этом может быть включен дополнительный этап проверки экспертами [15].
После согласования и проверки всех изображений они могут включаться в модель классификатора для ее дообучения (см. рис. 1). В дальнейшем некоторые сервисы предлагают различные инструменты для визуализации и анализа данных, делая акцент на возможности принятия управленческих решений [16]. Как правило, сама оболочка веб-сервиса имеет дружественный пользовательский интерфейс (Graphical User Interface, GUI), а хранение данных обеспечивают несколько надежных физически независимых хранилищ.
На российских особо охраняемых природных территориях (ООПТ) с крупными проектами с фотоловушками, где задействованы 60-100 и более камер, также остро стоит проблема хранения данных. Например, в ЦЛГЗ хранилище изображений с фотоловушек ежегодно пополняется примерно на 300 Гб. Обслуживание собственного сервера доступно очень немногим, постоянное накопление жестких дисков неэффективно и подвержено риску потери данных [24],
Vol. 9 (1), 2024
E
поэтому обращение к сторонним дата-репозито-риям часто является неизбежным [7]. Кроме того, работа многих исследователей «на себя» делает сотрудничество и обмен данными практически невозможными [2, 25].
Wildlife Insights
Данный веб-сервис уже фигурировал в качестве анонса в предыдущем обзоре [11]. После его официального запуска в 2020 г. теперь любой пользователь может им воспользоваться на свободной основе. Платформа Wildlife Insights (далее WI) представляет собой глобальный ре-позиторий хранения данных с фотоловушек с настраиваемым доступом через продвинутый веб-сервис и возможностью обмена данными. Главной целью WI является объединение исследований с фотоловушками по всему миру (рис. 2,A) для создания единой системы мониторинга ди-
ких животных и расчета оперативных показателей состояния биоразнообразия для принятия экстренных мер в области Охраны Природы. WI представляет собой партнерство восьми организаций из сфер некоммерческих природоохранных организаций, академических учреждений и IT-компаний [16]. Стоит отметить, что один из самых главных и влиятельных мониторинговых проектов с фотоловушками TEAM (Tropical Ecology Assessment and Monitoring, [26]) также стал частью WI. Доступ к платформе осуществляется через многоязычный сайт (www.wildlifeinsights.org) с очень дружелюбным и продвинутым интерфейсом, содержащий основную информацию о WI, инструменты визуализации, статистики, а также сами данные с фотоловушек. Сайт имеет настраиваемую систему управления, позволяющую пользователям персонализировать свою работу по организации, обработке и анализу данных [16] (рис. 2).
Рис. 2. Интерфейс основных компонентов веб-сервиса Wildlife Insights на примере базового модуля проекта CFNR CAMMON: A - мировая карта всех представленных на платформе проектов; B - главное окно проекта с общими операционными статистками; C - окно классификации изображений, сгруппированных
в независимые регистрации (в верхнем левом углу каждого превью-изображения показано число фотографий в данной регистрации); D - окно открытой регистрации с результатами работы детектора и классификатора (справа показаны возможные варианты классификации)
Fig. 2. Interface of the main components of the Wildlife Insights web-service on the example of the basic module of the CFNR CAMMON project: A - world map of all projects presented on the service; B - main project window with general operational statistics; C - classification window of images grouped into independent events (the number of photos in a given event is shown in the upper left corner of each preview image); D - open registration window with detector and classifier results (possible classification options are shown on the right)
Во время работы в WI пользователь проходит три основных этапа: ввод данных, обработку и анализ данных, распространение данных [16].
Ввод данных возможен несколькими способами. Во-первых, это загрузка необработанных изображений (т.е. напрямую из папок рабочих сессий)
через веб-сервис. Во-вторых, загрузка уже обработанных ранее изображений с имеющимися метаданными либо в пакетном режиме, либо с помощью Application Programming Interface (API). В-третьих, данные можно загрузить через настольные или мобильные приложения. Во второй компоненте используется модель глубокой CNN с мультиклассовой классификацией, через так называемый «wildlife identification service» (WIS). Для обучения модели разработчики использовали дополнительные наборы классифицированных изображений (порядка 18 млн), предоставленных партнерами WI. Важно отметить, что дообучение модели происходит каждый раз при загрузке и классификации новых фотографий, поэтому качество распознавания постоянно растет [16].
WI предоставляет широкие возможности для анализа обработанных данных на нескольких уровнях [16]. Так, на первом уровне приводятся операционные статистики для отдельного проекта или инициативы, включая административную информацию, цель и задачи, число локаций, число рабочих сессий (deployments), число фо-толовушко-суток, изображений, независимых ре-гистраций и зафиксированных видов (рис. 2,5). На втором уровне становится возможным проводить анализ на уровне видов и популяций, например, анализ временной активности, заселенности, относительного обилия и видового разнообразия. Третий уровень позволяет использовать более комплексные пространственно-временные анализы с включением различных переменных окружающей среды и социальной инфраструктуры, чтобы делать прогнозы на неохваченные фотоловушками области. На четвертом уровне данные с фотоловушек объединяются с другими данными со сторонних платформ (например, о передвижениях животных или моделях их пространственного распределения) для расчета важнейших переменных биоразнообразия (Essential Biodiversity Variables, EBV [27, 28]), таких как численность и распространение [16]. Наконец, на финальном уровне данные со всех проектов WI объединяются для расчета глобальных показателей, таких как индексы состояния популяций и сообществ (например, Wildlife Picture Index, WPI [29]), которые могут быть пересчитаны на различные масштабные уровни (например, в пределах отдельной страны или области). На момент подготовки обзора были доступны лишь самые базовые операционные статистики, а все остальные уровни находились в разработке.
Важной особенностью WI является неизбежный доступ к вашим данным для всех зарегистрированных пользователей. При создании проекта есть возможность сразу открыть общий
доступ ко всем данным или выбрать период эмбарго сроком до 48 месяцев максимум. Возможно также выбрать несколько типов лицензий, которые будут определять использование уже загруженных данных. При выборе эмбарго данные не будут доступны для других пользователей на выбранный срок, но могут быть использованы для внутренней аналитики и дообучения моделей. После истечения срока все данные сразу же попадают в открытый доступ. Изображения, на которых обнаружены люди, автоматически скрываются, но их метаданные сохраняются в CTD и отображаются в таблицах. Любые открытые данные можно скачать (как сами изображения, так и всю метаинформацию) и использовать в своих целях. При их скачивании пользователь получает уведомление с указанием, кто и с какими целями скачал его данные. По задумке разработчиков это будет способствовать укреплению сотрудничества между научными коллективами по всему миру.
Отдельно стоит отметить, что географическое положение локаций, где были обнаружены редкие виды (согласно списку МСОП), будет специально искажено или представлено лишь в общем виде для исключения случаев возможного браконьерства. У пользователя также есть возможность включить до пяти видов, местоположения которых он предпочитает скрыть.
Оценивая работу ИИ по распознаванию животных на изображениях, стоит сказать, что он работает на очень высоком уровне. Для этого WI использует нейросеть EfficientNet CNN, разработанную компанией-партнером Google. Модель натренирована на 35 млн изображений и способна распознавать 1295 видов (https:// www.wildlifeinsights.org/about-wildlife-insights-ai). Наша практика показала, что даже без предварительного обучения эта CNN распознавала практически все виды млекопитающих ЦЛГЗ с высоким уровнем уверенности (выше 80 %). Исключением был только заяц-беляк (Lepus timidus L., 1758), распознавание которого шло лишь до уровня рода Lepus. WI также использует ограничивающие рамки для детектирования животных на изображениях, применяя собственные модели детекторов.
На платформе WI возможна как автоматическая, так и полуавтоматическая классификации изображений. При необходимости пользователь может вручную проверить результаты работы ИИ, подтвердить их или исправить. При этом все фотографии автоматически объединяются в независимые регистрации согласно установленному временному промежутку (см. рис. 2,С). Для каждой такой регистрации модель CNN предлагает несколько вариантов классификации, ранжированных по уровню уверенности
Vol. 9 (1), 2024
(см. рис. 2,D). Облачная платформа позволяет осуществлять многопользовательский доступ и одновременное тегирование изображений многими участниками проекта.
Не стоит забывать про свободное настольное приложение Wild. ID [30], которое мы уже подробно рассматривали и рекомендовали в предыдущем обзоре [11]. После включения проекта TEAM в WI данное ПО полностью интегрировалось с WI. Программа Wild.ID (не следует путать с Wild-ID и WildID) по-прежнему доступна для свободного скачивания по ссылке https://github.com/ConservationInternational/Wild.ID/ archive/master.zip.
На наш взгляд, WI представляет собой наиболее продвинутый и прогрессивный взгляд на хранение, обработку и анализ данных с фотоловушек, преследуя глобальные цели сохранения биоразнообразия в масштабах всей планеты. Платформа предоставляет очень подробные настройки проекта и удобные возможности те-гирования изображений в интуитивно-понятном и дружественном интерфейсе. Это, безусловно, самое современное программное и логическое решение для обработки и хранения данных с фо-
толовушек. Из ограничений стоит отметить облачное размещение, что требует стабильного и достаточно скоростного Интернет-соединения для повседневной работы с WI (как и для всех остальных веб-сервисов).
Agouti
Данный веб-сервис также упоминался в одном из предыдущих обзоров с указанием, что на тот момент он был ограниченно доступен для пользователей [11]. Не так давно платформа Agouti стала доступна для всеобщего использования, что позволило всесторонне оценить ее возможности. Данное ПО представлено в виде открытого веб-сервиса (https://agouti.eu) для научных проектов с фотоловушками, сосредоточенных по большей части в Европе [17]. В отличие от WI охват проектов в Agouti несравнимо меньше (рис. 3,^). Отчасти это связано с тем, что отображаются только публичные исследования. На конец 2023 г. на платформе создано 712 проектов (из них только 114 публичных) и загружено более 117 млн изображений (5,8 млн регистраций).
Рис. 3. Интерфейс основных компонентов веб-сервиса Agouti на примере базового модуля проекта CFNR CAMMON: A - мировая карта всех представленных на платформе проектов; B - главное окно проекта с его описанием и картой локаций фотоловушек; C - окно классификации изображений, сгруппированных в независимые регистрации (красной рамкой обведены доступные модели классификатора и результат классификации); D - окно калибровки локации фотоловушки, аналогичной программе AnimalTracker
Fig. 3. Interface of the main components of the Agouti web service on the example of the basic module of the CFNR CAMMON project: A - world map of all projects presented on the platform; B - main window of the project with its description and a map of camera trap locations; C - window of classification of images grouped into independent events (red frame shows available classifier models and classification result); D - window of calibration of camera trap location similar to AnimalTracker web-app
Agouti позволяет осуществлять полный менеджмент проекта, включая загрузку, организацию и хранение данных, их тегирование и экспорт. Данный сервис обеспечивает безопасное хранение данных в двух физически раздельных дата-центрах в университете Вагенингена (Нидерланды). Для этого не используются сторонние коммерческие облачные сервисы, объем хранилища данных заявлен как неограниченный, а плата за хостинг не взымается [17].
Настройки проекта в Agouti не такие подробные, как в WI. По нашему мнению, это является только плюсом, потому что в WI они чересчур избыточны. Agouti позволяет заполнять самые необходимые поля описания проекта, прописывать дизайн исследования, историю проверок фотоловушек и визуализировать их на карте (см. рис. 3,5). Подробно проработан блок управления и настройки прав доступа. Платформа позволяет подключать других авторизирован-ных пользователей для командной работы и четко прописывать им роли (от координатора проекта до простого тегировщика). Есть возможность раздавать задания конкретным участникам проекта и следить за их выполнением. Отдельная роль может быть отведена специалисту по таксономии, который будет одобрять результаты видовой идентификации и делать соответствующие отметки (функция «validate»).
Agouti поддерживает работу с фотографиями в формате JPEG и видео в формате AVI. Формат MOV (формат записи фотоловушек Seelock S308) также воспроизводится, но с него не извлекаются метаданные даты и времени. После создания проекта и загрузки данных на платформу производится автоматическое извлечение метаданных даты/времени и других доступных меток, а также группировка изображений в независимые регистрации по заранее определенному временному порогу (по умолчанию 2 мин).
Существует несколько вариантов классификации. Можно выбрать автоматическую классификацию с помощью CNN из нескольких доступных моделей или провести ручное тегирование [17]. Результаты автоматической классификации всегда можно перепроверить и исправить вручную. Для датасета ЦЛГЗ ни одна из представленных моделей не дала оптимальных результатов классификации. Лучше всего показали себя модели «Europe v5» и «Deepfaune (France) v06», которые правильно распознавали почти все виды (кроме лося и енотовидной собаки), но требовали дальнейшей проверки и исправлений (см. рис. 3,С). В отличие от WI здесь не предлагается несколько вариантов, а выдается только один результат без каких-либо оценок. Здесь не предусмотрены
ограничивающие рамки. Иногда модели вовсе не работают. В целом стоит отметить, что пока возможности применения CNN и точность классификации у Agouti хуже, чем у WI, и его результаты требуют гораздо большего внимания и проверок. Ручная классификация, как и в WI, также очень удобна. После завершения тегиро-вания все данные доступны в виде стандартной таблицы, которую можно экспортировать в формате CSV.
Хранение и последующий экспорт соответствуют новейшему стандарту Camera Trap Data Package (Camtrap DP) [13], что открывает большие возможности для обмена данными и сотрудничества в крупных международных проектах, а также хранения проектов на таких сторонних репозиториях, как Zenodo или GBIF [17]. Предусмотрена прямая интеграция с R посредством специального пакета «camtraptor» [31], благодаря которому возможен экспорт Camtrap DP и его подготовка к дальнейшему анализу.
На сегодняшний день в самой Agouti еще не реализованы аналитические возможности. В отличие от WI здесь пока что нет даже базовой статистики. Однако у команды разработчиков масштабные планы по запуску графической и табличной аналитики непосредственно в веб-сервисе. Самым ожидаемым стоит назвать уже анонсированный интерфейс для расчета плотности населения млекопитающих с помощью модели случайных столкновений (Random Encounter Model, REM [32]; подробнее см. [33]). По нашему мнению, это является главным преимуществом Agouti по сравнению с WI. Уверенности в скорейшем запуске таких возможностей придает прямое участие Маркуса Роуклифа в проекте Agouti. Уже добавлена возможность калибровки локаций фотоловушек, аналогичная той, что была представлена в веб-приложении AnimalTracker (см. рис. 3,D), которое мы подробно разбирали ранее [33].
Главным отличием Agouti от WI является кардинально иная политика открытости данных. Правообладателем всех данных проекта является только его координатор, т.е. сам пользователь. Все данные хранятся в закрытом доступе в дата-центрах, не просматриваются разработчиками, не передаются третьим лицам и не используются университетом Вагенингена для обучения своих моделей. Все это возможно лишь после разрешения со стороны их правообладателя (пользователя). Таким образом, с помощью Agouti возможна организация как полностью закрытого внутреннего проекта, так и полностью открытого проекта со свободным доступом. По нашему мнению, это является одним из ключевых преимуществ данного веб-сервиса.
WildTrax
Цель данного веб-сервиса (https://wildtrax.ca) в грамотном управлении данными с разнообразных дистанционных сенсоров (акустических и фотоловушек), а также учетов (преимущественно орнитологических), так называемых «point-counts» [18]. Он позволяет организовывать надежное хранение данных, их обработку, а также совместное использование с другими участниками. WildTrax (далее WT) - это полно-
стью канадский проект, поэтому на сегодняшний день он объединяет ученых из Канады, но при желании любой исследователь может зарегистрироваться на платформе и создать свой собственный проект, предварительно связавшись с разработчиками (рис. 4,A). После регистрации своей организации и создания проекта можно подключать различных пользователей к его работе. Многопользовательский доступ организован похожим образом, что и у Agouti, и WI.
Рис. 4. Интерфейс основных компонентов веб-сервиса WildTrax на примере базового модуля проекта CFNR CAMMON: A - мировая карта всех представленных на платформе проектов; B - вкладка организации c перечнем локаций фотоловушек; C - вкладка проекта с перечнем встреченных видов и числом их изображений; D - окно классификации изображений, сгруппированных в независимые регистрации
Fig. 4. Interface of the main components of the WildTrax web service on the example of the basic module of the CFNR CAMMON project: A - world map of all projects presented on the platform; B - organization tab with the list of camera trap locations; C - project tab with the list of species encountered and the number of their images; D - window for classification of images grouped into independent events
WT позволяет проводить достаточно подробные настройки проекта для каждого типа исследований (акустические данные, фотоловушки, учеты). Так, для проекта с фотоловушками можно подробно прописывать локации камер, само оборудование (включая карты памяти), а также рабочие сессии (здесь они называются «визиты»). Конфиденциальность данных настраивается: они могут быть как публичными, приватными (только внутри проекта), так и строго приватными (для отдельного пользователя). Можно скрывать или искажать реальные расположения фотоловушек и затирать («блюрить») фигуры людей.
Теги могут быть очень подробными и определяются опционально самим пользователем. Например, помимо стандартных тегов можно добавить наличие внешних проявлений различных заболеваний животных, особенности их окраски, характер шерстяного покрова, направление движения, номер метки (при наличии) и т.п. Предусмотрено несколько вариантов пакетного тегирования. Разбиение на независимые регистрации задано по умолчанию по 2 мин, но может быть изменено прямо во время тегиро-вания. Отдельно есть теги абиотических характеристик (снежный покров, уровень воды) и смещения поля зрения камеры (например,
вследствие сдвига животными), что очень важно для REM. Предусмотрены возможности проверки протегированных (например, волонтером или CNN) изображений и их подтверждения.
Сам процесс тегирования, по нашему мнению, достаточно быстрый, но не такой удобный как у Agouti или WI. ИИ работает очень хорошо с исключением для видов, не населяющих Канаду. В нашем случае также были проблемы с автоматическим распознаванием зайца-беляка. Тем не менее процесс коррекции результатов ав-тематического распознавания, по нашему мнению, выполнен не очень удобно. По этой причине исправление ошибок CNN уменьшает общую скорость тегирования изображений.
Интеграция с R осуществляется посредством специального пакета WildRtrax [34], который позволяет получить доступ к WildTrax API напрямую, через подключение к своему акка-унту. Таким образом, пользователю становятся доступны все его данные со всех проектов непосредственно в R. Эта важная особенность программы позволяет обходиться без стандартной выгрузки CSV-файла и его последующей загрузки в R. Подобная организация очень продумана и удобна, и не была встречена нами ни в одном другом ПО. Она оправдана в по-настоящему крупных проектах, потому что позволяет получать доступ к актуальной версии данных одновременно сразу многим пользователям. С помощью функций этого пакета возможно проводить разбиение всех данных на независимые регистрации или создавать матрицы историй отловов (как бинарные, так и количественные) для анализа заселенности и моделирования пригодности местообитаний.
В целом, веб-сервис WT является очень удобным и продуманным. Его потенциал будет максимальным при использовании целого ряда сенсоров, в том числе и акустических, а не только фотоловушек. Этот сервис также хорошо подойдет для крупных проектов со многими участниками.
Настольные программы для обработки данных с доступом к CNN
В рамках современных тенденций развития исследований с помощью фотоловушек настольные программы (standalone desktop applications) для обработки данных все больше отходят на второй план, уступая дорогу веб-сервисам [1, 2, 35, 36]. Тем не менее зависимость последних от стабильного и скоростного Интернет-соединения, а также потенциальные проблемы при передаче данных все еще ограничивают их широкое и повсеместное применение. Эти препятствия
особенно актуальны для российских ООПТ. Кроме того, последние технологические разработки в области ИИ становятся доступными также и для настольных программ, что делает их вполне конкурентоспособными с такими гигантами, как WI. Поскольку мы уже уделяли большое внимание настольным программам в предыдущих обзорах [11, 37], где рассмотрели их большую часть, в настоящей работе мы подробно сосредоточимся лишь на одной - наиболее перспективной и относительно новой программе - Timelapse. ПО Camelot мы рассмотрим лишь с точки зрения его возможностей использования ИИ и многопользовательской работы.
Timelapse
Программа Timelapse была разработана Солом Гринбергом в 2019 г. и представляет собой одну из последних новинок настольного ПО для обработки данных с фотоловушек [19]. Она является полностью свободной в использовании, не нуждается в доступе к сети Интернет для работы, обладает понятным и дружественным интерфейсом, не требует установки (запускается через исполнительный файл) и доступна для скачивания с официального сайта (https://saul.cpsc.ucalgary.ca/ timelapse/pmwiki.php?n=Main.HomePage).
Данное ПО состоит из двух основных программ: редактора проекта (Timelapse Template Editor) и собственно программы тегирования (Timelapse). В первой настраивается дизайн проекта (шаблон): указываются все необходимые поля тегов, их тип и положение на панели в интерфейсе. Во второй производится сам процесс обработки на основе созданного шаблона.
Преимуществ у Timelapse очень много. Программа поддерживает видеоформат данных (MOV, AVI, MP4), что делает ее незаменимой в любых исследованиях с видеоловушками. Процесс тегирования очень удобен: существует несколько возможностей автозаполнения тегов, их быстрого копирования, создания «быстрых» (комплексных и заранее прописанных) тегов, а также пакетное тегирование. Предусмотрены возможности объединения изображений в регистрации (так называемые «эпизоды») по временному промежутку, извлечения из них метаданных с помощью утилит MetadataExtractor и ExifTool, автоматического исправления даты/времени, фотокоррекции, ускоренного просмотра видеороликов и многое другое. Все это многократно упрощает процесс тегирования даже в больших проектах. Стоит отдельно отметить настраиваемое автоматическое удаление пустых (и любых других ненужных) кадров. Наряду с тем, что ПО не создает копии изображений (в отличие от Camelot), а работает с оригиналами, Timelapse
существенно экономит место на жестком диске и позволяет «наводить порядок» в папках с изображениями.
ПО совместимо с такими ML-программами, как MegaDetector и EcoAssist (подробнее см. [10]). После применения модели детектора и классификатора ее результаты можно легко загрузить в Timelapse в виде файла формата JSON, после чего произойдет автоматическое распознавание изображений с указанием ограничивающих рамок
и оценок уверенности (при желании). Кроме этого, можно автоматически заполнить теги вида и числа особей на всех изображениях по результатам работы детектора и классификатора. При отсутствии своей обучающей выборки даже встроенный детектор EcoAssist находит объекты на изображениях с высокой точностью, что позволяет проводить сортировку на пустые снимки, людей, других животных и технику (PAC-модель), а затем сразу же тегировать их (рис. 5).
Ц Timelapse HdpipgYou Analyze Images and Videos СэртишНготПеМ Cwntras CCFNILCAMMOmdW —SX
File Edit Optisw Vww Select Sort Riiogribore Window Help
Рис. 5. Интерфейс программы Timelapse на примере базового модуля проекта CFNR CAMMON. Показан экран тегирования с загруженными результатами распознавания ML-программы EcoAssist. Меню тегов отображается справа вверху; зеленым подсвечены теги, которые заполняются автоматически при нажатии кнопки «быстрого» тега или копирования предыдущего. Меню «Quick Paste» (выделено красной рамкой) позволяет создавать и выбирать неограниченное число уже готовых «быстрых» тегов
Fig. 5. Timelapse software interface on the example of the basic module of the CFNR CAMMON project. The tagging screen with loaded EcoAssist recognition results is shown. The tagging menu is displayed at the top right; highlighted in green are tags that are filled in automatically when a «quick» tag is clicked or a previous tag is copied. The Quick Paste menu (highlighted with a red frame) allows you to create and select an unlimited number of already prepared «quick» tags
Очень удобно организован процесс переноса базы данных (CTD). Пользователь может работать со своим проектом на разных машинах, просто копируя CTD Timelaspe и сохраняя иерархию и названия рабочих папок. Это же позволяет очень просто настроить многопользовательский доступ. В одном и том же проекте могут обрабатывать данные множество пользователей независимо друг от друга при условии, что они тегируют разные сабсеты (например, локации). В этом случае предусмотрены возможности объединения разных CTD в одну. Таким образом, очень удобно хранить оригинальный архив изображений с фотоловушек и привязанную
к нему CTD на одном стационарном компьютере (например, рабочем) и иметь при этом переносной (желательно защищенный и твердотельный) накопитель с копией архива. Второй диск позволяет проводить тегирование где угодно и кем угодно, а после его завершения полученная CTD просто переписывается на основную машину.
Особого внимания заслуживает уникальная возможность Timelapse по обнаружению трудноразличимых подвижных объектов, когда ни человеческий глаз, ни даже детектор не в состоянии их найти или делает это с трудом. В программе доступен специальный инструмент, который сравнивает значения пикселей на соседних
(до трех) кадрах и рассчитывает их разницу. С помощью этого даже самые маленькие или далекие объекты становятся хорошо различимыми. Например, на рис. 6 изображена серия кадров европейской косули (Сартво1ш саргво1ш Ь., 1758), проходящей вдалеке от фотоловушки и скрытой за деревьями (рис. 6А). На первых двух кадрах детектор MegaDetector не смог обнаружить косулю (рис. 6АВ), а сработал только на третьем (рис. 6,С). В то же время попиксельное сравнение второго и третьего кадров показывает разницу между ними, благодаря которой оператор легко находит зверя в кадре. В случае с мелкими объектами (например, европейским ежом
(Erinaceus europaeus L., 1758)) при ночной съемке детектор также не обнаружил животное (рис. 6,E,F), зато применение попиксельного сравнения с наложением позволило легко обнаружить ежа и показать обе его позиции на одном кадре (рис. 6,G). Подобная возможность не встречалась нам ни в одном другом рассмотренном ПО.
На официальном сайте выложены подробные руководства по работе в Timelapse. Мы также подготовили обучающее видео на русском языке (https://youtu.be/_IP0eQqQMyU), в котором наглядно демонстрируются основные возможности данной программы.
Рис. 6. Пример выявления образа животного с помощью расчета разницы значений пикселей на соседних изображениях в программе Timelapse: A - первый кадр регистрации европейской косули, «спрятавшейся» за деревьями; B - второй кадр регистрации европейской косули; C - третий кадр регистрации европейской косули со сработавшим детектором; D - результат попиксельного сравнения третьего и второго кадров; E - первый кадр регистрации европейского ежа; F - второй кадр регистрации европейского ежа; С - результат попиксельного сравнения первых двух кадров с наложением
Fig. 6. Example of animal image detection using calculation of pixel value difference in neighboring images in Timelapse software: A - first frame of roe deer registration "hidden" behind trees; B - second frame of roe deer registration; C - third frame of roe deer registration with triggered detector; D - result of pixel-by-pixel comparison of the third and second frames; E - first frame of European hedgehog registration; F - second frame of hedgehog registration; С - result of pixel-by-pixel comparison of the first two frames with overlay
Из немногочисленных минусов можно отметить отсутствие стандартных возможностей менеджмента: создания локаций, рабочих сессий, ID фотоловушек и отслеживания их историй. Это вызывает некоторое неудобство ведения по-настоящему больших и многолетних проектов. В случае CFNR CAMMON (80 локаций на 2023 г.) мы решили эту проблему созданием отдельных CTD за каждый год с их последующим объединением. Стоит также отметить доступность только для ОС Windows (что может быть легко решено через эмулятор). Отсутствие аналитических возможностей, по нашему мнению, не стоит выделять в недостаток, потому что современное ПО для фотоловушек должно, в первую очередь, эффективно обрабатывать данные, оставляя все аналитические возможности для среды R.
Camelot
Возможности данного ПО мы подробно обсуждали ранее [11], также и в обучающем видео (https://www.youtube.com/watch?v=XoQCPrH3J N4&t=1326s), поэтому в настоящей статье рассмотрим его лишь с точки зрения интеграции с ИИ. Camelot (https://camelotproject.org) может связываться с MegaDetector для полуавтоматической классификации (PAC-модель) изображений. Для этого необходима регистрация и доступ в сеть Интернет, потому что детектирование объектов на фотографиях происходит только в онлайн-режиме через соединение акка-унта Camelot с MegaDetector [20]. Пользователь также может указать порог уверенности для грубой классификации изображений.
Программа фотомониторинга CFNR CAMMON базировалась на данном ПО с 2018 по 2022 г. За пять лет непрерывного использования было выявлено достаточно много недостатков Camelot. Наиболее критичным является дублирование всех загруженных (и сохраненных) фотографий во внутреннем хранилище (MediaStore) в бессистемном порядке. Это значительно увеличивает объемы данных на диске и затрудняет упорядоченный доступ к самим фотографиям по запросу. Как следствие, обращение к фотографиям в нужном порядке для расчета скорости передвижений, необходимое для REM, оказывается затруднено и влечет за собой потенциальные ошибки (подробнее см. [33]). Многопользовательский доступ теоретически возможен, но практически он очень неудобен, а иногда и вовсе трудноосуществим. Легче всего настроить клиент-серверную модель по локальной сети, но для этого Camelot должен быть запущен на одной машине («сервере»), а удаленный доступ к нему осуществляется через URL-адрес соединения на
других машинах («клиентах»). Запустить один и тот же датасет Camelot на нескольких машинах через сеть Интернет гораздо сложнее с необходимостью использования VPN-сервера. В условиях современной заповедной науки в России можно сказать, что многопользовательский доступ попросту отсутствует. В целом, стоит отметить, что для крупных проектов фотомониторинга Camelot не является оптимальным выбором. На сегодняшний день мы не видим никаких преимуществ использования данного ПО. Именно поэтому с 2023 г. CFNR CAMMON был полностью переведен на базу Timelapse.
Сравнительная характеристика рассмотренного программного обеспечения
В заключение мы подготовили сводную таблицу основных характеристик рассмотренных программных решений (табл. 1). Все указанные программы и платформы одинаково поддерживают любые модели фотоловушек, обладают современным дружественным интерфейсом пользователя, не интегрированы с геоинформационными системами (ГИС), а в качестве основного формата экспорта предлагают CSV. По этим причинам мы не обсуждаем данные особенности для каждой программы в отдельности.
Согласно результатам нашего эксперимента, время тестового тегирования 976 фотографий в Wildlife Insights составило 15 мин 9 с (1 кадр за 0,93 с, или 1,07 кадра/с), а в Agouti - 13 мин 19 с (1 кадр за 0,82 с, или 1,22 кадра/с; см. табл. 1). В WildTrax обработка была выполнена за 17 мин 26 с (1 кадр за 1,07 с, или 0,93 кадра/с). Несмотря на достаточно хорошее качество автоматической классификации механизм ручного исправления ошибок классификатора в WT выполнен не очень удобно, поэтому на это уходит достаточно много времени. Отличительной особенностью всех веб-сервисов является необходимость затрачивать определенное время на описание каждой загружаемой рабочей сессии (часто обязательное), загрузку самих фотографий (ее скорость зависит от качества Интернет-соединения) и их распознавание с помощью CNN (при желании). В итоге на загрузку и подготовку одной рабочей сессии к тегированию на разных веб-сервисах может уходить от 15 до 40 мин (в зависимости от числа фотографий и подключения к распознаванию ИИ). Стоит учитывать также, что скорость тегирования в режиме «онлайн» будет всегда несколько занижена за счет неизбежных задержек при просмотре изображений.
Таблица 1
Сравнительные характеристики веб-сервисов и настольных программ для обработки данных с фотоловушек
Table 1
Comparative characteristics of the presented web services and desktop software
for camera trap data processing
Характеристика Wildlife Insights Agouti WildTrax Timelapse Camelot
Тип веб-сервис веб-сервис веб-сервис настольное настольное
Операционная система - - - Windows Windows, Linux, MacOS
Применение ИИ (CNN) MegaDetector, региональные CNN MegaDetector, региональные CNN MegaDetector, MegaClassifier MegaDetector, EcoAssist MegaDetector
CNN Accuracy 87 % 83 % 85 % (97 %) - —
Разбиение на регистрации есть есть есть есть нет
Скорость тегирования (кадров/с) 1,07* 1,22* 0,93* 1,32* 1,06
Возможности анализа данных есть, пока базовые нет нет нет есть, базовые
Интеграция с R (пакет) нет camtraptor WildRtrax нет camtrapR
Работа с видео нет есть, AVI нет есть, AVI, MP4, MOV нет
Многопользовательский режим есть есть есть есть почти нет
Удобство менеджмента** 5 4 5 4 2
Хранение данных облачное облачное облачное локальное локальное
Публичность / приватность данных публичные со временем приватные или публичные приватные или публичные приватные приватные
Поддержка CamtrapDP нет есть нет нет нет
Переносимость CTD - - - есть есть, но сложна
Примечание: * - здесь рассматривается комбинированное полуавтоматическое тегирование (ручное и с применением CNN); ** - удобство менеджмента (организации и хранения данных) рассматривается в баллах от 0 (худшее) до 5 (лучшее).
Скорость тегирования в Timelapse составила всего 12 мин 16 с (1 кадр за 0,75 с, или 1,32 кадра/с), что является абсолютным рекордом среди всех рассмотренных программ. В Camelot тегирование было выполнено за 15 мин 18 с (1 кадр за 0,94 с, или 1,06 кадра/с). Отсутствие быстрых тегов, объединения фотографий в регистрации, а также доступных нейросетей не позволяет проводить тегирование в Camelot быстрее.
Таким образом, согласно нашим результатам, самое быстрое тегирование возможно проводить в настольной программе Timelapse, а затем в веб-сервисе Agouti. Wildlife Insights и Camelot обладали практически одинаковыми показателями, несмотря на то, что WI использует полуавтоматическую классификацию с применением CNN, а Camelot - полностью ручное тегирование.
Наименьшей скоростью обладал веб-сервис WildTrax, главным образом, из-за ориентирования классификатора на канадскую фауну и не очень удобном способе исправления ошибок.
Во всех случаях нами были получены достаточно высокие скорости тегирования, которые часто достигаются за счет удобных функциональных возможностей: пакетному тегирова-нию, автоматическому распознаванию, разбиению фотографий на регистрации и их удобному просмотру. Для примера, по данным Meek et al. [25], для ручной обработки 1000 фотографий минимально подготовленными лаборантами и волонтерами требовалось до 1 ч, т.е. практически в 4-5 раза больше времени, чем в нашем случае.
Все CNN одинаково «не знали» зайца-беляка и енотовидную собаку (Precision = 0 %; Recall = 0 %),
поэтому в дальнейшем мы не учитываем эти виды. Самое высокое значение метрики Accuracy (87 %) было получено для WI (см. табл. 1). Хуже всего WI распознавал барсука (Recall = 33 %) и лисицу (Recall = 60 %). Это связано с преимущественно ночными кадрами обоих видов. WI успешно распознал все пустые кадры (Recall = = 100 %). Среди млекопитающих лучше всего распознавался бурый медведь и лось (Recall = = 100 %).
У Agouti оценки качества были хуже (Accuracy = 83 %; см. табл. 1). Ни одна модель не сумела распознать лося (Precision = 0 %, Recall = 0 %). Среди других видов хуже всего распознавался барсук (Recall = 78 %), а лучше всего - уже лисица (Recall = 100 %). Модели также достаточно плохо находили на изображениях людей (Recall = 70 %) и технику (Recall = 50 %).
WildTrax обладал удовлетворительной точностью классификации (Accuracy = 85 %; см. табл. 1). Однако стоит отметить, что его классификатор обучен для канадской фауны, поэтому он изначально не мог правильно распознать европейского барсука (Recall = 0 %), а енотовидную собаку иногда определял как енота-полоскуна (Procyon lot or L., 1758; Recall = 50 %). При исключении обоих видов точность классификации WT была наивысшей среди всех веб-сервисов (Accuracy = 97 %).
Отдельно стоит отметить, что WI не умеет автоматически считать число особей на изображениях, Agouti делает это с ошибками, а WT выполняет подсчет особей лучше всего. Таким образом, следует признать, что именно у Wild-Trax наиболее совершенный детектор и классификатор. Разработчики сообщили, что по запросу могут дообучить модели WT на европейских видах, что делает его еще более перспективным в плане автоматического распознавания.
Заключение
Современные тенденции развития ПО для обработки данных с фотоловушек можно разделить на две больших категории: глобальные веб-сервисы, которые предоставляют возможности обработки изображений с помощью
ИИ, а также анализа данных; настольные приложения, которые стремятся к интеграции с аналитическими пакетами [1]. Наиболее показательным примером первой категории является Wildlife Insights, а второй - Camelot, совместимый с R при помощи пакета «camtrapR» [38]. Существуют и такие промежуточные варианты, как Agouti или WildTrax, которые, с одной стороны, представляют собой веб-сервисы, а с другой - имеют сторонние интеграции с R через пакеты «camtrapTor» и «WildRtrax» соответственно. Впрочем, в будущем вполне возможно, что ИИ, связанная с ним аналитика, а также набор дополнительных сенсоров и датчиков будут реализованы непосредственно в самих фотоловушках или их сети посредством беспроводного соединения [1, 8]. Все это отражает общие тренды становления такого новейшего направления, как техноэкология (technoecology) [39].
Стандартное ПО для обработки данных с фотоловушек должно обязательным образом иметь ряд возможностей по организации и управлению данными; извлечению метаданных изображений; аннотации (тегированию) изображений; экспорту данных для дальнейшего анализа и (по возможности) базовому анализу в рамках своей платформы [2, 19, 38, 40, 41]. Возможность применения CNN является весьма желательной, хотя и не строго обязательной опцией. В то же время большинство современных программных решений стараются включать в себя технологии ИИ.
На сегодняшний день наиболее оптимальным решением является выбор компромиссного варианта - веб-сервиса или настольного приложения с развитыми возможностями организации и тегирования данных с интеграцией моделей глубокого обучения и использованием полуавтоматической классификации. Это позволит ускорить общий процесс обработки за счет грубого распознавания с помощью PAC-моделей, сохранив при этом высокую точность классификации, контролируемую пользователем. Среди облачных решений наиболее привлекательными выглядят платформы Agouti и Wildlife Insights. Среди зарубежных настольных программ мы рекомендуем использовать Timelapse вместе с EcoAssist.
Список литературы
1. Glover-Kapfer P., Soto-Navarro C. A., Wearn O. R. Camera-trapping version 3.0: Current constraints and future priorities for development // Remote Sensing in Ecology and Conservation. 2019. Vol. 5. P. 209-223.
2. Reyserhove L., Norton B., Desmet P. Best Practices for Managing and Publishing Camera Trap Data. Community review draft. GBIF Secretariat. Copenhagen, 2023. doi: 10.35035/doc-0qzp- 2x37
3. Norouzzadeh M. S., Nguyen A., Kosmala M. [et al.]. Automatically identifying, counting, and describing wild animals in camera-trap images with deep learning // Proceedings of the National Academy of Science. 2018. Vol. 115. P. E5716-E5725.
4. Schneider S., Taylor G. W., Linquist S., Kremer S. C. Past, present and future approaches using computer vision for animal re-identification from camera trap data // Methods in Ecology and Evolution. 2019. Vol. 10. P. 461-470.
5. Willi M., Pitman R. T., Cardoso A. W. [et al.]. Identifying animal species in camera trap images using deep learning and citizen science // Methods in Ecology and Evolution. 2019. Vol. 10 (1). P. 80-91.
6. Леус А. В., Ефремов В. А. Применение методов компьютерного зрения для анализа изображений, собранных с фотоловушек в рамках програмно-аппаратного комплекса мониторинга состояния окружающей среды на особо охраняемых природных территориях // Труды Мордовского государственного природного заповедника им. П. Г. Смидовича. 2021. Вып. 28. С. 121-129.
7. Tuia D., Kellenberger B., Beery S. [et al.]. Perspectives in machine learning for wildlife conservation // Nature Communications. 2022. Vol. 13 (1), № 792. P. 1-15.
8. Velez J., McShea W., Shamon H. [et al.]. An evaluation of platforms for processing camera-trap data using artificial intelligence // Methods in Ecology and Evolution. 2023. Vol. 14. P. 459-477.
9. Ефремов В. А., Леус А. В., Гаврилов Д. А. [и др.]. Метод обработки фото- и видеоданных с фотоловушек с использованием двухстадийного нейросетевого подхода // Искусственный интеллект и принятие решений. 2023. № 3. С. 98-108.
10. Огурцов С. С., Ефремов В. А., Леус А. В. Применение технологий искусственного интеллекта при обработке изображений с фотоловушек: принципы, программы, подходы // Принципы экологии. 2024. №1. С. 4-37. doi: 10.15393/j1.art.2024.14662
11. Огурцов С. С. Обзор программного обеспечения для обработки и анализа данных с фотоловушек: последние новинки, работа с видео и ГИС // Nature Conservation Research. Заповедная наука. 2019. № 4 (2). С. 95-124.
12. Norouzzadeh M. S., Morris D., Beery S. [et al.]. Deep active learning system for species identification and counting in camera trap images // Methods in Ecology and Evolution. 2021. Vol. 12. P. 150-161.
13. Bubnicki J. W., Norton B., Baskauf S. [et al.]. Camtrap DP: An open standard for the FAIR exchange and archiving of camera trap data. Preprint. 2023. doi: 10.32942/X2BC8J
14. Green S. E., Rees J. P., Stephens P. A. [et al.]. Innovations in camera trapping technology and approaches: The integration of citizen science and artificial intelligence // Animals. 2020. Vol. 10. № 132.
15. Adam M., Tomasek P., Lehejccek J. [et al.]. The Role of Citizen Science and Deep Learning in Camera Trapping // Sustainability. 2021. Vol. 13. P. 10287.
16. Ahumada J. A., Fegraus E., Birch T. [et al.]. Wildlife Insights: A Platform to Maximize the Potential of Camera Trap and Other Passive Sensor Wildlife Data for the Planet // Environmental Conservation. 2020. Vol. 47. P. 1-6.
17. Casaer J., Milotic T., Liefting Y. [et al.]. Agouti: A platform for processing and archiving of camera trap images // Biodiversity Information Science and Standards. 2019. Vol. 3. P. e46690.
18. Bayne E., MacPhail A., Copp C. [et al.]. Wildtrax. 2018. URL: https://www.wildtrax.ca
19. Greenberg S., Godin T., Whittington J. Design patterns for wildlife-related camera trap image analysis // Ecology and Evolution. 2019. Vol. 9 (24). P. 13706-13730.
20. Hendry H., Mann C. Camelot - Intuitive software for camera - trap data management // Oryx. 2018. Vol. 52 (1). P. 1-15.
21. Bubnicki J. W., Churski M., Kuijper D. P. J. TRAPPER: An open source web-based application to manage camera trapping projects // Methods in Ecology and Evolution. 2016. Vol. 7. P. 1209-1216.
22. Kuhn M. caret: Classification and Regression Training. R package version 6.0-86. 2020. URL: https://CRAN.R-project.org/package=caret
23. Hamner B., Frasco M. Metrics: Evaluation Metrics for Machine Learning. R package version 0.1.4. 2018. URL: https://CRAN.R-project.org/package=Metrics
24. Michener W. K., Jones M. B. Ecoinformatics: supporting ecology as a data- intensive science // Trends in Ecology & Evolution. 2012. Vol. 27 (2). P. 85-93.
25. Meek P., Ballard G., Claridge A. [et al.]. Recommended guiding principles for reporting on camera trapping research // Biodiversity Conservation. 2014. Vol. 23. P. 2321-43.
26. Rovero F., Ahumada J. The Tropical Ecology, Assessment and Monitoring (TEAM) Network: An early warning system for tropical rain forests // The Science of The Total Environment. 2017. Vol. 574. P. 914-923.
27. Pereira H. M., Ferrier S., Walters M. [et al.]. Essential biodiversity variables // Science. 2013. Vol. 339 (6117). P. 277-278.
28. Kissling W. D., Ahumada J. A., Bowser A. [et al.]. Building essential biodiversity variables (EBVs) of species distribution and abundance at a global scale // Biological Reviews. 2018. Vol. 93 (1). P. 600-625.
29. O'Brien T. G. Wildlife picture index and biodiversity monitoring: issues and future directions // Animal Conservation. 2010. Vol. 13. P. 350-352.
30. Fegraus E. H., Lin K., Ahumada J. A. [et al.]. Data acquisition and management software for camera trap data: a case study from the TEAM Network // Ecological Informatics. 2011. Vol. 6. P. 345-53.
31. Oldoni D., Desmet P., Huybrechts P. camtraptor: Read, Explore and Visualize Camera Trap Data Packages. R package version 0.20.1. 2023. URL: https://inbo.github.io/camtraptor/
32. Rowcliffe M. J., Field J., Turvey S. T., Carbone C. Estimating animal density using camera traps without the need for individual recognition // Journal of Applied Ecology. 2008. Vol. 45. P. 1228-1236.
33. Огурцов С. С. Оценка плотности населения млекопитающих с помощью фотоловушек на основе модели случайных столкновений: теоретические основы и практические рекомендации // Nature Conservation Research. Заповедная наука. 2023. Т. 8 (1). С. 1-23.
34. MacPhail A., Becker M., Knight E. wildRtrax: Environmental sensor data management and analytics to and from WildTrax. R-package version 1.1.0. 2023. URL: https://abbiodiversity.github.io/wildRtrax
35. Fisher J. T. Camera trapping in ecology: A new section for wildlife research // Ecology and Evolution. 2023. Vol. 13. P. e9925.
36. Tosa M. I., Dziedzic E. H., Appel C. L. [et al.]. The Rapid Rise of Next-Generation Natural History // Frontiers in Ecology and Evolution. 2021. Vol. 9. P. 698131.
37. Огурцов С. С., Волков В. П., Желтухин А. С. Обзор современных способов хранения, обработки и анализа данных с фотоловушек в зоологических исследованиях // Nature Conservation Research. Заповедная наука. 2017. Т. 2 (1). P. 73-98.
38. Niedballa J., Sollmann R., Courtiol A., Wilting A. camtrapR: An R package for efficient camera trap data management // Methods in Ecology and Evolution. 2016. Vol. 7 (12). P. 1457-1462.
39. Allan B. M., Nimmo D. G., Ierodiaconou D. [et al.]. Future casting ecological research: the rise of technoecology // Ecosphere. 2018. Vol. 9. P. e02163.
40. McShea W. J., Forrester T., Costello R. [et al.]. Volunteer-run cameras as distributed sensors for macrosystem mammal research // Landscape Ecology. 2016. Vol. 31 (1). P. 55-66.
41. Young S., Rode-Margono J., Amin R. Software to facilitate and streamline camera trap data management: a review // Ecology and Evolution. 2018. Vol. 8. P. 9947-9957.
References
1. Glover-Kapfer P., Soto-Navarro C.A., Wearn O.R. Camera-trapping version 3.0: Current constraints and future priorities for development. Remote Sensing in Ecology and Conservation. 2019;5:209-223.
2. Reyserhove L., Norton B., Desmet P. Best Practices for Managing and Publishing Camera Trap Data. Community review draft. GBIFSecretariat. Copenhagen, 2023. doi: 10.35035/doc-0qzp-2x37
3. Norouzzadeh M.S., Nguyen A., Kosmala M. et al. Automatically identifying, counting, and describing wild animals in camera-trap images with deep learning. Proceedings of the National Academy of Science. 2018;115:E5716-E5725.
4. Schneider S., Taylor G.W., Linquist S., Kremer S.C. Past, present and future approaches using computer vision for animal re-identification from camera trap data. Methods in Ecology and Evolution. 2019;10:461-470.
5. Willi M., Pitman R.T., Cardoso A.W. et al. Identifying animal species in camera trap images using deep learning and citizen science. Methods in Ecology and Evolution. 2019;10(1):80-91.
6. Leus A.V., Efremov V.A. Application of computer vision methods to analyze images collected from camera traps within the framework of a software and hardware complex for monitoring the state of the environment in specially protected natural areas. TrudyMordovskogo gosudarstvennogo prirodnogo zapovednika im. P. G. Smidovicha = Proceedings of the Mordovia State Nature Reserve. 2021;(28):121-129. (In Russ.)
7. Tuia D., Kellenberger B., Beery S. et al. Perspectives in machine learning for wildlife conservation. Nature Communications. 2022;13(792):1-15.
8. Vélez J., McShea W., Shamon H. et al. An evaluation of platforms for processing camera-trap data using artificial intelligence. Methods in Ecology and Evolution. 2023;14:459-477.
9. Efremov V.A., Leus A.V., Gavrilov D.A. et al. Method for processing photo and video data from camera traps using a two-stage neural network approach. Iskusstvennyy intellekt i prinyatie resheniy = Artificial intelligence and decision-making. 2023;(3):98-108. (In Russ.)
10. Ogurtsov S.S., Efremov V.A., Leus A.V. Application of artificial intelligence technologies in processing images from camera traps: principles, programmes, approaches. Printsipy ekologii = Principles of ecology. 2024;(1):4-37. (In Russ.). doi: 10.15393/j1.art.2024.14662
11. Ogurtsov S.S. Review of software for processing and analyzing data from camera traps: the latest innovations, working with video and GIS. Nature Conservation Research. Zapovednaya nauka = Nature Conservation Research. 2019;(4):95-124. (In Russ.)
12. Norouzzadeh M.S., Morris D., Beery S. et al. Deep active learning system for species identification and counting in camera trap images. Methods in Ecology and Evolution. 2021;12:150-161.
13. Bubnicki J.W., Norton B., Baskauf S. et al. Camtrap DP: An open standard for the FAIR exchange and archiving of camera trap data. Preprint. 2023. doi: 10.32942/X2BC8J
14. Green S.E., Rees J.P., Stephens P.A. et al. Innovations in camera trapping technology and approaches: The integration of citizen science and artificial intelligence. Animals. 2020;10(132).
15. Adam M., Tomásek P., Lehejccek J. et al. The Role of Citizen Science and Deep Learning in Camera Trapping. Sustainability. 2021;13:10287.
16. Ahumada J.A., Fegraus E., Birch T. et al. Wildlife Insights: A Platform to Maximize the Potential of Camera Trap and Other Passive Sensor Wildlife Data for the Planet. Environmental Conservation. 2020;47:1-6.
17. Casaer J., Milotic T., Liefting Y. et al. Agouti: A platform for processing and archiving of camera trap images. Biodiversity Information Science and Standards. 2019;3:e46690.
18. Bayne E., MacPhail A., Copp C. et al. Wildtrax. 2018. Available at: https://www.wildtrax.ca
19. Greenberg S., Godin T., Whittington J. Design patterns for wildlife-related camera trap image analysis. Ecology and Evolution. 2019;9(24):13706-13730.
20. Hendry H., Mann C. Camelot - Intuitive software for camera - trap data management. Oryx. 2018;52(1):1-15.
21. Bubnicki J.W., Churski M., Kuijper D.P.J. TRAPPER: An open source web-based application to manage camera trapping projects. Methods in Ecology and Evolution. 2016;7:1209-1216.
22. Kuhn M. caret: Classification and Regression Training. R package version 6.0-86. 2020. Available at: https://CRAN.R-proj ect.org/package=caret
23. Hamner B., Frasco M. Metrics: Evaluation Metrics for Machine Learning. R package version 0.1.4. 2018. Available at: https://CRAN.R-project.org/package=Metrics
24. Michener W.K., Jones M.B. Ecoinformatics: supporting ecology as a data- intensive science. Trends in Ecology & Evolution. 2012;27(2):85-93.
25. Meek P., Ballard G., Claridge A. et al. Recommended guiding principles for reporting on camera trapping research. Biodiversity Conservation. 2014;23:2321-43.
26. Rovero F., Ahumada J. The Tropical Ecology, Assessment and Monitoring (TEAM) Network: An early warning system for tropical rain forests. The Science of The Total Environment. 2017;574:914-923.
27. Pereira H.M., Ferrier S., Walters M. et al. Essential biodiversity variables. Science. 2013;339(6117):277-278.
28. Kissling W.D., Ahumada J.A., Bowser A. et al. Building essential biodiversity variables (EBVs) of species distribution and abundance at a global scale. Biological Reviews. 2018;93(1):600-625.
29. O'Brien T.G. Wildlife picture index and biodiversity monitoring: issues and future directions. Animal Conservation. 2010;13:350-352.
30. Fegraus E.H., Lin K., Ahumada J.A. et al. Data acquisition and management software for camera trap data: a case study from the TEAM Network. Ecological Informatics. 2011;6:345-53.
31. Oldoni D., Desmet P., Huybrechts P. camtraptor: Read, Explore and Visualize Camera Trap Data Packages. R package version 0.20.1. 2023. Available at: https://inbo.github.io/camtraptor/
32. Rowcliffe M.J., Field J., Turvey S.T., Carbone C. Estimating animal density using camera traps without the need for individual recognition. Journal of Applied Ecology. 2008;45:1228-1236.
33. Ogurtsov S.S. Mammal population density estimation using camera traps based on a random encounter model: theoretical principles and practical recommendations. Nature Conservation Research. Zapovednaya nauka = Nature Conservation Research. 2023;8(1):1-23. (In Russ.)
34. MacPhail A., Becker M., Knight E. wildRtrax: Environmental sensor data management and analytics to and from WildTrax. R-package version 1.1.0. 2023. Available at: https://abbiodiversity.github.io/wildRtrax
35. Fisher J.T. Camera trapping in ecology: A new section for wildlife research. Ecology and Evolution. 2023;13:e9925.
36. Tosa M.I., Dziedzic E.H., Appel C.L. et al. The Rapid Rise of Next-Generation Natural History. Frontiers in Ecology and Evolution. 2021;9:698131.
37. Ogurtsov S.S., Volkov V.P., Zheltukhin A.S. Review of modern methods of storing, processing and analyzing data from camera traps in zoological research. Nature Conservation Research. Zapovednaya nauka = Nature Conservation Research. 2017;2(1):73-98. (In Russ.)
38. Niedballa J., Sollmann R., Courtiol A., Wilting A. camtrapR: An R package for efficient camera trap data management. Methods in Ecology and Evolution. 2016;7(12):1457-1462.
39. Allan B.M., Nimmo D.G., Ierodiaconou D. et al. Future casting ecological research: the rise of technoecology. Eco-sphere. 2018;9:e02163.
40. McShea W.J., Forrester T., Costello R. et al. Volunteer-run cameras as distributed sensors for macrosystem mammal research. Landscape Ecology. 2016;31(1):55-66.
41. Young S., Rode-Margono J., Amin R. Software to facilitate and streamline camera trap data management: a review. Ecology and Evolution. 2018;8:9947-9957.
