CC BY
0ВОПРОСЫ РЫБОЛОВСТВА, 2024. Том 25. №4. С. 113-124 FISHERIES ISSUES, 2024. Vol. 25. №4. P. 113-124
МЕТОДИЧЕСКИЕ АСПЕКТЫ РЫБОХОЗЯЙСТВЕННЫХ ИССЛЕДОВАНИЙ УДК 597.552.511:57.087.3 DOI: 10.36038/0234-2774-2024-25-4-113-124
ПРИМЕНЕНИЕ МЕТОДОВ ИСКУССТВЕННОГО
ИНТЕЛЛЕКТА ДЛЯ АВТОМАТИЗАЦИИ БЕСПИЛОТНОГО УЧЁТА ОТНЕРЕСТИВШИХСЯ ОСОБЕЙ КЕТЫ В ХАБАРОВСКОМ КРАЕ
© 2024 г. В.В. Свиридов (spin: 6871-3547), А.Ю. Поваров (spin: 3507-9374)
Хабаровский филиал ГНЦ РФ ФГБНУ «ВНИРО», Россия, Хабаровск, 680038 E-mail: [email protected]
Поступила в редакцию 6.09.2024 г.
Беспилотный учёт тихоокеанских лососей перспективен, но его реализация сопряжена с трудностями ручной обработки больших объёмов аэрофотоснимков с целью подсчёта численности производителей, включая отнерестившихся особей (т.е. снёнки). Автоматизация подсчёта особей на фотоматериалах беспилотной съёмки посредством методов искусственного интеллекта (ИИ), в частности посредством нейросетей, относящихся к технологиям глубокого обучения, является одним из наиболее перспективных способов оптимизации беспилотного учёта лососей, повышения его производительности и эффективности. На данный момент использование ИИ для выявления особей на материалах беспилотной съёмки реализовано лишь для крупных хрящевых рыб (акулы, скаты). Настоящая работа впервые показывает данную возможность для костистых рыб, а именно для снёнки кеты. Предложенный подход демонстрирует принципиальную возможность учёта сравнительно малых и весьма изменчивых по внешнему виду ВБР, какими являются тихоокеанские лососи, даже при плохой видимости в условиях нерестовых рек. На примере рек Хабаровского края показано, что использование корректно настроенных (обученных) нейросетей позволяет автоматизировать выявление и подсчёт снёнки кеты на материалах беспилотной аэрофотосъёмки. Приведено описание выполненного создания модели на базе нейросети для решения данной задачи, реализации выявления и подсчёта снёнки методами ИИ на платформе настольной ГИС. Обоснована важность развития учёта тихоокеанских лососей методами ИИ именно на платформе настольной ГИС ввиду ряда объективных преимуществ такого подхода. Предложенная автоматизация учёта снёнки кеты в Хабаровском крае посредством нейросетей является началом автоматизации беспилотного учёта тихоокеанских лососей методами ИИ с учётом видовой и региональной специфики. Показана важность межфилиального взаимодействия подразделений ВНИРО для ведения общего репозитория моделей на базе нейросетей и обеспечивающих их данных.
Ключевые слова: тихоокеанские лососи, снёнка, БПЛА, автоматизация, искусственный интеллект, нейросеть, ГИС.
ВВЕДЕНИЕ
При всей своей актуальности и перспективности беспилотный учёт тихоокеанских лососей сопряжён с трудностями ручной обработки больших объёмов аэрофотоснимков с целью подсчёта численности производителей, включая отнерестившихся (снёнки). Подсчёт их на аэрофотоснимках и видеоматериалах с БПЛА требует много времени и
на настоящий момент не автоматизирован каким-либо другим образом (Свиридов и др., 2022а, 2022б).
Автоматизация подсчёта особей на фотоматериалах беспилотной съёмки посредством методов глубокого обучения, является одним из наиболее перспективных способов оптимизации беспилотного учёта лососей, повышения его производительности и эффектив-
ности. Глубокое обучение - это разновидность машинного обучения, являющегося разделом искусственного интеллекта (ИИ), основанная на обучении многослойных нейронных сетей (далее - нейросетей). Из всех методов ИИ для выявления и подсчёта животных на материалах беспилотной съёмки наиболее перспективными считаются нейросети различных архитектур (Dujon et al., 2021; Rodofili et al., 2022; Attard et al., 2024).
Большинство работ по использованию методов ИИ для учёта животных посредством БПЛА посвящено сравнительно крупным наземным млекопитающим (Attard et al., 2024). Среди видов водных биоресурсов (ВБР) применение методов ИИ при беспилотном учёте в большинстве случаев нацелено на китообразных и ластоногих, которые благодаря своим сравнительно крупным размерам и зачастую хорошей видимости отлично подходят для подобных работ (Бизиков и др., 2021; Guirado et al., 2019; Dujon et al., 2021; Rodofili et al., 2022). Рыбы, будучи намного меньше по размеру и хуже видимы, намного сложнее идентифицируются на материалах беспилотной съёмки. Согласно анализу рецензируемых российских и зарубежных научных изданий, на настоящий момент использование ИИ для выявления особей на материалах беспилотной съёмки реализовано лишь для крупных хрящевых рыб (Butcher et al., 2021; Desgarnier, 2022). По тихоокеанским лососям и по костистым рыбам в целом такие работы отсутствуют.
При том что глубокое обучение является весьма перспективным подходом для автоматического выявления объектов на снимках, тренировка модели глубокого обучения с нуля до эффективного состояния требует высоких технических компетенций и больших затрат времени. Целью настоящей работы было создание такой модели на примере снёнки кеты и оценка возможности использования данной модели для автоматического выявления и учёта снёнки кеты на материалах беспилотной съёмки. Данная цель весьма нетривиальна,
учитывая упомянутое отсутствие публикаций в рецензируемых изданиях по костистым рыбам, сравнительно малые размеры снёнки, её значительную изменчивость по внешнему виду, а также сложные условия съёмки и часто плохую видимость в нерестовых реках.
Подсчёт снёнки является значимым элементом учёта лососей, позволяет получить дополнительные сведения о нересте в определённом водотоке, локализации нерестилищ (Методические рекомендации ..., 2013). Так как снёнка обычно находится недалеко от нерестилищ, то выявленные экземпляры могут использоваться как наводящие сведения по локализации нерестилищ. Очевидно, что присутствие сненки может быть показателем локализации нерестилищ только при стабильных гидрологических условиях. Также обнаруженную снёнку можно использовать как индикатор присутствия тихоокеанских лососей в конкретном водотоке в случае проблем с выявлением самих производителей в ходе учётных работ.
МАТЕРИАЛ И МЕТОДИКА
Работы по беспилотному учёту тихоокеанских лососей в реках Хабаровского края в 2021-2023 гг. проводили на основе опубликованных методических подходов (Свиридов и др., 2022а, 2022б). Объём использованных материалов беспилотной аэрофотосъёмки для различных этапов разработки модели ИИ приведён в таблице 1.
Этапы и содержание работ по созданию, тестированию и эксплуатации модели для выявления снёнки на ортофотопланах представлены на рисунке 1. На первом этапе проводили отбор аэрофотоснимков, наиболее подходящих для достижения поставленной цели. Для построения эффективной модели глубокого обучения важно разнообразие материалов, на которых проводится её тренировка. Для этого отбирали аэрофотоснимки, на которых визуально опознавалась снёнка разной степени сохранности, в различных условиях аэрофотосъёмки (присутствие и отсутствие
Таблица 1. Участки и сроки беспилотных аэрофотосъёмочных работ, объём материалов (количество векторизованных экземпляров снёнки), использованных для создания и тестирования модели
Вид работ Река-контрольный участок Дата Количество, экз.
Кухтуй-Бакирка 11.09.2021 8
Кухтуй-Бакирка 04.10.2022 34
Кухтуй-Бакирка 28.09.2023 15
Охота-Аганджа 24.09.2022 352
Создание модели Охота-Ключи 25.09.2023 31
Охота-Комендантский 30.09.2022 122
Охота-Комендантский 25.09.2023 439
Охота-Кочумазная 30.09.2022 33
Охота-Мельчиканка 26.09.2022 4
Охота-Третий Гайдык 12.09.2021 7
Тестирование модели Амгунь-Дуки 19.10.2021 119
Рис. 1. Этапы и содержание работ по созданию, тестированию и эксплуатации модели для выявления объектов учёта.
обрастаний и фрагментов древесины на дне, различная освещённость и глубина и т.д.).
В ходе фотограмметрической обработки отобранных наборов снимков в ПО Agisoft Ме1а8Ьаре получили ортофото-
планы. Для эффективной работы ИИ необходимо, чтобы все обучающие и анализируемые фотоматериалы были примерно одинакового пространственного разрешения. У большинства аэрофотоснимков исход-
ное разрешение варьировало в диапазоне 1,2-1,6 см/пикс. Ортофотопланы были приведены к разрешению 1,2 см/пикс, чтобы избежать потери качества и унифицировать пространственное разрешение. Все фотоматериалы были представлены 8-битными трёхканальными снимками, что соответствует формату RGB-камер на беспилотниках DJI, использованных в ходе работ.
Ортофотопланы вместе со вспомогательными векторными слоями организовали в виде ГИС-проекта. В качестве программной платформы использовали настольную ГИС ArcGIS Pro 3.1 с расширением Image Analyst и установленными библиотеками сред глубокого обучения. Для обеспечения адекватной скорости работы программных компонентов для ИИ использовали высокопроизводительные ПК с выделенной памятью графического процессора NVIDIA от S Гб.
В проекте настольной ГИС встроенными инструментами оцифровки провели подготовку обучающих меток (образцов изображений для тренировки модели) путём ручной векторизации контуров снёнки на ортофотопланах. Аналогичный подход к подготовке обучающих меток через окон-туривание полигоном каждого экземпляра объекта учёта был успешно реализован на китообразных (Gray et al., 2019; Boulent et al., 2023) и ластоногих (Infantes et al., 2022). Всего векторизовано 1045 экз. снёнки из отснятых участков рек Охотского района Хабаровского края. Также на ортофотопла-нах оцифровывали контуры производителей кеты и участки водотоков и берега, не содержащие снёнки, формируя тем самым сопутствующие классы. Подобного рода «пустые» метки нужны для обучения модели в целях сведения к минимуму количества ложноположительных срабатываний (выявление объекта моделью там, где его на самом деле нет). Сходный подход был использован при учёте китообразных (Borowicz et al., 2019) и морских птиц (Kellenberger et. al., 2021) при помощи нейросетей.
Векторизованные полигональные контуры снёнки посредством инструмента геообработки «Экспорт обучающих данных для глубокого обучения» ArcGIS Pro преобразовали в формат обучающих изображений, который можно использовать для тренировки модели глубокого обучения. На этом этапе, а также при тестировании модели использовали единообразное пространственное разрешение изображений - 1,2 см/пикс, соответствующее таковому у исходных орто-фотопланов. При экспорте обучающих данных использовали формат метаданных RCNN Masks. Для повышения объёма обучающих данных (искусственное увеличения обучающего набора путём создания модифицированных копий набора данных с использованием существующих данных) задавали шаг угла поворота равным 90 градусам. Сходное повышение объёма обучающих выборок было применено для повышения качества учёта китообразных с помощью нейросетей (Guirado et al., 2019).
На следующем этапе посредством инструмента геообработки «Тренировать модель глубокого обучения» было проведено создание модели глубокого обучения. Под моделью глубокого обучения здесь и далее по тексту понимается обученная (настроенная под распознавание определённых объектов) нейро-сеть. В настройках инструмента в качестве создаваемого типа модели был выбран Mask R-CNN, как опорная модель была использована ResNet-50. Mask R-CNN - это модель глубокого обучения, которая идентифицирует и выделяет отдельные целевые объекты на изображении с помощью сегментации экземпляров. Сегментация экземпляра - это метод выявления объектов, в котором модель очерчивает границу каждого экземпляра объекта. При выборе типа модели исходили из опыта сходных работ по морским млекопитающим. Нейросети типа Mask R-CNN позволяют эффективно учитывать по материалам беспилотной аэрофотосъёмки ряд видов морских млекопитающих (Gray et al., 2019), поэтому
выбор сделали на них. Дополнительное преимущество нейросети типа Mask R-CNN в том, что она не просто находит объекты, отмечая их точкой или ограничивая рамкой (подобно моделям YOLO, SSD), тем самым позволяя их посчитать, но и обводит их контур полигоном, что даёт возможность анализировать размерные характеристики (например, в целях контроля качества).
Полученная модель применяется к изображениям, чтобы автоматически выявлять и на основе этого подсчитывать целевые объекты. После создания модели глубокого обучения она была протестирована на орто-фотоплане, не использованном для её создания: на нерестилище в р. Дуки. Для анализа результатов работы модели, выявленная ей снёнка сопоставлялась с экземплярами, векторизованными операторами, т.е. являющимися контрольными. Для минимизации ложнопо-ложительных срабатываний использовали ограничивающий полигон, охватывающий целевую часть водотока с буфером в два м для частичного охвата берега. Сходный подход в целях выбраковки из работы нейросети участков, однозначно не содержащих объектов учёта, был использован на китообразных (Boulent et al., 2023).
Для применения модели глубокого обучения на тестовых ортофотопланах использовали инструмент геообработки «Выявить объекты при помощи глубокого обучения». Он анализирует целевой растр в рамках заданного ограничивающего экстента с помощью созданной модели глубокого обучения и автоматически векторизует контуры каждого экземпляра целевого объекта, выявленного моделью, при условии, что пороговое значение достоверности для него выше заданного пользователем порога. На этом и последующих этапах работы с моделью использовали пороговое значение достоверности 0,9 (т.е. вероятность, что выявленный моделью объект является снёнкой, была не менее 90% по оценке модели), заданное по умолчанию в ArcGIS Pro.
Для анализа результатов работы модели использовали инструмент геообработки «Вычислить точность для выявления объектов». Он вычисляет точность созданной модели глубокого обучения сравнением объектов, полученных инструментом «Выявить объекты при помощи глубокого обучения», с истинными данными на местности. Инструмент «Вычислить точность для выявления объектов» выдает следующие показатели качества анализируемой модели. Показатель «точность» равен отношению числа истинноположительных (т.е. корректно выявленных моделью на основании анализа оператором) прогнозов модели к числу всех положительных (т.е. суммы истинноположи-тельных и ложноположительных) прогнозов модели. Показатель «полнота» выражает отношение числа истинноположительных прогнозов модели к реальному числу истин-ноположительных объектов. При этом число истинноположительных объектов будет равно сумме числа истинноположительных и ложноотрицательных (т.е. ошибочно не выявленных моделью) прогнозов модели.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
Модель для выявления снёнки, полученная посредством инструмента «Тренировать модель глубокого обучения» характеризовалась достаточно высоким показателем точности - 0,96. Данное значение рассчитано по результатам проверки точности модели на валидационной выборке, материалы которой не использовались при тренировке модели. Данная проверка также включает сравнение образцов масок вали-дационной выборки и прогнозов. Как видно на рисунке 2, полигоны, оцифрованные оператором и спрогнозированные созданной моделью, характеризуются сходной геометрией, что тоже говорит о точности полученной модели.
Для тестирования созданной модели она была использована для выявления снёнки на ортофотоплане контрольного участка на
f
f
Рис. 2. Примеры пар валидационной выборки с полупрозрачными полигонами снёнки, оцифрованными оператором (верхний ряд) и спрогнозированными созданной моделью (нижний ряд).
р. Амгунь. Инструмент геообработки «Вычислить точность для выявления объектов», сопоставляющий результаты модели и оператора и на основании этого оценивающий качество автоматического выявления снёнки, показал, что разработанная модель характеризуется удовлетворительной эффективностью. Так значение точности созданной модели, согласно данным проведённого тестирования, составило 0,69. То есть 69% экземпляров снёнки, выявленных моделью, были истин-ноположительными (105 экз. - истиннополо-жительных прогнозов и 47 экз. - ложнополо-жительных). Охват модели составил 0,88: т.е. модель выявила 88% от реального количества снёнки на анализируемом участке (105 экз. -истинноположительных прогнозов, 14 - лож-ноотрицательных). Графическое представление данных результатов приведено на рисунке 3, где отображены разные виды прогнозов модели и фактическая ситуация по результатам ручной векторизации оператором.
Результаты данного тестирования, а также анализ публикаций по использованию ИИ для автоматического выявления ВБР на материалах беспилотной съёмки свидетельствуют, что разработанная в ходе настоящей работы модель по выявлению снёнки характеризуется удовлетворительной эффективностью. В частности, точность (0,69) и охват (0,88) разработанной нами по снёнке модели выше, чем таковые у моделей по материалам некоторых беспилотных съёмок более крупных и лучше визуализируемых объектов. Так для модели по капскому морскому котику точность составила 0,27, при полноте 0,79, а для головастой морской черепахи - 0,20 и 0,75, соответственно (Dujon et al. 2021). С другой стороны, применение моделей Mask R-CNN по данным беспилотной аэрофотосъёмки разных видов китообразных позволило получить очень высокие показатели модели: точность - 0,98, полнота - 1,0 (Gray et al., 2019).
Рис. 3. Результаты ручной векторизации снёнки оператором и автоматического выявления моделью (отдельные экземпляры обозначены белыми кружками) для участка нерестилища на р. Амгунь, 19.10.2021. А - фактическая ситуация (ручная векторизация, 119 экз.), б - истинноположительные прогнозы (105 экз.), в - ложноположительные (47 экз.), г - ложноотрицательные (14 экз., жёлтый прямоугольник - граница увеличенного фрагмента ортофотоплана), д - увеличенный фрагмент ортофотоплана (жёлтые линии - истинноположительные прогнозы, розовые - ложноположитель-ные, красные кружки - ложноотрицательные).
Таким образом, наши результаты показали принципиальную возможность использования корректно настроенных моделей ИИ для автоматизации выявления и подсчёта снёнки кеты на материалах беспилотной аэрофотосъёмки. Очевидно, что ввиду ограниченного объёма тренировочных и тестовых материалов, данные результаты носят предварительный, разведочный характер. Обнадёживает тот факт, что удовлетворительная эффективность модели, тренированной на материалах из рек Охотского района, была продемонстрирована при тестировании на участке притока р. Амур, что свидетельствует о вероятной универсальной применимости подобных моделей для разных регионов.
На рисунке 4 приведены примеры работы модели в разных ситуациях. Как видно, модель в отдельных случаях ложно срабатывает на производителях и растительности (верхний ряд фрагментов ортофото-плана). Ложноотрицательные срабатывания модели (нижний ряд) обычно были обусловлены недостаточной различимостью снёнки и скрытием части тела.
Учитывая предварительный характер полученных результатов, представляется целесообразным описать способы дальнейшего повышения качества разрабатываемых моделей ИИ для автоматического выявления как снёнки, так производителей тихоокеанских лососей. К таковым в первую очередь нужно отнести увеличение объёмов обучающих меток как по целевым объектам, так и по фоновым, зашумляющим анализируемые изображения. Это особенно актуально ввиду большой изменчивости внешнего вида лососей в ходе нерестовой миграции, разнообразия их окружения, сложных условий аэрофотосъёмки. Именно поэтому сравнительно невысокая эффективность первых версий моделей ИИ не означает предел возможностей данного метода для учёта лососей. По мере роста количества обучающих меток, их разнообразия эффективность моделей неизбежно
будет увеличиваться, в том числе в плане межрегиональной применимости. К другим способам можно отнести тестирование различных настроек инструментов создания модели в целях их оптимизации, сравнительный анализ эффективности различных типов нейросетей, существенное увеличение количества тренировочных эпох. Крайне важно и улучшение качества самих материалов аэрофотосъёмки за счёт применения более продвинутых камер и беспилотников, высокопрофессиональной работы операторов в ходе аэрофотосъёмки.
Реализация вышеописанных путей совершенствования разрабатываемых моделей в значительной мере облегчается в случае скоординированного сотрудничества между структурными подразделениями ГНЦ РФ ФГБНУ «ВНИРО» (ВНИРО). Сотрудничество научных коллективов из разных регионов при ведении библиотек обучающих меток и основанных на них моделей позволит эффективнее развивать беспилотный учёт ВБР. Сходные представления о важности подобной кооперации исследовательских групп при совместной разработке моделей ИИ для учёта различных видов организмов уже обсуждались в публикациях (Rodofili et al., 2022).
Предложенный в настоящей работе подход к созданию моделей на базе лидирующей настольной ГИС, которой является ArcGIS Pro, существенно облегчает подобное сотрудничество подразделений рыбохозяйственного НИИ. Большая часть учёных рыбохозяйствен-ных институтов владеет настольными ГИС и поэтому порог вхождения в разработку моделей ИИ для них является достаточно низким. Этого нельзя сказать о специализированном ПО для разработок в сфере ИИ, требующего специальных технических компетенций. Открытый, дорабатываемый характер моделей ИИ, разрабатываемых в настольной ГИС, выгодно отличает их от закрытых программных решений сторонних разработчиков и веб-сервисов. Разработка моделей ИИ на базе настольной ГИС благоприятна тем, что дан-
Рис. 4. Примеры работы модели в различных ситуациях: желтые линии - истинноположительные прогнозы, розовые линии - ложноположительные прогнозы модели, красные кружки - ложноотри-цательные прогнозы. Комментарии: а - один из трёх производителей ошибочно спрогнозирован моделью как снёнка, б и в - водная растительность спрогнозирована как снёнка, г, д, е - часть снёнки, присутствующей на изображении, не спрогнозирована ввиду малой различимости.
ное ПО удобно одновременно использовать для контроля качества работы модели (удаление ложноположительных прогнозов модели, оцифровка ложноотрицательных), каталогизации материалов аэрофотосъёмки, ручной векторизации, выполнения окончательного расчёта численности объектов учёта.
Дополнительным преимуществом является возможность подготовки обучающих меток не только в ArcGIS Pro, но и в
любой другой полнофункциональной ГИС, предпочитаемой пользователем. Инструмент «Экспорт обучающих данных для глубокого обучения» поддерживает импорт обучающих меток в стандартных обменных форматах данных для ГИС (шейп-файлы и т.п.). Созданные обучающие метки затем можно напрямую использовать в ArcGIS Pro для экспорта в формат обучающих данных для глубокого обучения.
ЗАКЛЮЧЕНИЕ
Настоящая работа демонстрирует принципиальную возможность выявления и подсчёта снёнки на материалах беспилотной аэрофотосъёмки для тихоокеанских лососей. Предложенный подход предваряет последующие работы по автоматизации беспилотного учёта тихоокеанских лососей методами ИИ с учётом видовой и региональной специфики.
Приведено описание настройки модели для решения данной задачи, реализации выявления и подсчёта снёнки методами ИИ на платформе настольной ГИС. Обоснована важность развития учёта тихоокеанских лососей методами ИИ именно на платформе настольной ГИС ввиду ряда объективных преимуществ такого подхода.
Точность модели и эффективность её применения зависят не только от корректности её настройки, но и от качества обрабатываемых ей аэрофотоснимков, качества визуализации на них объектов учёта. Соответственно, дальнейшее повышение эффективности разрабатываемых моделей возможно как через совершенствование самих моделей, так и посредством повышения качества материалов аэрофотосъёмки. Взаимодействие подразделений ВНИРО для ведения общего репозитория обучающих библиотек и основанных на них моделей на базе лидирующей настольной ГИС обеспечит более эффективную реализацию беспилотного учёта ВБР.
СПИСОК ЛИТЕРАТУРЫ
Бизиков В.А., Петерфельд В.А., Черноок В.И., и др. Методические рекомендации по проведению учёта приплода байкальской нерпы (Рша $1Ыг1оа) с беспилотных летательных аппаратов в Байкальском рыбохозяйственном бассейне. М.: Изд-во ВНИРО, 2021. 56 с.
Методические рекомендации по учёту численности тихоокеанских лососей в реках Сахалинской области. Южно-Сахалинск: Изд-во СахНИРО, 2013. 31 с.
Свиридов В.В., Коцюк Д.В., Подорожнюк Е.В. Беспилотный фотограмметрический учёт тихоокеанских лососей посредством БПЛА потребительского класса // Изв. ТИНРО. 2022а. Т. 202. С. 429-449.
Свиридов В.В., Подорожнюк Е.В., Никитин В.Д., Скорик А.В. Модификации беспилотного учёта производителей тихоокеанских лососей в реках Сахалинской области и Хабаровского края // Изв. ТИНРО. 2022б. Т. 202. С. 1015-1031.
Attard M.R.G., Phillips R.A., Bowler E, et al. Review of Satellite Remote Sensing and Unoccupied Aircraft Systems for Counting Wildlife on Land // Remote Sensing. 2024. Т. 16. № 4. С. 627.
Borowicz A., Le H., Humphries G. et al. Aerial-trained deep learning networks for surveying cetaceans from satellite imagery // PLOS One. 2019. V. 14. № 10. 15 p.
Boulent J., Charry B., Kennedy M. et al. Scaling whale monitoring using deep learning: A human-in-the-loop solution for analyzing aerial datasets // Frontiers in Marine Science. 2023. V. 10. 13 p.
Butcher P., Colefax A., Gorkin I. et al. The drone revolution of shark science: A review // Drones. 2021. V. 5. № 1. 8 p.
Desgarnier L., Mouillot D., Vigliola L. et al. Putting eagle rays on the map by coupling aerial video-surveys and deep learning // Biological Conservation. 2022. V. 267. 24 p.
Dujon A., Ierodiaconou D., Geeson J. et al. Machine learning to detect marine animals in UAV imagery: effect of morphology, spacing, behaviour and habitat // Remote Sensing in Ecology and Conservation. 2021. V. 7. № 3. P. 341-354.
Gray P., Bierlich K., Mantell S. et al. Drones and convolutional neural networks facilitate automated and accurate cetacean species identification and photogrammetry // Methods in Ecology and Evolution. 2019. V. 10. № 9. P. 1490-1500.
Guirado E., Tabik S., Rivas M. et al. Whale counting in satellite and aerial images with deep learning // Scientific reports. 2019. V. 9. № 1. 13 p.
Infantes E., Carroll D., Silva W. et al. An automated work-flow for pinniped surveys: a new tool for monitoring population dynamics // Frontiers in Ecology and Evolution. 2022. V. 10. 17 p.
Kellenberger B., Veen T., Folmer E., et al. 21 000 birds in 4,5 h: efficient large scale seabird detection with machine learning // Remote Sensing in Ecology and Conservation. 2021. V. 7. № 3. P. 445-460.
Rodofili E., Lecours V., LaRue M. Remote sensing techniques for automated marine mammals detection: a review of methods and current challenges // PeerJ. 2022. V. 10. 22 p.
METHODOLOGICAL ASPECTS OF FISHERY RESEARCH
APPLICATION OF ARTIFICIAL INTELLIGENCE METHODS TO AUTOMATE POST-SPAWN CHUM SALMON INDIVIDUALS ENUMERATION BY MEANS OF UNMANNED AERIAL VEHICLES IN KHABAROVSK TERRITORY
© 2024 y. V.V. Sviridov, A.Yu. Povarov
Khabarovsk branch of the State Science Center of the «VNIRO», Russia, Khabarovsk, 680038
Pacific salmon enumeration by means of unmanned aerial vehicles is promising, but its implementation is associated with the difficulties of manually processing large volumes of aerial imagery in order to count the number of spawners, post-spawn individuals (i.e. spawned out salmon). Automation of counting individuals in unmanned photographic materials by means of artificial intelligence (AI) methods, in particular, using neural networks from deep learning technologies domain, is one of the most promising ways to optimize salmon enumeration by means of unmanned aerial vehicles by increasing its productivity and efficiency. At present, the use of AI to identify individuals in unmanned survey materials has been implemented only for large cartilaginous fish (sharks, rays). This work demonstrates for the first time this possibility for teleosts, namely for post-spawn chum salmon. The proposed approach demonstrates the fundamental possibility of counting relatively small and highly variable in appearance aquatic species, such as Pacific salmon, even in poor visibility in rivers utilized for spawning. The example of the rivers of the Khabarovsk Territory shows that the use of correctly configured (trained) neural networks allows automating the detection and counting of post-spawn chum salmon using unmanned aerial photography materials. A description of the completed creation of a model based on a neural network for solving this problem, implementing the detection and counting of post-spawn salmon using AI methods on a desktop GIS platform is given. The importance of developing the Pacific salmon enumeration using AI methods specifically on a desktop GIS platform is substantiated due to a number of objective advantages of this approach. The proposed automation of post-spawn chum salmon enumeration in the Khabarovsk Territory using neural networks is the beginning of the automation of unmanned enumeration of Pacific salmon using AI methods, taking into account species and regional specifics. The importance of inter-branch interaction of VNIRO divisions for maintaining a common repository of models based on neural networks and their supporting datasets is shown.
Keywords: Pacific salmon, pofl-spawn salmon, UAV, automation, artificial intelligence, neural network, GIS.
