CC BY
19
УДК 621.833
DOI: 10.24412/2071-6168-2022-2-103-110
ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА БЕСКОНТАКТНОГО БИОЛОГИЧЕСКОГО МОНИТОРИНГА И ПРОГНОЗИРОВАНИЯ ДЛЯ ВОДНЫХ ЭКОСИСТЕМ
Э.В. Мельник, А.В. Козловский, В.А. Переверзев
В работе описан принцип работы программно-аппаратного комплекса, который позволяет создать необходимые условия для корректной работы системы по распознаванию живых организмов, имея при этом минимальную погрешность. За основу проекта была взята RetinaNet-архитектура свёрточной нейронной сети, которая представляет собой комбинацию из четырех сетей различного назначения. Описанная разработка позволяет выполнять подсчет живых организмов и определять их вид. По результатам тестирования была сформирована методика, благодаря которой появляется возможность достигать наилучший результат.
Ключевые слова: мониторинг, интеллектуальная система, прогнозирование, нейронные сети, зообентос, программно-аппаратный комплекс, методика.
Введение. В современных реалиях постоянно возрастающего антропогенного воздействия, увеличения масштабов и частоты опасных природных и техногенных процессов, а также опасности последствий от них, исследованиям в области экологического и биологического мониторинга придается особое значение. В связи с этим специалистами в сфере экологического мониторинга одним из приоритетных научных направлений при проведении наблюдений за окружающей средой являются идентификация и оценка природной и техногенной опасности, совершенствование систем мониторинга, прогнозирования и оценки риска возникновения чрезвычайных ситуаций, развитие теоретических и практических основ управления безопасностью, а также разработка комплекса мероприятий по обеспечению безопасности [1].
Учитывая стремительное развитие и повсеместное внедрение технологий искусственного интеллекта во все сферы деятельности человека, данный подход уже является одним из наилучших решений в той или иной научно-исследовательской или практической задаче. Это привело к тому, что в последние годы сфера применения таких интеллектуальных решений расширилась от простых домашних решений для умного дома до сложных комплексных многоуровневых систем оценки и принятия решений. В связи с этим, мы пришли к выводу, что адаптация технологии искусственного интеллекта к задачам по подсчету и выявлению видов зообентоса (рис. 1) может принести огромную пользу научному сообществу, благодаря сокращению временных затрат и качеству полученных результатов, исключая фактор усталости при самостоятельном подсчете.
Рис. 1. Снимок зообентоса до проведения опытов
Здесь важно понимать, что нейронные сети, как одна из технологий искусственного интеллекта, не всегда являются лучшим решением, однако они идеально подходят для задач обработки, выделения и подсчёта сложных неформализуемых объектов. Учитывая это стано-
вятся возможным и различные мониторинговые исследования в бассейнах морей и водоёмов, которые позволили бы использовать не только классические, натурные наблюдения, но и новые технологии бесконтактного мониторинга.
Рост количества опасных природных явлений на фоне интенсификации освоения окружающей среды обусловливает значительное повышение вероятности того, что в зоне развития этих процессов окажутся наиболее освоенные территории. Особенно уязвимы - прибрежные зоны, где любое стихийное бедствие природного характера способно вызвать целую серию техногенных аварий и привести к значительным человеческим жертвам и материальным потерям. В связи с этим становится актуальным вопрос выявления закономерностей проявления природных катастроф и сбор данных по природным и техногенным чрезвычайным ситуациям, условиям их возникновения и факторам образования (фото и видеосъёмки, температуре воздуха, скорости ветра, уровне воды в режиме реального времени, ретроспективных данных о солености воды, среднегодовом уровне осадков и т.д.), а также использование современных математических моделей, информационных систем и методов обработки данных, что позволит лучше понимать природу этих процессов и прогнозировать, а затем снижать их негативные последствия. Любая система оценки состояния природной среды складывается из проведения мониторинговых исследований, накопления, обработки, анализа и хранения полученных данных, на основе которых принимаются решения о перспективах функционирования и практического использования экосистемы.
В настоящее время достаточно распространенными являются способы оценки состояния гидроэкосистемы по структурным показателям отдельных компонентов биоты. При этом наиболее полная и объективная информация об экосистеме может быть получена при проведении биоиндикационных исследований, использующих сведения о численности, биомассе и динамических характеристиках [1]. Традиционный биомониторинг работает на уровне сообществ и потому обладает инерцией реагирования - отражает изменения окружающей среды postfactum, с отставанием от изменения экологической ситуации на 3-5 лет. Кроме того, при традиционном мониторинге требуются значительные потери времени на пробоотбор, камеральную разборку, скрупулезные подсчеты, и точные списки видов. Эти традиционные работы необходимы для фундаментальных исследований по выявлению природы процессов трансформации морских экосистем [2], но в результате доступными для исследований являются только интегральные показатели бентоса. При этом существуют и функциональные показатели бентоса. Они высокочувствительны, более экспрессны и проявляются задолго до начала структурных изменений, но пока эти показатели применяются недостаточно широко, т. к. требуют высокой квалификации специалистов и приборного обеспечения [3].
В настоящее время существует потребность в разработке научно-методологических и методических основ биологического мониторинга для водных экосистем Понто-Каспийского региона, в частности, для Азовского моря. Но только с помощью анализа одних показателей бентоса невозможно отслеживать параметры опасного природного процесса в краткосрочном временном периоде.
Поэтому для интеллектуальных систем мониторинга и прогнозирования опасных природных процессов в части автоматизированной помощи принятия решений представляется важным одновременно учитывать и другие функциональные показатели, которые относятся к метеорологическому и гидрологическому мониторингу и могут оказывать любое прямое или косвенное влияние на развитие зообентоса. В результате при мониторинге и прогнозировании опасных природных процессов возникает задача получения, накопления, хранения, сопоставления и обработки больших объемов децентрализованных данных, содержащих информацию о различных интегральных и функциональных параметрах гидроэкосистемы. Данная задача может быть решена с помощью применения современных информационных технологий и построения новых моделей для подсистем помощи принятия решений, а выявление неочевидных взаимосвязей между данными и уровень их взаимного влияния можно определить с помощью когнитивного анализа.
Таким образом возникла идея разработки интеллектуальной системы бесконтактного биологического мониторинга и прогнозирования для водных экосистем, основными задачами которой является подсчет и выявление новых видов после чего можно формировать прогнозы о структурных перестройках в окружающей среде (которые происходят довольно медленно), т.е. системы обладающей свойствами искусственного интеллекта [3].
Так как основной задачей разрабатываемой системы является подсчет и выявление новых видов, то основной упор делается именно на обучение без учителя, что позволит распознать во входном потоке в даже неизвестные образы. Такое обучение включает классификацию
и регрессионный анализ. Классификация используется, чтобы определить, к какой категории принадлежит образ. Регрессионный анализ используется, чтобы в рядах числовых примеров входа/выхода и обнаружить непрерывную функцию, на основании которой можно было бы прогнозировать выход. При таком подходе во время обучения агент (нейронная сеть) вознаграждается за хорошие ответы и наказывается за плохие.
Архитектура нейронной сети. В настоящее время проблема подбора той или иной архитектуры под различные задачи изучена довольно хорошо и существуют уже проверенные временем популярные архитектуры нейронных сетей наилчшим образом решающие определенные классы задач (классификацию, детектирование, сегментацию и т.п.). Однако в нашем случае необходимо решать совместно две задачи, а именно классификацию и регрессию. Поэтому в качестве архитектуры нейронной сети была выбрана RetinaNet, а именно - её реализация компанией Fizyr B.V.
Архитектура нейронной сети RetinaNet показана на рис. 2 и состоит из основной сети (backbone) и двух дополнительных (subnetworks). Основная сеть (backbone) представляет собой свёрточную нейросеть, предназначенную для вычисления карты признаков входного изображения. Первая subnetwork выполняет классификацию объектов на основе признаков, сгенерированных backbone. Вторая subnetwork вычисляет границы boundingbox объекта с помощью регрессии [4].
л /1 ..............
У I f 1 WxH WxH WxH
КЛЭСС+ / X 256 X 256 * X 256
регр, подсети / х4
КЛЭСС+ 1 t 1 1 1
регр.подсети 1
\ WxH WxH WxH
класс+ ч 1 X 256 * X 256 * X 256
\ 1 х4
рс j р. под сети \ 1 ..................
ы
Рис. 2. Архитектура нейронной сети RetinaNet
Как видно из рис. 2, в качестве основной сети использована так называемая пирамидальная сеть признаков (FPN - Feature Pyramid Network). Она расширяет обычную свёрточную нейронную сеть (Convolutinal Neuron Network) дополнительными выходами со скрытых слоев, что позволяет выделить из исходного изображения пирамиду признаков в разных масштабах. На каждом уровне пирамиды могут быть обнаружены изображения различного размера (масштаба). Как известно такой подход также позволяет улучшить multi-scale детекцию в других популярных нейросетях, таких как RPN, DeepMask, Fast R-CNN, Mask R-CNN и т.д., а проведенные эксперименты показали, что использование признаков только из последнего слоя дает меньшую точность AP (Average Precision).
Сравнение RetinaNet с указанными выше нейронными сетями хорошо рассмотрено в [5], а наиболее подробно архитектура RetinaNet описана в [8].
Именно эта архитектура была выбрана за счет лучшего соотношения количества тренируемых параметров к получаемой точности и соответственно способности строить иерархию признаков классов объектов при сильно сниженной зависимости от фона, на котором они расположены. Так такие сети как YOLO могут научиться распознавать фон лучше, чем объект, а именно этим качеством и не «хвастается» RetinaNet.
При реализации системы значительная часть работы легла на открытую библиотеку компьютерного зрения OpenCV. Библиотека подошла лучше всего потому, что ее наукоемкая часть реализована на языках C и C++, за счет чего при её использовании в языке Python, на котором реализовывается модуль, производительность остается на достойном уровне. Для разработки и обучения моделей глубокого обучения был применен фреймворк Keras, совместимый с Tensorflow.
Инициализация. На этапе инициализации модуля одним из важнейших действий является загрузка моделей глубокого обучения, которые будут обнаруживать и классифицировать необходимые объекты. Модели реализованы с помощью фреймворка Tensorflow, совместимого с модулем нашей библиотеки компьютерного зрения [6]. Достаточную точность в комбинации с необходимым количеством классов может обеспечить нейронная сеть архитектуры RetinaNet, которая представляет собой комбинацию из четырех сетей различного назначения, а именно:
1. Backbone - основная (базовая) сеть, служащая для извлечения признаков из поступающего на вход изображения. Данная часть сети является вариативной и в её основу могут входить классификационные нейросети, такие как ResNet, VGG, EfficientNet и другие
2. FeaturePyramid Net (FPN) - свёрточная нейронная сеть, построенная в виде пирамиды, служащая для объединения достоинств карт признаков нижних и верхних уровней сети, первые имеют высокое разрешение, но низкую семантическую, обобщающую способность; вторые — наоборот;
3. ClassificationSubnet - подсеть, извлекающая из FPN информацию о классах объектов, решая задачу классификации;
4. RegressionSubnet - подсеть, извлекающая из FPN информацию о координатах объектов на изображении, решая задачу регрессии.
Потери RetinaNet (L,) являются составными, их составляют два значения: ошибка регрессии, или локализации (ниже обозначено как Lloc), и ошибка классификации (ниже обозначено как Lcis) [8]. Общая функция потерь может быть записана как отражено в формуле (1):
L = ^Lloc + Lcls , (1)
где X - является гиперпараметром, который контролирует баланс между двумя потерями.
Каждой целевой рамке назначается якорная. Обозначим эти пары как (Aj, Gj),
i=1,...N, формат формулы где А представляет якорь, G - целевую рамку, а N количество сопоставленных пар.
Для каждого якоря регрессионная сеть предсказывает 4 числа, которые можно обозначить как Pj = (Pjx, Pjy, Pjw, Pjh ) . Первые две пары означают предсказанную разницу между
координатами центров якорной Aj и целевой рамки Gj , а последние две - предсказанную разницу между их шириной и высотой. Соответственно, для каждой целевой рамки вычисляется Tj, как разница между якорной и целевой рамкой, как показано в формуле (2):
Lioc = I smoothLi(Pj - Tj), (2)
jefa y,w,h)
где smoothLi(x) определяется формулой (3):
smoothLi( x) =
0,5x2 |x| < 1 1 (3)
|x| - 0,5 |x| > lj
Потери задачи классификации в сети RetinaNet вычисляются с помощью функции Focalloss, как отражено в формуле (4)
K
Lioc =-I У log( Pj )(1 - Pj )4' + (1 - yj )log(1 - рУ (1 -aj)), (4)
i=1
где К - количество классов; yj - целевое значение класса; р - вероятность предсказания i-го
класса; у - параметр фокуса; а - коэффициент смещения.
Данная функция является усовершенствованной функцией кросс-энтропии. Отличие заключается в добавлении параметра у е (0,+да), который решает проблему несбалансированности классов. Во время обучения, большая часть объектов, обрабатываемых классификатором, является фоном, который является отдельным классом. Поэтому может возникнуть проблема, когда нейросеть обучится определять фон лучше, чем другие объекты. Добавление нового параметра решило данную проблему, уменьшив значение ошибки для легко классифицируемых объектов.
После инициализации начинается основной цикл работы системы, в которой последовательно выполняются следующие этапы, а именно - захват кадра, предварительная компрессия, предобработка, обнаружение и классификация, а также регистрация текущего результата и состояния системы для их мониторинга.
Захват кадра с камеры особых пояснений не требует, так как выполнятся с помощью встроенных средств OpenCV (класс cv::VideoCapture).
Компрессия и предобработка реализованы с использованием фреймворка Keras (класс keras_retinanet.utils) и библиотеки OpenCV (классcv::dnn.blob From Image) [7]. Основная задача - масштабировании изображения и извлечении «среднего» для backbone сети. При работе в цветовом пространстве RGB, которое в программе представляется как BGR, извлечение «сред-
него» выглядит как вычитание определенного значения из каждого цветового канала изображения. В общих чертах изображение после такой процедуры выглядит примерно так, как показано на рис. 3:
"О
«.9%
Рис. 3. Предобработка изображения
Далее наступает этап обнаружения и классификации. Предварительно обработанное изображение передается в нейронную сеть с помощью функции Keraspredict_on_bateh. По результатам работы нейросети она предоставляет нам набор прогнозов для данных, которые мы передаем в качестве аргумента. Например, если мы тренируем сеть для распознавания кошек и собак - как только мы передаем значение в функцию изображение функции predict_on_batch-мы получим вероятность того, что на данном изображении есть кошка или собака. Мы также можем использовать эти вероятности для оценки своей модели.
Проходя по массиву результатов для текущего кадра, мы можем формировать количественные показатели наличия на изображении объектов определенных классов, что дает соответствующие возможности (происходит регистрация результата).
Этап обновления статуса выполняет функцию проверки на сигнал прекращения работы, сохранения результатов работы и завершения работы.
Завершение работы системы предполагает безопасную деинициализацию системы, сохранение результатов работы при необходимости и закрытие приложения.
В ходе исследования нами была выработана методика, позволяющая выполнять подсчет и определять виды живых организмов с относительно малой погрешностью.
Методика выглядит следующим образом:
1) Для распознавания организмов нами используется архитектура нейронной сети RetinaNet - одна из лучших одноэтапных моделей обнаружения объектов, которая доказала свою эффективность в работе с плотно расположенными и мелкомасштабными объектами.
2) Количество обучающей выборки должно достигать 5-7 тысяч кадров одного вида.
3) Распознавание проходит при включенных лампах на установке, что позволяет создать идеальные условия для опытов.
4) Фокусное расстояние до объекта должно быть равно 20 сантиметров.
5) Необходимо провести опыт, затем перемешать содержимое и повторить опыт снова. Эксперимент проводится не менее трех раз, после чего высчитывается средний результат. Отточия недопустимы.
На данный момент решение поставленной задачи находится в стадии экспериментов, и система в целом показывает лишь возможность применения концепта на практике. Основная работа по приближению к итоговым требованиям будет заключаться в сборе и аннотации гораздо более качественного набора данных, однако, также возможно некоторая доработка уже имеющихся алгоритмов обучения модели с целью оптимизации затрачиваемого времени и максимального завышения порога переобучения модели.
Результаты экспериментов. Нами был подготовлен набор данных из двух классов объемом ~2000 фотографий среднего масштаба объекта к полю зрения камеры. Этого объема данных достаточно, чтобы получить приемлемую ошибку классификации ~5% и не очень адекватную, однако исчерпывающую проблему демонстрации, ошибку регрессии ~60%, что не критично на белом фоне, который и используется для демонстрации, так как максимальная суммарная вероятность ошибки предсказания на текущем этапе предопределена и равна примерно 25-30%.
3
т
(
В процессе обучения на маломасштабном демонстрационном наборе данных изображений разрешения 200 на 200 пикселей были получены следующие результаты, представленные на рис. 4-6.
0,5 0,45
0,05 ■ U
1 4 7 17 Î0
Рис. 4. Ошибка классификации
После обучения для первого экспериментального варианта модели нейросети были взяты веса после 30-ой эпохи обучения, которые эмпирическим путем были выявлены оптимальными для демонстрации и проверки жизнеспособности концептуального образца интеллектуальной системы бесконтактного биологического мониторинга и прогнозирования для водных экосистем.
Результаты распознавания интеллектуальной системы бесконтактного биологического мониторинга и прогнозирования для водных экосистем представлены на рис.7.
Согласно исследованиям для использованного RetinaNet желателен набор данных, содержащий не менее 5-6 тысяч достаточно качественных фотоснимков, что должно снизить ошибку регрессии и как следствие значительно уменьшить общую ошибку (классификация + регрессия) [9, 10]. Это повысит точность работы интеллектуальной системы бесконтактного биологического мониторинга и прогнозирования для водных экосистем и позволит использовать систему в реальных научных исследованиях.
Рис. 7. Результаты распознавания
Заключение. По результатам работы разработан прототип программно-аппаратного комплекса, который позволяет создать необходимые условия для корректной работы системы, имея при этом минимальную погрешность при распознавании. За основу проекта была взята RetinaNet- архитектура свёрточной нейронной сети, которая представляет собой комбинацию из четырех сетей различного назначения. Тестирование показало, что оптимальный результат достигается при наличии 5-6 тысяч фотоснимков одного объекта с разного ракурса, что позволяет решить проблемы недостатка и перенасыщения данными. В ходе проведения исследования была выработана методика, позволяющая выполнять подсчет и определять виды живых организмов с относительно малой погрешностью. Дальнейшие исследования будут направлены на решение более сложной задачи, с учётом возможности пересечения живых организмов на снимке. По достижении последующих научных результатов методика будет дополняться.
Список литературы
1. Мельник Э.В., Пуха И.С., Орда-Жигулина М.В., Орда-Жигулина Д.В. Разработка элементов распределенной библиотеки на базе распределенного реестра для систем мониторинга и диагностики // Известия Тульского государственного университета. Технические науки. 2021. Вып. 2. С. 349 - 357.
2. Melnik E.V., Bulysheva N.I., Orda-Zhigulina M.V., Orda-Zhigulina D.V. Component of Decision Support Subsystem for Monitoring and Predicting of Hazardous Processes at the Base of Analysis of Macro Zoobenthos Communities of Azov Sea Analysis // Advances in Intelligent Systems and Computing. 2020. V. 1294. P. 676 - 687.
3. Combined method of monitoring and predicting of hazardous phenomena // M.V.Orda-Zhigulina, E.V.Melnik, D.Y.Ivanov, A.A. Rodina, D.V. Orda-Zhigulina Advances in Intelligent Systems and Computing. 2019. V. 984. P. 55 - 61.
4. Галушкин А.И. Нейронные сети: основы теории. М.: РиС, 2014. 496 c.
5. Галушкин А.И. Нейронные сети: история развития теории: учеб. пособие для вузов / под ред. А.И. Галушкин, Я.З. Цыпкин. М.: Изд-во Альянс, 2015. 840 c.
6. Редько В.Г. Эволюция, нейронные сети, интеллект: Модели и концепции эволюционной кибернетики. М.: Ленанд, 2015. 224 c.
7. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия-Телеком, 2013. 384 c.
8. Ширяев В.И. Финансовые рынки: Нейронные сети, хаос и нелинейная динамика. Изд. 2-е, испр. и доп. М.: КД Либроком, 2016. 232 c.
9. Хайкин C. Нейронные сети: полный курс. Изд .2-е, испр. М.: Вильямс, 2008. 1103 с.
10. Haykin S. Neural Networks and Learning Machines. NJ: Prentice Hall, 2009. 906 p.
Мельник Эдуард Всеволодович, д-р техн. наук, главный научный сотрудник, evm17@mail.ru, Россия, Ростов-на-Дону, Федеральный исследовательский центр Южный научный центр Российской академии наук,
Козловский Александр Вячеславович, аспирант, kozlovskiy@sfedu.ru, Россия, Таганрог, Институт компьютерных технологий и информационной безопасности, ЮФУ,
Переверзев Владимир Андреевич, старший научный сотрудник, vapereverzev@sfedu.ru, Россия, Таганрог, Научно-исследовательский институт робототехники и процессов управления, ЮФУ
INTELLIGENT SYSTEM OF CONTACTLESS BIOLOGICAL MONITORING AND FORECASTING
FOR AQUATIC ECOSYSTEMS
E.V. Melnjk, A.V. Kozlovskjy, V.A. Pereverzev
The paper describes the prjncjple of operation of the software and hardware complex, whjch allows you to create the necessary condjtjons for the correct operation of the system for the recognj-tjon of ljvjng organjsms, whjle havjng a mjnjmum error. The project was based on RetjnaNet, the ar-chjtecture of a convolutjonal neural network, whjch js a combjnatjon of four networks for various purposes. The described development allows you to count ljvjng organjsms and determjne thejr spe-cjes. Based on the results of testing, a methodology was formed, thanks to whjch jt becomes possjble to achjeve the best result.
Key words: monjtorjng, jntelljgent system, forecasting, neural networks, zoobenthos, hardware and software complex, methodology.
Melnjk Eduard Vsevolodovjch, doctor of technjcal scjences, chjef researcher, evm17@majl.ru, Russja, Rostov-on-Don, Federal Research Center The Southern Scjentjfic Center of the Russjan Academy of Scjences,
Kozlovsky Alexander Vyacheslavovjch, postgraduate, kozlovskjy@sfedu. ru, Russja, Taganrog, Institute of Computer Technologjes and Information Security, Southern Federal Unjversjty,
Pereverzev Vladjmjr Andreevjch, senjor researcher, vapereverzev@sfedu. ru, Russja, Taganrog, Research and Development Institute of Robotics and Control Systems, Southern Federal Unjversjty
УДК 519.237.8
DOI: 10.24412/2071-6168-2022-2-110-116
МЕТОДИКА ОПРЕДЕЛЕНИЯ ИНФОРМАТИВНЫХ ПРИЗНАКОВ ДЛЯ КЛАССИФИКАЦИИ НЕОПРЕДЕЛИВШИХСЯ ИЗБИРАТЕЛЕЙ НА ОСНОВЕ ДИСКРИМИНАНТНОГО АНАЛИЗА
Е.И. Новиков
Рассматривается возможность применения дискриминантного анализа для обоснования признаков классификации неопределившихся избирателей. Представлена формальная постановка задачи и методика ее решения. Приведены результаты экспериментальных исследований.
Ключевые слова: социологический опрос, прогноз результатов выборов, модель избирателя, классификация, дискриминантный анализ.
Общеизвестной и типовой задачей социологических исследований является прогнозирование результатов выборных кампаний на основе проводимых опросов населения. Сложность ее решения обуславливается противоречием между требованием к обеспечению необходимой точности прогнозов и наличия неопределенности, которая выражается в том, что порядка 20-30 % избирателей не могут определиться со своими предпочтениями и делают свой выбор в пользу того или иного кандидата или партии только в день голосования [1]. При этом апостериорный анализ распределения голосов неопределившихся избирателей показывает, что они могут оказывать значительное влияние на результаты выборов. Таким образом актуальной становится задача учета в прогнозных оценках голосов неопределившихся избирателей, что позволит предположительно повысить точность прогноза.
