CC BY
16
Гаитов Р. З. Gaitov К. Z.
аспирант кафедры информационно-измерительной техники, ФГБОУВО «Уфимский государственный авиационный технический университет», г. Уфа, Российская Федерация
УДК 681.518.3
Мухамадиев А. А. Mukhamadiev Л. Л.
кандидант технических наук, доцент кафедры цифровых технологий
и моделирования, ФГБОУ ВО «Уфимский государственный нефтяной технический университет», г. Уфа, Российская Федерация
DOI: 10.17122/1999-5458-2020-16-2-112-119
ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНАЯ И УПРАВЛЯЮЩАЯ СИСТЕМА МОНИТОРИНГА ПЧЕЛОСЕМЕЙ
Потенциальные медовые запасы в Республике Башкортостан составляют около 525,5 тыс. т. Пчелы могут использовать 173,4 тыс. т, или 33 %, что позволяет продуктивно содержать 1347 тыс. пчелиных семей, т.е. в 4 раза больше, чем в настоящее время. В Республике Башкортостан в среднем на одного пчеловода приходится около 30 пчелиных семей. Сдерживающим фактором увеличения содержания пчелиных семей является трудоемкость ухода за пчелосемьей, т.е. низкая производительность труда пчеловода. Невысокий объем производства меда обусловлен низким уровнем автоматизации.
Авторами предлагается повысить производительность труда пчеловода и количество производимого меда за счет автоматизации мониторинга параметров жизнедеятельности пчелосемьи. Для реализации автоматизации разработана информационно-измерительная и управляющая система мониторинга пчелосемей, которая включает:
— систему видеонаблюдения с нейронной сетью, позволяющую повысить качество мониторинга за счет контроля поведения пчел и матки;
— акустический анализ с помощью микрофона с использованием для обработки сигнала нейронной сети с целью определения роевого состояния, грозовых погодных условий, интенсивности работы пчел в улье и т.д.;
— метеостанцию, позволяющую наблюдать за дополнительными параметрами, такими как температура и влажность воздуха окружающей среды, интенсивность солнца, благодаря чему можно прогнозировать поведение семьи;
— облачное хранение данных, позволяющее пчеловоду иметь доступ в любой точке и наблюдать за пасекой удаленно в режиме реального времени.
Ключевые слова: пчеловодство, улей, автоматизация, нейронная сеть, датчик.
INFORMATION-MEASURING AND CONTROL SYSTEM FOR MONITORING BEE COLONIES
Potential honey reserves in the Republic of Bashkortostan are about 525.5 thousand tons. Bees can use 173.4 thousand tons, or 33 %, which allows 1347 thousand bee families to be productively maintained, i.e. 4 times more than at present. In the Republic of Bashkortostan, on average, there are about 30 bee families per beekeeper. The constraining factor of increasing the content of bee colonies is the complexity of caring for the bee colony, i.e. low productivity of the beekeeper. The low volume of honey production is due to the low level of automation.
The authors propose to increase the beekeeper's productivity and the amount of honey produced by automating the monitoring of the parameters of the life of the bee family. To implement automation, an information-measuring and control system for monitoring bee colonies has been developed, which includes:
— a video surveillance system with a neural network, which allows to improve the quality of monitoring by controlling the behavior of bees and uterus;
— acoustic analysis using a microphone using a neural network to process the signal in order to determine the swarm state, thunderstorm weather conditions, the intensity of the bees in the hive, etc.;
— a weather station that allows you to monitor additional parameters, such as temperature and humidity of the environment, the intensity of the sun, so you can predict family behavior;
— cloud storage of data, allowing the beekeeper to have access anywhere and to monitor the apiary remotely in real time.
Key words: beekeeping, beehive, automation, neural network, sensor.
В пчеловодстве большое внимание уделяется качественному разведению медоносных пчёл для получения мёда, пчелиного воска и других продуктов жизнедеятельности пчелиных семей. Верно выбранная технология ухода за медоносными пчёлами является важнейшей составляющей, позволяющей повысить продуктивность и качество пчелосемьи. При этом постоянное повышение эффективности использования энергоресурсов, расходуемых на поддержание жизнедеятельности пчелосемей, обеспечивает дополнительную возможность существенно уменьшить себестоимость производимой продукции, а, следовательно, сделать ее более конкурентоспособной на российском и международном рынках.
На сегодняшний день есть множество систем мониторинга ульев [1-6], однако они обладают таким недостатком, как малая информативность, в связи с чем пчеловод получает недостаточную информации о состоянии пчелосемьи и вынужден делать дополнительно ревизию пчелосемьи, приводящую к потере времени, снижению продуктивности и т.д.
Актуальную информацию о температуре, влажности, шуме, активности пчел, весе каждой рамки и других параметрах можно свести в один график или таблицу, снабдить простой системой анализа данных, что существенно может помочь пчеловоду с оценкой состояния здоровья, силы семьи улья и предсказания развития дальнейших событий, таких важных в жизни улья, как роение, недостаток питания, болезни, масса собран-
ного меда и т.д. Наличие подобных качественной и количественной информаций позволит отследить на ранних стадиях негативные моменты и даст возможность своевременно принять соответствующие меры. Таким образом, внедрение качественной информационно-измерительной и управляющей системы мониторинга позволит значительно уменьшить потери пчелосемей, повысить их продуктивность, увеличить производительность труда пчеловода.
Для обеспечения работы системы необходимо обеспечить контроль за следующими параметрами:
— температура воздуха внутри улья;
— влажность воздуха внутри улья;
— изменение массы рамок и улья;
— акустическое наблюдение поведения матки и пчеломемьи;
— учет количества пчел;
— метеорологические параметры окружающей среды;
— состояние затворов на летках и т.д.
Для обеспечения контроля данных параметров разработана структурная схема системы, которая представлена на рисунке 1.
Данная система работает следующим образом. Метеостанция и улей собирают данные с датчиков, далее через радиомодуль они передаются по беспроводному каналу на устройство управления, где происходит их предварительная обработка. Затем информация поступает на сервер, в котором происходит дальнейшая обработка полученных данных, полученные результаты отправляются на устройство хранения на основе «облачных
Обогреватель
Видеокамера
Рисунок 1. Структурная схема информационно-измерительной системы мониторинга пчелосемей
технологии», с которым взаимодействует пчеловод через Интернет. Так же формируются управляющие сигналы, направляемые в улей с целью предотвращения негативных последствий. К управляющим сигналам можно отнести включение подогрева, закрытие затворов на летках и т.д.
Улей является основным элементом разрабатываемой системы, так как именно в нем происходит жизнедеятельность пчелосемьи, мониторинг которой необходимо осуществлять. Для поддержания микроклимата и мониторинга параметров ульев разработана структурная схема, которая представлена на рисунке 2.
Сербернпя
часть ——
I
! Ш
Радиомодуль
о
ТЕ
ОШагредатель
Видеокамера
It II 11 1
Микрофон Весы 1 Датчик температуры Датчик влажности
Рисунок 2. Структурная схема информационно-измерительной системы улья
Структурная схема информационно-измерительной системы улья работает следующим образом. Все данные с видеокамеры, которая устанавливается над лотком, поступают в микроконтроллер (МК), в котором с помощью нейронной сети считается количество прибывших и покинувшей улей пчёл, происходит наблюдение за маткой, вылетела ли она для совокупления с трутнем и вернулась ли обратно, а также фиксируется вылет роя. Все полученные данные отправляются по беспроводному каналу через радиомодуль на серверную часть.
Все данные с микрофона поступают в микроконтроллер в режиме реального времени. Далее, применяя быстрое преобразование Фурье (БПФ), строится спектрограмма, а затем нейронная сеть обрабатывает изображение полученной спектрограммы и определяет, присутствует пение матки или нет, с целью выявления начала роения. Также нейронная сеть поможет определить наличие грозовой погоды с целью перевода всех приборов в спящий режим в ожидании окончании грозовой погоды.
Для взвешивания каждой рамки устанавливаются тензодатчики, сигнал с которых поступает на микроконтроллер, который обрабатывает эти данные и отправляет их на серверную
часть. С помощью таких весов можно определить количество нектара, собранного пчелами, количество расплода и т.д.
Для того, чтобы обеспечить поддержку микроклимата в улье, микроконтроллер получает данные с датчиков температуры и влажности и обрабатывает их. Исходя из показателей датчиков влажности и температуры, микроконтроллер включает или отключает обогреватель и регулирует его мощность для комфортного существования семьи в улье в различные периоды жизнедеятельности пчелосемьи.
Получив все эти данные, МК обрабатывает их и отправляет по беспроводному каналу через радиомодуль на серверную часть.
Поведение семьи напрямую зависит от погодных условий, чтобы определить состояния внешней среды, необходим метеорологический контроль трех параметров: температура воздуха, влажность воздуха, интенсивность солнца. На рисунке 3 представлена структурная схема разработанной метеостанции.
Серверная часть
г'
и
Радиомодуль
Метеостанция
1Л
Датчик Датчик Датчик
осдещеннасти температуры Ьлажнасти \
меру с целью энергосбережения. Камера видеонаблюдения отключается только в плохих погодных условиях и в темное время суток, так как в это время пчелы не покидают свой рой. Также серверная часть обеспечивает взаимодействие метеостанции с пчеловодом и высылает данные о метеорологической обстановке.
Как правило, пасека состоит из большого числа ульев, численность которых достигает нескольких сотен, а иногда и тысяч единиц. Для комплексирования информации от такого большого количества ульев необходима серверная часть. Структурная схема серверной части представлена на рисунке 4.
Рисунок 3. Структурная схема метеостанции
Из структурной схемы (рисунок 3) видно, что на микроконтроллер подаются сигналы с датчиков освещенности, температуры, влажности. Все данные, полученные с датчиков, обрабатываются в микроконтроллере метеостанции и передаются через радиомодуль на серверную часть. Затем серверная часть отправляет данные в улей, исходя из которых МК в улье включает или отключает видеока-
Рисунок 4. Функциональная схема серверной части
Сервер, получив данные с ульев и от метеостанции, начинает их обрабатывать, вводит данные в таблицы, строит графики, далее нейронная сеть, считывая данные, определяет, в каких состояниях находятся семьи. Закончив обработку, сервер отправляет данные на устройство хранения и передает клиенту через GSM-модуль уведомление в случае необходимости в ревизии улья. Пчеловод может обратиться к серверу через облако и получить доступ к устройству хранения.
В качестве основных предлагаемых технических решений выступает использование нейронной сети для обработки комплексиро-ванной информации от датчиков и анализа на ее основе жизнедеятельности пчелосемей.
Камера устанавливается над лотком для наблюдения за активностью пчел (сколько покидают пчел улей и сколько возвращаются), а также покидала ли матку улей и возвращалась ли в него. С камеры в МК поступает 5 кадров в секунду, этого достаточно для подсчёта количества пчёл. Для того, чтобы нейронная сеть отлично справлялась с этой задачей, необходимо провести обучение нейронной сети, для которой необходимо огромное количество изображений. Для решения данной задачи используется нейронная свер-точная сеть. Для обучения данной сети используется библиотека Keras и TensorFlow. В качестве архитектуры сети выбираются U-Net и язык программирования Python.
На рисунке 6 представлена архитектура сети из последовательности слоев — свертки и пулинга, которые в начале уменьшают пространственное разрешение изображения, а затем увеличивают его, объединив предварительно с данными изображения и пропустив через другие слои свертки. Сеть, таким образом, выполняет роль своеобразного фильтра.
Для обучения сети необходимо рассчитывать коэффициент Дайса (Dice coefficient), который показывает меру сходства — в данном случае показывающий меру площади верно отмеченных сегментов.
116-
Electrical and
Свёрточная сеть обучена на фрагментах с половинным разрешением, но работает на изображениях с полным разрешением. Кодирование состоит из последовательных четырёх свёртываний 3*3 с шагом 2. Декодирование является последовательностью изменений размера по ближайшим соседям, свертывания 3*3 с шагом 1, пропуск соединения от кодеровщиков. Заключительный слой свёртывания 1*1 с шагом 1 с активацией сигмоидной функции, то есть для определения, есть пчела или нет применяется двоичный выбор для каждого пикселя.
Пример сегментация изображений при помощи нейронной сети U-Net показан на рисунке 5.
Для обработки аудиоданных с помощью нейронной сети обрабатываются Mel-спектрограммы, полученные микрофоном с использованием библиотеки Librosa. Нейронная сеть способна самостоятельно определять начало роения, рабочее состояние семьи, агрессивность семьи, начало грозовой погоды.
Спектрограмма Mel является представлением кратковременного спектра мощности звука, основанного на линейном косинусном преобразовании логарифмического спектра мощности в нелинейной шкале частот Mel [2].
Рисунок 5. Сегментация нейронной сети с использованием архитектуры U-Net
64 64
input image tile
128 64 64 2
output
segmentation map
♦ conv 3x3, ReLU
copy and crop f max pool 2x2 ф up-conv 2x2 conv 1x1
Рисунок 6. Архитектура сети U-Net
Спектрограмма Mel преобразовывает входную необработанную последовательность в двухмерную карту объектов, где одно измере-
ние представляет время, а другое — частоту, а значения представляют амплитуду. Mel спектрограмма представлена на рисунке 7.
Л
Г X п
1 г
Output
J
Рисунок 7. Mel-спектрограмма
Одним из новых технических решений системы являются весы, которые взвешивают не сам улей, а каждую рамку в нём, и пчеловод с помощью данной системы может определить, каково состояние каждой рамки, а значит, состояние семьи и количество собранного нектара. Основным преимуществом нейронной сети является самообучаемость — обрабатывая данные, сеть самостоятельно выявляет закономерности поведения каждой семьи, исходя из этих закономерностей, появляется новый алгоритм.
Вывод
В ходе исследований была разработана информационно-измерительная и управляющая система мониторинга пчелосемей с целью автоматизации управления пасекой, включающая следующие технические решения:
— система видеонаблюдения с нейронной сетью, позволяющая повысить качество
Список литературы
1. Сверточная нейронная сеть. Материал из Википедии - свободной энциклопедии. URL: https://ru.wikipedia.org/wiki/%D0% A1%D0%B2%D1%91%D1% 80%D1%82%D 0%BE%D1%87%D0%BD%D0%B0%D1%8F _%D0%BD%D0%B5%D0%B9%D1%80%D0 %BE%D0%BD%D0%BD%D0%B0%D1%8F _%D1%81 %D0%B5%D1 %82%D1%8C (дата обращения: 03.06.19).
2. Нейросетевой синтез речи своими руками. URL: http://ai-news.ru/2018/05/ nejrosetevoj_sintez_rechi_svoimi_rukami.html (дата обращения: 03.06.19).
3. Рыбин В.Г., Пестеров Д.О., Ко-пец Е.Е., Тутуева А.В. Встраиваемая система удаленного мониторинга состояния семьи // Технологии и технические средства механизированного производства продукции растениеводства и животноводства. 2018. № 4 (97). С. 12-19.
4. Комплексная программа «Развитие пчеловодства в Республике Башкортостан на 2019-2030 годы» / Утверждена Постановлением Правительства Республики Башкортостан от 24 июня 2019 г. № 375.
5. Абдрахманов В.Х., Важдаев К.В., Салихов Р.Б. Разработка системы детектирования информационных сигналов звукового диапазона с использованием микроконтрол-
мониторинга за счет контроля за поведением пчел и матки;
— акустический анализ с помощью микрофона и использования для обработки сигнала нейронной сети с целью определения роевого состояния, грозовых погодных условий, интенсивности работы пчел в улье и т.д.;
— метеостанция, позволяющая наблюдать за дополнительными параметрами, такими как температура и влажность воздуха окружающей среды, интенсивность солнца, благодаря чему можно прогнозировать поведение семьи;
— облачное хранение данных, позволяющее пчеловоду иметь доступ в любой точке и наблюдать за пасекой удаленно в режиме реального времени.
леров STM32 для мониторинга состояния биологических объектов // Электротехнические и информационные комплексы и системы. 2018. Т. 14. № 3. С. 80-87.
6. Мухаметзянов Э.В., Родионов А.С. Автоматизированная система мониторинга и анализа состояния ульев на пасеке // Электротехнические и информационные комплексы и системы. 2017. Т. 13. № 3. С. 51-55.
References
1. Svertochnaya neironnaya set'. Material iz Vikipedii — svobodnoi entsiklopedii [Con-volutional Neural Network. From Wikipedia, the Free Encyclopedia]. URL: https://ru.wiki-pedia.org/wiki/%D0%A1%D0%B2%D1%91% D1%80%D1%82%D0%BE%D1%87%D0%B D%D0%B0%D1%8F_%D0%BD%D0%B5%D 0%B9%D1%80%D0%BE%D0%BD%D0%BD %D0%B0%D1%8F_%D1%81%D0%B5%D1 %82%D1%8C (accessed 03.06.19). [in Russian].
2. Neirosetevoi sintez rechi svoimi rukami [Do-It-Yourself Neural Network Speech Synthesis]. URL: http://ai-news.ru/2018/05/ nejrosetevoj_sintez_rechi_svoimi_ rukami.html (accessed 03.06.19).
3. Rybin V.G., Pesterov DO., Kopets EE., Tutueva A.V. Vstraivaemaya sistema udalennogo monitoringa sostoyaniya sem'i [Designing a
Remote Monitoring System of Apiary Condition]. Tekhnologii i tekhnicheskie sredstva mekhanizirovannogo proizvodstva produktsii rastenievodstva i zhivotnovodstva, 2018, No. 4 (97), pp. 12-19. [in Russian].
4. Kompleksnaya programma «Razvitie pchelovodstva v Respublike Bashkortostan na 2019-2030 gody». Utverzhdena Postanovleniem Pravitel'stva Respubliki Bashkortostan ot 24 iyunya 2019 g. № 375. [The Complex Program «The Development of Beekeeping in the Republic of Bashkortostan for 2019-2030». Approved by the Government of the Republic of Bashkortostan on June 24, 2019 No. 375]. [in Russian].
5. Abdrakhmanov V.Kh., Vazhdaev K.V., Salikhov R.B. Razrabotka sistemy detekti-rovaniya informatsionnykh signalov zvukovogo diapazona s ispol'zovaniem mikrokontrollerov
STM32 dlya monitoringa sostoyaniya biologicheskikh ob"ektov [The Development of a System for the Detection of Sound Range Information Signals Using the STM32 Microcontroller to Monitor Biological Objects State]. Elektrotekhnicheskie i informatsionnye kompleksy i sistemy — Electrical and Data Processing Facilities and Systems, 2018, Vol. 14, No. 3, pp. 80-87. [in Russian].
6. Mukhametzyanov E.V., Rodionov A.S. Avtomatizirovannaya sistema monitoringa i analiza sostoyaniya ul'ev na paseke [Automated System Monitoring and Analysis of the Status of the Hives in the Apiary]. Elektrotekhnicheskie i informatsionnye kompleksy i sistemy — Electrical and Data Processing Facilities and Systems, 2017, Vol. 13, No. 3, pp. 51-55. [in Russian].
