CC BY
18
Электронные инновации для сельског хозяйства
Григорий Прокопович,
завлабораторией робототехнических систем Объединенного института проблем информатики НАН Беларуси, кандидат технических наук,доцент
Современное сельское хозяйство невозможно представить без применения систем автоматизации промышленных процессов. Электронные инновации дают возможность значительно увеличить производственные мощности, а следовательно, и объемы продаж продукции, что сказывается на чистой прибыли предприятия. Однако применение современных информационных технологий, включая методы искусственного интеллекта, невозможно представить без тесной работы с экспертами в области сельского хозяйства. Положительным примером может служить совместная работа лаборатории механизации производства овощей и корнеклубнеплодов НПЦ НАН Беларуси по меха-
низации сельского хозяйства и лаборатории робототехнических систем Объединенного института проблем информатики НАН Беларуси, которые выполнили ряд удачных агротехнических проектов. Первые выступили заказчиками и главными идейными вдохновителями, вторые как исполнители, вооружившись последними достижениями в области информационных технологий, смогли в кратчайшие сроки достичь поставленных целей.
СИСТЕМА РАСПОЗНАВАНИЯ НЕКОНДИЦИОННЫХ КЛУБНЕЙ КАРТОФЕЛЯ_
Важной операцией послеуборочной обработки клубней картофеля считается их сортировка по кондиции. Внешние повреждения, например ушибы, вдавливания, ожоги, снижают товарное качество плодов и уменьшают срок хранения. Немаловажным фактом является и внешний вид картофеля для продажи в розничной сети. По мере совершенствования видеокамер, а также повышения производительности электронных средств обработки видеосигналов распознающие системы для сортировочных устройств приобретают все более универсальный характер. Число показателей качества, определяемых в одном устройстве, растет, а надежность достигла уровня, когда их можно применять в реальных условиях современного производства - цехах обработки, хранения и переработки. Благодаря развитию программно-аппаратного
И ИНТЕЛЛЕКТ
обеспечения электронной промышленности техническое зрение используют во многих отраслях для контроля качества выпускаемой продукции. Скоростные видеокамеры и датчики улавливают невидимые человеческому глазу дефекты, способны заметить геометрические отклонения в несколько микрон с молниеносной скоростью. С помощью высокотехнологичного оборудования за несколько секунд можно проверить каждую единицу продукции, подсчитать их количество на конвейере, определить вес и размеры.
Системы машинного зрения работают следующим образом. Промышленные видеокамеры в режиме реального времени собирают информацию и передают ее на компьютер. Специальная программа по установленному заранее алгоритму проверяет соответствие показателей заданным параметрам. При отклонении от эталона система подает сигнал об отбраковке конкретного образца.
Одной из первых задач, поставленных сотрудниками НПЦ НАН Беларуси по механизации перед лабораторией робототехнических систем стало создание современной системы распознавания некондиционных клубней картофеля (СРК). В основу был положен принцип визуального анализа данных, согласно которому полученные с видеокамеры изображения движущихся по конвейеру клубней обрабатываются и формируются в специальные образы. Разработанный алгоритм классифицирует их по качеству и выдает соответствующий управляющий сигнал блоку управления автоматической сортировальной машины, который активизирует исполнительное устройство (пневмоклапан) в момент, когда в зоне его действия окажется бракованный экземпляр.
Наименование показателя Показатель Значение показателя
Тип машины - стационарная
Количество анализируемых рабочих потоков шт. 1
Скорость движения подающего устройства м/с от 0,1 до 3
Рабочая длина зоны распознавания м 0,55
Рабочее напряжение электросети механической части установки В 380
Допустимое количество ошибок распознавания % 3
Рис. 1. Схема расположения основных функциональных модулей СРК: а) механический защищенный корпус (не входит в комплект поставляемой СРК); б) вычислительный модуль; в) видеокамера машинного зрения; г) структурированная подсветка; д) система коммутации между модулями
Таблица. Основные характеристики СРК
Избыточным воздушным давлением некондиция удаляется с транспортера. Макетный образец автоматической сортировальной машины способен отделять бракованные клубни по следующим дефектам: механические повреждения, поражение болезнями и вредителями, в том числе подмороженные, запаренные с признаками «удушья», позеленевшие, с израстаниями и наростами.
СРК представляет собой сложное распределенное техническое устройство, состоящее из механического защищенного корпуса с вмонтированной в него видеокамерой машинного зрения и структурированной подсветкой, которая располагается над линейным транспортером, вычислительным модулем и модулем коммутации (рис. 1, таблица).
Видеокамера машинного зрения VCXU-13C фирмы Baumer предназначена для фиксации и передачи для последующего анализа графических изображений движущихся по транспортеру клубней на вычислительный модуль - ноутбук HP Gaming Pavilion 15-cx0047ur 4RM41EA с процессором на базе 4-ядерного Intel® Core™ i5-8300 Hquard, тактовой частотой до 2300 МГц, оперативной памятью DDR4 и объемом 8 Гб. Он устанавливается на рабочее место оператора автоматической сортировальной машины, расположенное вблизи механического защищенного корпуса (не более 2 м). Структурированная подсветка предназначена для равномерного освещения рабочей области и включает линейный светодиодный модуль и источник его электропитания напряжением 24 В.
При проектировании ПО применен класс методов глубокого обучения (ГО), в котором признаки для классификации образов определяются и записываются в виде матриц весовых
связей ИНС автоматически. Для этого необходимо иметь достаточно большой набор обучающих данных, собрать реальные фото картофеля (с повреждениями и без) и, если их окажется недостаточно, сгенерировать синтетические правдоподобные изображения (рис. 3).
В результате совместной работы двух лабораторий была сформирована обучающая выборка, содержащая около 6 тыс. изображений некондиционного и около 1500 - допустимого картофеля. На ее базе построена соответствующая архитектура сверточной ИНС.
В результате процесса обучения на вход ИНС поступает изображение, а на выходе выдается список повреждений картофеля вместе с их координатами, если таковые имеются.
Предварительные испытания на прототипе экспериментального образца технологической линии сортировки и фасовки картофеля показали достаточно хороший эффект как самих алгоритмов распознавания, так и оптимально подобранного состава комплектующих системы технического зрения (рис. 2).
СИСТЕМА АВТОМАТИЧЕСКОЙ КОРРЕКТИРОВКИ ДВИЖЕНИЯ ПРОПАШНОГО КУЛЬТИВАТОРА_
Комплексную механизацию перспективных методов возделывания пропашных культур невозможно выполнить, используя устаревшие способы и технические средства. В современном земледелии агротехнологии адаптируют к местным условиям ландшафта, что позволяет максимально задействовать потенциал растений
Рис.2. Прототип системы распознавания некондиционных клубней картофеля
Рис.3. Размеченное
изображение
картофеля
с минимальными затратами невозобновляемой энергии, а также снизить механическое воздействие на почву. Реализация данного направления сдерживается нехваткой соответствующего комплекса машин и требует разработки оригинальных конструкций.
Для междурядных обработок промышленностью освоены пропашные культиваторы КРН-5,6/45, КМО-6, КМО-9, КМО-11 и др., которые могут работать при ширине защитной зоны 10-13 см на одну сторону от рядков, то есть рабочими органами охватывается примерно 50-60% площади поля. Остальные области, непосредственно примыкающие к растениям и оказывающие наиболее значимое влияние на их развитие, для культиваторов недосягаемы. Таким образом возникает необходимость разработки более эффективных механизмов, позволяющих уменьшить защитную зону. В связи с этим лабораторией механизации производства овощей и корнеклубнеплодов перед сотрудниками ОИПИ НАН Беларуси была поставлена новая задача - создать программное обеспечение системы автоматического управления пропашным культиватором (САУПК) при междурядных обработках сахарной свеклы (рис. 4).
Ширина защитной зоны (участок слева и справа от рядка, который не обрабатывается при культивации) - расстояние от крайней части рабочего органа машины, ближе всего расположенного к растению, до линии рядка - варьирует от 150 до 200 мм. Мы задались целью за счет применения систем технического зрения и автоматического управления уменьшить ее до 60 мм.
Для этого в основу работы пропашного культиватора была положена концепция использования визуальной информации о размещении растений в рядке. Благодаря предложенному алгоритму распознавания листьев сахарной свеклы кадры из получаемого видеопотока обрабатываются и анализируются для определения центральной линии ряда. Рассчитанное отклонение положения орудия над рядком растений передается на блок управления, а тот, в свою очередь, посредством гидроцилиндров и автоматического навесного устройства смещает культиватор в нужную сторону.
Для нахождения центра междурядья первоначально требовалось разработать метод бинарной сегментации, позволяющий выделить рядки
Рис.4. Функциональная схема проектируемой САУПК. ВК - видеокамера, ВМ - вычислительный модуль, ПУ - преобразователь уровней, ОУ - объект управления, ОП - оператор, СМ - сенсорный монитор
Классификация/ кластеризация
Принятие решений
Сегментация
Рис.5. Функциональная схема процесса обработки изображений
сахарной свеклы на входных цветных кадрах. После этого следовало выявить центры полученных рядков, чтобы определить положение междурядья на входном изображении. Задача осложнялась тем, что листья образуют достаточно широкую крону со сложной геометрической формой, иногда имеющей внутренние пустоты. Цель была достигнута с помощью классической схемы обработки цифровых изображений (рис. 5). Современные устройства их захвата позволили реализовать первый этап аппаратно, с помощью встроенных контроллеров, что практически никак не повлияло на время обработки. При создании и тестировании САУПК были использованы стереокамера Intel RealSense D435 и веб-камера Logitech C920.
Наиболее ответственным был этап выделения листьев сахарной свеклы на достаточно сложной фоновой поверхности - возделываемое сельскохозяйственное поле. Осложняющими факторами при этом были непостоянный уровень солнечного освещения (утро-день-вечер, солнечно-пасмурно), нефиксированный состав почвы и уровень увлажнения, который влияет на ее цвет (от серо-пепельного до темно-коричневого), возможность наличия различных сорняков и камней, колебание цвета самих листьев (от салатового до темно-зеленого) (рис. 6).
В связи с этим было решено использовать технологию искусственных нейронных сетей (ИНС) глубокого обучения, которые весьма хорошо себя
Рис. 6. Примеры рядков сахарной свеклы в различные периоды роста
зарекомендовали в различных задачах обработки изображений. Требуемая база данных обучающей выборки создана собственными усилиями и включает шесть тр4-видеофайлов с разрешением 1920x1080 пкс, предоставленных лабораторией механизации производства овощей и корнеклубнеплодов, на которых сымитирован процесс съема видеоинформации в ходе движения трактора по полю. На каждом кадре требовалось выделить только листья сахарной свеклы. Как правило, данные манипуляции производятся экспертом вручную путем выделения искомых объектов замкнутыми контурами. Для примера (рис. 7) продемонстрирован результат ручного процесса бинаризации изображений рядков, приведенных на рис. 6.
Однако ручное выделение листьев на всех полученных кадрах не представлялось возможным в связи со сложностью и монотонностью указанной работы. Поэтому было решено применить автоматический способ. Так как рядки свекольных кустов представляют собой практически неразрывные объекты, которые ограничены только шириной их листьев, потребовалось использовать не контурное, а попиксельное выде-
ление. Для создания необходимого количества обучающей выборки был разработан алгоритм автоматического распознавания, базирующийся на технологии отбора суперпикселей -областей, обладающих общими цветовыми и текстурными признаками (рис. 8).
На основе полученных ранее видеофайлов и предложенного метода сегментации растений была сгенерирована обучающая выборка, которая состояла из 1347 цветных видео кадров рядков сахарной свеклы и такого же количества их бинарных изображений. В результате обученная на собственном наборе данных ИНС успешно сегментировала рядки сахарной свеклы на различных цветных фото (рис. 9.). Бинарные изображения были наложены на цветные исходники в виде полупрозрачного голубого тона. Как видно на изображениях, предложенный автоматический метод выделения кустов сахарной свеклы по качеству не только не уступает ручному методу, но даже его превосходит по точности и плавности линиям.
Рис. 7. Полученные эталонные бинарные маски после процесса ручной сегментации
Рис.8. Процесс бинарной сегментации: а) кластеризация входных цветных изображений на N суперпикселей; б) наложение границ N суперпикселей на бинарное изображение, полученное на шаге 3; в) классификация каждого из N суперпикселей
Рис. 9. Результаты работы обученной нейронной сети
1® В ЯГ*,/ * _| I К V ' яУЗ^Щ ' ЛД ■ * ■■ \ ■ ьОк г ™ 'и 4 ... . У\ Г •> ™ ду.* . Я" : - ' 1 ■ 1 л ■ ' -X аУ > л и
^ ь —" ш 1 I и \ 1 Ал \
50 100 1 50 200 250 300 350 400 450
Рис. 10. Проекция центров вычисленных плато на исходное изображение. Зеленые кружки - вычисленные центры плато, синяя линия - значения вычисленного динамического порога, желтые линии - идеальное расположение центров двух соседних рядков, между которыми должна находиться видеокамера
Далее требовалось найти непосредственно центры анализируемых рядков. Для выделения центров рядков применен алгоритм, базирующийся на следующей гипотезе: чтобы нивелировать геометрические искажения рядков свеклы, влияние разрывов между ними, а также несовпадение центров кроны листьев и самого рядка, предлагается анализировать центр масс т числа последних нижних строчек последовательности сегментированных бинарных изображений, получаемых при анализе видеопотока. Был реализован Б1БО-буфер в виде так называемой матрицы-аккумулятора размером тхи, где п - ширина анализируемого бинарного изображения, т - глубина аккумулятора, влияющая на величину, которую можно сравнить с инертностью смещения геометрического центра рядка.
Однако анализ достаточно большого числа реальных кадров показал, что очень часто куполообразные участки полученных графиков не идеальны: они могут иметь различную амплитуду, а также различные локальные максимумы, которые отрицательным образом влияют не только на определение центров, но и на количество распознанных потенциальных рядков. В связи с этим нами был предложен метод динамического определения порога среза получаемых графиков. Все локальные минимумы, которые выше динамического порога, причисляются к глобальным, причем они автоматически ассоциируются с потенциальными рядками. Значение динамического порога вычисляется путем определения медианного значения отсортированных по возрастанию значений элементов графика. Считается, что геометрические центры полученных плато являются центрами искомых рядков (рис. 10).
Если центры рядков находятся справа от их ожидаемых расположений, то требуется подать управляющий сигнал электромеханическому узлу, чтобы он двигался в ту же сторону до того момента, пока вычисленные центры не совпадут с ожидаемыми. Сиреневая стрелка на главном экране разработанного программного обеспечения с графическим управлением дублирует вычисленное направление движения подвижной части культиватора. Для правильной работы САУПК СТЗ настроена так, чтобы при начале движения трактора культиватор находился в своем среднем положении. Это позволит сделать отклонения в левую и правую стороны симметричными.
Таким образом, создана система технического зрения, способная на основе технологии искусственных нейронных сетей глубокого обучения четко определять листья сахарной свеклы, а алгоритм установления центра междурядья направляет подвижную часть культиватора в требуемую сторону для нивелирования неточности хода трактора. Разработано графическое приложение, предназначенное для работы на планшете с сенсорным экраном, установленным в кабине тракториста. Полученные результаты являются законченным техническим решением с возможностью дальнейшего совершенствования и доработки согласно дополнительным или новым требованиям заказчика. Система была успешно отлажена и протестирована на экспериментальном участке реального поля сахарной свеклы и имеет все шансы стать основой для серийно выпускаемого устройства.
