ПРИМЕНЕНИЕ СИСТЕМ ОПТИКО-ЭЛЕКТРОННОГО ЗРЕНИЯ В СЕЛЬСКОМ ХОЗЯЙСТВЕ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 535.233

Абрамцов Д.С. студент 2 курса факультет «Энергетики» Лебедев Д.В., к.техн.н.

доцент кафедра «Физики» Гольдман Р.Б., к.техн.н.

доцент ВАК

ФГБОУВО «Кубанский государственный аграрный университет имени И. Т. Трубилина»

Россия, г. Краснодар ПРИМЕНЕНИЕ СИСТЕМ ОПТИКО-ЭЛЕКТРОННОГО ЗРЕНИЯ В

СЕЛЬСКОМ ХОЗЯЙСТВЕ В статье раскрывается колоссальный потенциал применения оптико-электронного зрения, в частности в сельском хозяйстве. С помощью систем, созданных на основе оптики-электроники (техническое зрение, оптико-электронные сепараторы и т.д.), можно значительно улучшить производственный процесс, автоматизировать его. Эти передовые технологии позволяют максимально использовать имеющиеся ресурсы, сокращая не нужные затраты. Применяются во многих областях.

Ключевые слова: объект, анализ, беспилотный летательный аппарат, техническое зрение, оптика, электроника, сепаратор.

UDC 535.233

Abramtsov D.S. student

2 course, faculty of "Power engineering" FSBEI HE " Kuban State Agrarian University named after I. T.

Trubilin " Russia, Krasnodar

Lebedev D. V., Candidate of Technical Sciences, associate professor

associate professor of "Physics" FSBEI HE " Kuban State Agrarian University named after I. T.

Trubilin " Russia, Krasnodar

Goldman R.B., Candidate of Technical Sciences, associate professor

associate professor of VAK FSBEI HE " Kuban State Agrarian University named after I. T. Trubilin "

Russia, Krasnodar USE OF SYSTEMS OF OPTICAL-ELECTRONIC VISION IN

AGRICULTURE. In article the enormous potential of use of optical-electronic vision, in particular in agriculture is realized. By means of the systems created on a basis

opticians-electronic engineers (technical vision, optical-electronic separators etc), it is possible to improve considerably production, to automate it. These advanced technologies allow to use as much as possible available resources, reducing not the necessary expenses. Are used in many fields.

Keywords: object, analysis, unmanned aerial vehicle, technical vision, optics, electronics engineering, separator.

Информация об объекте воздействия (примеры объектов воздействия: растения, почва, вредители растительности, сорняки и так далее) является базисом точного земледелия. Известно множество инструментов, с помощью которых получают необходимые данные для производственного процесса (анализ проб почв, получения параметров физических и механических свойствах объекта): плотномеры, различные приспособления, использующие контактный и бесконтактный способ получения информации.

В сельском хозяйстве широко применяются различные сенсорные системы, созданные благодаря новым технологиям в области электроники. Для того, чтобы успешно реализовать процесс производства сельскохозяйственной продукции, необходима точная информация об объектах как во времени, так и в пространстве.[1] Переменчивость возникает вследствие разных причин: урожайности, влаги, свойств почв, фитосанитарного состояния и др. Данную информацию можно получить с помощью датчиков, инструментов, сенсоров и приспособлений, прикрепленных на летательных беспилотных аппаратах, спутниках.

Рассмотрим техническое зрение (ТЗ), использующееся в сельском хозяйстве. В современном русском языке применяются три близких по значению определения: зрение техническое, компьютерное и машинное. Термин «компьютерное зрение»:1) означает использование, прежде всего, вычислительной машины, то есть компьютера;2) область применения достаточно обширна: медицина, сельское хозяйство;3) упор делается, в первую очередь, на математический алгоритм, нежели на практическое применение приспособления. Термин «техническое зрение» аналогичен термину «машинное зрение». Оба используются при описании технологий и систем в промышленной автоматизации. Далее будет идти речь именно о последних двух. Сама система машинного зрения делится на составляющие: получение изображения и анализ изображения. Каждый из этих компонентов также имеет свою структуру, которая зависит от желаемого результата.Анализ, то есть обработка полученного изображения, состоит из вычислителя (процессор, программируемая логическая интегральная схема, DigitalSignalProcessor и т.д.)[2] и математического алгоритма. Во время производственного процесса, как правило, ПО (программное обеспечение) работает в заданном стандартом режиме без изменения алгоритма.Разработчик выбирает нужный вариант и задает правильную последовательность. Трудность заключается в получении качественного изображения для анализа. Существует множество камер, например:

тепловизор, видеокамера, Time-of-flight camera.

Решение системы технического зрения состоит из следующих составляющих:

• ПО для разного вида камер.

• Соответствующая оптика.

• Многозадачный современный процессор.

• Инструменты и программы, способные создавать приложения различного вида.

• Технологии быстрого ввода-вывода информации.

• Уникальная в своем роде «умная» камера: приспособление, включающее в свой состав все вышеперечисленное.

• Специальная подсветка (различные лампы, светодиоды и др.)

• Специализированные приложения ПО, созданные для анализа изображений и поиска необходимых качеств изучаемого объекта.

• Датчик синхронизации для захвата и анализа изображений. [ 1 ]

Существует ряд достоинств технического зрения (ТЗ):

• Экономическая выгода: с каждым годом уменьшаются затраты на приобретение ПК (персональный компьютер).

• Непрерывность процесса: аппараты ТЗ могут работать постоянно.

• Большая точность: нет необходимости непосредственного контакта с исследуемым объектом, что исключает появление дефекта. [1]

Рассмотрим методы получения информации об объекте в ТЗ и кратко охарактеризуем каждый из них.

Один из самых популярных методов - это технология цифровой фотографии, сокращено ТЦФ, использующийся для получения высококачественного трехмерного изображения. Последовательность состоит в следующем: цветная цифровая камера принимает отраженный от объекта свет, преобразует его в электрический сигнал, применяя прибор с зарядовой связью (ПЗС). Разработан данный способ для анализа твердых объектов, например крон деревьев.

Метод полусферической фотографии, который реализуется камерой с объективом «рыбий глаз», используется очень редко, так как процесс анализа полученной информации занимает относительно много времени и не позволяет получить хорошее трехмерное изображение. [2]

Современный метод - стереозрение - это трехмерное изображение объектов как слияние двух монокулярных фотографий, полученных с помощью бинокулярной камеры. Этим методом исследуют древесные культуры, физико-механические свойства растений и т.д. Недостаток заключается в калибровке фотографий в условиях плохой погоды.

Техническое зрение в сельском хозяйстве - это передовая технология, показывающая, насколько грамотно можно пользоваться имеющимися ресурсами. Существует огромное количество аграрных предприятий, в

финансовой системе которых есть такой пункт, как расходы на защиту сельскохозяйственных культур, растений. На это тратится колоссальная доля денег. Каждый предприниматель стремится минимизировать расходы и увеличить прибыль, то есть эффективность должна быть максимальной. Одной из составляющих мероприятий по защите сельскохозяйственных культур является опрыскивание. Какие задачи ставит эта операция? Прежде всего - внедрение регуляторов роста растения и средств защиты. На сегодняшний день используются различные виды опрыскивателей для внесения химикатов, самыми популярными из которых являются тракторные (навесные и прицепные). Но у них есть ряд недостатков: маленькая скорость обработки сельскохозяйственных угодий, а также порча растений при передвижении.[3] Более дорогой метод опрыскивания - использование самолетов и вертолетов. К его недостаткам можно отнести огромные затраты на аренду дорогостоящей техники, а также сброс химикатов с определенного расстояния, вследствие чего капли могут сноситься от обрабатываемой зоны (дороги, жилища, пастбища).

Как увеличить эффективность аграрного предприятия, защищая растения от болезней? Передовые технологии позволяют это сделать. Решение - беспилотные летательные аппараты (БПЛА). В сравнении с приведенными ранее опрыскивателями БПЛА имеет такие преимущества, как использование автономной техники без непосредственного участия человека, полет на небольшой высоте, что колоссально увеличивает точность зонального опрыскивания, возможность переносить на борту до 50 литров химикатов.[3]

В структуру БПЛА входят всевозможные навигационные технологии, позволяющие следить за координатами летательного аппарата, системы стабильного полета, датчики контроля заряда и так далее. Но одним из самых важных устройств БПЛА является камера. С помощью нее возможна съемка в формате высокого разрешения как в дневное, так и в ночное время. Также установленная камера позволяет сделать неподвижную фотографию для анализа во время движения беспилотного летательного аппарата.

Надежность полета БПЛА обеспечивают три гироскопа, которые, в свою очередь, фиксируют крен. Дополнительно может быть закреплен акселерометр, с помощью которого процессор стабилизирует горизонтальное положение аппарата. Бародатчик задает и фиксирует высоту полета. Сонар используют для прохождения препятствий. GPS-приемник -основная составная часть беспилотного летательного аппарата - анализирует маршрут и координаты. Но нас интересует, прежде всего, процесс аэросъемки. На БПЛА стоит камера в комплекте с передающим устройством (частота около 850МГц и мощность 195мВт). Структура линз от передовых компаний может получать изображение дальностью порядка 5 километров.[3]

Беспилотный летательный аппарат - это целая система, состоящая из перечисленных выше элементов. Все вместе они образуют БПЛА типа

NAZA, который позволяет опрыскивать сельскохозяйственные культуры, производить видео и фотосъемку, определяя площадь и размещение посевов растений с помощью камер, давая возможность анализировать почву и предпринимать меры по защите самой растительности.

Также оптика-электроника применятся и в сортировке семян. Для того, чтобы повысить урожайность сельскохозяйственных культур, необходимо минимизировать содержание сорняковых растений с посевным материалом.[4] Государственные структуры предъявляют высокие требования, ограничивающие количество вредоносных семян, а также полностью запрещающие наличие семян карантинных растений.

Огромной популярностью среди кормовых трав пользуется люцерна семейства Бобовых. Зачастую на практике семена люцерны засорены всевозможными сорняками и карантинными растениями, к примеру: амброзией, щирицей белой, вязелем и прочими. К сожалению, семена люцерны по своим механическим и физическим параметрам схожи с семенами сорняков, что весьма затрудняет процесс их разделения.[4,5]

Определенные государственные инспекции вручную, то есть визуально, исследуют пробы посевного материала. На это тратиться огромное количество времени, но основным недостатком анализа является негативное влияние сорняков на здоровье сотрудников, работающих в лаборатории.

Вследствие этого необходимо создать такой технологический процесс, который вытеснит ручной труд и резко сократит время на анализ посевного материала. Это очень трудная и весьма актуальная задача на сегодняшний день, решением которой является система распознания на основе оптики-электроники, то есть применение технического зрения. Данное направление в науке возникло относительно недавно. Сфера ее деятельности -микроэлектроника. Основа оптики-электроники - получение, передача, обработка информации на электронно-оптическом принципе. Нейтральный фотон выступает в качестве носителя. В совокупности два абсолютно разных способа передачи, обработки информации (электрический и оптический) позволяют извлечь необходимые нам полезные свойства системы, а именно: достижение быстродействия, плотности высокого уровня хранимой информации, создание эффективных устройств отображения информации. [6] Современные оптико-электронные устройства используются в разных областях: военное производство, аграрное производство (сепараторы на такой основе применяют в пищевой, горнорудной, фармацевтической промышленности) и другие.

Оптико-электронные сепараторы делят на следующие виды:

1. Устройства, анализирующие оттенок поверхности. Затем техника выдает характеристику чистоты продукта.

2. Монохроматические (работают с бинарными фотографиями), бихроматические, или совмещенные сепараторы. Это типы по принципу сортировки семян.

3. Сепараторы разделяют также по способу удаления брака: сепараторы с электрическим полем, с электромагнитным или пневматическим механизмом.

4. По количеству систем подачи материала - одноканальная или многоканальная система. [7]

Работают с оптико-электронными сепараторами как в России, так и за рубежом. Способ отделения семян по цветовой гамме поверхности очень удобен. Но этот метод далеко не единственный. С помощью оптики-электроники возможно разделение семян по ряду морфологических признаков, использующих форму проекции объектов на плоскость. Этот метод - основа автоматизированной линии для изучения и анализа исследуемого на чистоту материала. Признаки основы разделения сорняковых семян от кормовых:

1. Удлиненность объектов.

2. Простота формы.

3. Отличие формы объекта от окружности.

4. Отдаление центра масс изучаемого объекта.[6]

Задаче распознавания компонент семенных смесей отвечает геометрический подход с использованием бинарных изображений. При этом целесообразно использовать признаки, наименее подверженные влиянию видовой изменчивости формы семян.

Математическая модель определения центров масс групп граничных точек контура объекта исследуемых форм семян.

Как известно, семенам, как культурных растений, так и сорняков, присуще многообразие форм. Некоторые формы представлены в таблице 1 и на рисунке 1.

Компоненты исследуемой семенной смеси также могут быть отнесены к определенным видам форм.

и

а) Ж б) ^^ в)

Рисунок 1 - Форма проекций семян: а) люцерны; б) амброзии; в) щирицы; г) щирицы жминдолистной

Таблица 1 - Многообразие форм семян.

Номер формы Название формы Вид формы

Форма1 Эллиптическая •

Форма2 Трапецевидная

ФормаЗ Яйцевидная

Форма4 Почковидная

Форма5 Ромбовидная

Формаб Каплевидная

Форма7 Щитовидная

Форма8 Сердцевидная

Форма9 Серповидная

Форма10 Остроконечная —

Форма11 Цилиндрическая —

Форма12 Остроконечная с остью

Форма1З Трёхгранная

Форма14 Саблевидная —

Известно, что геометрические размеры люцерны, амброзии и щирицы сходны по величине. Однако визуальный анализ представленных компонент смеси позволяет сделать вывод о различии их формы. Естественно в дальнейших исследованиях необходимо учитывать различия их видовых форм. [7]

В настоящее время при реализации геометрического метода распознавания образов используется множество признаков.

Формула, характеризующая удлиненность фигуры:

к - В

1 В ,

где А - длина, В - ширина.

Формула, характеризующая сложность формы фигуры:

Р2

к 2 - — 2 5 ,

где Р - периметр , S - площадь фигуры.

Формула, характеризующая удлиненность фигуры:

К -

ят

я

где Ятах, Ятт - радиус-векторы, проведенные из центра масс фигуры, (показано на рисунке 2). [6]

На рисунке 2 координаты центра масс фигуры:

Z X

Z г,

X0 = J=L

n

V — i= А0 ~

n

K л -

фигуры.

ф - угол между Rmax и Rmin; характеризует несимметричность

= arccos

ф

Rmax 2 + Rmin2 - C2

max mm

2 Rmax R„

max min

где С - третья сторона треугольника, образованного max и min радиус-векторами:

C = V(X max X min)2 + (Ymax Ymin)

2

Рисунок 2 - Расчет изображения формы по признаку Формула, характеризующая отличие от формы эллипса:

к - ^

5 S„„

где S - площадь фигуры, Sэл - площадь вписанного эллипса.

Площадь вписанного эллипса:

S„„ =

kR 2

2

Формула, характеризующая фигуры, центр масс которых лежит за их пределами:

Г X е X

K -

Y е Y

K7 - ABS(S3 - S4)/(S3 + S4), K8 - ABS(S1 - S2)/(S1 + S2), K9 - ABS(S1 - S4)/(S1 + S4), K10 - ABS(S2 - S3)/(S2 + S3), Kn - ABS(S1 + S4 - S2 - S3)/S, K12 - ABS(S1 + S2 - S3 - S4)/S. Признаки К7 - К12 характеризуют форму фигуры несимметричность .

S1, S2 , S3 , S4 - соответственно площади частей проекции фигуры при её рассечении на 4 части.

Признаки К13, К14 характеризуют сложность формы объекта.

kR 2 min

и

её

K13 -

K14 - ABS

S.

S3* - S

Признаки К15, К16 - характеризуют форму и несимметричность фигуры:

K15 - ABS(P1 + P2 - P3 - P4)lP, K16 - ABS(P1 + P4 - P2 - P3/P, где Р1, Р2, Р3, Р4 - соответственно периметры частей проекции фигуры при её рассечении на 4 части.

Признаки К17 - К20 дополняют характеристики сложности формы объектов.

"" P - P

K17 - ABS

P

где Рэл - периметр вписанного эллипса;

K18 - S.

K19 - P.

K20 ; P

= P

Анализ назначения и возможностей этих признаков показывает, что степень их информативности может быть различна при описании объектов

различной степени сложности.[8] Из известных признаков можно выделить некоторые наиболее полно отвечающие поставленной задаче.

к, - "

1 B

где B - ширина, A - длина;

где Р - периметр, S- площадь;

K 2

S

K — Rmax

Rmin ,

где Rminn Rmax -соответственно min и max радиус- векторы;

к — ^Кт

к13 —

£ ,

К18 = £ .

Однако анализ возможностей приведенных признаков показывает невозможность идентификации семян амброзии, имеющей щитовидную форму.[8] Особенностью семян щитовидной формы является наличие двух выемок у их вершины. При наличии одной выемки у семян люцерны и отсутствии их у семян щирицы положение центра масс различных объектов может совпадать.

С учетом того, что амброзия является карантинным сорняком, то есть наличие ее семян вообще не допускается в посевном материале, необходимо разработать надежный способ ее идентификации.

С учетом этого нами предложены дополнительные цифровые признаки К21, К22.

По этим способам вычисляются координаты граничных точек контура проекции Xi иYi, а также координаты центров масс всех последовательно лежащих трех граничных точек Xoi и Yoi по заложенной программе, реализующей формулы

¿Х, ¿V,

Х • = , ^П__"V _ , ^ П

, "о, - "

3 и 3 ,

где п - количество точек контура проекции объекта;

] = ,+2 при , = 1......п.

Далее оценивается принадлежность Хо, и "о,множеству координат граничных точек контура проекции. Расположение любого центра масс вне контура проекции свидетельствует о наличии выемки.

Цифровые критерии К21 и К22 могут принимать значения либо «логическая единица» (Да), либо «логический нуль» (Нет). Критерии К21 = 1, если один из рассчитанных центров масс находится вне контура проекции (одна выемка), в противном случае К21 = 0. Критерий К22 = 1, если два и

более центра масс находятся вне контура проекции (две и более выемки), в противном случае К22 = 0.

Анализ особенностей форм компонент исследуемой смеси и возможностей известных и предложенных признаков позволил сформировать их предварительный набор:

к - а

B

A = X — X где i max i mm - длина объекта,

B = v — v

' i max i mm

- ширина объекта;

P2

к 2 = — 2 S ,

где Р - периметр, S- площадь объекта;

Rmax

Дят

K3 -

где Rminn Rmax -соответственно min и max радиус- векторы объекта;

K = <in

к, =

М3

S

• к18 = S .

К21;К22.[6]

Рисунок 3 - Форма щирицы и ее геометрические параметры (все центры масс находятся внутри объекта). [6]

Контуры проекции семян оцифровываются и в дальнейшем используются при вычислении значений признаков.

Подводя итоги можно сказать, что оптико-электронное зрение

(различные типы камер, оптико-электронные устройства) применяется во всевозможных сферах деятельности человека, особенно в сельскохозяйственном производстве. С помощью современных технологий в этой области мы существенно упрощаем производственный процесс, сокращаем огромное количество ненужных затрат и минимизируем рабочее время.

Использованные источники:

1. http://svetich.info/publikacii/tochnoe-zemledelie/primenenie-sistem-tehniche skogo-zrenij a-. html

2. http://www.vitec.ru/znaniya/articles/prakticheskie-voprosi-primenenia-teh-zrenia/

3. Пыжиков А.Н., Лебедев Д.В. Опрыскивание и применение оптико-электронного метода для сельскохозяйственных культур с помощью беспилотной авиации. Кубанский государственный университет с 537 / Научное обеспечение агропромышленного комплекса: материалы Всерос. науч.-практ. конф. молодых ученых (26-28 ноября 2013г. и 2-4 декабря 2014г.). - Краснодар, КубГАУ, 2014. - 769с.

4. Параметры процесса распознавания семян люцерны в семенном материале высокоточным оптико-электронным способом / Лебедев Д.В., диссертация на соискание ученой степени кандидата технических наук / Кубанский государственный аграрный университет. Краснодар, 2005

5. Исследование комбинированного воздействия электромагнитных полей низкой и высокой частоты на посевные качества семян / Гольдман Р.Б., Магеровский В.В., Петренко Ю. В сборнике: Актуальные проблемы энергетики АПК Материалы IV Международной научно-практической конференции. Под редакцией А.В. Павлова. 2013. С. 66-70

6. Оптико-электронный экспресс-анализ засоренности семян люцерны трудноотделимыми сорняками / Рутковский И.А., Цыганков Б.К., Бурлин В.Д., Лебедев Д.В. / Механизация и электрификация сельского хозяйства, 2003Ю №11, с. 8-9.

7. Способ сортировки семян / Цыганков Б.К., Бурлин С.В., Лебедев Д.В., Новокрещенов О.В. / патент на изобретение RUS 2199404 11.06.2002

8. Способ сортировки семян / Бурлин С.В., Лебедев Д.В., Лобунец В.А. / патент на изобретение RUS 2245198 03.09.2003