CC BY
65
УДК 631.171
МЕТОДИКА ПОЛУЧЕНИЯ И ОБРАБОТКИ ФОТО- И ВИДЕОМАТЕРИАЛА ДЛЯ АВТОМАТИЧЕСКОЙ БОНИТИРОВКИ МОЛОЧНЫХ КОРОВ
B.В. Кирсанов, доктор технических наук
C.С. Юрочка, аспирант
Д.Ю. Павкин, кандидат технических наук Ф.Е. Владимиров, аспирант С.С. Рузин, аспирант
Федеральный научный агроинженерный центр ВИМ E-mail: yurochkasr@ gm ail. com
Аннотация. Животноводство является крупной межотраслевой сферой экономики страны. Основной продукцией, получаемой от этой сферы, является цельное молоко. В последнее время в животноводческую сферу интенсивно внедряются автоматические и роботизированные системы для облуживания и помощи человеку в производстве продукции. Для доения коров машинным методом или на доильных роботах необходимо произвести бонитировку по вымени на пригодность к машинному доению. Бонитиро-вочная оценка животных на фермах России производится вручную с помощью измерительной ленты. Целью исследования является разработка методики получения и обработки фото- и видеоматериала для автоматической бонитировки молочных коров по вымени на основе существующих алгоритмов обработки изображений с помощью системы линейной оценки экстерьера, разработанной П.Н Кулешовым и М.Ф. Ивановым. Проанализированы существующие методы линейной оценки экстерьера коров и алгоритмы обработки изображений для распознавания образов. Проведенный анализ позволил разработать и обосновать выбор оптимальных ракурсов фото- и видеозахвата вымени и сосков коровы 3й-камерой. Вместе с этим предложена концепция станка для проведения автоматической бонитировочной оценки. Определены необходимые параметры и критерии для линейной оценки экстерьера, на их основе разработан алгоритм создания цифровой эталонной модели вымени коровы. Разработанный алгоритм дает возможность производить автоматическую бонитировку с помощью нейросетевых методов. Проведенные исследования позволят разработать программно-технический комплекс для автоматической бонитировки под пригодность к машинному доению, отслеживать физиологическое состояние вымени коров, создать базу данных, в которой будет храниться информация о физиологическом состоянии вымени каждой коровы на протяжении ее жизни, зафиксированная в инвариантной форме последовательность действий, произведенных манипулятором доения при успешном наведении и одевании доильных стаканов. Ключевые слова: бонитировочная оценка, линейная оценка, алгоритм, 3й-камера, вымя.
Введение. В последнее время на мировом рынке все больше получают продвижение роботизированные системы доения и диагностики крупного рогатого скота. Робототехника, интегрированные датчики, автоматические интеллектуальные системы обработки данных заменят большую часть ручного труда на животноводческих фермах. Инновации в животноводстве увеличат производственный срок эксплуатации коров, создав комфортные условия [2,3]. На данный момент в России существуют автоматизированные доильные аппараты, которые необходимо подключать вручную. Импортные
доильные аппараты требуют ручной бонитировки коров с определенной формой вымени для последующего доения в роботизированных системах. В большинстве хозяйств России бонитировка КРС производится с помощью измерительной ленты [4].
Данную проблему необходимо решить в рамках цифровой фермы. Современные технологии позволяют производить бонитиро-вочную оценку статей животного и управлять манипуляторами доения с помощью системы технического зрения, основанных на использовании 3D-камер и дистанционных измерительных устройствах типа лидар [1].
Цель исследования - разработка методики получения и обработки фото- и видеоматериала для автоматической бонитировки молочных коров на основе существующих алгоритмов обработки изображений с помощью системы линейной оценки экстерьера, разработанной П.Н Кулешовым и М.Ф. Ивановым [4].
Методика исследований и основные этапы НИР. В процессе выполнения НИР предполагается:
- разработать метод выбора ракурса для фото- и видеозахвата вымени и сосков;
- разработать алгоритм получения эталонного изображения для последующей обработки изображений нейросетевыми методами;
- предложить общий алгоритм получения и обработки изображения;
Обсуждение и ход исследований. Для
проведения автоматической бонитировки молочных коров по вымени и соскам, необходимой при автопоборе под пригодность машинного доения на роботизированных доильных аппаратах, будет задействован способ линейной оценки экстерьера коров молочного направления. Для сбора информации, необходимой при автоматической бонитировке животных по фото-и видеоматериалу, используется ToF 3D-камера. Данный тип камер позволяет измерить расстояние до вымени с помощью времяпро-летной технологии измерения расстояния, зафиксировать его размеры и объем в режиме реального времени.
Автоматическая бонитировка производится в специально созданном станке с возможностью кратковременной фиксации животного. Для исследования будут использоваться 3D-камеры марки ¡Ат модель 303. Установлены данные камеры в соответствии с рисунком 1. Расчет координат установки камеры относительно вымени коровы прово-
дился с помощью компьютерной программы IP Video System Design Tool 9.2 и данных о технической характеристике данной модели камер. Расчет показал, что при разрешении камеры 352x264, углов обзора 60х45 для получения изображения плотностью 367x400 пикселей необходимо установить камеру на высоте 450 мм от уровня пола и на расстоянии 700 мм от вымени коровы, а также обеспечить наклон камер 9,7°.
Данная расстановка камер (рис. 1) позволит получить три изображения вымени (рис. 2). Камера №1 фиксирует глубину борозды вымени, расстояние между задними сосками. Камера №2 позволит получить боковое изображение. С этого ракурса будет произведена оценка вымени по следующим параметрам: постановка задних ног, точка прикрепления передних долей вымени, расстояние между передними и задними сосками, положение дна вымени. Камера №3 установлена под углом 45° относительно коровы и позволяет получать изображения вымени спереди для оценки передних сосков. Съемку необходимо производить в хорошо освещенном помещении, исключить попадание прямого солнечного света на камеры и вымя коровы.
Рис. 1. Станок для проведения автоматической бонитировки коров под пригодность для машинного доения
Рис. 2. Изображения с камеры
Для линейной оценки вымени необходимо произвести следующие промеры молочных коров: угол между передними долями вымени и брюшной стенкой, высота задних долей, ширина вымени сзади, размер центральной связки, расстояние между передними и задними сосками, длина сосков, глубина вымени (рис. 3). Каждый из признаков, включенных в линейную систему, имеет самостоятельное значение и оценивается изолированно от других (таблица) [4].
Рис. 3. Ракурсы фото- и видеофиксации для последующего получения линейных размеров:
1 - постановка задних ног; 2 - длина передних долей вымени; 3 - прикрепление передних долей вымени; 4 - расстояние между передними и задними сосками; 5 - положение дна вымени; 6 - расстояние между передними сосками
В основу методики оценки экстерьера положено графическое изображение экстерьера (рис. 3).
1. Постановка задних ног. Определяется угол изгиба задней конечности в области скакательного сустава. Определение данного параметра необходимо для более точного позиционирования вымени и расчета следующих параметров.
2. Точка прикрепления передних долей вымени. Оценивается угол области соедине-
ния живота с передними долями вымени. Это разрешает алгоритмам, производящим обработку, «понять», откуда начинается вымя.
3. Длина передних долей вымени. Измеряется расстояние по горизонтали от точки соединения вымени с туловищем до боковой борозды вымени.
4. Расстояние между передними и задними сосками. Расстояние измеряется по горизонтали, от двух вершин сосков.
5. Положение дна вымени. Определяется расстояние между предполагаемой линией на уровне скакательного сустава и нижней точкой дна вымени.
6. Расположение передних сосков. Необходимо оценить расстояние между кончиками передних сосков.
Таблица. Линейная оценка коровы по вымени
Параметр Критерий оценки Параметр Критерий оценки
Прикрепление передних долей вымени очень слабое Ширина задних долей вымени 7 очень узкое
слабое 10 узкое
среднее 16 среднее
плотное 18 широкое
очень плотное 21 очень широкое
Длина сосков 3 очень короткие Борозда вымени 0,5 очень узкое
4 короткие 2 узкое
6 средние 3,5 среднее
8 длинные 5 широкое
10 очень длинные 6,5 очень широкое
Длина передних долей вымени 13 очень короткие Положение дна вымени -7 очень низкое
16 короткие -1 низкое
20 средние 5 среднее
24 длинные 11 высокое
27 очень длинные 17 очень высокое
Высота прикрепления задних долей вымени 35 очень низкое Расположение передних сосков 30 очень широкое
31 низкое 25 широкое
26 среднее 19 среднее
21 высокое 13 узкое
16 очень высокое 9 очень узкое
Для автоматической линейной оценки коровы по вымени, после обработки изображений алгоритмами, будет оцениваться каждый параметр с помощью цифрового значения и бальной шкалы. Если такие параметры, как «длина сосков», положение дна вымени и т.д. возможно оценить сразу на основе обработанного изображения, зафиксированных размеров и данных из таблицы 1, то такие параметры, как «постановка ног» и «прикрепление передних долей вымени» возможно автоматически оценить после того, как
будут созданы цифровые эталоны коров для каждого класса и породы на основе экспериментальной группы и определен критерий оценки, с которыми будут сравниваться остальные. Оценка каждого параметра производится с помощью алгоритмов и нейросете-вых методов.
На рисунке 4 представлен алгоритм создания эталонного изображения вымени при боковой оценке для последующей обработки полученных изображений вымени коров нейросетевыми методами.
Оценка
Классификация информации в
параметра
базу данных
Оценка Клас сифика ция Запис ь информации в базу данных
па раметра
ш Длина ш
^ / передних ш 7 долей ЬАи = £
/__/
Нахождение
нуле вой точки и
скакательного 7
сустава /
Скакательный сустав имеет точку отсчета Hock = 0
Оценка параметра Классификация
Определение положения дна вымени относительно скакательного сустава
Запись информации в базу данных
-Hock = D ^ >
Назначение итогового критерия оценки
Определение под пригодность машинного доения Запись информации в базу данных ь/
Корова № -Принадлежно сть к классу
7[ Произведена бонитировка по боковой 1 оце нки вымени
Рис. 4. Алгоритм создания цифровой эталонной модели вымени коровы при боковой оценке
В алгоритме указаны три процесса «Фото- и видеосъемка в реальном времени; получение изображений; обработка изображений», которые являются обобщенными. Для исследования будет использоваться алгоритм получения и обработки изображений, описанный Б. Яне [5]. Полученные результаты обработки изображений сохраняются в базе данных. На основе созданной базы данных возможна дальнейшая автоматическая интеллектуальная бонитировка животных по вымени методом сравнения полученных данных с эталонным изображением.
Вывод. Автоматизация процессов является важнейшим направлением технологического прогресса в рамках цифровой экономики. Данное исследование позволяет приступить к созданию программно-технического комплекса для автоматической бонитировки коров по вымени и отслеживать их физиологическое состояние. Будущая разработка позволит создать инвариантную «память» наведения манипулятора доения на вымя коровы и успешное одевание доильных стаканов.
Литература:
1. Пат. 163511 РФ. Автоматизированное измерительное устройство / А.С. Дорохов и др. Опубл. 20.07.16
2. Функционально-стоимостной анализ роботизированных систем и выбор альтернативных вариантов добровольного доения коров / Цой Ю.А. и др. // Техника и оборудование для села. 2014. № 8. С. 33-36.
3. Концептуальные технико-технологические решения роботизированной доильной установки с почетверт-ным управлением процессом доения / Кирсанов В.В. и др. // Вестник НГИЭИ. 2018. № 3(82). С. 62-73.
4. Кулешов П.Н. Теоретические работы по племенному животноводству. М., 1947.
5. Яне Б. Цифровая обработка изображений. М., 2007.
Literatura:
1. Pat. 163511 RF. Avtomatizirovannoe izmeritel'noe ust-rojstvo / A.S. Dorohov i dr. Opubl. 20.07.16
2. Funkcional'no-stoimostnoj analiz robotizirovannyh sis-tem i vybor al'ternativnyh variantov dobrovol'nogo doeni-ya korov / Coj YU.A. I dr. // Tekhnika i oborudovanie dlya sela. 2014. № 8. S. 33-36.
3. Konceptual'nye tekhniko-tekhnologicheskie resheniya robotizirovannoj doil'noj ustanovki s pochetvertnym up-ravleniem processom doeniya / Kirsanov V.V. i dr. // Ves-tnikNGIEHI. 2018. № 3(82). S. 62-73.
4. Kuleshov P.N. Teoreticheskie raboty po plemennomu zhivotnovodstvu. M., 1947.
5. YAne B. Cifrovaya obrabotka izobrazhenij. M., 2007.
THE METHOD OF PHOTOS- AND VIDEO MATERIALS' OBTAINING AND PROCESSING FOR DAIRY COWS
AUTOMATIC BONITATION
V.V. Kirsanov, doctor of technical sciences
S.S. Yurochka, post-graduate student
D.Y. Pavkin, candidate of technical sciences
F.E. Vladimirov, graduate student
S.S. Ruzin, post-graduate student
Federal research agro-engineering centre of VIM
Abstract. Livestock breeding is a major cross-sectoral sphere of the country's economy. The main product obtained from this sphere is whole milk. Recently, automatic and robotic systems for service and humans' assistance in food producing. For cows' machine milking or by milking robots it is necessary a udder bonitation for milking machine suitability to do. The animals' bonitation valuation on Russian farms is done manually by means of a measuring tape. The study's aim is a technique for photo and video material's obtaining and processing for dairy cows' automatic evaluation on the image existing algorithms' processing basis by the exterior linear evaluation's system help, developed by P.N. Kuleshov and M.F. Ivanov developing. The existing methods of cows ' exterior's linear evaluation and image processing algorithms for patterns' recognition are analyzed. The held analysis allowed cow' udder and nipples by 3D-camera' photo and video capture choice's optimal view to develop and justify. At the same time, the concept of a machine-stall for bonitation automatic valuation is proposed. The necessary parameters and criteria for the exterior's linear assessment are determined, on their basis an algorithm for cow's udder model digital reference creating is developed. The developed algorithm gives the possibility an bonitation automatic evaluation by neural network's methods using to produce. The conducted research will allow software-and-technical complex for bonitation automatic valuation under the machine milking suitability to develop, cows udder physiological condition to control, a database that will store information about the each cow udder's physiological condition during its life to create, recording in invariant form the actions' sequence carried out by the milking manipulator at milking cups' successful moving and putting.
Keywords: bonitation evaluation, linear evaluation, algorithm, 3D-camera, udder.
