CC BY
29
ОРИГИНАЛЬНАЯ СТАТЬЯ УДК 631.171
DOI: 10.26897/2687-1149-2021-2-39-44
БЕСКОНТАКТНАЯ ОЦЕНКА УПИТАННОСТИ МОЛОЧНЫХ КОРОВ С ИСПОЛЬЗОВАНИЕМ TOF-ТЕХНОЛОГИИ
ПАВКИН ДМИТРИЙ ЮРЬЕВИЧ, канд. техн. наук, старший научный сотрудник
dimqaqa@mail.ru, https://orcid.org/0000-0001-8769-8365
ЮРОЧКА СЕРГЕЙ СЕРГЕЕВИЧн, аспирант, младший научный сотрудник
yurochkasr@gmail.comH, https://orcid.org/0000-0002-2511-7526
ШИЛИН ДЕНИС ВИКТОРОВИЧ, канд. техн. наук, научный сотрудник
deninfo@mail.ru, https://orcid.org/0000-0002-5038-7747
РУЗИН СЕМЕН СЕРГЕЕВИЧ, аспирант, младший научный сотрудник
ruzin.s.s@yandex.ru, https://orcid.org/0000-0001-6870-5486
Федеральный научный агроинженерный центр ВИМ; 109428, Российская Федерация, г. Москва, 1-й Институтский проезд, 5
Аннотация. В статье приведены результаты применения алгоритма наименьших квадратов по BCS-оценке упитанности дойных коров с использованием 3D ToF-камеры. Предложена методика сбора натурных данных об упитанности дойных коров на промышленном производстве молока с использованием 3D ToF-камеры. Установка камеры производилась на высоте 2200 мм от уровня пола под углом 5° по направлению к крестцу. Исследовались четыре области тела 34 дойных коров: седалищные бугры, закругленность маклоков, сакральная связка, хвостовая связка. Сбор данных производился во время дойки. Было обработано 136 снимков. Обработка цифровых данных производилась по трём вариантам изображений: в цветовом спектре RGB-D, Point Cloud и бинарном. При оценке учитывалось пять групп упитанности: 1 - тощая; 2 - худая; 3 - упитанная; 4 - очень упитанная; 5 - ожиревшая дойная корова. Полученные изображения были проанализированы с помощью программного обеспечения, разработанного в среде Matlab. Результаты работы алгоритма сравнивались с экспертной оценкой четырёх специалистов. По результатам BCS оценки алгоритма, балл упитанности 1 и 5 групп с вероятностью 73 и 67% совпал с мнением экспертов, у групп 2, 3, 4 совпадение составило соответственно 61, 52 и 55%. Авторами высказано предположение о том, что неточность определения упитанности 2, 3 и 4 групп связана с неявно выраженными их отличиями. Сделан вывод о том, что из всех групп BCS-система точнее определяет упитанность коров 1 и 5 групп, а также из трёх вариантов изображений (Point cloud 3D, RGB-D, бинарное) RGB-D наиболее точно определило упитанность коров.
Ключевые слова: молочное животноводство, дойная корова, оценка упитанности, BCS, ToF, 3D, бесконтактная оценка упитанности.
Исследования выполнены при поддержке Фонда содействия инновациям по программе «УМНИК» по договору 14627ГУ/2019 от 24.07.2019 г.
Формат цитирования: Павкин Д.Ю., Юрочка С.С., Шилин Д.В., Рузин С.С. Бесконтактная оценка упитанности молочных коров с использованием TOF-технологии // Агроинженерия. 2021. № 2 (102). С. 39-44. DOI: 10.26897/2687-1149-2021-2-39-44.
© Павкин Д.Ю., Юрочка С.С., Шилин Д.В., Рузин С.С., 2021
ORIGINAL PAPER
NON-CONTACT BODY CONDITION SCORE OF DAIRY COWS BASED ON TOF-TECHNOLOGY
DMITRIY Yu. PAVKIN, PhD (Eng), Senior Research Engineer
dimqaqa@mail.ru, https://orcid.org/0000-0001-8769-8365
SERGEYS. YUROCHKA, postgraduate student, Junior Research Engineer1
yurochkasr@gmail.com, https://orcid.org/0000-0002-2511-7526
DENIS V. SHILIN, PhD (Eng), Research Engineer
deninfo@mail.ru, https://orcid.org/0000-0002-5038-7747
SEMEN S. RUZIN, post-graduate student, Junior Research Engineer
ruzin.s.s@yandex.ru, https://orcid.org/0000-0001-6870-5486
Federal Scientific Agroengineering Center VIM; 109428, Russian Federation, Moscow, 1st Institutskiy Proezd Str., Bld 5
Abstract. The paper presents the results of applying the body condition score (BCS) least squares algorithm used to assess the body condition of dairy cows with a 3D ToF camera. The authors propose a method for collecting field data on the body condition of dairy cows in industrial milk production using a 3D ToF camera. The camera was installed at a height of 2200 mm from the floor at an angle of 5° towards the sacrum. Four areas of the body of 34 dairy cows were examined: the ischial tuberosities, the roundness of the maclugs, the sacral ligament, and the caudal ligament. Data were collected during milking. 136 images were processed. Digital data were processed in three types of images: in the RGB-D color spectrum, Point Cloud and binary. The assessment took into account five groups of fatness: 1 -lean; 2 - thin; 3 - well-fed; 4 - very well-fed; 5 - obese dairy cow. The resulting images were analyzed using software developed in the Matlab environment. The results of the algorithm were compared with the expert assessment of four specialists. According to the results of the BCS assessment of the algorithm, the fatness scores of groups 1 and 5 coincided with the opinion of experts with a probability of 73 and 67%, in groups 2, 3, 4 the coincidence was 61, 52 and 55%, respectively. The authors suppose that the inaccuracy in determining the fatness of groups 2, 3 and 4 is associated with their implicit differences. It is concluded that of all the BCS groups, the system more accurately determines the fatness of cows of groups 1 and 5, as well as from three image options (Point cloud 3D, RGB-D, binary) RGB-D most accurately determined the fatness of cows.
Key words: dairy farming, dairy cow, body condition score, BCS, ToF, 3D, non-contact body condition score.
The research was carried out with the support of the Fundfor the Promotion ofInnovations under the UMNIK program under contract 14627GU / 2019 of July 24, 2019.
For citation: Pavkin D.Yu., Yurochka S.S., Shilin D.V., Ruzin S.S. Non-contact body condition score of dairy cows based on TOF-technology. Agricultural Engineering, 2021; 2 (102): 39-44. (In Rus.). DOI: 10.26897/2687-1149-2021-2-39-44.
Введение. В молочном животноводстве мониторинг состояния упитанности играет важную роль в производстве молока. Система автоматической оценки упитанности (англ. Body score condition - BCS) - это 5-балльная система, где 1 класс упитанности - это истощение коровы, а 5 класс - ожирение. BCS-система совместно с автоматизированным дозированием концентрированных кормов обеспечит оптимальное использование концентрированных компонентов, снизит вероятность переизбытка или недостатка получаемой энергии, продлит производственный период эксплуатации животного [1]. На российском рынке представлена камера BCS-системы компании Delaval. Система автоматически регистрирует упитанность молочных коров, выявляет отклонения в кормлении, нарушение здоровья животных и передает данные специалисту. Недостатками данной системы являются высокая стоимость, необходимость соблюдать требования по внедрению других разработок компании Delaval на производство [2], а также недостаточная точность при определении 1 или 5 классов упитанности. Необходим поиск новых решений для разработки отечественной BCS-системы.
С развитием технологий учёные мирового сообщества предлагают различное решение данной проблемы. В исследовании [3] для определения упитанности авторы применяют камеру RGB-D Kinect V2, которая установлена под углом 90° на высоте 2,8 м, а для обработки данных применяют сверточные нейронные сети. Недостаток этого метода заключается в том, что камеру необходимо устанавливать под углом ~5° по направлению
к крестцу коровы (а не перпендикулярно), так как во время движения животного можно получить больше снимков, подходящих для последующей обработки. Также камеры с технологией RGB-D являются менее точными в сравнении с технологиями Lidar и To F. При обработке данных посредством сверточных нейронных сетей авторы получили точность правильной постановки оценки BCS выше 90% (6 алгоритмов из 8), что является хорошим показателем для данного способа обработки информации.
В исследовании [4] авторы использовали Kinect RGB-D камеру и алгоритм обработки изображений, который автоматически определял зоны интереса на крестце с определением координат, по которым выстраивался рельеф и определялась оценка упитанности. BCS в дальнейшем сравнивалась с экспертной оценкой. Тесты на точность дали абсолютную ошибку - 0,19.
O'Leary N. совместно с другими авторами [5] разработали алгоритм BMF (BodyMat F), который использует данные от 3D-камеры для определения BCS. В исследовании проводилось второе тестирование качества работы алгоритма. По результатам было установлено, что алгоритм BMF работает с эффективностью 86% против BCS камеры Delaval в 67% и более качественно определяет упитанность коров класса 1 и класса 5.
Цель исследований: провести BCS-оценку упитанности дойных коров; предложить методику сбора натурных данных об упитанности дойных коров с использованием 3D ToF-камеры.
Материал и методы. Исследования проводились на ферме «Русский пармезан» Московской области. Сбор материала производился в течение двух дней, во время утренней дойки, в августе 2020 г. Доение коров производилось на автоматической установке «Елочка 2*5». В экспериментальную группу входили 34 здоровые дойные коровы с различной стадией лактации - от 15 до 275 дней. Сбор материала производился с использованием коммерческой
3D ToF-камеры O3D303. 3D-KaMepa способна рассчитывать и выводить пространство точек (Point Cloud) в виде многомерного массива IXJXK, где I и J - разрешение камеры, например, 352*264; K - координаты X, Y, Z. Вывод полученных данных производится в формате «.dat». Скорость записи видеоизображений - 5 кадров/с. Это позволило получить от 3 до 5 снимков каждой коровы в исходном изображении. Установка камеры изображена на рисунке 1.
180-240 В
Блок
питания
24 В
I
II
Рис. 1. Размещение камеры 3D ToF O3D303:
I - схематичное изображение стенда сбора данных; II - фотография с места сбора данных; F - фокусное расстояние, на которое настроена камера, мм; ПК - персональный компьютер
Fig. 1. Placement of the 3D ToF O3D303 camera:
I - schematic representation of the data collection stand; II - photograph from the data collection site; F - focal length, at which the camera is adjusted, mm; PC - personal computer
Обработка цифровых данных производилась по трём вариантам изображений: в цветовом спектре RGB-D, Point Cloud и амплитуде 1500 ед. (рис. 2). Чувствительность камеры в спектре RGB-D была установлена в диапазоне 0,8.. .1,5 м от объектива до крестца коровы.
Для определения экспертной оценки учитывалось мнение четырех специалистов. Оценка BCS производилась в соответствии с исследованиями [6] и рисунком 3. Оценка экспертами проводилась по цифровым данным, всего было оценено 34 коровы по 140 снимкам. Данные заносились в протокол, в котором были отражены номер коровы и оценка от каждого эксперта. Далее относительно каждого животного выводилось среднее значение. Оценка BCS выставлялась в соответствии с классами 1-5 по следующим критериям (рис. 4):
- область 1 - седалищные бугры. Если седалищные бугры заострены, упитанность по данному критерию выше 2,75 балла, если бугры слабо выражены - 2,5 балла;
- область 2 - маклоки. Если маклоки закруглены, упитанность по данному критерию выше 3 баллов, если маклоки заострены - упитанность 2,75 балла;
- область 3 - сакральная связка. Если сакральная связка едва просматривается, упитанность составляет 3,50;
- область 4 - хвостовая связка. Если хвостовая связка едва просматривается, упитанность составляет 3,50;
На рисунке 3 представлены примеры упитанности коров каждой группы.
п m
Рис. 2. Варианты изображений крестца коровы:
I - Point cloud 3D-изображение; II - RGB-D-изображение; III - бинарное изображение
Fig. 2. Variants of images of the cow sacrum:
I - Point cloud 3D image; II - RGB-D image; III - binary image
Pavkin D.Yu., Yurochka S.S., Shilin D.V., Ruzin S.S. > „.
Non-contact body condition score of dairy cows based on TOF-technology 41
Рис. 3. Классы BCS:
1 - тощая; 2 - худая; 3 - упитанная; 4 - очень упитанная; 5 - ожиревшая дойная корова
Fig. 3. BCS classes:
1 - skinny; 2 - thin; 3 - well-fed; 4 - very well-fed; 5 - fat
Математический аппарат исследования. Как указано выше, упитанность отдельных частей коровы, в том числе закругленность маклоков, в данной работе оценивалась путем идентификации области интересов в виде отдельных областей точек и применения разработанных алгоритмов анализа. На рисунке 5 представлена отдельная область интереса части коровы в виде точек.
0.18
.со
& £ °-16
ГО © 0.14 Ü ® M
О.
IB g 0.12
-û m
Ü {S
b S 0.1
S g ° £
о О
О 0.08
Область интереса
Zone of interest
\
Функция регрессии
Regression function.
SAlUri J UriUl l UrU
Облако
Point cloud -
I \
P^a.-.SV..:::
■щШщ шшШ
Рис. 4. Области интереса для оценки BCS:
I - Point cloud 3Б-изображение; II - RGB-D-изображение; III - бинарное изображение
Fig. 4. Areas of interest for the BCS assessment:
I - Point cloud 3D image; II - RGB-D image; III - binary image
Все полученные изображения были проанализированы с помощью специального программного обеспечения, разработанного в среде МайаЬ. Анализ выполнялся по следующему алгоритму:
1. По позвоночнику (ось симметрии - на рисунке 4) оценивалось среднее значение по оси Ъ (расстояние от объектива камеры до поверхности), которое принималось за рост коровы.
2. Алгоритм находил области интересов в виде облака точек.
3. К отфильтрованному изображению применялась сетка из 64 пикселей в зависимости от геометрии интересующей области (рис. 4).
4. Применялся алгоритм нормализации угла [7].
5. В сетке устанавливались 2-4 средних значения в разных точках областей интересов по оси Ъ.
6. Анализ облака точек по заданным алгоритмам.
0.61 0.62 0.63 0.64 0.65 0.66 0.67 0.68 0.69 0.7 0.71 Ось системы координат камеры ОХ (м) OX camera coordinate system axis (m)
Рис. 5. Отдельная область интереса для оценки BCS Fig. 5. Separate area of interest for BCS assessment
Ввиду того, что камера устанавливалась сверху над животным и к анализу данных были представлены точки спины коровы, наибольший интерес представляют те точки, которые находятся возле контура и описывает ее периметр. На рисунке 5 данная область точек закрашена желтым цветом и представлят собой вектор данных: х = [, х2,..., хп ], У = [, У2,., Уп ]. Разработанный алгоритм основан на методе наименьших квадратов (МНК). Зависимость двух переменных в аналитическом виде представляет собой квадратное уравнение вида y (х) = ах2 + bx + c, где неизвестные параметры a, b и c определяются из системы уравнений:
a Z x4 + b Z x] + c Z x2 = Z x2 yi, a Z x3 + b Z x2 + c Z xt = Z xiyi, a Z xf + b Z xt + cn = Z yt,
(i)
где х1, - координаты рассматриваемых точек вдоль осей абсцисс и ординат, м; п - количество рассматриваемых точек в облаке интереса, шт.
Решение системы уравнений (1) позволит определить искомые параметры функции регрессии, которая в рассматриваемом случае изображена красной пунктирной линией на рисунке 5. Исходя из вышесказанного и из свойств квадратичных функций координата вершины функции регрессии вычисляется по следующим формулам:
( xm, у m ) =
Ь_
2a
--1 + ь
2a I l 2a
+ c
(2)
Угол наклона касательной а к рассматриваемой функции определяет закругленность рассматриваемого участка периметра коровы и рассчитывается по следующей формуле:
y'(x) = 0 ^ tg (а) = k = y' (x0), а = arctg (y' (x0)), (3)
где x0 - корень производной функции регрессии; а - угол наклона касательной к функции регрессии.
Результаты исследования. В программу было загружено 140 снимков, 136 снимков прошли этап фильтрации, в 4-х снимках не были обнаружены области интересов, так как изображения имели высокий процент шумов. Алгоритм присваивал каждой корове балл упитанности, который сравнивался с оценкой экспертов. Результаты точности работы алгоритма представлены в таблице.
По результатам таблицы можно сделать вывод о том, что сильнее выражены области интересов у коров с баллом упитанности 1 и 5. Области интересов у коров с баллами упитанности 2, 3, 4 выражены менее четко. Из всех проанализированных изображений наибольший процент совпадения был среди изображений RGB-D (рис. 2, II). В следующих работах, связанных с данной тематикой, будет доработан алгоритм определения упитанности, тренировка алгоритма будет проводиться на большей выборке животных, будет расширен диапазон измерения BCS-упитанности с шагом 0,25.
Таблица
Совпадение результатов BCS оценки алгоритма и экспертов
Table
Coincidence of the algorithm and expert assessment results of the BCS evaluation
BCS-балл BCS score Совпадение результатов алгоритма с экспертной оценкой, % Coincidence of algorithm results with expert assessment, %
1 73
2 61
3 52
4 55
5 67
Выводы
1. Разработанный алгоритм с большей точностью определяет упитанность коров 1 и 5 групп с вероятностью совпадения с экспертной оценкой 73 и 67%.
2. Из трёх вариантов изображений (Point cloud 3D, RGB-D, бинарное) RGB-D наиболее точно определило упитанность коров.
3. Использование метода наименьших квадратов для выявления упитанности коров позволяет установить балл упитанности. Для наиболее точного функционирования алгоритма необходима его доработка. Необходимо расширить диапазон измерения с шагом 0,25; провести большую выборку молочных коров; более точно описать пороговые значения при определении областей интереса.
Библиографический список
1. Никитин Е.А. Разработка автоматизированной системы персонального дозирования концентрированных кормов для крупного рогатого скота // Инновации в сельском хозяйстве. 2019. № 3. С. 80-86.
2. Dorokhov A. et al. Recognition of Cow Teats Using the 3D-ToF Camera When Milking in the «Herringbone» Milking Parlor // International Conference on Intelligent Computing & Optimization. Springer, Cham, 2019. С. 128-137.
3. Rodriguez Alvarez J. et al. Estimating body condition score in dairy cows from depth images using convolu-tional neural networks, transfer learning and model ensem-bling techniques // Agronomy. 2019, 9(2): 90. https://doi. org/10.3390/agronomy9020090
4. Spoliansky R. et al. Development of automatic body condition scoring using a low-cost 3-dimensional Kinect camera // Journal of dairy science. 2016 Sep; 99(9): 7714-7725. doi: 10.3168/jds.2015-10607.
5. O'Leary N. et al. Validation of an Automated Body Condition Scoring System Using 3D Imaging // Agriculture. 2020; 10(6): 246. doi:10.3390/agriculture10060246
6. M'hamdi N. et al. Dairy Cattle Welfare Status Measured by Animal-Linked Parameters Under Tunisian
References
1. Nikitin E.A. Razrabotka avtomatizirovannoy sistemy personal'nogo dozirovaniya kontsentrirovannykh kormov dlya krupnogo rogatogo skota [Designing an automated system for personal dosing of concentrated feed for cattle]. Inno-vatsii v sel'skom khozyaystve, 2019; 3: 80-86. (In Rus.)
2. Dorokhov A. et al. Recognition of Cow Teats Using the 3D-ToF Camera When Milking in the "Herringbone" Milking Parlor. International Conference on Intelligent Computing & Optimization. Springer, Cham, 2019: 128-137. https://link. springer.com/chapter/10.1007/978-3-030-33585-4_13
3. Rodriguez Alvarez J. et al. Estimating body condition score in dairy cows from depth images using convo-lutional neural networks, transfer learning and model en-sembling techniques. Agronomy, 2019; 9(2): 90. https://doi. org/10.3390/agronomy9020090
4. Spoliansky R. et al. Development of automatic body condition scoring using a low-cost 3-dimensional Kinect camera. Journal of dairy science. 2016 Sep; 99(9): 7714-7725. doi: 10.3168/jds.2015-10607.
5. O'Leary N. et al. Validation of an Automated Body Condition Scoring System Using 3D Imaging. Agriculture. 2020; 10(6): 246. doi:10.3390/agriculture10060246
Rearing Conditions // Milk Production-An Up-to-Date Overview of Animal Nutrition, Management and Health, 2012. DOI: 10.5772/28287
7. Кирсанов В.В., Павкин Д.Ю., Юрочка С.С. и др. Подготовка изображения, получаемого с 3D TOF камеры для автоматического обнаружения сосков коровы // Инновации в сельском хозяйстве. 2019. № 3. С. 340-346.
Критерии авторства
Павкин Д.Ю., Юрочка С.С., Шилин Д.В., Рузин С.С. выполнили теоретические исследования, на основании полученных результатов провели эксперимент и подготовили рукопись. Павкин Д.Ю., Юрочка С.С., Шилин Д.В., Рузин С.С. имеют на статью авторские права и несут ответственность за плагиат.
Конфликт интересов
Авторы заявляют об отсутствии конфликта интересов. Статья поступила в редакцию 06.11.2020 г. Одобрена после рецензирования 08.02.2021 г. Принята к публикации 12.02.2021 г.
6. M'hamdi N. et al. Dairy Cattle Welfare Status Measured by Animal-Linked Parameters Under Tunisian Rearing Conditions. Milk Production-An Up-to-Date Overview of Animal Nutrition, Management and Health, 2012. DOI: 10.5772/28287
7. Kirsanov V.V, Pavkin D.Yu., Yurochka S.S. et al. Pod-gotovka izobrazheniya, poluchaemogo s 3D TOF kamery dlya avtomaticheskogo obnaruzheniya soskov korovy [Preparation of an image obtained from a 3d TOF camera for automatic detection of cow teats]. Innovatsii v sel'skom khozyaystve, 2019; 3: 340-346. (In Rus.)
Contribution
D.Yu. Pavkin, S.S. Yurochka, D.V. Shilin, S.S. Ruzin performed theoretical studies, and based on the results obtained, generalized the results and wrote a manuscript. D.Yu. Pavkin, S.S. Yurochka, D.V. Shilin, S.S. Ruzin have equal author's rights and bear equal responsibility for plagiarism.
Conflict of interests
The author declares no conflict of interests regarding the publication of this paper.
The paper was received 06.11.2020 Approved after reviewing 08.02.2021 Accepted for publication 12.02.2021
