CC BY
29
УДК 004.932, 51-76, 57.087 DOI: 10.14529/cmse230101
МОДЕЛЬ ПРОГНОЗИРОВАНИЯ ЖИВОГО ВЕСА С ПОМОЩЬЮ ГЛУБОКОЙ РЕГРЕССИИ RGB-D ИЗОБРАЖЕНИЙ
© 2023 А.Н. Ручай1,2,3
1 Южно-Уральский государственный университет (454080 Челябинск, пр. им. В. И. Ленина, д. 76),
2 Челябинский государственный университет,
(454001 Челябинск, у л. Бр. Кашириных, д. 129),
3 Федеральный научный центр биологических систем и агротехнологий РАН (460000 Оренбург, у л. 9 Января, д. 29)
E-mail: ran@csu.ru Поступила в редакцию: 13.02.2023
Прогнозирование живого веса помогает контролировать здоровье животных, эффективно проводить генетическую селекцию и определять оптимальное время убоя. На крупных фермах для измерения живого веса используются точные и дорогостоящие промышленные весы. Взвешивание животного из-за стресса ведет к потере его веса и продуктивности на 5-10%. Однако, перспективной альтернативой является оценка живого веса с помощью морфометрических измерений животного, а затем применение уравнений регрессии, связывающих такие измерения с живым весом. Ручные измерения животных с помощью рулетки отнимают много времени и вызывают стресс у животных. Поэтому в настоящее время для бесконтактных морфометрических измерений все чаще используются технологии компьютерного зрения. В статье предлагается новая модель для прогнозирования живого веса на основе регрессии изображений с использованием методов глубокого обучения. Для регрессии изображений использовались RGB изображения и карты глубины вид сбоку для прогнозирования живого веса крупного рогатого скота. Показано, что на реальных наборах данных предложенная модель достигает точности измерения веса с ошибкой МАЕ 35.5 и МАРЕ 8.4 на тестовом наборе данных.
Ключевые слова: регрессия изображений, прогнозирование живого веса, глубокое обучение.
ОБРАЗЕЦ ЦИТИРОВАНИЯ
Ручай А.Н. Модель прогнозирования живого веса с помощью глубокой регрессии RGB-D изображений // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2023. Т. 12, № 1. С. 5-27. DOI: 10.14529/cmse230101.
Введение
В настоящее время существует два основных подхода к измерению веса тела [1]: использование промышленных весов и косвенные методы, основанные на взаимосвязи между морфологическими размерами тела и весом тела. Ручное измерение размеров тела животных занимает много времени, оно трудоемко и дорого. Отметим, что взвешивание животного из-за стресса ведет к потере его веса и продуктивности на 5-10%. Кроме того, это стресс как для работника, так и для животного. В настоящее время была разработана бесконтактная оценка морфометрических размеров с помощью недорогих датчиков и методов машинного зрения [2, 3]. Использование бесконтактной технологии существенно сокращает возможные временные затраты на проведение ручной и субъективной бонитировки для предсказания живого веса скота, исключает необходимые контактные измерения линейных промеров или прямого взвешивания скота с помощью весов.
Измерения размеров тела обычно используются для прогнозирования живого веса животных [4-6]. При этом для точного прогнозирования живого веса можно использовать измерения размеров тела вместе с другими факторами, характеризующими животное: возраст, пол, оценка состояния тела, генотип, объем тела, площадь тела и т.д. В большинстве последних исследований для прогнозирования живого веса животных использовался множественный линейный регрессионный анализ. Однако, эти традиционные методы неадекватны для точного прогнозирования [7]. Недавно несколько исследователей успешно применили различные алгоритмы машинного обучения для прогнозирования живого веса с использованием морфологических показателей животных [7-11]. Данные методы направлены на определение веса тела по морфологическим показателям животных. Эти исследования показали потенциал алгоритмов машинного обучения в точном прогнозировании нелинейной связи между живым весом и морфологическими признаками животных [7]. Более того, прогнозирование живого веса может быть основано на автоматически измеренных морфологических признаках с помощью системы двухмерного зрения [11, 12] и системы трехмерного зрения [3, 13]. В работе [14] предложена система оценки веса тела молочной коровы с ошибкой 5.2% на основе трех линейных обмеров, выполненных с помощью ЗБ-камеры. Однако, общим недостатком таких систем является то, что точность оценки веса зависит от модели прогнозирования, качества измерения морфологических признаков, выбора входных переменных модели, а также не достаточности апробации в связи с маленькой выборкой.
Другим перспективным направлением разработки модели прогнозирования живого веса является модель, созданная на основе регрессии изображений. Регрессия изображений является широко используемой задачей в компьютерном зрении для предсказания возраста, позы головы и ключевых точек лица [15]. Для прогнозирования живого веса крупного рогатого скота проще всего использовать RGB изображения (цветные изображения в цветовой модели RGB) и карты глубины (изображение, в котором для каждого пикселя вместо цвета хранится расстояние от объекта до камеры) [16, 17], или сами облака точек (набор точек модели в трехмерной системе координат), или восстановленные плотные целые трехмерные модели. Также важным вопросом является выбор вида положения животного для получения изображений. Боковой вид животного дает больше информации, однако его получить технологически сложней из-за требования укрепления и очистки камер. Вид сверху более приемлем в реальных условия фермы, так как нет подобных ограничений.
Цель данной работы — разработать надежную модель прогнозирования живого веса на основе регрессии изображений с помощью методов глубокого обучения. Для регрессии изображений использовались RGB изображения и карты глубины вид сбоку для прогнозирования живого веса крупного рогатого скота. Использование вида сбоку имеет следующие основные преимущества: отсутствие необходимости синхронизации данных между несколькими датчиками, отсутствие необходимости выполнения сложных трудоемких процедур внешней калибровки камеры, отсутствие необходимости выполнять реконструкцию плотной трехмерной модели животного, возможность использовать только одну камеру, что позволит удешевить технологию бесконтактного измерения живого веса животного.
Для обучения нейронной сети требуется высокое качество изображений, RGB изображения имеют разрешение 1920 х 1080, а карта глубины 512 х 424, что может искажать или неправильно передавать характеристики объекта. Нас интересует фильтрация RGB изображения и карты глубины с датчика RGB-D для улучшения ее качества [18].
Входом для глубокой нейронной сети может быть двухмерные RGB изображения или карты глубины, однако в будущем предполагается исследовать глубокие нейронные сети с входом с облаком точек. При ограниченном количестве доступных изображений у нас мало вариативности в данных, что может привести к переобучению. Стоит отметить, что выборка для обучения нейронной сети достаточно мала, поэтому необходимо дополнить обучающие данные синтезированными и модифицированными изображениями. Существуют два способа аугментации данных: с помощью дополнения сырых двухмерных RGB изображений и карты глубины, или более сложный — с большей вариативностью и модификацией, близкой к реальности, с помощью проецирования облака точек, полученных из карты глубины, на плоскость двухмерного изображения с ортогональной проекцией, так называемые 2.5D карты глубины. Предварительно из облака точек удаляется фон (удаление сцены с общего кадра), выравнивание позы животного, и затем дополняются жесткие преобразования в виде трехмерных вращений, масштабирований и перемещений. Мы выполнили проекцию облака точек как цветную компоненту (цветная проекция), так и карту глубины (2.5D карты глубины).
Основной вклад данной работы заключается в следующем:
• Были предложены методы для предобработки RGB изображений и карты глубины и создании цветной RGB проекции и 2.5D карты глубины для прогнозирования живого веса на основе регрессии изображений с помощью методов глубокого обучения.
• Был предложен метод трехмерной аугментации цветной проекции и 2.5D карты глубины с помощью жестких преобразований в виде трехмерных вращений и перемещений, что позволяет нам увеличить ограниченный набор данных и повысить эффективность прогнозирования живого веса при наличии вариаций позы, положения и масштаба животного.
• Были показали результаты на реальных наборах данных, которые демонстрируют, что предложенная модель с МАРЕ 8.1%, использующая цветные проекции и 2.5D карты глубины может достичь уровня точности измерения веса, превышающей тот, который достигается при традиционном взвешивании.
Дальнейшее изложение статьи построено следующим образом. В разделе 1 описаны необходимые методы и алгоритмы предобработки RGB-D изображений. В разделе 2 рассмотрена модель прогнозирования живого веса. В разделе 3 приведены результаты экс-перименов с использованием предложенной модели. В заключении содержатся основные полученные результаты.
1. Предобработка RGB-D изображений
1.1. База данных
Наши эксперименты проводятся на двух открытых наборах данных из работ [2, 19]. Первый созданный набор данных содержит RGB-D данные, вес и ручные измерения 154 голов крупного рогатого скота — коров породы герефорд. 154 головы герефордских коров содержались на частной ферме с концентрированной кормовой подкормкой в возрасте от 12 до 15 месяцев. Вес коров составлял от 243 до 605 килограммов (кг). Набор данных собран системой сбора RGB-D изображений, состоящей из трех камер Microsoft Kinect v2. Две RGB-D камеры расположены с правой стороны С\ и левой стороны Сг прохода животных на расстоянии около 2.0 м от животного. Были использованы RGB изображения и карты глубины с правой стороны С\ и левой стороны С2. На рис. 1 показаны RGB изображения и карты
глубины крупного рогатого скота, снятые двумя камерами Kinect. В наших экспериментах были использованы RGB изображения и карты глубины с правой стороны С\ и левой стороны С2 отдельно. Также можно рассматривать RGB изображения и карты глубины с левой и правой стороны вместе. Для этого нужно отразить левую сторону в правую. Полный набор данных состоит из 5220 RGB изображения и 5220 карты глубины с правой стороны С\ и 4620 RGB изображений и 4620 карт глубины с и левой стороны С2 для 154 коровы.
Рис. 1. RGB изображения и карты глубины коров были получены с помощью двух
камер Kinect
Вторая использованная база включает в себя данные 121 особи молодняка крупного рогатого скота абердин-ангусской породы [19]. На момент экспериментов возраст животных составлял 16.5 месяцев, живой вес — 614.9 кг. Для каждого из 96 животных была собрана база данных, содержащая следующие данные: Номер RFID чипа, RGB изображения, карты глубин и облака точек, живой вес. Эта база данных находится в открытом доступе (https://github.com/ruchaya/CowDatabase2). Система захвата данных была установлена в проходе зала. Все измерения проводились на идущем животном с двух точек зрения, поскольку невозможно потребовать, чтобы животное остановилось и оставалось неподвижным. Две RGB-D камеры были расположены справа и слева от прохода животного на расстоянии около 2.0 м. В установке использовались две одинаковые камеры Microsoft Kinect v2, получающие изображения RGB и глубины с левой и правой стороны животного. Каждая камера глубины была подключена к ноутбуку, а все ноутбуки были подключены к локальной сети. Синхронно получаемые изображения в формате RGB-D записывались на соответствующий ноутбук для каждой камеры. Сбор и хранение данных были реализованы на основе Kinect v2 SDK. Каждая камера, инициализированная сигналом запуска,
начинала захват кадров с частотой 30 Гц. Время на ноутбуках было синхронизировано, и наилучшее соответствие облака точек могло быть выбрано в течение кратчайших временных интервалов между тремя устройствами. Разрешение RGB-изображений и изображений глубины составляет 1920 х 1080 и 512 х 424 пикселей, соответственно. На рис. 2 показаны RGB-изображения, карты глубины и облака точек крупного рогатого скота, снятые двумя камерами Kinect. Полный набор данных состоит из 4180 RGB изображения и 4180 карты глубины с правой стороны С\ и 3860 RGB изображений и 3860 карт глубины с левой стороны С2 для 121 коровы.
Рис. 2. RGB-изображения, карты глубины и облака точек крупного рогатого скота,
снятые двумя камерами Kinect
1.2. Предобработка базы данных
Данные трехмерного сканирования коровы представляют собой динамические последовательности, содержащие пустые кадры без животного, целые кадры с полностью вошедшим животным и частичные, когда животное не вошло целиком. Однако, отсутствие части головы животного или задней части может легко привести к ошибкам прогнозирования живого веса. Задачу обнаружения кадров с целым животным можно свести к задаче детектирования частей животного. В работе [20] был предложен метод детектирования области головы, бедра и тела животного на двухмерном изображении RGB. Благодаря высокому разрешению RGB информации на изображении, результат обнаружения целевой области является более надежным, чем метод трехмерного детектирования. Была использована существующая модель обнаружения YOLO v4 [21] для обнаружения нескольких областей разного размера на одном двухмерном изображении, и была дообучена модель для детектирования областей головы, бедра и тела животного на двухмерном изображении. Наличие трех областей — тело, бедро и голову животного — однозначно определяют кадр с целым
животным. Как показано на рис. 3, области идентифицируются тремя цветами, а детектированные области представлены двухмерным окном. Была обработана вся база данных для выделения только полных кадров с животным.
Рис. 3. Области тела, бедра и головы животного обозначены красным, синим и желтым
цветом соответственно
Кроме того, на точность измерения и прогнозирования живого веса может влиять поза животного. Согласно [22], требования к правильной позе можно кратко сформулировать следующим образом: четыре копыта измеряемой животного должны составлять прямоугольник, а ветвь туловища должна быть почти прямой линией. Предложенный метод извлечения скелета [22] обеспечивает лучший способ оценки позы для последующего прогнозирования живого веса. Поскольку методы оценки живого веса могут быть восприимчивы к неправильным позам животного, то необходимо определить схему выбора позы, чтобы гарантировать, что выбрана правильная поза для последующих измерений. В последовательности данных сначала рассматриваем кадры, которые не помечены отсутствием ноги. Если нет ни одного немаркированного кадра, удовлетворяющего порогу, то используем те же критерии для выбора кадров с одной отсутствующей ногой. Если в последовательности нет удовлетворяющего порогу кадра, то кадр не выбирается в этой последовательности.
Первый обработанный набор данных состоит из 1701 RGB изображения и 1701 карты глубины с правой стороны С\ и 1406 RGB изображений и 1406 карт глубины с левой стороны С2 для 154 коров. Второй обработанный набор данных состоит из 1536 RGB изображения и 1536 карты глубины с правой стороны С\ и 1327 RGB изображений и 1327 карт глубины с левой стороны С2 для 121 коровы.
1.3. Шумоочистка RGB изображений
В работе был использован этап предварительной обработки для улучшения качества RGB изображения. В процессе записи или передачи информации на цветных цифровых изображениях часто возникает импульсный шум из-за неисправностей датчиков, ошибок передачи, аналого-цифровом преобразовании [23]. Чтобы улучшить качество цветных изображений, важно использовать эффективные подходы к оцениванию параметров искажения и последующему удалению импульсного шума [24, 25]. Был предложен новый подход к шумоподавлению цветного изображения с помощью морфологической фильтрации, где происходит обнаружение поврежденных пикселей и удаление обнаруженного шума посредством морфологической фильтрации. Предложенный алгоритм позволяет эффективно удалять импульсные помехи на цветных изображениях [26].
1.4. Шумоочистка карты глубины
Карта глубины описывается кусочно-гладкими областями, ограниченными резкими границами объекта, поэтому значение глубины меняется скачкообразно, и небольшая ошибка вокруг границы объекта может привести к значительным артефактам и искажениям. Кроме того, карта глубины зашумлена из-за отражения инфракрасного света, а отсутствующие пиксели без какого-либо значения глубины выглядят как черные дыры на картах глубины. Шум и дыры могут повлиять на точность прогнозирования живого веса, поэтому необходимо использовать алгоритмы шумоподавления и заполнения дыр.
Мы предлагаем использовать переключающийся двусторонний фильтр [27] для удаления шума с карты глубины, снятой с помощью камеры RGB-D. Переключение двусторонней фильтрации применяется не ко всем пикселям карты глубины, а только к тем, где могут быть шумы и дыры, то есть на границах и резких изменениях. Сначала обнаруживаются области с резкими изменениями и границами на изображении RGB, а затем фильтрация применяется только к соответствующим областям на карте глубины. Многочисленные эксперименты [27] показали, что переключающийся двусторонний фильтр дает лучшую производительность с точки зрения точности восстановления карты глубины и скорости среди распространенных алгоритмов удаления шума с карты глубины.
1.5. Шумоочистка облака точек
В последние годы было предложено множество методов фильтрации трехмерных облаков точек. Наши эксперименты показали [28], что алгоритм ROR, реализованный в PCL [29], дает лучший результат с точки зрения точности восстановления облака точек, рассчитанного с помощью расстояния Хаусдорфа, среди существующих алгоритмов. ROR удаляет выбросы, если количество соседей в определенном радиусе поиска меньше заданного порога. Мы можем указать количество соседей, которые должны быть в пределах заданного радиуса, чтобы оставаться в облаке точек. С помощью фильтра VoxelGrid с параметрами листьев (листья задают размер вокселя) для каждой оси на 0.01 уменьшается качество облака, путем аппроксимации их к центройду. Облако точек, подготовленное для проекции, обрабатывается фильтром RadiusOutlierRemoval, который удаляет точку, если количество ее соседей не равно 20 в радиусе 0.05. Пример обработанного облака точек показан на рис. 4.
Рис. 4. Пример облака точек после предобработки
1.6. Удаление фона из облака точек
Важным шагом обработки облака точек является удаление фона из облака точек. Был разработан и реализован алгоритм для вычитания облаков точек. Сначала необходимо получить два облака точек: одно облако с пустым кадром без животного, другое облако с животным. Для этого мы использует всю последовательность кадров, полученную при записи, и также как для предобработки базы данных находим пустой кадр без животного. Далее каждая точка одного облака сравнивается с другим по компонентам (х, у, z координаты). Если абсолютная разница во всех компонентах превышает заданную дельту, то точка переносится в новое облако точек. Наилучший результат достигается при дельта равной 0.1. Пример работы алгоритма представлен на рис. 5: исходный кадр облака точек с животным, облако точек с фоном, и итоговое облако после вычитания облаков точек.
Рис. 5. Пример работы алгоритма: исходный кадр облака точек с животным, облако точек с фоном, и итоговое облако после вычитания облаков точек
1.7. Нормализация позы и вычисление линий симметрии
Двусторонняя симметрия является важным и универсальным понятием среди животных. Симметричная плоскость животного используется для получения осей X, Y, Z. Поиск подходящих ориентаций часто помогает в автоматизированном поиске и обработке трехмерных объектов. Кроме того, нормализация позы помогает алгоритмам машинного обучения учитывать информацию о позе, делая прогнозы распознавания объектов более точными.
Мы предложили быстрый алгоритм обнаружения двусторонней симметрии для облака точек [30, 31]. Сначала был использован алгоритм PC А для обнаружения начальной симметрии. Затем путем полного перебора плоскостей симметрии, проходящих через центр тяжести относительно исходной плоскости симметрии, определялась оптимальная плоскость симметрии с помощью модифицированной метрики Хаусдорфа.
Чтобы оценить точность и скорость предлагаемого алгоритма обнаружения симметрии на реальных, мы сравним предложенный алгоритм с алгоритмом РСА. Плоскости симметрии по осям X, Y, Z из алгоритма РСА отображаются в виде плоскости, закрашенной красным цветом, из предлагаемого алгоритма отображаются в виде плоскости, закрашенной зеленым цветом. Результаты обнаружения симметрии на реальных данных корова показано на рис. 6. Для отсканированной модели коровы плоскость симметрии по оси X из алгоритма РСА совпадает с предложенным алгоритмом. По осям Y и Z предложенный алгоритм в данном случае немного исправляет ситуацию.
Рис. 6. Плоскости симметрии коровы
Для всего облака с помощью предложенного метода вычисляются линии симметрии. Далее, для выравнивания, облако с помощью найденных коэффициентов плоскости и декартова базиса собственного подпространства выравнивается поза животного параллельно нормированной плоскости OXZ. На рис. 7 приведен пример выровненного облако точек.
Рис. 7. Пример выровненного облако точек животного
1.8. Вычисление проекции карты глубины (2.5D карта глубины)
Был разработан и реализован алгоритм вычисления плоских проекций облаков точек. Полученное облако переносится к началу системы координат (т. е. крайняя точка параллелепипеда, в который вписано облако, перемещается в точку (0,0,0)). Средствами библиотеки OpenCV в памяти создается пустое изображение размером 299 х 150. Максимальными параметрами ширины и высоты животного выбраны значения 2.5 и 1.35 соответственно. Все координаты точек облака нормализуются к размеру изображения, и по координатам х и у точки из облака в пустом изображении устанавливается значение цвета z. Полученное изображение сохраняется в формате bmp. На рис. 8 показан пример такого выравнивания.
Рис. 8. Пример полученной проекции карты глубины (2.5D карта глубины)
1.9. Цветная проекция (RGB проекция)
Из-за того, что облака изначально являются сильно разряженными (количество точек в них относительно мало), их цветные проекций имеют большие расстояния между пикселами. Так как увеличение количества точек в облаке не приводит к приемлемому результату, то был разработан алгоритм для вычисления цветной проекции. Алгоритм основан на медианном фильтре в заданном окне. Задается радиус окна, центральный пиксел заменяется на среднее значение всех пикселов, попавших в окно, при этом условием замены является нахождение в квадрате не менее, чем к пикселов, потому как малое количество пикселов дает не приемлемый результат. В результаты многочисленных экспериментов, размер окна 7 дает приемлемый результат, в качестве к было выбрано значение 13. Сложность предложенного алгоритма вычисления цветной проекции оценивается как О где пит —
ширина и высота изображения, s — площадь окна. На рис. 9 представлен пример цветной проекции.
1.10. Предобработка изображений для входа в нейронную сеть
Изменение размера (image resize). Разрешение карты глубины составляет 512 х 424 пикселей, a RGB изображения — 1920 х 1080 пикселей, поэтому необходимо было изменить размер изображения с учетом соотношения сторон, определяемого как г = w/h, где г — соотношение сторон, wnh — ширина и высота изображения, соответственно. Соотноше-
Рис. 9. Результаты вычисления цветной проекции при размере окна 5, 6, и 7,
соответственно
ние сторон рассматривалось для изменения размера изображения как параметр, который помогает сохранить наилучшее качество исходного изображения в процедурах понижения и повышения размера изображения. Большинство предварительно обученных моделей используют размер изображения 224 х 224 (ширина, высота), который используется в качестве целевого размера. При повышении размера изображения использовалась кубическая интерполяция, а при понижении размера изображения наилучшие результаты дает интерполяция по площади.
Нормализация изображений (Feature standardisation). После предварительной обработки изображения карта глубины и RGB изображение имеют разные значения пикселей. Чтобы уменьшить это влияние на результаты предсказания, перед обучением модели данные необходимо нормализовать, чтобы обеспечить одинаковый порядок значений пикселей. Существует три основных метода масштабирования значений пикселей, поддерживаемых классом ImageDataGenerator из библиотеки Keras [32]: нормализация пикселей (масштабирование значений пикселей до диапазона [0,1]); центрирование пикселей (масштабирование значений пикселей до нулевого среднего значения); стандартизация пикселей (масштабирование значений пикселей до нулевого среднего значения и единичной дисперсии). Алгоритм стандартизации пикселей достигает наилучшей производительности. Алгоритм нормализации StandardScaler основан на удалении среднего значения и масштабировании до единичной дисперсии, и определяется как
х — и
V = -----
S
где х — текущее значение признака, п — нормализованное значение признака, и — среднее значение для всего обучающего набора данных, s — стандартное отклонение для всего обучающего набора данных.
2. Модель прогнозирования живого веса
Глубокое обучение — это общий метод машинного обучения, при котором модель обучается без специализированных алгоритмов под конкретные задачи, а использует иерархическое или многоуровневое обучение. Сверточная нейронная сеть (CNN), вероятно, является самой популярной архитектурой, используемой в настоящее время в компьютерном зрении. Глубокое обучение реализовано с помощью библиотеки Keras [32].
Модель MRGBDM (Model RGB and Depth Map) для прогнозирования живого веса коровы показан на рис. 10, на котором входными данными являются изображения RGB и карты глубины. Модель содержит 3 блока свертки (coni, conv2, conv3) и два полносвязанных слоя (FC и OUT). Блок convl имеет два слоя с 64 3 х 3 фильтрами, блок conv2 имеет два слоя с 128 3 x3 фильтрами, и последний блок свертки имеет три слоя с 256 3 x 3 фильтрами. После блоков convl, conv2 и conv3 используются слои подвыборки с размером ядра 2x2. Усеченное линейное преобразование (Rectified Linear Unit, ReLU), которое не показано на рис. 10, является функцией активации, применяемой после каждого сверточного слоя и полносвязного слоя.
Модель MRGB (Model RGB) для предсказания живого веса коровы показан на рис. 11, на котором входными данными являются только RGB изображения. Модель содержит 3 блока свертки (coni, conv2, conv3) и два полносвязанных слоя (FC и OUT). Блок convl имеет 32 3 х 3 фильтра, блок conv2 имеет 64 3 х 3 фильтра, и последний блок свертки имеет 128 3x3 фильтра. После блоков convl, conv2 и conv3 используются слои подвыборки с размером ядра 2x2. Усеченное линейное преобразование ReLU, которое не показано на рис. 11, является функцией активации, применяемой после каждого сверточного слоя и полносвязного слоя.
Модель MDM (Model Depth Мар) для предсказания живого веса коровы показан на рис. 12, на котором входными данными являются только карты глубины. Модель содержит 3 блока свертки (coni, conv2, conv3) и два полносвязанных слоя (full и out). Блок convl имеет 64 3 х 3 фильтра, блок conv2 имеет 64 3 х 3 фильтра, и последний блок свертки имеет 256 3 x 3 фильтра. После блоков convl, conv2 и conv3 используются слои максимального объединения с размером ядра 2x2. Усеченное линейное преобразование ReLU, которое не показано на рис. 12, является функцией активации, применяемой после каждого сверточного слоя и полносвязного слоя.
Основной задачей для предложенных моделей является оценка живого веса коровы с использованием входного RGB изображения или/и входной карты глубины. Регрессия живого веса входного изображения вычисляется с помощью функций потерь следующим образом
где 0 — набор параметров модели, Х% — входное RGB изображение или/и входная карта глубины, а п — номер обучающего набора данных. Ру — это потеря между оцененным весом Fy{Xi; 0) (выход полностью подключенного слоя OUT) и истинным весом 1/. Потери минимизируются с помощью мини-пакетного градиентного спуска и алгоритма обратного распространения ошибок.
Изначально набор данных был разделен случайным образом на две части — обучающий (70%) и тестовый (30%) набор данных. Кроме того, 20% обучающего набора данных используется для валидации. Для глубокого обучения оптимизация гиперпараметров важ-
(2)
64 64 s conv2
convl
Рис. 10. Структура сверточной нейронной сети MRGBDM для прогнозирования живого веса коровы с использованием входного RGB изображения и входной карты глубины
32 N conv2
convl
Рис. 11. Структура сверточной нейронной сети MRGB для прогнозирования живого веса коровы с использованием входного RGB изображения
на для решения проблемы выбора набора оптимальных гиперпараметров. Был использован традиционный способ оптимизации гиперпараметров с помощью поиска с кросс-валидацией (GridSearchCV [32]), который представляет собой просто исчерпывающий поиск по заданному вручную подмножеству гиперпараметрического пространства глубокой сети. С помощью GridSearchCV были найдены оптимальные гиперпараметры для всех использованных моделей.
2.1. Дополнение данных (Data augmentation)
При ограниченном количестве доступных изображений у нас мало вариативности в данных, что может привести к переобучению. Чтобы решить эту проблему, необходимо
32 ^ conv2
convl
Рис. 12. Структура сверточной нейронной сети MDM для прогнозирования веса крупного рогатого скота с использованием входной карты глубины
дополнить обучающие данные синтезированными и модифицированными изображениями. Для дополнения данных использовалась комбинация преобразований поворота по трем осям X, Y, Z на ±5 градуса, сдвиг по высоте и ширине на ±50 см, что отвечает за смещение по осям X, Y, а также случайное масштабирование на ±0.2, что отвечает за смещение по оси Z. При использовании дополнения данных общий размер данных увеличился в 10 раз. В целом, первый полный набор данных состоит из 31 070 RGB изображений и 31 070 карт глубины для 154 герефордских коров. Второй полный набор данных состоит из 28 630 RGB изображений и 28 630 карт глубины для 121 абердин-ангусских коров.
2.2. Предобученные модели (Transfer Learning mode)
Модели требуют больших объемов данных для правильного и точного обучения. В области сельского хозяйства обычно трудно получить такие большие наборы данных, что связано не только с ограниченным количеством исследований, проводимых на одном предприятии, но и с объемом работы, необходимой для ручной маркировки животных. Поэтому данная работа будет исследовать подход трансферного обучения. Для этого необходимо повторно использовать предобученные модели CNN, которые ранее были обучены для других задач, и дообучить их под нашу текущую проблему. Предварительно обученная модель EfficientNet, используемая в данной работе, ранее применялась для классификации изображений [33]. В качестве экстрактора признаков используется трансфертное обучение, т.е. все слои замораживаются, и только верхний слой исходного классификатора переобучается для новых целевых классов. Кроме того, необходимо настроить нейронную сеть для достижения прогнозирования живого веса корова по RGB изображениям и картам глубины, или цветным проекциям и 2.5D проекциям. Мы переносим все веса из EfficientNet, но заменяем последний полносвязанный слой (FC8) новым последним полностью связанным слоем и слоем softmax. Новый последний слой имеет размер, равный 1, а веса инициализируют-
ся случайным образом из гауссовского распределения с нулевым средним и стандартным отклонением 0.01. Мы используем SGD с использованием мини-батчей из 32 образцов и устанавливаем скорость обучения 0.001 для предварительно обученных слоев, и скорость обучения 0.01 для последнего выходного слоя.
3. Результаты экспериментов
Для оценки эффективности моделей, используемых в данном исследовании для прогнозирования живого веса крупного рогатого скота, применялись различные критерии. Рассмотрим различные общепринятые метрики. Были использованы средняя абсолютная ошибка (МАЕ) и средняя абсолютная процентная ошибка (МАРЕ) в качестве показателей эффективности, которые определяются как
где п — число образцов набора данных, у — среднее значение всех известных значений живого веса, yi, г = 1,,п — известное значение живого веса, и к, i = 1,,п — предсказанное значение живого веса.
Модели обучаются на графическом процессоре Tesla V100 в течение 27 эпох. Оптимизатор — Adam, скорость обучения — 1е-5, затухание веса — 1е-5. Размер партии задается максимально возможным в пределах допустимого диапазона видеопамяти 16 Гб. Модель каждой эпохи будет тестироваться на тестовом наборе данных, и в случае, если модель имеет меньший МАЕ, чем на обучающей выборке, то она будет сохранена. МАЕ — это средняя абсолютная ошибка между предсказанным весом и истинным значением. В обучающем наборе данных 48 000 изображений, в тестовом наборе данных 11 700 изображений с крупным рогатым скотом 123 герефордовских коров и 96 абердин-ангусс коров. Тестовый набор данных состоит из 31 герефордовских коров и 25 абердин-ангусс коров, которые полностью не связаны с тренировочным набором данных.
В работе [17] были получены результаты части экспериментов, в которых на вход предложенным моделям с глубоким обучением подавались RGB изображения и карты глубины. Результаты показывают, что модели становятся лучше, когда используется дополнение данных и тонкая настройка. В данной работе мы использовали кроме RGB изображения и карты глубины еще и цветные проекции, и 2.5D проекции.
Результаты экспериментов приведены в табл. 1. Мы обучаем оригинальные сети MRGBDM, MRGB, MDM и предобученную EfficientNet (ENET), в качестве входа используем разные комбинации RGB изображений и карты глубины, а также RGB проекции и проекции карты глубины. В табл. 1 приведены результаты различных метрик, используемых для оценки эффективности модели на обучающей и тестовых наборах данных. Таблица 1 содержит итоговую точность прогнозирования живого веса крупного рогатого скота для каждой протестированной модели. Предложенная модель MRGBDM основана на применении RGB проекции и проекции карты глубины и является лучшей по точности прогноза с показателем 8.4 по метрике МАРЕ. Из таблицы видно, что использование RGB проекции и проекции карты может значительно уменьшить ошибки МАЕ и МАРЕ. Можно сделать
(3)
1 П £ Vi- к
(4)
вывод, что карта глубины содержит много ценных характеристик для регрессии изображения, в отличие от RGB изображения. Предобученная ENET дает хуже результаты, МАРЕ меньше на 1.5, чем у лучшей модели MRGBDM с МАРЕ 8.4.
Таблица 1. Результаты прогнозирования живого веса МАЕ и МАРЕ крупного рогатого скота с помощью предложенных моделей MRGBDM, MRGB, MDM и предварительно обученной моделью EfficientNet (ENET) на обучающем и тестовом наборе данных
Вход Модель Обучающая Тестовая
MAE MAPE MAE MAPE
MRGBDM 37.9 9.1 40.1 9.6
Сырые RGB изображения MRGB 46.9 11.1 50.3 11.9
и карты глубины MDM 40.5 9.5 43.5 10.2
ENET 41.1 9.8 43.6 10.4
MRGBDM 34.2 8.1 35.5 8.4
RGB проекция и проекции MRGB 42.5 10.1 45.6 10.8
карты глубины MDM 37.6 8.9 39.7 9.4
ENET 38.9 9.2 41.8 9.9
Бесконтактное измерение веса позволяет сэкономить время и избежать стресса у крупного рогатого скота. Лучшим вариантом является измерение веса по RGB изображениям и карте глубины с пространственной информацией. Были использованы для экспериментов две базы с крупным рогатым скотом 154 герефордовских коров и 121 абердин-ангусс коров. Также был использован алгоритм выбора кадров, на которых присутствует целое животное в правильной осанке, из общей последовательности изображений с помощью метода детектирования области головы, бедра и тела животного на двухмерном RGB изображении. Однако, существует ряд проблем: вариативность окружающей среды, шумы и отсутствие части данных, положение в пространстве животного, общий масштаб, небольшая выборка обучающих данных, что необходимо учитывать особенно для обучения глубоких сетей. Поэтому мы разработали ряд алгоритмов предварительной обработки RGB изображений и карты глубины, включая, подавление шума на RGB изображениях и карт глубины, восстановление облака точек, а также удаление фона из облака точек и нормализация позы животного, что позволило сохранить информацию о теле крупного рогатого скота и исключить влияние окружающей среды. После обработки изображения поступают в модель прогнозирования веса. В данной статье было предложено использовать RGB проекцию и проекцию карты глубины в качестве входа в глубокую нейронную сеть вместо сырых RGB изображений и карт глубины, что позволило повысить надежность прогнозирования живого веса крупного рогатого скота. Кроме того, с помощью проекций удалось получить трехмерное дополнение данных, что позволило расширить размер выборки для обучения глубоких сетей.
В будущем для повышения точности регрессии изображений можно использовать предварительно обработанное облако точек в качестве входа в глубокую нейронную сеть.
Бесконтактное измерение живого веса крупного рогатого скота может быть использовано в сельском хозяйстве: для объективной оценки племенных животных в ходе бонитировки; для оценки коммерческой стоимости скота при работе аукционов скота разных стран; для обоснования дальнейшего использования молодняка, в том числе для откорма с
перспективой исключения необходимости выполнения генетической экспертизы животных; для разработки аналоговой технологии оценки состояния здоровья и продуктивности животных на промышленных птицеводческих и свиноводческих комплексах. Потребителями созданного интеллектуального продукта могут стать: 1) ассоциации по породам скота и союзы, занимающиеся разведением чистопородных животных; 2) аукционы и рынки живого скота; 3) рестораторы и магазины, приобретающие животноводческую продукцию; 4) откормочные площадки и другие организации, проводящие экспертизу скота.
Заключение
В данной работе ыло изучено применение глубоких моделей к задаче регрессии изображений для прогнозирования живого веса крупного рогатого скота. Были предложены методы для предобработки RGB изображений и карты глубины и создании цветной RGB проекции и 2.5D карты глубины для прогнозирования живого веса на основе регрессии изображений с помощью методов глубокого обучения. Кроме того, был использован метод трехмерной аугментации цветной проекции и 2.5D карты глубины с помощью жестких преобразований в виде трехмерных вращений и перемещений, что позволило увеличить ограниченный набор данных и повысить эффективность прогнозирования живого веса при наличии вариаций позы, положения и масштаба животного. Была получена оценка эффективности предложенных моделей MRGBDM, MRGB, MDM и предварительно обученную модель ENET с помощью методов тонкой настройки и дополнения данных. Результаты показывают, что модели становятся эффективней, когда используется дополнение данных и тонкая настройка. Лучшей моделью является предложенная модель MRGBDM с МАРЕ 8.4%, использующая цветную проекцию и 2.5D карты глубины. Можно сделать вывод, что карта глубины содержит много ценных характеристик для регрессии изображений, в отличие от RGB изображения. Были показаны результаты на реальных наборах данных, которые демонстрируют, что предложенная модель MRGBDM может достичь уровня точности измерения веса, сравнимого с тем, который достигается традиционным взвешиванием. В будущем предполагается предобработать карту глубины, чтобы выбрать только область с животным. Также в будущем для повышения точности регрессии изображений можно использовать облако точек в качестве входа в глубокую нейронную сеть.
Литература
1. Wang Z., Shadpour S., Chan E., et al. ASAS-NANP SYMPOSIUM: Applications of machine learning for livestock body weight prediction from digital images / / Journal of Animal Science. 2021. Vol. 99, no. 2. DOI: 10.1093/jas/skab022.
2. Ruchay A., Kober V., Dorofeev K., et al. Accurate body measurement of live cattle using three depth cameras and non-rigid 3-D shape recovery // Computers and Electronics in Agriculture. 2020. Vol. 179. P. 105821. DOI: 10.1016/j . compag.2020.105821.
3. Kuzuhara Y., Kawamura K., Yoshitoshi R., et al. A preliminarily study for predicting body weight and milk properties in lactating Holstein cows using a three-dimensional camera system // Computers and Electronics in Agriculture. 2015. Vol. 111. P. 186-193. DOI: 10.1016/j.compag.2014.12.020.
4. Sawanon S., Boonsaen Р., Innurak Р. Body Measurements of Male Kamphaeng Saen Beef Cattle as Parameters for Estimation of Live Weight // Kasetsart Journal - Natural Science. 2011. Vol. 45, no. 3. P. 428-434.
5. Wangchuk K., Wangdi J., Mindu M. Comparison and reliability of techniques to estimate live cattle body weight // Journal of Applied Animal Research. 2017. Vol. 46. P. 4. DOI: 10.1080/09712119.2017.1302876.
6. Vanvanhossou F., Diogo R., Dossa L. Estimation of live bodyweight from linear body measurements and body condition score in the West African Savannah Shorthorn Cattle in North-West Benin // Cogent Food And Agriculture. 2018. Vol. 4, no. 1. P. 1549767. DOI: 10.1080/23311932.2018.1549767.
7. Huma Z., Iqbal F. Predicting the body weight of Balochi sheep using a machine learning approach // Turkish journal of veterinary and animal sciences. 2019. Vol. 43, no. 4. P. 500-506. DOI: 10.3906/vet-1812-23.
8. Hempstalk K., Mcparland S., Berry D. Machine learning algorithms for the prediction of conception success to a given insemination in lactating dairy cows // Journal of dairy science. 2015. Vol. 98, no. 8. P. 5262-5273. DOI: 10.3168/jds. 2014-8984.
9. Miller G.A., Hyslop J.J., Barclay D., et al. Using 3D Imaging and Machine Learning to Predict Liveweight and Carcass Characteristics of Live Finishing Beef Cattle // Frontiers in Sustainable Food Systems. 2019. Vol. 3. P. 30. DOI: 10.3389/fsufs. 2019.00030.
10. Milosevic B., Ciric S., Lalic N., et al. Machine learning application in growth and health prediction of broiler chickens // World’s Poultry Science Journal. 2019. Vol. 75. P. 401-410. DOI: 10.1017/S0043933919000254.
11. Weber V., Weber F., Gomes R., et al. Prediction of Girolando cattle weight by means of body measurements extracted from images // Revista Brasileira de Zootecnia. 2020. Mar. Vol. 49. DOI: 10.37496/rbz4920190110.
12. Tasdemir S., Urkmez A., Inal S. Determination of body measurements on the Holstein cows using digital image analysis and estimation of live weight with regression analysis // Computers and Electronics in Agriculture. 2011. Vol. 76, no. 2. P. 189-197. DOI: 10.1016/ j.compag.2011.02.001.
13. Pezzuolo A., Milani V., Zhu D., et al. On-Barn Pig Weight Estimation Based on Body Measurements by Structure-from-Motion (SfM) // Sensors. 2018. Vol. 18, no. 11. Article 3603. DOI: 10.3390/sl8113603.
14. Song X., Bokkers E., Tol P. van der, et al. Automated body weight prediction of dairy cows using 3-dimensional vision // Journal of Dairy Science. 2018. Vol. 101, no. 5. P. 4448-4459. DOI: 10.3168/jds. 2017-13094.
15. Ranganathan H., Venkateswara H., Chakraborty S., Panchanathan S. Deep Active Learning for Image Regression // Deep Learning Applications. Singapore: Springer Singapore, 2020. P. 113-135. DOI: 10.1007/978-981-15-1816-4_7.
16. Bezsonov O., Lebediev O., Lebediev V., et al. Breed Recognition and Estimation of Live Weight of Cattle Based on Methods of Machine Learning and Computer Vision // Eastern-European Journal of Enterprise Technologies. 2021. Vol. 6/9, no. 114. P. 64-74. DOI: 10. 15587/1729-4061.2021.247648.
17. Ruchay A., Dorofeev К., Kalschikov V., et al. Live weight prediction of cattle using deep image regression / / 2021 IEEE International Workshop on Metrology for Agriculture and Forestry (MetroAgriFor). 2021. P. 32-36. DOI: 10 . 1109 / MetroAgriFor52389 . 2021 . 9628547.
18. Ruchay A., Dorofeev K., Kober A., et al. Accuracy analysis of 3D object shape recovery using depth filtering algorithms // Applications of Digital Image Processing XLI. Vol. 10752. SPIE, 2018. P. 1075221-10. DOI: 10.1117/12.2319907.
19. Ruchay A., Kolpakov V., Kosyan D., et al. Genome-Wide Associative Study of Phenotypic Parameters of the 3D Body Model of Aberdeen Angus Cattle with Multiple Depth Cameras // Animals. 2022. Vol. 12, no. 16. Article 2128. DOI: 10.3390/anil2162128.
20. Lu J., Guo H., Du A., et al. 2-D/3-D fusion-based robust pose normalisation of 3-D livestock from multiple RGB-D cameras // Biosystems Engineering. 2021. Vol. 223. P. 129-141. DOI: 10.1016/j.biosystemseng.2021.12.013.
21. Bochkovskiy A., Wang C.-Y., Liao H.-Y.M. YOLOv4: Optimal Speed and Accuracy of Object Detection // CoRR. 2020. Vol. abs/2004.10934. arXiv: 2004.10934. URL: https: //arxiv.org/abs/2004.10934.
22. Hu Y., Luo X., Gao Z., et al. Curve Skeleton Extraction from Incomplete Point Clouds of Livestock and Its Application in Posture Evaluation // Agriculture. 2022. Vol. 12, no. 7. Article 998. DOI: 10.3390/agriculturel2070998.
23. Ruchay A., Kober V. Clustered impulse noise removal from color images with spatially connected rank filtering // Applications of Digital Image Processing XXXIX. Vol. 9971. SPIE, 2016. 99712Y-10. DOI: 10.1117/12.2236785.
24. Ruchay A., Kober V. Removal of impulse noise clusters from color images with local order statistics // Applications of Digital Image Processing XL. Vol. 10396. SPIE, 2017. P. 1039626-10. DOI: 10.1117/12.2272718.
25. Ruchay A., Kober V. Impulsive noise removal from color video with morphological filtering // Applications of Digital Image Processing XL. Vol. 10396. SPIE, 2017. P. 1039627-9. DOI: 10.1117/12.2272719.
26. Ruchay A., Kober V. Impulsive Noise Removal from Color Images with Morphological Filtering // Analysis of Images, Social Networks and Texts. Vol. 10716. Cham: Springer International Publishing, 2018. P. 280-291. Lecture Notes in Computer Science. DOI: 10. 1007/978-3-319-73013-4_26.
27. Ruchay A., Dorofeev K., Kalschikov V. A novel switching bilateral filtering algorithm for depth map // Computer Optics. 2019. Vol. 43, no. 6. P. 1001-1007. DOI: 10.18287/2412-6179-2019-43-6-1001-1007.
28. Ruchay A.N., Dorofeev K.A., Kalschikov V.. Accuracy analysis of 3D object reconstruction using point cloud filtering algorithms // CEUR Workshop Proceedings. 2019. Vol. 2391. P. 169-174. DOI: 10.18287/1613-0073-2019-2391-169-174.
29. Rusu R.B., Cousins S. 3D is here: Point Cloud Library (PCL) // 2011 IEEE International Conference on Robotics and Automation. 2011. P. 1-4.
30. Ruchay A., Gladkov A., Chelabiev R. Fast 3D object pose normalization for point cloud // Applications of Digital Image Processing XLIV. Vol. 11842. SPIE, 2021. DOI: 10.1117/ 12.2593893.
31. Ruchay A., Kalschikov V., Gridnev A., Guo H. Fast 3D object symmetry detection for point cloud // Applications of Digital Image Processing XLIV. Vol. 11842. SPIE, 2021. DOI: 10.1117/12.2593895.
32. Chollet F. et al. Keras. 2015. URL: https://github.com/fchollet/keras.
33. Tan M., Le Q. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks // Proceedings of the 36th International Conference on Machine Learning. Vol. 97 / ed. by K. Chaudhuri, R. Salakhutdinov. PMLR, 2019. P. 6105-6114. Proceedings of Machine Learning Research.
Ручай Алексей Николаевич, к.ф.-м.н., доцент, заведующий кафедрой компьютерной безопасности и прикладной алгебры; Челябинский государственный университет (Челябинск, Российская Федерация); доцент кафедры защиты информации, Южно-Уральский государственный университет (национальный исследовательский университет) (Челябинск, Российская Федерация); старший научный сотрудник, Федеральный научный центр биологических систем и агротехнологий РАН (Оренбург, Российская Федерация).
DOI: 10.14529/cmse230101
PREDICTION MODEL OF LIVE WEIGHT USING DEEP REGRESSION RGB-D IMAGES
© 2023 A.N. Ruchay1,2,3
1 South Ural State University (pr. Lenina 16, Chelyabinsk, 454080 Russia),
2 Chelyabinsk State University (st. Br. Kashirinyh 129, Chelyabinsk, 454001 Russia),
3Federal Research Centre of Biological Systems and Agrotechnologies of RAS (st. 9 Yanvarya 29, Orenburg, 460000 Russia)
E-mail: ran@csu.ru Received: 13.02.2023
Predicting live weight helps to monitor animal health, effectively conduct genetic selection and determine optimal time of slaughter. On large farms, accurate and expensive industrial scales are used to measure live weight. However, a promising alternative to that is estimation of live weight by using morphometric measurements of an animal and then applying regression equations linking such measurements to live weight. Manual measurements of animals using a tape measure are time-consuming and stressful for animals. Therefore, computer vision technology is now increasingly being used for non-contact morphometric measurements. This article proposes a new model for predicting live weight based on image regression using deep learning techniques. It is shown that, on real datasets the proposed model achieves weight measurement accuracy with a MAE of 35.5 and MAPE of 8.4 on the test dataset.
Keywords: image regression, live body weight prediction, cattle, deep learning.
FOR CITATION
Ruchay A.N. Prediction Model of Live Weight Using Deep Regression RGB-D Images. Bulletin of the South Ural State University. Series: Computational Mathematics and Software Engineering. 2023. Vol. 12, no. 1. P. 5-27. (in Russian) DOI: 10.14529/cmse230101.
This paper is distributed under the terms of the Creative Commons Attribution-Non Commercial 4-0 License which permits non-commercial use, reproduction and distribution of the work without further permission provided the original work is properly cited.
References
1. Wang Z., Shadpour S., Chan E., et al. ASAS-NANP SYMPOSIUM: Applications of machine learning for livestock body weight prediction from digital images. Journal of Animal Science. 2021. Vol. 99, no. 2. DOI: 10.1093/jas/skab022.
2. Ruchay A., Kober V., Dorofeev K., et al. Accurate body measurement of live cattle using three depth cameras and non-rigid 3-D shape recovery. Computers and Electronics in Agriculture. 2020. Vol. 179. P. 105821. DOI: 10.1016/j . compag.2020.105821.
3. Kuzuhara Y., Kawamura K., Yoshitoshi R., et al. A preliminarily study for predicting body weight and milk properties in lactating Holstein cows using a three-dimensional camera system. Computers and Electronics in Agriculture. 2015. Vol. 111. P. 186-193. DOI: 10. 1016/j.compag.2014.12.020.
4. Sawanon S., Boonsaen P., Innurak P. Body Measurements of Male Kamphaeng Saen Beef Cattle as Parameters for Estimation of Live Weight. Kasetsart Journal - Natural Science. 2011. Vol. 45, no. 3. P. 428-434.
5. Wangchuk K., Wangdi J., Mindu M. Comparison and reliability of techniques to estimate live cattle body weight. Journal of Applied Animal Research. 2017. Vol. 46. P. 4. DOI: 10.1080/09712119.2017.1302876.
6. Vanvanhossou F., Diogo R., Dossa L. Estimation of live bodyweight from linear body measurements and body condition score in the West African Savannah Shorthorn Cattle in North-West Benin. Cogent Food And Agriculture. 2018. Vol. 4, no. 1. P. 1549767. DOI: 10.1080/23311932.2018.1549767.
7. Huma Z., Iqbal F. Predicting the body weight of Balochi sheep using a machine learning approach. Turkish journal of veterinary and animal sciences. 2019. Vol. 43, no. 4. P. 500-506. DOI: 10.3906/vet-1812-23.
8. Hempstalk K., Mcparland S., Berry D. Machine learning algorithms for the prediction of conception success to a given insemination in lactating dairy cows. Journal of dairy science. 2015. Vol. 98, no. 8. P. 5262-5273. DOI: 10.3168/jds.2014-8984.
9. Miller G.A., Hyslop J.J., Barclay D., et al. Using 3D Imaging and Machine Learning to Predict Liveweight and Carcass Characteristics of Live Finishing Beef Cattle. Frontiers in Sustainable Food Systems. 2019. Vol. 3. P. 30. DOI: 10.3389/fsufs. 2019.00030.
10. Milosevic B., Ciric S., Lalic N., et al. Machine learning application in growth and health prediction of broiler chickens. World’s Poultry Science Journal. 2019. Vol. 75. P. 401-410. DOI: 10.1017/S0043933919000254.
11. Weber V., Weber F., Gomes R., et al. Prediction of Girolando cattle weight by means of body measurements extracted from images. Revista Brasileira de Zootecnia. 2020. Mar. Vol. 49. DOI: 10.37496/rbz4920190110.
12. Tasdemir S., Urkmez A., Inal S. Determination of body measurements on the Holstein cows using digital image analysis and estimation of live weight with regression analysis. Computers and Electronics in Agriculture. 2011. Vol. 76, no. 2. P. 189-197. DOI: 10.1016/ j.compag.2011.02.001.
13. Pezzuolo A., Milani V., Zhu D., et al. On-Barn Pig Weight Estimation Based on Body Measurements by Structure-from-Motion (SfM). Sensors. 2018. Vol. 18, no. 11. Article 3603. DOI: 10.3390/sl8113603.
14. Song X., Bokkers E., Tol P. van der, et al. Automated body weight prediction of dairy cows using 3-dimensional vision. Journal of Dairy Science. 2018. Vol. 101, no. 5. P. 4448-4459. DOI: 10.3168/jds.2017-13094.
15. Ranganathan H., Venkateswara H., Chakraborty S., Panchanathan S. Deep Active Learning for Image Regression. Deep Learning Applications. Singapore: Springer Singapore, 2020. P. 113-135. DOI: 10.1007/978-981-15-1816-4_7.
16. Bezsonov O., Lebediev O., Lebediev V., et al. Breed Recognition and Estimation of Live Weight of Cattle Based on Methods of Machine Learning and Computer Vision. Eastern-European Journal of Enterprise Technologies. 2021. Vol. 6/9, no. 114. P. 64-74. DOI: 10. 15587/1729-4061.2021.247648.
17. Ruchay A., Dorofeev K., Kalschikov V., et al. Live weight prediction of cattle using deep image regression. 2021 IEEE International Workshop on Metrology for Agriculture and Forestry (MetroAgriFor). 2021. P. 32-36. DOI: 10 . 1109 / MetroAgriFor52389 . 2021 . 9628547.
18. Ruchay A., Dorofeev K., Kober A., et al. Accuracy analysis of 3D object shape recovery using depth filtering algorithms. Applications of Digital Image Processing XLI. Vol. 10752. SPIE, 2018. P. 1075221-10. DOI: 10.1117/12.2319907.
19. Ruchay A., Kolpakov V., Kosyan D., et al. Genome-Wide Associative Study of Phenotypic Parameters of the 3D Body Model of Aberdeen Angus Cattle with Multiple Depth Cameras. Animals. 2022. Vol. 12, no. 16. Article 2128. DOI: 10.3390/anil2162128.
20. Lu J., Guo H., Du A., et al. 2-D/3-D fusion-based robust pose normalisation of 3-D livestock from multiple RGB-D cameras. Biosystems Engineering. 2021. Vol. 223. P. 129-141. DOI: 10.1016/j.biosystemseng.2021.12.013.
21. Bochkovskiy A., Wang C.-Y., Liao H.-Y.M. YOLOv4: Optimal Speed and Accuracy of Object Detection. CoRR. 2020. Vol. abs/2004.10934. arXiv: 2004.10934. URL: https : //arxiv.org/abs/2004.10934.
22. Hu Y., Luo X., Gao Z., et al. Curve Skeleton Extraction from Incomplete Point Clouds of Livestock and Its Application in Posture Evaluation. Agriculture. 2022. Vol. 12, no. 7. Article 998. DOI: 10.3390/agriculturel2070998.
23. Ruchay A., Kober V. Clustered impulse noise removal from color images with spatially connected rank filtering. Applications of Digital Image Processing XXXIX. Vol. 9971. SPIE, 2016. 99712Y-10. DOI: 10.1117/12.2236785.
24. Ruchay A., Kober V. Removal of impulse noise clusters from color images with local order statistics. Applications of Digital Image Processing XL. Vol. 10396. SPIE, 2017. P. 1039626-10. DOI: 10.1117/12.2272718.
25. Ruchay A., Kober V. Impulsive noise removal from color video with morphological filtering. Applications of Digital Image Processing XL. Vol. 10396. SPIE, 2017. P. 1039627-9. DOI: 10.1117/12.2272719.
26. Ruchay A., Kober V. Impulsive Noise Removal from Color Images with Morphological Filtering. Analysis of Images, Social Networks and Texts. Vol. 10716. Cham: Springer International Publishing, 2018. P. 280-291. Lecture Notes in Computer Science. DOI: 10 . 1007/978-3-319-73013-4_26.
27. Ruchay A., Dorofeev K., Kalschikov V. A novel switching bilateral filtering algorithm for depth map. Computer Optics. 2019. Vol. 43, no. 6. P. 1001-1007. DOI: 10.18287/2412-6179-2019-43-6-1001-1007.
28. Ruchay A.N., Dorofeev K.A., Kalschikov V.. Accuracy analysis of 3D object reconstruction using point cloud filtering algorithms. CEUR Workshop Proceedings. 2019. Vol. 2391. P. 169-174. DOI: 10.18287/1613-0073-2019-2391-169-174.
29. Rusu R.B., Cousins S. 3D is here: Point Cloud Library (PCL). 2011 IEEE International Conference on Robotics and Automation. 2011. P. 1-4.
30. Ruchay A., Gladkov A., Chelabiev R. Fast 3D object pose normalization for point cloud. Applications of Digital Image Processing XLIV. Vol. 11842. SPIE, 2021. DOI: 10.1117/ 12.2593893.
31. Ruchay A., Kalschikov V., Gridnev A., Guo H. Fast 3D object symmetry detection for point cloud. Applications of Digital Image Processing XLIV. Vol. 11842. SPIE, 2021. DOI: 10.1117/12.2593895.
32. Chollet F. et al. Keras. 2015. URL: https://github.com/fchollet/keras.
33. Tan M., Le Q. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. Proceedings of the 36th International Conference on Machine Learning. Vol. 97 / ed. by K. Chaudhuri, R. Salakhutdinov. PMLR, 2019. P. 6105-6114. Proceedings of Machine Learning Research.
