CC BY
126
УДК 631.3:635
DOI: 10.24411/2587-6740-2020-14076
ПРИМЕНЕНИЕ ДЕТЕРМИНИРОВАННЫХ МЕТОДОВ И КЛАССИЧЕСКИХ АЛГОРИТМОВ МАШИННОГО ОБУЧЕНИЯ ДЛЯ ОБНАРУЖЕНИЯ ПЛОДОВ РОБОТАМИ ДЛЯ СБОРА УРОЖАЯ
А.А. Кузнецова, Т.В. Малева, В.И. Соловьев
ФГОБУ ВО «Финансовый университет при Правительстве Российской Федерации», г. Москва, Россия
Целью исследования является обзор детерминированных методов и классических алгоритмов машинного обучения, используемых в системах машинного зрения роботов для уборки урожая. Рассмотрены детерминированные методы обнаружения плодов на основе анализа цвета, формы и текстуры объектов, применяемые в системах машинного зрения роботов, предназначенных для уборки урожая. Также рассмотрено применение к задаче обнаружения фруктов алгоритмов машинного обучения, основанных на классических методах классификации, регрессии и кластерного анализа, а также простейших нейросетевых моделей. Выявлены наиболее важные характеристики качества алгоритмов обнаружения фруктов: доля необнаруженных алгоритмом фруктов и доля объектов, ошибочно принятых алгоритмом за фрукты. Показано, что детерминированные методы и классические алгоритмы машинного обучения не позволяют (в отличие от современных глубоких сверточных нейронных сетей) обеспечить качество распознавания фруктов, достаточное для использования в системах машинного зрения реальных роботов для сбора урожая плодовых культур.
Ключевые слова: садоводство, робот для сбора урожая, машинное зрение, обработка изображений, распознавание образов, оценка качества.
классифицированных пикселей плодов на основе анализа только инфракрасного спектра [7].
Очевидным преимуществом обнаружения фруктов по цвету является простота реализации, но этот метод очень плохо обнаруживает зеленые и желто-зеленые яблоки. Гроздья красных яблок сливаются в одно большое яблоко, что приводит к неправильному определению координат ограничивающей рамки яблока. Тепловые камеры довольно дороги и неудобны в практическом использовании, поскольку разница между яблоками и листьями обнаруживается только тогда, когда съемка производится в течение двух часов после рассвета.
Введение
Данная работа имеет целью провести подробный обзор детерминированных методов, а также классических алгоритмов машинного обучения, используемых в роботах для уборки урожая, выявить наиболее перспективные алгоритмы, а также наиболее важные с точки зрения практического использования характеристики качества работы этих алгоритмов. Применению современных глубоких сверточных нейронных сетей для обнаружения фруктов будет посвящена отдельная статья в следующем номере журнала.
Обнаружение плодов
по цвету
Эффективность и производительность роботов для сбора урожая в значительной степени определяется алгоритмами, используемыми в системах машинного зрения этих роботов для обнаружения плодов. В существующих прототипах роботов использовались различные техники определения плодов на основании анализа одного или нескольких факторных признаков.
Одним из основных факторов, на основании которых можно распознать на изображении плод, является цвет. Поэтому можно установить цветовой порог, на основании которого определять для каждого пикселя на изображении, принадлежит ли этот пиксель плоду. Поскольку определение цвета очень сильно зависит от условий освещения, обычно используют различные цветовые пространства, отличные от RGB: HIS, CIE L*a*b, LCD и их комбинации.
Для оценки качества работы алгоритмов долгое время рассчитывался показатель доли правильно распознанных (то есть верно отнесенных к плоду или к фону) алгоритмом пикселей на изображении. С практической точки зрения данный показатель интерпретировать невозможно, в отличие от доли необнаруженных алгоритмом фруктов и доли объектов, ошибочно принятых алгоритмом за фрукты.
У.Х. Мао, Б.П. Джи, Дж.К. Чжан, К.К. Жанг и К.А. Ху (2009) использовали бинокулярную
систему машинного зрения, при этом камеры снимали целую яблоню, и для обнаружения яблок на фотографиях использовался индекс цвета Drg-Drb. Результаты эксперимента показали 90%-ю долю правильно классифицированных (то есть верно отнесенных к плоду или к фону) пикселей [1]. Распознавание яблок с помощью отсечения пикселей по цветовому порогу использовалось и в опубликованной в 2014 г. работе К. Вея, К. Джиа, Дж. Лан, И.Ли, И. Зенга и К. Ванга, в которой авторы продемонстрировали 95%-ю долю правильно классифицированных пикселей [2]. Д.М. Буланон, Т.Ф. Беркс и В. Алка-натис (2009) продемонстрировали 74%-ю долю правильно обнаруженных пикселей при обнаружении цитрусовых [3], а Д.М. Буланон и Т. Ка-таока (2010) — 90%-ю долю верно классифицированных пикселей [4]. А. Арефи, А.М. Мотлаг, К. Моллазаде и Р.Ф. Тейммурлу (2011) распознавали спелые томаты в теплице с искусственным освещением, анализируя комбинацию цветовых пространств RGB, HSI и YIQ. На выборке из 110 фото авторы продемонстрировали 96%-ю долю правильно классифицированных пикселей [5].
Конечно, обнаружение яблок по цвету хорошо работает в случае красных яблок, но, как правило, не дает удовлетворительного качества для зеленых яблок [6]. Для решения проблемы распознавания зеленых плодов многие авторы, в частности, Д.М. Буланон, Т.Ф. Беркс и В. Алканатис (2009); Д.М. Буланон и Т. Катаока (2010); Дж.П. Вакс, Х.И. Стерн, Т. Беркс и В. Алканатис (2009, 2010) использовали сочетание анализа изображений в видимом и в инфракрасном спектрах [3, 4, 7].
При этом, например, в работе Дж.П. Вакса, Х.И. Стерна, Т. Беркса и В. Алканатиса (2010) 74%-я доля пикселей, правильно распознанных как пиксели яблок, полученная с помощью сочетания анализа видимого и инфракрасного спектра, сравнивается с 66%-й долей верно распознанных пикселей на основе анализа только видимого спектра и с 52%-й долей правильно
Обнаружение плодов по форме
Яблоки, томаты, цитрусовые и другие сферические фрукты можно обнаруживать на изображениях с помощью алгоритмов, основанных на анализе геометрических форм.
Для идентификации на изображении различных фигур можно использовать преобразование Хафа, позволяющее представлять границы объектов в форме окружностей, что актуально для сферических плодов — яблок, апельсинов, вишни, томатов и др., оператор Кэнни и другие техники А.Д. Уиттейкер, Дж.Е. Майлз и О.Р. Митчелл (1987); З.И. Кси, Т.З. Жанг и Дж.И. Чжао (2007); З. Кси, К. Джи, К. Гуо и С. Жу (2010) использовали для обнаружения фруктов различные модификации кругового преобразования Хафа, предназначенные для повышения качества обнаружения фруктов, частично скрытых листьями или другими фруктами [8, 9, 10]. З. Кси, К. Джи, К. Гуо и С. Жу (2011); Е.Е. Кельман и Р. Линкер (2014) обнаруживали плоды на изображениях путем идентификации выпуклых объектов [11, 12].
Системы на основе таких алгоритмов работают очень быстро, однако сложные сцены, особенно когда плоды перекрываются листьями или другими плодами, как правило, такими системами распознаются недостаточно эффективно.
© Кузнецова А.А., Малева Т.В., Соловьев В.И, 2020 Международный сельскохозяйственный журнал, 2020, том 63, № 4 (376), с. 71-74.
Многие авторы сочетали алгоритмы анализа цвета и геометрических форм объектов на изображениях. Как правило, это приводило к улучшению качества распознавания при неравномерном освещении, перекрытии плодов листьями и другими плодами, а также при других особенностях, характерных для неконтролируемых сред. Одновременный анализ цвета, интенсивности цвета, формы периметра и ориентации в работе Н.М. Патела, Р.К. Джейна и М.В. Джоши (2011) позволило правильно классифицировать 90% пикселей [13]. Сочетание алгоритмов анализа цвета и формы периметра в работе М.В. Хан-нана, Т.Ф. Беркса и Д.М. Буланона (2009) также дало 90%-ю долю правильно классифицированных пикселей [14]. Дж. Лу, Н. Санг и И. Ху (2014) для обнаружения цитрусовых сочетали анализ хроматической аберрации и яркости. Это позволило правильно классифицировать 86% пикселей [15].
В открытой библиотеке по компьютерному зрению OpenCV (https//opencv.org) реализовано значительное число алгоритмов компьютерного зрения, используемых во многих прототипах систем обнаружения плодов. Например, Л. Жиан, З. Ченьян и С. Шуджуан (2012) с помощью алгоритмов OpenCV обнаруживали яблоки [16], а К.Р. Жанг, П. Пенг и И.М. Джин (2016) — ягоды вишни [17].
Главными преимуществами анализа геометрических форм являются высокая скорость и низкая зависимость качества распознавания объектов от уровня освещенности [10]. Однако данный метод дает большую погрешность, поскольку круглую форму имеют не только яблоки, но также просветы, силуэты листьев, пятна и тени на яблоках. Использование алгоритмов выделения окружностей с последующим анализом пикселей по цвету приводит к сильному снижению скорости.
Обнаружение плодов
по текстуре
Фрукты, сфотографированные на улице в естественных условиях сада, отличаются от листьев и веток по текстуре, и это можно использовать для облегчения обнаружения плодов. Отличия текстуры играют особенно важную роль в распознавании плодов в ситуациях, когда плоды сгруппированы в гроздья или перекрываются другими плодами либо листьями.
В работе Дж. Чжао, Дж. Тоу и Дж. Катупитьи (2005) обнаружение яблок проводилось на основе анализа текстуры изображений в сочетании с анализом цвета, при этом доля правильно классифицированных пикселей составила 90% (на очень ограниченном наборе фотографий нескольких десятков яблок) [18]. Дж. Ракун, Д. Стайнко и М. Лакота (2011) обнаруживали яблоки на изображениях с помощью анализа текстуры в сочетании с анализом геометрической формы объектов [19], а Ф. Куртулмус, У.С. Ли и А. Вардар (2011) проводили одновременный анализ текстуры, цвета и формы объектов, что дало возможность верно классифицировать 75% пикселей на изображениях, содержащих цитрусовые плоды [20].
Определение плодов по текстуре работает только на крупных планах при хорошем разрешении, очень плохо работает в контровом свете. Низкая скорость алгоритмов определения плодов по текстуре при слишком высокой
72 -
INTERNATIONAL AGRICULTURAL JOURNAL № 4 (376
доле необнаруженных фруктов влечет неэффективность практического использования таких техник.
Ранние попытки использования
машинного обучения для
обнаружения плодов
Методы машинного обучения применяются для обнаружения фруктов уже давно. Еще в 1977 г. в работе Е.А. Парриша и Дж.А. К. Гоксела [21] был представлен прототип робота, который с помощью алгоритмов машинного обучения находит красные яблоки на фоне зеленых листьев.
П. Вакс, Х.И. Стерн, Т. Беркс и В. Алканатис (2010) применяли кластерный анализ по методу ^-средних координатам a и b визуального изображения в видимом спектре в цветовом пространстве CIE L*a*b, а также к координатам изображения в инфракрасном спектре с последующим удалением шумов [7]. Это позволило правильно классифицировать 74% пикселей на изображениях зеленых яблок на фоне зеленых листьев. П.У. Сайтс и М.Дж. Делвиш (1988) применяли для обнаружения яблок и персиков линейный классификатор и метод ближайшего соседа [22]; Д.М. Буланон, Т. Катаока, Х. Окамо-то и С. Хата (2004) также использовали для обнаружения яблок линейный классификатор [23]; У.К. Сенг и С.Х. Мирисэи (2009) с использованием классификатора по методу ближайшего соседа распознавали на изображениях яблоки, бананы, лимоны и клубнику [24]. Р. Линкер, О. Коэн и А. Наор (2012) использовали для обнаружения зеленых яблок классификатор по методу ближайшего соседа, примененный к данным о цвете и текстуре. Исследователи смогли обнаружить 85% пикселей, относящихся к яблокам, на фотографиях, сделанных в автоматическом режиме, и 95% — на фотографиях, предварительно обработанных вручную [25].
У. Джи, Д. Чжао, Ф.И. Ченг, Б. Ксю, И. Чжанг и Дж. Ванг (2012) использовали для обнаружения яблок метод опорных векторов. В результате в среднем один плод распознавался за 3,5 с, при этом правильно распознанными оказались 89% пикселей [26]. И. Тао и Д. Чоу (2017) с помощью метода опорных векторов на тестовом наборе из 59 яблок (!) правильно распознали 92% пикселей [27].
Очень необычно, что деревья с бустингом практически не использовались в системах обнаружения плодов. Известна работа У.Т. Чжана, К. Хе и С.Л. Ши (2013), в которой для распознавания киви в полевых условиях использовался алгоритм AdaBoost, позволивший достичь 92%-й доли верно обнаруженных фруктов на фоне ветвей, листьев и почвы [28], а также работа И.С. Чжао, Л. Гонга, И.К. Хуанга и К.Л. Лю (2016), в которой алгоритм AdaBoost применялся к анализу цвета для автоматического обнаружения спелых томатов в теплице и показал 96%-ю долю правильно обнаруженных пикселей [29]. Поиск в литературе примеров использования современных алгоритмов XGBoost, LightGBM, CatBoost для обнаружения плодов на фотографиях результатов не дал.
А. Плебе и Дж. Грассо (2001) использовали для распознавания апельсинов нейронную сеть с обратным распространением ошибки, которая верно обнаружила 87% апельсинов на изображениях из тестового набора данных [30].
2020
М. Регунатан и У.С. Ли (2005) построили две нейронные сети с обратным распространением ошибки: одна определяла количество апельсинов на изображении (при этом в среднем она находила на 40% больше фруктов, чем было на фотографии на самом деле), а другая нейронная сеть определяла размер апельсина (в среднем размер оказался занижен на 4%, хотя в отдельных случаях ошибка составляла от -49 до +2б%). Следует отметить, что контрольные выборки были достаточно малыми: первая модель тестировалась всего на 37 фотографиях, вторая — на 32 [31].
Г. Гатика, С. Бест, Дж. Церони и Г. Лефранк (2013) предложили метод обнаружения оливок [32], состоящий из двух этапов. На первом этапе с помощью нейронной сети, построенной на основе алгоритма обратного распространения ошибки, определялось, является ли часть изображения оливкой (доля правильных ответов составила 9б,5%). На втором этапе другая нейронная сеть, также реализующая алгоритм обратного распространения ошибки, определяла оливки, которые не перекрываются другими оливками или ветвями (у этой сети доля правильных ответов составила 88,8%).
Заключение
Практически все рассмотренные работы, посвященные применению детерминированных методов и классических алгоритмов демонстрировали принципиальную теоретическую возможность использования машинного зрения в роботах для сборки плодов. Однако следует отметить, что все рассмотренные работы по применению машинного обучения для обнаружения фруктов тестировались на очень ограниченных наборах данных из нескольких десятков изображений, при этом, как правило, не оценивались наиболее важные с практической точки зрения характеристики качества алгоритмов — доля необнаруженных плодов и доля участков фона, ошибочно принятых за плоды. Для оценки качества работы алгоритмов долгое время рассчитывался показатель доли правильно распознанных (то есть верно отнесенных к плоду или к фону) пикселей на изображении. С практической точки зрения данный показатель интерпретировать невозможно, в отличие от доли необнаруженных алгоритмом фруктов и доли объектов, ошибочно принятых алгоритмом за фрукты.
Все это позволяет считать, что детерминированные методы и классические алгоритмы машинного обучения не позволяют (в отличие от современных глубоких сверточных нейронных сетей) обеспечить качество распознавания фруктов, достаточное для использования в реальных промышленных образцах.
Литература
1. Mao, W.H., Ji, B.P., Zhan, J.C., Zhang, X.C. & Hu, X.A. (2009). Apple location method for the apple harvesting robot. In: Proceedings of the 2nd International Congress on Image and Signal Processing — CIPE 2009, Tianjin, China, 7-19 October 2009, pp. 17-19.
2. Wei, X., Jia, K., Lan, J., Li, Y., Zeng, Y. & Wang, C. (2014). Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot. Optics, vol. 125, no 12, pp. 5б84-5б89.
3. Bulanon, D.M., Burks, T.F. & Alchanatis, V. (2009). Image fusion of visible and thermal images for fruit detection. Biosystems Engineering, vol. 103, no 1, pp. 12-22.
www.mshj.ru
4. Bulanon, D.M. & Kataoka, T. (2010). A fruit detection system and an end effector for robotic harvesting of Fuji apples. Agricultural Engineering International CIGR Journal, vol. 12, no. 1, pp. 203-210.
5. Arefi, A., Motlagh, A.M., Mollazade, K. & Teimour-lou, R.F. (2011). Recognition and localization of ripen tomato based on machine vision. Australian Journal of Crop Science, vol. 5, no. 10, pp. 1144-1149.
6. Zhao, Y.S., Gong, L., Huang, Y.X. & Liu, C.L. (2016). A review of key techniques of vision-based control for harvesting robot. Computers and Electronics in Agriculture, vol. 127, pp. 311-323.
7. Wachs, J.P., Stern, H.I., Burks, T. & Alchanatis, V. (2010). Low and high-level visual feature-based apple detection from multi-modal images. Precision Agriculture, vol. 11, pp. 717-735.
8. Whittaker, A.D., Miles, G.E. & Mitchell, O.R. (1987). Fruit location in a partially occluded image. Transactions of the American Society of Agricultural Engineers, vol. 30, no. 3, pp. 591-596.
9. Xie,Z.Y.,Zhang, T.Z. & Zhao, J.Y. (2007). Ripened strawberry recognition based on Hough transform. Transactions of the Chinese Society of Agricultural Machinery, vol. 38, no. 3, pp. 106-109.
10. Xie, Z., Ji, C., Guo, X. & Zhu, S. (2010). An object detection method for quasi-circular fruits based on improved Hough transform. Transactions of the Chinese Society of Agricultural Machinery, vol. 26, no. 7, pp. 157-162.
11. Kelman, E.E. & Linker, R. (2014). Vision-based localization of mature apples in tree images using convexity. Biosystems Engineering, vol. 118, no. 1, pp. 174-185.
12. Xie, Z., Ji, C., Guo, X. & Zhu, S. (2011). Detection and location algorithm for overlapped fruits based on concave spots searching. Transactions of the Chinese Society of Agricultural Machinery, vol. 42, no. 12, pp. 191-196.
13. Patel, H.N., Jain, R.K. & Joshi, M.V. (2011). Fruit detection using improved multiple features based algorithm. International Journal of Computer Applications, vol. 13, no. 2, pp. 1-5.
14. Hannan, M.W., Burks, T.F. & Bulanon, D.M. (2009). A machine vision algorithm combining adaptive segmentation and shape analysis for orange fruit detection. Agricultural Engineering International CIGR Journal, vol. 11, no. 12, pp. 1-17.
15. Lu, J., Sang, N. & Hu, Y. (2014). Detecting citrus fruits with highlight on tree based on fusion of multi-map. Optics, vol. 125, no. 8, pp. 1903-1907.
16. Jian, L., Chengyan, Z. & Shujuan, C. (2012). Positioning technology of apple-picking robot based on OpenCV. In: Proceedings of the 2012 Third International Conference on Digital Manufacturing and Automation, Guilin, China, 31 July-2 August 2012, pp. 618-621.
17. Zhang, Q.R., Peng, P. & Jin, Y.M. (2016). Cherry picking robot vision recognition system based on OpenCV. In: Proceedings of the 2016 International Conference on Mechatron-ics, Manufacturing and Materials Engineering — MMME 2016, Hong Kong, June 11-12, 2016, pp. 1-4.
18. Zhao, J., Tow, J. & Katupitiya, J. (2005). On-tree fruit recognition using texture properties and color data. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Edmonton, Canada, 2-6 August 2005, pp. 263-268.
19. Rakun, J., Stajnko, D., Zazula, D. (2011). Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry. Computers and Electronics in Agriculture, vol. 76, no. 1, pp. 80-88.
20. Kurtulmus, F., Lee, W.S. & Vardar, A. (2011). Green citrus detection using 'eigenfruit, color and circular Gabor texture features under natural outdoor conditions. Computers and Electronics in Agriculture, vol. 78, no. 2, pp. 140-149.
21. Parrish, E.A. & Goksel, J.A. K. (1977). Pictorial pattern recognition applied to fruit harvesting. Transactions of the American Society of Agricultural Engineers, vol. 20, no. 5, pp. 822-827.
22. Sites, P.W. & Delwiche, MJ. (1988). Computer vision to locate fruit on a tree. Transactions of the American Society of Agricultural Engineers, vol. 31, no. 1, pp. 257-263.
23. Bulanon, D.M., Kataoka, T., Okamoto, H. & Hata, S. (2004). Development of a real-time machine vision system
for apple harvesting robot. In: Proceedings of the Society of Instrument and Control Engineers Annual Conference, Sapporo, Japan, 4-6 August 2004, pp. 595-598.
24. Seng, W.C. & Mirisaee, S.H. (2009). A new method for fruits recognition system. In: Proceedings of the 2009 International Conference on Electrical Engineering and Informatics — ICEEI2009, Selangor, Malaysia, 5-7 August 2009, vol. 1, pp. 130-134.
25 . Linker, R., Cohen, O. & Naor, A. (2011). Determination of the number of green apples in RGB images recorded in orchards. Computers and Electronics in Agriculture. vol. 81, no. 1, pp. 45-57.
26. Ji, W., Zhao, D., Cheng, F.Y., Xu, B., Zhang, Y. & Wang, J. (2012). Automatic recognition vision system guided for apple harvesting robot. Computers and Electrical Engineering, vol. 38, no. 5, pp. 1186-1195.
27. Tao, Y. & Zhou, J. (2017). Automatic apple recognition based on the fusion of color and 3D feature for robotic fruit picking. Computers and Electronics in Agriculture. vol. 142, no. A, pp. 388-396.
28. Zhan, W.T., He, DJ. & Shi, S.L. (2013). Recognition of kiwifruit in field based on Adaboost algorithm. Transactions of the Chinese Society of Agricultural Engineering, vol. 29, no. 23, pp. 140-146.
29. Zhao, Y.S. Gong, L., Huang, Y.X. & Liu, C.L. (2016). Detecting tomatoes in greenhouse scenes by combining Ada-Boost classifier and colour analysis. Biosystems Engineering, vol. 148, no. 8, pp. 127-137.
30. Plebe, A. & Grasso, G. (2001). Localization of spherical fruits for robotic harvesting. Machine Vision and Applications, vol. 13, no. 2, pp. 70-79.
31. Regunathan, M. & Lee, W.S. (2005). Citrus fruit identification and size determination using machine vision and ultrasonic sensors. In: Proceedings of the Annual International Meeting of the American Society of Agricultural and Biological Engineers. Tampa, Florida, USA, 17-20 July 2005, ASABE paper No. 053017, pp. 1-12.
32. Gatica, G., Best, S., Ceroni, J. & Lefranc, G. (2013). Olive fruits recognition using neural networks. Procedia Computer Science. vol. 17, pp. 412-419.
Об авторах:
Кузнецова Анна Анатольевна, менеджер департамента анализа данных и машинного обучения, ОРСЮ: http://orcid.org/0000-0001-5934-2361, anakuznetsova@fa.ru
Малева Татьяна Вячеславовна, кандидат физико-математических наук, доцент департамента анализа данных и машинного обучения, ОРСЮ: http://orcid.org/0000-0002-9282-1011, tvmaleva@fa.ru
Соловьев Владимир Игоревич, доктор экономических наук, профессор, руководитель департамента анализа данных и машинного обучения, ОРСЮ: http://orcid.org/0000-0003-0338-1227, vsoloviev@fa.ru
USING DETERMINISTIC METHODS AND CLASSICAL MACHINE LEARNING ALGORITHMS FOR FRUIT DETECTION BY HARVESTING ROBOTS
A.A. Kuznetsova, T.V. Maleva, V.I. Soloviev
Financial university under the Government of the Russian Federation, Moscow, Russia
The research aims to review deterministic methods and classical machine learning algorithms. Deterministic fruit detection methods used in machine vision systems of harvesting robots are based on the analysis of color, shape, and texture of objects. Machine learning algorithms based on classification, regression, and cluster analysis, as well as simple neural network models, applied to fruit detection task, are also reviewed. The most important quality metrics of fruit detection algorithms are identified: share of undetected fruits and share of object mistaken for fruits. It is shown that the deterministic methods and classical machine learning algorithms do not allow (unlike modern deep convolutional neural networks) to ensure the quality of fruit recognition enough for use in machine vision systems of real harvesting robots.
Keywords: horticulture, harvesting robot, machine vision, image processing, pattern recognition, quality assessment.
References
1. Mao, W.H., Ji, B.P., Zhan, J.C., Zhang, X.C. & Hu, X.A. (2009). Apple location method for the apple harvesting robot. In: Proceedings of the 2nd International Congress on Image and Signal Processing — CIPE 2009. Tianjin, China, 7-19 October 2009, pp. 17-19.
2. Wei. X.. Jia, K., Lan, J.. Li. Y., Zeng, Y. & Wang. C. (2014). Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot. Optics. vol. 125, no. 12. pp. 5684-5689.
3. Bulanon. D.M..Burks. T.F. & Alchanatis. V. (2009). Image fusion of visible and thermal images for fruit detection. Biosystems Engineering. vol. 103, no. 1. pp. 12-22.
4. Bulanon. D.M. & Kataoka. T. (2010). A fruit detection system and an end effector for robotic harvesting of Fuji apples. Agricultural Engineering International CIGR Journal, vol. 12. no. 1. pp. 203-210.
5. Arefi. A.. Motlagh. A.M.. Mollazade. K. & Teimour-lou, R.F. (2011). Recognition and localization of ripen tomato
based on machine vision. Australian Journal of Crop Science, vol. 5. no. 10. pp. 1144-1149.
6. Zhao. Y.S.. Gong. L., Huang. Y.X. & Liu. C.L. (2016). A review of key techniques of vision-based control for harvesting robot. Computers and Electronics in Agriculture. vol. 127, pp. 311-323.
7. Wachs. J.P.. Stern. H.I.. Burks. T. & Alchanatis. V. (2010). Low and high-level visual feature-based apple detection from multi-modal images. Precision Agriculture. vol. 11. pp. 717-735.
- 73
МЕЖДУНАРОДНЫЙ СЕЛЬСКОХОЗЯЙСТВЕННЫЙ ЖУРНАЛ № 4 (376) / 2020
8. Whittaker, A.D., Miles, G.E. & Mitchell, O.R. (1987). Fruit location in a partially occluded image. Transactions of the American Society of Agricultural Engineers, vol. 30, no. 3, pp. 591-596.
9. Xie, Z.Y., Zhang, T.Z. & Zhao, J.Y. (2007). Ripened strawberry recognition based on Hough transform. Transactions of the Chinese Society of Agricultural Machinery, vol. 38, no. 3, pp. 106-109.
10. Xie, Z., Ji, C., Guo, X. & Zhu, S. (2010). An object detection method for quasi-circular fruits based on improved Hough transform. Transactions of the Chinese Society of Agricultural Machinery, vol. 26, no. 7, pp. 157-162.
11. Kelman, E.E. & Linker, R. (2014). Vision-based localization of mature apples in tree images using convexity. Biosystems Engineering, vol. 118, no. 1, pp. 174-185.
12. Xie, Z., Ji, C., Guo, X. & Zhu, S. (2011). Detection and location algorithm for overlapped fruits based on concave spots searching. Transactions of the Chinese Society of Agricultural Machinery, vol. 42, no. 12, pp. 191-196.
13. Patel, H.N., Jain, R.K. & Joshi, M.V. (2011). Fruit detection using improved multiple features based algorithm. International Journal of Computer Applications, vol. 13, no. 2, pp. 1-5.
14. Hannan, M.W., Burks, T.F. & Bulanon, D.M. (2009). A machine vision algorithm combining adaptive segmentation and shape analysis for orange fruit detection. Agricultural Engineering International CIGR Journal, vol. 11, no. 12, pp. 1-17.
15. Lu, J., Sang, N. & Hu, Y. (2014). Detecting citrus fruits with highlight on tree based on fusion of multi-map. Optics, vol. 125, no. 8, pp. 1903-1907.
16. Jian, L., Chengyan, Z. & Shujuan, C. (2012). Positioning technology of apple-picking robot based on OpenCV. In: Proceedings of the 2012 Third International Conference on
Digital Manufacturing and Automation, Guilin, China, 31 July-2 August 2012, pp. 618-621.
17. Zhang, Q.R., Peng, P. & Jin, Y.M. (2016). Cherry picking robot vision recognition system based on OpenCV. In: Proceedings of the 2016 International Conference on Mechatron-ics, Manufacturing and Materials Engineering — MMME 2016, Hong Kong, June 11-12, 2016, pp. 1-4.
18. Zhao, J., Tow, J. & Katupitiya, J. (2005). On-tree fruit recognition using texture properties and color data. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Edmonton, Canada, 2-6 August 2005, pp. 263-268.
19. Rakun, J., Stajnko, D., Zazula, D. (2011). Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry. Computers and Electronics in Agriculture, vol. 76, no. 1, pp. 80-88.
20. Kurtulmus, F., Lee, W.S. & Vardar, A. (2011). Green citrus detection using 'eigenfruit', color and circular Gabor texture features under natural outdoor conditions. Computers and Electronics in Agriculture, vol. 78, no. 2, pp. 140-149.
21. Parrish, E.A. & Goksel, J.A. K. (1977). Pictorial pattern recognition applied to fruit harvesting. Transactions of the American Society of Agricultural Engineers, vol. 20, no. 5, pp. 822-827.
22. Sites, P.W. & Delwiche, M.J. (1988). Computer vision to locate fruit on a tree. Transactions of the American Society of Agricultural Engineers, vol. 31, no. 1, pp. 257-263.
23. Bulanon, D.M., Kataoka, T., Okamoto, H. & Hata, S. (2004). Development of a real-time machine vision system for apple harvesting robot. In: Proceedings of the Society of Instrument and Control Engineers Annual Conference, Sapporo, Japan, 4-6 August 2004, pp. 595-598.
24. Seng, W.C. & Mirisaee, S.H. (2009). A new method for fruits recognition system. In: Proceedings of the 2009 In-
ternational Conference on Electrical Engineering and Informatics — ICEEI2009, Selangor, Malaysia, 5-7 August 2009, vol. 1, pp. 130-134.
25. Linker, R., Cohen, O. & Naor, A. (2011). Determination of the number of green apples in RGB images recorded in orchards. Computers and Electronics in Agriculture, vol. 81, no. 1, pp. 45-57.
26. Ji, W., Zhao, D., Cheng, F.Y., Xu, B., Zhang, Y. & Wang, J. (2012). Automatic recognition vision system guided for apple harvesting robot. Computers and Electrical Engineering, vol. 38, no. 5, pp. 1186-1195.
27. Tao, Y. & Zhou, J. (2017). Automatic apple recognition based on the fusion of color and 3D feature for robotic fruit picking. Computers and Electronics in Agriculture, vol. 142, no. A, pp. 388-396.
28. Zhan, W.T., He, DJ. & Shi, S.L. (2013). Recognition of kiwifruit in field based on Adaboost algorithm. Transactions of the Chinese Society of Agricultural Engineering, vol. 29, no. 23, pp. 140-146.
29. Zhao, Y.S. Gong, L., Huang, Y.X. & Liu, C.L. (2016). Detecting tomatoes in greenhouse scenes by combining Ada-Boost classifier and colour analysis. Biosystems Engineering, vol. 148, no. 8, pp. 127-137.
30. Plebe, A. & Grasso, G. (2001). Localization of spherical fruits for robotic harvesting. Machine Vision and Applications, vol. 13, no. 2, pp. 70-79.
31. Regunathan, M. & Lee, W.S. (2005). Citrus fruit identification and size determination using machine vision and ultrasonic sensors. In: Proceedings of the Annual International Meeting of the American Society of Agricultural and Biological Engineers, Tampa, Florida, USA, 17-20 July 2005, ASABE paper No. 053017, pp. 1-12.
32. Gatica, G., Best, S., Ceroni, J. & Lefranc, G. (2013). Olive fruits recognition using neural networks. Procedia Computer Science, vol. 17, pp. 412-419.
About the authors:
Anna A. Kuznetsova, manager of the department of data analysis and machine learning, ORCID: http://orcid.org/0000-0001-5934-2361, anakuznetsova@fa.ru
Tatiana V. Maleva, candidate of physical and mathematical sciences, associate professor of the department of data analysis and machine learning, ORCID: http://orcid.org/0000-0002-9282-1011, tvmaleva@fa.ru
Vladimir I. Soloviev, doctor of economic sciences, professor, head of the department of data analysis and machine learning, ORCID: http://orcid.org/0000-0003-0338-1227, vsoloviev@fa.ru
vsoloviev@fa.ru
Издательство «Электронная наука» выпускает научные журналы на русском и английском языках. Нам доверяют авторы по всему миру. Количество наших читателей, в том числе и в Интернете,
более 55 тысяч человек ежемесячно.
ЖУРНАЛЫ ИЗДАТЕЛЬСТВА «ЭЛЕКТРОННАЯ НАУКА»
«International agricultural journal» научный, рецензируемый, электронный, включен в научные базы: ВАК, РИНЦ, КиберЛенинка, AGRIS, Google.
■ Публикации статей на английском и русском языках.
■ Двухмесячный научно-производственный журнал о достижениях мировой науки и практики в агропромышленном комплексе.
Контакты: https://iacj.eu, iacj@iacj.eu
www.mshj.ru
