CC BY
46
МЕТОДИКА АВТОМАТИЧЕСКОЙ РЕГИСТРАЦИИ ЗБ-ИЗМЕРЕНИЙ СЫПУЧИХ ОБЪЕКТОВ В ЗЕРНОХРАНИЛИЩАХ
Н.В. Астапенко1, К.Т. Кошеков1, А.Н. Колесников2 1 Северо-Казахстанский государственный университет имени М. Козыбаева, Петропавловск, Республика Казахстан,
2IT company Arbonaut, Йоэнсуу, Финляндия
Аннотация
В данной работе предлагается методика организации автоматического бесконтактного получения трёхмерных координат точек поверхности, образуемой в результате заполнения зернохранилища. Необходимость автоматической регистрации точечных измерений поверхности обусловлена задачей точного измерения объёмов сыпучих материалов в области инвентаризации складов сырья и готовой продукции. Особенность методики заключается в получении и распознавании изображений поверхности, на которых искомые точки выделены световыми пятнами лазеров. Процесс распознавания тесно связан с техническими характеристиками камеры и определённым порядком размещения комплекта лазерных диодов. Авторы рассматривают такие задачи, как определение параметров и месторасположения регистрирующих камер, определение количества и порядка размещения лазерных диодов, получение ЭБ-измерений по набору изображений, определение формы и порядка хранения результатов измерения. В результате проведённых экспериментов было доказано, что предложенное решение, использующее возможности методов фотограмметрии и лазерного сканирования, имеет ряд преимуществ перед существующими методами: экономичность, точность, возможность автоматизации, возможность использования в любой момент хранения зерна, возможность дистанционного слежения. Компьютеризация описываемых приёмов позволяет не только проводить однократные измерения объёмов, но и осуществлять регулярный бесконтактный мониторинг сложных поверхностей в закрытых складах, необходимый для принятия управленческих решений.
Ключевые слова: обработка изображений, ЭБ-измерения, автоматизация, бесконтактные технологии, зернохранилище.
Цитирование: Астапенко, Н.В. Методика автоматической регистрации ЭБ-измерений сыпучих объектов в зернохранилищах / Н.В. Астапенко, К.Т. Кошеков, А.Н. Колесников // Компьютерная оптика. - 2018. - Т. 42, № Э. - С. 510-520. - DOI: 10.18287/2412-6179-2018-42-Э-510-520.
Введение
Управление запасами часто связано с измерением объёма. При измерении объёма сыпучих материалов в агропромышленном комплексе сталкиваются с проблемами, связанными со свойствами материалов. Как правило, поверхность является очень неровной, на ней могут быть высокие пики и глубокие провалы, поэтому к методам измерений предъявляются повышенные требования по точности показаний объёма.
Традиционным инструментом для определения объёмов сыпучих материалов является визуальный осмотр мест хранения и использование различных видов дальномеров. Основным ограничением при проведении работ с применением дальномеров является зависимость от человеческого фактора, низкая скорость измерений и физическая невозможность детальной съёмки больших объёмов материалов.
В настоящий момент много работ отечественных и зарубежных исследователей посвящено автоматизации технологических процессов зернохранилищ [1 - 4], однако тема автоматизированного мониторинга объёма сыпучей массы до сих пор не решена. Похожие задачи ставятся в геодезии и маркшейдерии, где в последнее время некоторые исследователи предлагают использовать технологии фотограмметрии и 3Б лазерного сканирования при оценке сыпучих материалов [5 - 9]. Однако все фотометрические подходы так или иначе используют свойства проек-
тивного преобразования, выполняемого камерой. Поэтому эти методы будут неэффективны, если распознаваемый объект не имеет чёткой формы, выраженных границ или сегментов и находится в закрытом помещении, как, например, поверхность зерна в хранилище закрытого типа [10]. Лазерное сканирование позволяет детально, с шагом до единиц миллиметров, обмерить и отразить форму бурта или поверхности кучи материала на складе. Однако методы лазерного сканирования также имеют ряд серьёзных недостатков [11- 16]:
- высокая цена систем лазерного сканирования, превышающая три тысячи долларов;
- с большинством сканеров рекомендуется работать при температуре не ниже 0°С, что устанавливает некоторые ограничения на работы в зимнее время;
- современные системы лазерного сканирования не имеют функций тахеометра для непосредственной привязки отдельных сканов к единой системе координат, поскольку сканирование с каждой точки стояния проводится в системе координат прибора; в связи с этим необходим дополнительный прибор для определения координат контрольных точек сканера;
- при лазерном сканировании приходится решать проблемы точечной избыточности, массивных данных и неравномерности распределения исходного точечного облака;
- низкая степень автоматизации при трёхмерном
моделировании сложных объектов на основе лазерного сканирования.
В данной статье предлагается новая методика автоматической бесконтактной регистрации 3D-измерений, предназначенная для учёта объёма сыпучих объектов в зернохранилищах. Предлагаемая методика использует возможности методов цифровой фотограмметрии, наземного дистанционного зондирования и лазерного сканирования, но отличается простотой реализации и экономичностью. Достоинства предлагаемой методики позволят с успехом внедрять её в различных областях человеческой деятельности, где требуется автоматизация расчёта сыпучей массы. Например, при автоматизации технологических процессов зернохранилищ, элеваторов и различных видов складов для хранения сыпучих материалов, при расчёте объёмов горных выработок в шахтах и других областях.
1. Теоретическое описание методики
В технологии автоматического бесконтактного мониторинга наполненности зернохранилища необходимо учитывать некоторые особенности работы с сыпучими продуктами, такие как наличие сложной формы поверхности продукта (горки, воронки, слипшиеся комки). Следствием этого факта является сложность прогнозирования объёма зерна, полученного в результате заполнения, перемешивания, проветривания и других операций, выполняемых механизированными складами.
Решение выявленной проблемы может быть достигнуто путём регистрации ЭБ-точек поверхности с помощью набора лазерных диодов и видеокамер с дальнейшим анализом и обработкой полученных результатов.
В качестве базы для предлагаемого метода автоматической регистрации ЭБ-измерений точек поверхности возьмём метод триангуляции. Триангуляция - метод для измерения расстояний, часто с использованием лазера. Он использует способность лазерного луча распространяться в хорошо коллимированной форме (т.е. с малой расходимостью) на большие расстояния [17 -18]. Метод триангуляции используется при создании сканирующих лазерных систем. В представляемой методике лазеры используются в качестве указателей или маркеров. Лазерный луч освещает точку, расстояние до которой от лазерного устройства необходимо измерить. Камеры фиксируют положение точек от лучей лазеров на поверхности и передают полученные изображения на сервер по Wi-Fi. Методика автоматической регистрации ЭБ-измере-ний точек поверхности включает в себя выполнение следующих этапов:
- выбор и установка оборудования;
- калибровка;
- получение ЭБ-измерений по набору изображений;
- вычисление объёма заполнения зернохранилища.
1.1. Выбор и установка оборудования
На данном этапе необходимо определить количество камер, лазерных диодов и порядок их размещения.
Для начала определимся с камерами наблюдения. Основной параметр, который позволяет рассчитать требуемое количество камер и их расположение, -угол обзора. Существует зависимость (Ш) ширины области просмотра от угла обзора (ЛУ) объектива и расстояния от линзы до поверхности (В) [19]:
W(D, AV) = 2 • D • tg
( AV
(1)
ч 2 -180
Таким образом, решение о количестве камер в крупном зернохранилище принимается в зависимости от того, на каком минимальном расстоянии должна «прочитываться» вся искомая поверхность. Введём условные обозначения:
- количество камер, необходимых для регистрации 3Б-измерений (Мса„)
- зернохранилище характеризуется параметрами ширина (А) и длина (В);
- камера характеризуется горизонтальным углом обзора (ЛУк) и вертикальным углом обзора (ЛУ.);
- минимальное расстояние, на котором должна просматриваться вся поверхность, обозначим (Вт1П). Следовательно, необходимое количество камер
определяем по формуле:
( ( \ ( г,
Ncam = min
int
A
int
W (Dmm, AV„) A
W (Dmm, AVv)
• int
и> j
\ (
int
В
W (Dmn, AVv) В
W (Dmn, AVh )
k> j
(2)
Расположение камер определяется в центре условных равнозначных (одинаковых) прямоугольников, определённых в зависимости от формулы (2).
Видеокамера крепится к потолку зернохранилища таким образом, чтобы её линия визирования была перпендикулярна поверхности крепления. Направление луча лазерных диодов параллельно линии обзора видеокамеры. Расстояния между диодами устанавливаются таким образом, чтобы образовать из них регулярную сетку. Условная схема размещения блока лазеров относительно одной видеокамеры представлена на рис. 1.
а)
ООО 00 ООО 00
ООО ОО ООО оо
ООО ОО ООО 00
ООО 00 ООО
0 0 0 0 0 0.J»"" о о о„
0 0 0 0 0 0 0 о^ о о
ООО 00 ООО 00
ООО ОО ООО 00
ООО 00 ООО 00
ООО 00 ООО 00
laser
б)
Рис. 1. Схема блока лазерных диодов (laser) с размещением одной камеры (camera): вид снизу (а); вид сбоку (б)
Очевидно, чем меньше расстояние между лазерными диодами, тем больше измерений будет получено и, следовательно, выше точность итогового вычисления объёма продукта [20]. Однако слишком частое размещение диодов также нежелательно, так как это затруднит процесс составления карты глубин. Для дальнейшей связки изображений размещаем один маркировочный лазерный диод (отличающийся по цвету от остальных) в верхнем левом углу относительно изображения, формируемого на камере.
Точки лазера очень яркие на фоне более темной обстановки в зернохранилище и поэтому легко распознаются на цифровом изображении. Лазерная точка проектируется на поверхность зерна, расположенную в области видения камеры (рис. 2). Луч лазера параллелен оси визирования камеры. Расчёт расстояния до поверхности основывается на том, что чем ближе изображение лазерной точки к центру изображения, тем дальше от лазера находится соответствующая точка поверхности.
Исходя из геометрии, представленной на рис. 2, расстояние до поверхности (В) может быть рассчитано по формуле:
И • /
D =■
(Э)
где h - расстояние между камерой и лазерным диодом, f - фокусное расстояние камеры, r - расстояние от лазерной точки до центра изображения.
laser camera
Рис. 2. Определение расстояния от лазера (laser) до поверхности с помощью изображения (array) на камере (camera)
Расстояние от центра изображения до изображения лазерной точки определяется количеством пикселей растра. Умножив это количество на параметр мм / пиксель, установленный для камеры, получим расстояние от лазерной точки до центра изображения (r).
Дополнительно с помощью формулы (Э) можно вывести рекомендации по расположению комплекта лазерных диодов для каждой камеры. Обозначим размер хранилища (максимальное расстояние, на котором нужно различать лазерные точки на изображении) как Dmax. При условном разбиении изображения на четыре области относительно центра определяем расстояния от камеры до ближайших четырёх лазеров в первой четверти:
hj = step , h2 = step ■ ,
, л/10 , /-
h = step ■ 2 , h4 = step ■ V 2 ,
где step - расстояние между лазерами.
Тогда расстояния от центра изображения до точек от данных лазеров:
f 42 f 4Ю
r =--step--, r2 =--step--,
1 2 2 D 2
f
Dm
■ step
410 f К
--, r4 =--step ■ v 2 .
Dm
Размер самой яркой области лазерного пятна на изображении (ё1) с расстояния Втах определяем эмпирическим путём. Соответственно, для любых двух точек должно выполняться условие не пересечения ядер лазерных пятен:
| г - rt |> 2 ■ dl.
(4)
На основании формул расчёта г, и условия (4) формируем систему уравнений, из которых можем вывести оптимальное для распознавания расстояние между диодами:
f
Dm
f
■ step ■42 -
D
f
■ step ^42 -
J_
Dmax
f
D„„_
■ step
■ step
410
D
■ step
410 f
D
■ step
2
42
> 2 ■ dl
> 2 ■ dl.
> 2 ■ dl
В полученной системе уравнений последнее условие является наиболее критичным. Таким образом, минимальное расстояние (step) между лазерными диодами:
step > 4 ■ dl ■
Dm
f ■l n/iö-42 |
(5)
где Dmax - максимальное расстояние, на котором нужно различать точки, мм; dl - размер самой яркой области лазерного пятна на изображении с расстояния Dmax, мм; f- фокусное расстояние камеры, мм.
Таким образом, после определения оптимального значения step можно определить количество лазеров для одной камеры:
M х *=int fint f , (6)
^ step j ^ step j
где M - количество лазерных диодов для одной камеры по горизонтали в плоскости относительно изображения камеры, * - количество лазерных диодов для одной камеры по вертикали в плоскости относительно изображения камеры.
r
Для получения 3Б-измерений полной поверхности зерна в зернохранилище размещают набор видеокамер с комплектом лазерных диодов для каждой на одном реле. Ориентация всех камер одинакова, комплекты располагаются в матричном порядке. Пример расположения и индексация комплектов «камера+набор лазерных диодов», размещённых вдоль верхнего транспортёра, представлены на рис. 3.
......'set22' ° ° ' ■ set32 ■
О О о о о о
° • • 'setl'l ° ■ 0 0 0 ° ° ' °setll° ' ° " ■ ;; ; ¡¿¡з\ * "н" ООО О О о О О О О О О 1 У
Рис. 3. Схема расположения и индексации комплектов (set) «камера+набор лазерных диодов» относительно верхнего транспортёра (scraper conveyor)
Ориентация и индексация камер определена таким образом, что левый нижний угол рис. Э является верхним левым углом для камеры в комплекте setn. Получение изображений выполняется последовательно. Активируется комплект setn лазерных диодов, и фиксируется изображение с камеры комплекта, далее активируется комплект set12 , и фиксируется изображение с его камеры и так далее. При формировании 3D-измерений необходимо только учитывать фиксированный сдвиг по вертикали и горизонтали для каждого комплекта.
Для точек, полученных от лазеров, закреплённых на потолочных скатах, рассчитывая расстояние до поверхности, необходимо вычесть компенсацию по сдвигу лазера относительно поверхности закрепления камеры.
1.2. Калибровка
Точное размещение лазеров относительно камеры - слишком трудоёмкий процесс, в результате которого неизбежно появление погрешностей. Поэтому необходимо выполнить процесс калибровки, который их нивелирует.
Калибровка предполагает измерение и хранение параметров лазерных диодов (точное расстояние до камеры, номер четверти относительно центра камеры, угол размещения относительно центра камеры) в качестве эталона для дальнейших вычислений.
Алгоритм калибровки:
Шаг 1. Сохранение изображения лазерных «точек» в пустом зернохранилище с каждой камеры.
Шаг 2. Для каждого лазера по изображению его точки определяем расстояние до камеры по формуле,
обратной формуле (Э): h = D-rlf , где D - расстояние от лазерного диода до пола зернохранилища, f - фокусное расстояние камеры, r - расстояние от лазерной точки до центра изображения.
Шаг 3. Для каждого лазера по изображению его точки определяем номер четверти и угол размещения относительно центра камеры.
Шаг 4. Сохранение полученных параметров в базе данных.
1.3. Получение 3D-измерений по набору изображений
Получение ЭБ-измерений - основной этап представленной методики. Задача данного этапа - получить упорядоченное облако точек с тремя координатами (X, Y, Z), где X - координата по горизонтали относительно базового левого угла зернохранилища; Y - координата по вертикали относительно базового левого угла зернохранилища; Z - расстояние до поверхности зерна.
Алгоритм получения координат точек поверхности для одной камеры.
Шаг 1. Определяем количество лазерных «точек» на изображении M'*N'.
Шаг 2. Если количество точек на изображении равно установленному количеству лазеров для одной камеры M'*N', то определяем координаты для каждой точки, начиная с левого верхнего угла. Принимаем во внимание, что расстояние между лазерными диодами равно постоянному числу step. Двумерные координаты для каждой точки, указывающие положение лазера в плоскости камеры:
Ptj (i - step -1; j - step -1),
где i и j - номера ряда и столбца относительно установленного ориентира камеры; step - расстояние между лазерами.
Если же количество точек меньше M*N, то устанавливаем координаты для каждой точки, начиная с левого верхнего угла:
Pj ([M -M'+ i] - step -1;[N - N'+ j] - step -1),
где M - число лазеров в комплекте камеры при горизонтальном обзоре; N - число лазеров в комплекте камеры при горизонтальном обзоре; M' - число лазерных «точек» на изображении при горизонтальном обзоре; N' - число лазерных «точек» на изображении при горизонтальном обзоре; i и j - номера ряда и столбца относительно установленного ориентира камеры; step - расстояние между лазерами.
Шаг 3. Для каждой точки определяем расстояние до поверхности по формуле (Э), где расстояние от лазера до камеры определяется по данным, сохранённым в базе после калибровки.
Предложенный алгоритм позволяет сформировать массив ЭБ-точек поверхности зерна на регулярной сетке для одной камеры. В случае размещения в зернохранилище нескольких камер значения координат X и Y для каждой точки лазера увеличиваются на сдвиг комплекта, в котором он расположен, относительно комплекта set11.
1.4. Вычисление объёма заполнения зернохранилища
Объем заполнения зернохранилища вычисляется как разность объёма зернохранилища и объёма пустого пространства, полученного 3Б-измерениями. Такой подход более целесообразен, так как современные механизированные зернохранилища имеют сложную форму с наклонными полами.
Алгоритм нахождения объёма объекта с неровной поверхностью, заданной набором точек, рассматривался авторами в работе [21]. Данный алгоритм предполагает упорядочивание точек, последовательный их обход и суммирование объёмов косоусеченных призм, построенных для соответствующих трёх точек. В качестве дополнения к предложенному алгоритму стоит упомянуть о необходимости получения краевых точек поверхности с помощью линейной экстраполяции, которые также включаются в общее облако точек поверхности.
Подводя итог представленным в статье положениям, можно визуализировать процесс применения методики автоматической регистрации 3Б-измерений в виде логической схемы (рис. 4).
Первые два этапа выполняются однократно. При этом этап «Выбор и установка оборудования» осуществляются вручную, а этап калибровки автоматически с помощью программы. После предварительной подготовки возможно регулярное проведение автоматического мониторинга наполненности зернохранилища. Для этого последовательно выполняют этапы «Получение 3Б-измерений» и «Вычисление объёма».
2. Практическое применение методики
Объектом для апробации метода автоматической регистрации 3Б-измерений является зернохранилище инновационного типа, опытный образец которого был создан в рамках проведённых ранее научных исследований и находится на территории фирмы «Ди-канши» (г. Петропавловск). Данный опытный образец зернохранилища имеет ёмкость 200 тонн, оснащён автономным энергоисточником, горизонтальными силосами инновационного типа и автоматизированной системой управления основными параметрами технологического процесса хранения зерновых культур [22]. Размеры объекта исследования: Длина х Ширина х Высота = = 18000 мм х 4500 мм х 4500 мм. Зернохранилище по длине разделено на девять секций, каждая по 2000 мм в длину.
В рассматриваемом зернохранилище в соответствии с формулой (2) возможны два случая размещения камер наблюдения. Рассмотрим эти случаи.
Случай 1. Согласно требованиям к точности измерения зерна расстояние от камеры до поверхности должно быть не менее одного метра.
Качество распознавания поверхности зерна требует попадания всей ширины зернохранилища на расстоянии минимум метр от камеры. Архитектура зернохранилища не позволяет поместить камеру в цен-
тре секции, так как там расположена загрузочная щель. Таким образом, на расстоянии В = 1000 мм в обзор камеры должно попадать Ж = 4500 мм, то есть АУ должен быть более 132°.
Рис. 4. Логическая схема процесса автоматической регистрации 3В-измерений в зернохранилище
Использование одной широкоугольной камеры в секции - наиболее простой и экономичный вариант решения, однако при полном заполнении зернохранилища образуется «слепая зона» (blind area), которая в случае многократного перемешивания зерна может быть плохо прогнозируемой (рис. 5).
Случай 2. Наилучший случай - это расположение двух камер по обе стороны от загрузочной щели (рис. 6).
Такое расположение предполагает, что на расстоянии D = 1000 мм в обзор камеры должно попадать W = 2250 мм, то есть AV должен быть более 97°. В формате 4:Э вертикальный обзор на том же расстоянии составит немногим более метра.
Рис. 5. Обзор секции зернохранилища инновационного типа одной камерой при полном заполнении
Рис. 6. Обзор секции зернохранилища инновационного типа двумя камерами при полном заполнении
В этом случае образуется слепая зона в границах ширины загрузочной щели в дальности менее метра. Данные в этой области можно восстановить, используя методы интерполяции данных.
Очевидно, что второй случай позволяет получить более полный и корректный набор данных, поэтому именно этот вариант рассматривается в дальнейших исследованиях.
В соответствии с предложенной методикой установлено восемнадцать камер по две в каждой секции. Размещение камер, и диодов выполнено в соответствии со схемой на рис. 3. На следующем этапе, исходя из условия (5), был выбран шаг размещения лазеров - 200 мм. Расстояния от каждого лазерного диода до камеры статичны, их поместили в двумерный массив H, который хранится в бинарном файле на сервере.
Представленные в статье алгоритмы реализованы в экспериментальном приложении, разработанном в среде программирования Visual Studio 2008. На входные данные наложены следующие ограничения. С
каждой камеры поступают изображения в формате .jpg, имя которых формируется в формате: [номер секции][номер камеры][день][месяц][год]. Например, файл cam2101102017.jpg получен 01.10.2017 с первой камеры 2-й секции.
Алгоритм калибровки возвращает бинарные файлы, имена которых соответствуют именам файлов .jpg. В указанных файлах содержатся параметры установки лазерных диодов для каждой камеры. Эти данные, как и изображения с камер, используются впоследствии для получения измерений.
Для каждого изображения последовательно применяем описанный ранее алгоритм получения координат точек поверхности для одной камеры. После обработки изображений получаем группу бинарных файлов, имена которых состоят из двух частей: текущая дата и имя соответствующего файла .jpg. В бинарных файлах содержится два числа, определяющих размерность двумерного массива точек, и далее последовательно хранятся сами элементы этого массива.
Алгоритм расчёта объёма сыпучей массы на основании ЭБ-измерений был подробно описан авторами ранее в работе [21].
Стоимость установки для опытного образца складывается из стоимости элементов:
- восемнадцать камер D-Link dcs-2230L - 843$;
- 1458 полупроводниковых лазерных диодов на 5В (длина волны 650 нм, мощность 5 МВт) - 226$;
- дополнительные расходные материалы (панели, провода, преобразователи) - 157$.
Итого общая стоимость составила 1226$. Это почти в три раза меньше стоимости одного лазерного сканера, что доказывает экономическое преимущество представленной методики.
Апробирование экспериментальной методики проводилось в течение 2016-2017 гг. Эксперименты проводились во время полной загрузки/выгрузки зернохранилища, так как проверка точности измерений возможна только традиционным трудоёмким методом - путём полного взвешивания. Кроме того, расчёт объёма зерна для сравнения выполнялся с помощью трёх традиционных методов:
- метод взвешивания;
- расчёт на основе приведения к простым геометрическим формам;
- расчёт с помощью дальномеров.
Таким образом, в осенне-летний период 2016 года было произведено 17 замеров и 20 замеров в осенне-летний период 2017 года.
В протоколы испытаний заносились результирующие значения двух важных параметров: объем измерения и время, затраченное на расчёт. Результаты, полученные методом взвешивания, были приняты за истинные значения, т. е. точность измерения принята за 100 %. Точность остальных методов определялась соотношением к методу взвешивания. На основе 37 протоколов экспериментов составлена сводная таблица (см. приложение табл. 1), которая позволяет определить наиболее эффективный метод по
двум наиболее весомым параметрам: точность измерения и время, затраченное на расчёт.
Наиболее наглядное решение можно получить с помощью визуальных методов. Графическое решение для определения наиболее эффективного метода расчёта объёма наполненности зернохранилища приве-
Рис. 7. Графическое решение для определения наиболее эффективного метода расчёта объёма наполненности зернохранилища: метод прямого взвешивания (а); расчёт на основе простых геометрических форм (б); расчёт с помощью дальномеров (в); метод автоматической регистрации ЗБ-измерений (г)
По оси ОУ отмечены значения, которые соответствуют точности измерения методов, выраженные в процентах. По оси ОХ выложены данные по временным затратам при использовании метода. В соответствии с условиями задачи: точность должна быть наибольшей при меньшем времени. Поэтому время выставлено в порядке убывания. Градиент-вектор направлен к точке с координатами, соответствующими максимальному значению по оси ОУ и минимальному значению по оси ОХ. Таким образом, график доказывает преимущество метода автоматической регистрации 3Б-измерений по двум выбранным параметрам (точность измерений и время, затраченное на измерение).
По итогам экспериментов был проведён сравнительный анализ методов, выводы которого нашли отражение в табл. 2 (см. приложение).
Методика, описанная в данной статье, на сегодняшний момент единственная для осуществления автоматического мониторинга зерновой массы в зернохранилищах, а, кроме того, результаты проведённых экспериментов доказывают большую эффективность предложенного метода по сравнению с традиционными методами.
Заключение
Эффективное функционирование современных хранилищ различного типа предполагает решение ряда задач для обеспечения надёжной сохранности сырья и оптимального использования складских площадей. Таким образом, актуальной является задача мониторинга хранящегося сырья. Некоторые трудности мониторинга возникают при хранении сыпучих габаритных объектов с неровной поверхностью.
В статье рассмотрена методика автоматического бесконтактного мониторинга поверхности, образующейся в хранилище в результате его заполнения. Научную новизну предложенной методики обеспечивают следующие положения:
- в настоящий момент отсутствует автоматическое решение по осуществлению мониторинга и контроля зерновой массы в зернохранилищах;
- предложен способ расчёта и размещения требуемого оптимального количества камер и лазерных диодов для объекта мониторинга;
- описаны алгоритмы и методы сбора ЭБ-измерений. Практическое использование рассмотрено на
примере зернохранилища инновационного типа. Внедрение данной методики позволит осуществить непрерывную автоматическую бесконтактную регистрацию ЭБ-измерений и на её основе проводить мониторинг и контроль хранения зерновой массы. Результаты измерений будут способствовать формированию рекомендаций по управлению технологическими процессами объектов наблюдения. В дальнейшем, используя результаты измерений по данной методике, возможно решение таких задач, как контроль и прогнозирование работоспособности технологического оборудования (например, при перемешивании зерна).
Сравнительный анализ традиционных методов (метод взвешивания, расчёт на основе приведения к простым геометрическим формам, расчёт с помощью дальномеров) и метода автоматической регистрации ЭБ-измерений показал значительное качественное преимущество последнего.
Благодаря экономичности используемых инструментов, возможна замена дорогостоящих лазерных сканеров в некоторых других областях промышленной и хозяйственной деятельности при оценке объёмов сыпучих масс. Полученные технологические решения могут быть использованы при создании беспроводных программно-технических комплексов для других приложений, где необходимо обеспечивать непрерывный контроль сложных поверхностей.
Благодарности Работа выполнена за счёт гранта Министерства образования и науки РК (№ 2606/ГФ4).
Литература
1. Мырзабекова, А.М. Обзор современных систем для хранения зерновых культур / А.М. Мырзабекова // VI Научно-практическая конференция «Информационно-измерительная техника и технологии». - 2015. - С. 95-101.
2. Song, J. Measurement and control system based on wireless senor network for granary / J. Song, K. Wang, X. Zhang // 5th International Conference on Education, Management, Information and Medicine (EMIM). - 2015. - P. 256-260. -DOI: 10.2991/emim-15.2015.50.
3. Liu, J. Design of granary temperature monitoring system based on virtual instrument technology // Advanced Materials Research. - 2012. - Vol. 542-54Э. - P. 212-216. - DOI: 10.4028/www.scientific.net/AMR.542-543.212.
4. Galande, S.G. A parameter monitoring and control of grain storage by embedded system / S.G. Galande, G.H. Agrawal, M.S. Anap // International Journal of Informative & Futuristic Research. - 2015. - Vol. 2, Issue 11. - P. 4172-4179.
5. Ковров, А.А. Технология расчёта объёмов породы в маркшейдерии с использованием наземного лазерного сканера RIEGL LMS Z420I // Маркшейдерский вестник. - 2009. - № 1. - С. Э5-Э7.
6. Измерение объёмов выработки и сырья на складах. Со-юзГипрозем [Электронный ресурс]. - URL: http://www.souzgiprozem.ru/izyskaniya-izmerenie-obemov-vyrabotki-syriya.html (дата обращения 15.01.2018).
7. Высокоточное измерение объёмов сыпучих материалов и инвентаризация складов сырья. [Электронный ресурс]. -URL: http://www.ngce.ru/izmerenie_obemov_sypuchih_mate-rialov.html (дата обращения 15.01.2018).
8. Определение объёма сыпучих материалов методом лазерного сканирования [Электронный ресурс]. - URL: http://trimetari.com/ru/proekty/opredelenie-obemov-sypuchih-materialov-metodom-lazernogo-skanirovaniya (дата обращения 15.01.2018).
9. Koshekov, K.T. Fuel cell diagnostics using identification measurement theory / K.T. Koshekov, Yu.N. Klikushin, V.Yu. Kobenko, Yu.K. Evdokimov, A.V. Demyanenko // Journal of Fuel Cell Science and Technology - 2014. -Vol. 11, Issue 5. - 05100Э. - БОГ 10.1115/1.4027Э95.
10. Кошеков, К. Т. Систематизация и выбор методов распознавания поверхности для автоматизированной информационной системы мониторинга зернохранилища / К.Т. Кошеков, Н.В. Астапенко. - В кн.: Интерэкспо ГЕ0-Сибирь-2016. Международная научая конференция «Дистанционные методы зондирования Земли и фотограмметрия, мониторинг окружающей среды, геоэкология»: сб. материалов в 2 т. - Новосибирск: СГУГиТ, 2016. - Т. 4, № 1. - С. Э8-42.
11. Середович, В.А. Наземное лазерное сканирование / В.А. Середович, А.В. Комиссаров, Д.В. Комиссаров, Т.А. Широкова. - Новосибирск: СГГА, 2009 - 261 с. -ISBN: 978-5-8769Э-ЭЭ6-2.
12. Кошан, Е.К. Возможности, преимущества и недостатки наземного лазерного сканирования / Е.К. Кошан // Интерэкспо ГЕ0-Сибирь-2017. - Т. 9, № 1. - С. 27-Э0.
13. Kadobayashi, R. Comparison and evaluation of laser scanning and photogrammetry and their combined use for digital recording of cultural heritage / R. Kadobayashi, N. Kochi, H. Otani, R. Furukawa // XXth ISPRS Congress: Proceedings of Commission V. - 2004. - WG V/4.
14. Рой, Д.Н. Опыт применения метода наземного лазерного сканирования для работ в области историко-культурного наследия / Д.Н. Рой // ГеоПрофи. - 2007. - № 2. -С. 20-2Э.
15. Qing, Sh. Point cloud simplification algorithm based on particle swarm optimization for online measurement of stored bulk grain / Sh. Qing, X. Tao, T. Yoshino, Z. Yujie, Y. Wenting, Z. Hang // International journal of agricultural and biological engineering. - 2016. -Vol. 9(1). - P. 71-78. - БОГ 10.3965/j.ijabe.20160901.1805.
16. Cheng, L. A symmetry-based method for LiDAR point registration / L. Cheng, Y. Wu, S. Chen, W. Zong, Y. Yuan, Y. Sun, Q. Zhuang, M. Li // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. -2018. - Vol. 11, Issue 1. - P. 285-299. - БОГ 10.1109/JSTARS.2017.2752765.
17. Кошеков, К. Т. Метод и алгоритм вычисления объёма заданной дискретно ЭБ поверхности с помощью полиномов Лагранжа / К.Т. Кошеков, Н.В. Астапенко // Математические структуры и моделирование. - 2016. -№ Э(Э9). - С. 86-92.
18. Sansoni, G. State-of-the-art and applications of ЭБ imaging sensors in industry, cultural heritage, medicine, and criminal investigation / G. Sansoni, M. Trebeschi, F. Docchio // Sensors. - 2009. - Vol. 9, Issue 1. - P. 568-601. - DOI: 10.ЭЭ90^90100568.
19. Blais, F. Practical considerations for a design of a high precision Э-D laser scanner system / F. Blais, M. Rioux, J.-A. Beraldin // Proc. SPIE. - 1988. - Vol. 959. - P. 225246. - DOI: 10.1117/12.947787.
20. Дамьяновски, В. CCTV. Библия видеонаблюдения. Цифровые и сетевые технологии / В. Дамьяновски. -пер. с англ. - М.: ООО «Ай-Эс-Эс Пресс», 2006. -480 с. - ISBN: 5-87049-260-2.
21. Astapenko, N.V. Design of the granary technological process control subsystem for monitoring of the grain volume in a silo / N.V. Astapenko, K.T. Koshekov, P.A. Petrov // 10th IEEE International Scientific and Technical Conference on Dynamics of Systems, Mechanisms and Machines (Dynamics). - 2016. - DOI: 10.1109/Dynamics.2016.7818971.
22. Astapenko, N.V. Automated control scheming of granary operating procedures / N.V. Astapenko, K.T. Koshekov, A.N. Kolesnikov, A.A. Kashevkin, N.Yu. Gurin // Asian Journal of Applied Sciences. - 2017. - Vol. 5(Э). - P. 6Э4-641. - DOI: 10.2420Э^^Э.4502.
Приложение
Табл. 1. Итоги применения различных методов расчёта объёма зерна на примере опытного зернохранилища
№ Метод расчёта объёма зерна в зернохранилище Тип метода Точность, % Затраченное время, час
1 Метод взвешивания ручной 100 14±2,5
2 Расчёт на основе простых геометрических форм при визуальном осмотре ручной 78 5±1,27
Э Расчёт с помощью дальномеров полуавтоматизированный 76 0,Э6±0,06
4 Метод автоматической регистрации 3Б-измерений (без учёта установки оборудования) автоматический 97 0,16±0,0Э
Табл. 2. Выводы сравнительного анализа методов расчёта объёма зерна на примере опытного зернохранилища
и
«
Достоинства:
- точность. Недостатки:
- возможность использования только во время полной загрузки/выгрузки;
- трудоёмкость;
- продолжительность по времени;
- наличие большого количества персонала.
и о ft U
S о К
н см
Достоинства:
- возможность использования в любой момент хранения зерна;
- незначительная трудоёмкость. Недостатки:
- низкий процент точности вычислений;
- необходимость в квалифицированном персонале;
- необходимость в специальном оборудовании.
л о
О V
К й
о « ° 8
cs U
й См
Достоинства:
- возможность использования в любой момент хранения зерна.
Недостатки:
- низкий процент точности вычислений;
- трудоёмкость;
- продолжительность по времени;
- необходимость в квалифицированном персо-
«
о и
g к S Q
8 &
^ о
и у
^ К
2 h
Достоинства:
- экономическое преимущество в процессе длительного использования;
- высокая точность;
- возможность использования в любой момент времени хранения зерна;
- отсутствие трудоёмкости, полностью автоматический процесс;
- отсутствие необходимости персонала;
- возможность дистанционного слежения. Недостатки:
- необходимость в специальном оборудовании.
Сведения об авторах
Астапенко Наталья Владимировна, 1979 года рождения, в 2000 году окончила Северо-Казахстанский государственный университет по специальности «Прикладная математика», в 2011 году окончила магистратуру Кокшетауского университета имени А.Мырзахметова по специальности «Информационные системы», обучается в докторантуре PhD Северо-Казахстанского государственного университета по специальности «Информатика, вычислительная техника и управление». Область научных интересов: обработка графических изображений, программирование, ЭБ-измерения, автоматизация технологических процессов. E-mail: [email protected] .
Кошеков Кайрат Темирбаевич, 1971 года рождения, в 199Э году окончил Томский институт АСУ и радиоэлектроники по специальности «Промышленная электроника», доктор технических наук, работает заведующим кафедрой энергетики и радиоэлектроники Северо-Казахстанского государственного университета имени М.Козыбаева, профессор кафедры. Область научных интересов: интеллектуальные информационно-измерительные приборы и системы, обработка изображений и сигналов, цифровая фотография. Email: [email protected] .
Колесников Александр Николаевич, 1954 года рождения, получил степень магистра по физике в 1976 году в Новосибирском государственном университете СССР и степень доктора философии в области компьютерных наук в 200Э году в Университете Йоэнсуу, Финляндия. С 1976 по 200Э год был старшим научным сотрудником Института автоматики и электрометрии Российской академии наук, Новосибирск, Россия. В 200Э году поступил на факультет компьютерных наук Университета Йоэнсуу, Финляндия. В 2012 году он присоединился к ИТ-компании Arbonaut, Финляндия. Область научных интересов - обработка сигналов и изображений, обработка лидарных данных, обработка и сжатие векторной карты. E-mail: [email protected].
ГРНТИ: 28.23.15. Поступила в редакцию 7 февраля 2018 г. Окончательный вариант
■ 10 марта 2018 г.
METHODOLOGY OF AUTOMATIC REGISTRATION OF 3D MEASUREMENTS OF BULK MATERIALS IN GRANARIES
N. V. AstapenkoK. T. KoshekovA.N. Kolesnikov2
1M. Kozybayev North-Kazakhstan State University, Petropavlovsk, Republic of Kazakhstan,
2IT company Arbonaut, Joensuu, Finland
Abstract
In this article, we propose a technique for automatic contactless measurements of three-dimensional coordinates of surface points in a granary. The need for an automatic measurement and registration of surface points arises when conducting accurate measurements of the volume of bulk materials during stock-taking of raw materials and finished goods. A peculiarity of the technique consists in obtaining and recognizing the surface images in which the sought-for points are highlighted by laser light. The recognition process is closely related to camera specifications and a specific arrangement of laser diodes. The problems considered include the determination of pa-
нале
rameters and location of the recording cameras, and the number and layout of the laser diodes, the implementation of 3D measurements from a set of images, and the selection of storage procedures for the measurement results. As a result of the experiments, it was proved that the proposed solution, which exploits the capabilities of photogrammetry and laser scanning methods, has a number of advantages over the existing methods in terms of efficiency, accuracy, the possibility of automation, the opportunity of monitoring the surface of the granary content at any time, and the possibility of remote tracking. Computerization of the described methods allows one not only to perform single volume measurements, but also to carry out a regular contactless monitoring of complex surfaces in locked warehouses for making managerial decisions.
Keywords: image processing, 3D measurements, automation, contactless technology, bulk materials, granary.
Citation: Astapenko NV, Koshekov KT, Kolesnikov AN. Methodology of automatic registration of 3D measurements of bulk materials in granaries. Computer optics 2018: 42(3); 510-520. DOI: 10.18287/2412-6179-2018-42-3-510-520.
Acknowledgements: The work was carried out under the framework of the scientific grant No. 2606 / GF4 of the Ministry of Education and Science of the Republic of Kazakhstan.
References
[1] Myrzabekova AM. Survey of modern systems for storage of grain crops. VI Scientific and Practical Conference "Information-measuring technology and technology" 2015: 95-101.
[2] Song J, Wang K, Zhang X. Measurement and control system based on wireless senor network for granary. 5th International Conference on Education, Management, Information and Medicine (EMIM) 2015: 256-260. DOI: DOI: 10.2991/emim-15.2015.50.
[3] Liu J. Design of granary temperature monitoring. system based on virtual instrument technology. Advanced Materials Research 2012; 542-543: 212-216. DOI: 10.4028/www.scientific.net/AMR.542-543.212.
[4] Galande SG, Agrawal GH, Anap MS. A parameter monitoring and control of grain storage by embedded system. International Journal of Informative & Futuristic Research 2015; 2(11): 4172-4179.
[5] Kovrov AA. Technology of calculating rock volumes in a mine survey using a ground-based laser scanner RIEGL LMS Z420I [In Russian]. Marksheyderskiy Vestnik 2009; 1: 35-37. ISSN: 2073-0098.
[6] Measurement of production volumes and raw materials in warehouses, UnionGiprozem [In Russian]. Source: (http://www.souzgiprozem.ru/izyskaniya-izmerenie-obemov-vyrabotki-syriya.htm).
[7] High-precision measurement of bulk materials and inventory of raw materials stores. Source: (http://www.ngce.ru/izmerenie_obemov_sypuchih_materia lov.html).
[8] Laser scanning of the open sandpit for volume calculation. Source: (http://trimetari.com/projects/laser-scanning-of-the-open-sandpit-for-volume-calculation).
[9] Koshekov KT, Klikushin YuN, Kobenko VYu, Evdokimov YuK, Demyanenko AV. Fuel cell diagnostics using identification measurement Theory. Journal of Fuel Cell Science and Technology 2014; 11(5): 051003. DOI: 10.1115/1.4027395.
[10] Koshekov KT, Astapenko NV. Classification and selection of methods of recognition of the automated information monitoring system of granary [In Russian]. In Book: Interexpo GEO-Siberia-2016. International conference "Remote sensing methods of the Earth and photogrammetry, environmental monitoring, geoecology". Novosibirsk: "SGUGiT" Publisher; 2016; 1: 40-45.
[11] Seredovich VA, Komissarov AV, Komissarov DV, Shi-rokova TA. Surface laser scanning [In Russian]. Novosibirsk: "SSGA" Publisher, 2009. ISBN: 978-5-87693-336-2.
[12] Koshan YeK. Possibilities, advantages and disadvantages of surface laser scanning [In Russian]. Interexpo GEO-Siberia-2017 2017; 9(1): 27-30.
[13] Kadobayashi R, Kochi N, Otani H, Furukawa R. Comparison and evaluation of laser scanning and photogrammetry and their combined use for digital recording of cultural heritage. XXth ISPRS Congress: Proceedings of Commission V 2004: WG V/4.
[14] Roy DN. Experience in using the method of ground-based laser scanning for works in the field of historical and cultural heritage [In Russian]. GeoProfi 2007; 2: 20-23.
[15] Qing Sh, Tao X, Yoshino T, Yujie Z, Wenting Y, Hang Z. Point cloud simplification algorithm based on particle swarm optimization for online measurement of stored bulk grain. Int J Agric & Biol Eng 2016; 9(1): 71-78. DOI: 10.3965 / j.ijabe.20160901.1805.
[16] Cheng L, Wu Y, Chen S, Zong W, Yuan Y, Sun Y, Zhuang Q, Li M. A symmetry-based method for LiDAR point registration. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 2018; 11(1): 285-299. DOI: 10.1109/JSTARS.2017.2752765.
[17] Koshekov KT, Astapenko NV. Method and algorithm for calculating the volume of determined discrete 3D surface using lagrangepolynomials. Mathematical and Computer Modeling 2015; 3(39): 86-92.
[18] Sansoni G, Trebeschi M, Docchio F. State-of-the-art and applications of 3D imaging sensors in industry, cultural heritage, medicine, and criminal investigation. Sensors 2009; 9: 568-601. DOI: 10.3390/s90100568.
[19] Blais F, Rioux M, Beraldin J-A. Practical considerations for a design of a high precision 3-D laser scanner system. Proc SPIE 1988; 959: 225-246. DOI: 10.1117/12.947787.
[20] Damjanovski V. CCTV: Networking and Digital Technology. 2nd ed. Burlington, Oxford: Elsevier ButterworthHeinemann; 2005. ISBN: 0-7506-7800-3.
[21] Astapenko NV, Koshekov KT, Petrov PA. Design of the granary technological process control subsystem for monitoring of the grain volume in a silo. 10th IEEE International Scientific and Technical Conference on Dynamics of Systems, Mechanisms and Machines (Dynamics) 2016. DOI: 10.1109/Dynamics.2016.7818971.
[22] Astapenko NV, Koshekov KT, Kolesnikov AN, Kashevkin AA, Gurin NYu. Automated control scheming of granary operating procedures. Asian Journal of Applied Sciences 2017; 5(3): 634-641. DOI: 10.24203/ajas.v5i3.4502.
Author's information
Natalya Vladimirovna Astapenko (b. 1979) graduated from North-Kazakhstan State University in 2000, majoring in Applied Mathematics, graduated magistracy from A.Myrzakhmetov Kokshetau University in 2011, majoring in Information Systems, studying at PhD Doctorate of the North-Kazakhstan State University with a degree in Computer Science, Computer Technology and Management. Research interests are computer graphics processing, programming, 3D-measurements, automation of technological processes. E-mail: [email protected] .
Kayrat Temirbaevich Koshekov (b. 1971) graduated from Tomsk Institute of Automated Control Systems and Radioelectronics in 1993 with a degree in Industrial Electronics, Doctor of Technical Sciences. He works at the Power Engineering and Radioelectronics department at M. Kozybaev North Kazakhstan State University, professor of the department. His research interests are intellectual information-measuring instruments and systems, image and signal processing, digital photography. E-mail: [email protected] .
Alexandre Nikolaevich Kolesnikov (b. 1954) received the M.Sc. degree in Physics in 1976 from the Novosibirsk State University, USSR, and the Ph.D. degree in Computer Science in 2003 from the University of Joensuu, Finland. From 1976 to 2003 he was a Senior Research Fellow with the Institute of Automation and Electrometry, Russian Academy of Sciences, Novosibirsk, Russia. In 2003, he joined the Computer Science department at the University of Joensuu, Joensuu, Finland. In year 2012, he joined the IT company Arbonaut, Finland. His main research areas are in signal and image processing, lidar data processing, vector map processing and compression. E-mail: alkoles54@gmail. com .
Received February 7, 2018. The final version - March 10, 2018.
