CC BY
0
Гибридная модель LSTM-DNN, прогнозирующая расход топлива самосвалов при открытой добыче полезных ископаемых
В.И. Алтай, И.О.Темкин Университет науки и технологий «МИСИС», Москва
Аннотация: На топливную эффективность самосвалов влияют такие переменные реального мира, как параметры транспортного средства, дорожные условия, погодные параметры и поведение водителя. Прогнозирование расхода топлива за поездку с использованием динамических данных о состоянии дорог может эффективно сократить затраты и время, связанные с испытаниями на дорогах. В данной статье предлагаются новые модели для прогнозирования расхода топлива самосвалов на открытых горных работах. Модели объединяют локально собранные данные с датчиков самосвалов и анализируют их для расширения своих возможностей. Архитектурный дизайн состоит из двух отдельных частей, первоначально основанных на двойной долговременной кратковременной памяти (LSTM) и двойных плотных слоях глубоких нейронных сетей (DNNs). Новая гибридная архитектура улучшает производительность предложенной модели по сравнению с другими моделями, особенно с точки зрения измерения точности. Показатели MAE, RMSE, MSE и R2 свидетельствуют о высокой точности прогноза. Ключевые слова: алгоритм LSTM, DNN, плотность, прогнозирование, расход топлива, карьеры.
Введение
Расход топлива (РТ) в самосвалах - важный аспект горных работ, составляющий значительную часть энергопотребления [1]. Поэтому расходы на топливо занимают значительное место в деятельности компаний, занимающихся перевозкой самосвалов. Они могут составлять значительную часть операционных затрат. Количество топлива, потребляемого самосвалом, зависит от различных факторов, включая пройденное расстояние, вес груза и рельеф местности [2,3].
Измерения счетчиков можно разделить на три основные категории:
1. Машинное обучение (ML): Алгоритмы машинного обучения, такие как машины опорных векторов (SVM), случайные леса (RF) и деревья решений (DT), могут быть использованы для построения моделей для обнаружения и прогнозирования расхода топлива.
2. Глубокое обучение (DL): Глубокое обучение, подмножество ML, фокусируется на разработке глубоких сетей с использованием различных типов слоев, (также известных, как плотный слой) [4]. Такие алгоритмы, как рекуррентные нейронные сети (RNN), глубокие сети убеждений и глубокие нейронные сети, могут быть использованы для создания моделей прогнозирования расхода топлива на основе принципов глубокого обучения.
3. Гибридные методы: Для построения более точной и достоверной модели используется комбинация различных подходов. Алгоритмы глубокого обучения эффективно применяются в различных задачах классификации и используются для прогнозирования расхода топлива на основе таких переменных, как скорость, полезная нагрузка, продолжительность загрузки, продолжительность поездки и других [5]. Основной вклад данной работы можно разделить на три аспекта.
Прежде всего, основная цель данного исследования - построить усовершенствованную модель для прогнозирования расхода топлива самосвалами при добыче полезных ископаемых открытым способом. используя алгоритмы глубокого обучения для повышения точности измерений. Эти модели сочетают в себе возможности характеристик, полученных из данных, собранных датчиками самосвала, и их анализа.
Архитектурный дизайн моделей включает в себя две отдельные части, изначально основанные на долговременной кратковременной памяти (LSTM) и плотных слоях глубоких нейронных сетей (DNN).
Использование новой гибридной архитектуры, объединяющей два типа слоев Double LSTM и Double Dense, приводит к повышению
производительности предложенных моделей по сравнению с другими моделями, с точки зрения измерения точности.
Для лучшей структурированности последующие разделы расположены следующим образом: в разделе описана методология, затем в разделе собраны данные и предварительная обработка, а затем в разделе обсуждаются результаты экспериментов. Наконец, в разделе подводятся итоги работы.
Методология
В этом разделе описывается предложенная гибридная модель глубокого обучения, используемая в данном исследовании. Представляет нашу гибридную модель глубокого обучения LSTM-DNN Dense. Были использованы алгоритмы глубокого обучения, в частности методы на основе RNN. В ходе экспериментов признаки использовались как для методов машинного обучения, так и для сети DNN. В случаях, когда гибридные модели объединяют два разрозненных набора признаков. Поэтому мы поставили перед собой задачу объединить возможности алгоритмов LSTM и DNN в рамках одной модели и продемонстрировать, как эффективно осуществить эту интеграцию. Мы использовали нейронную сеть RNN, состоящую из двойных слоев LSTM и двойных плотных слоев, для обучения прогнозированию будущих измерений датчиков на 5 временных интервалов. Для обучения мы выбрали 100 временных шагов для каждого патча (т.е. размер партии = 100), а предсказание будет осуществляться для 5 будущих временных шагов. Процесс обучения длился 10 эпох. Причина использования РНС: Рекуррентные нейронные сети (РНС), включая сети LSTM (Long Short-
М Инженерный вестник Дона, №1 (2024) ivdon.ru/ru/magazine/arcliive/nly2024/8966
Term Memory), широко используются для прогнозирования временных рядов благодаря своей способности улавливать последовательные зависимости и закономерности в данных.
Алгоритмы глубокого обучения
Рис. 1. - Архитектура предлагаемой модели LSTM-DNN dense.
Алгоритмы глубокого обучения [6], которые привлекли значительное внимание в последнее десятилетие, относятся к подмножеству машинного обучения. В значительной степени практическому применению методологий глубокого обучения способствовало развитие вычислительных мощностей и расширение возможностей хранения данных.
В данном исследовании рассматриваются следующие алгоритмы, основанные на глубоком обучении:
Глубокая нейронная сеть (DNN): Ее классификаторы, часто называемые классификаторами с плотным слоем [7,8], состоят, как минимум, из двух скрытых слоев и имеют поразительное сходство с обычными многослойными перцептронами. Плотный слой имеет скрытые слои в сочетании с входным и выходным слоями, что позволяет извлекать сложные признаки [9].
Модель Long Short-Term Memory (LSTM), являющаяся вариантом алгоритма RNN [10], решает проблему ограничения стандартных RNN в установлении значимых связей между фрагментами данных с 10 и более временными шагами. LSTM способна оценивать значимость информации и, при необходимости, сохранять ее в течение длительного времени. Она может устанавливать связи даже между точками данных, разделенными более чем 1000 временных шагов.
Длительная кратковременная память (LSTM)
это архитектурная конфигурация рекуррентной нейронной сети (RNN). Она находит применение в нескольких областях, таких как анализ временных рядов. В конкретном контексте открытой добычи полезных ископаемых LSTM позволяет анализировать и прогнозировать различные аспекты процесса добычи. Например, он может предсказывать расход топлива, прогнозировать поломку оборудования, оптимизировать планирование производства и повышать меры безопасности [11]. Следовательно, это делает LSTM особенно выгодным для тщательного анализа переменных, зависящих от времени, в открытых горных работах.
Рис. 2. - Показана внутренняя структура блока LSTM А, И, а и 01 т представляют собой ворота забывания, входные ворота, выходные ворота и выходной момент, соответственно; w, 1апИ и Ь -
соответствующие весовые коэффициенты, функция возбуждения и величина отклонения, соответственно. Затвор забывания определяет, сколько единиц состояния (0-1) из последнего момента сохраняется до момента (О), а его вход X) и выход (Ы-1) из предыдущего момента объединяются с единицей состояния (0-1) через сигмоидальную функцию для определения содержания забывания; входной затвор определяет, сколько входных данных X) из сети в текущий момент сохраняется в единице состояния (О) и входной затвор позволяет избежать попадания неважной информации в память, где входные данные X) и выход (Ы-1) текущего момента объединяются с помощью функции 1апИ для получения новой памяти, то есть промежуточного вектора (О) В сочетании с выходом (Л) сигмоидальной функции он управляет добавлением новой информации; выходной гейт управляет (О) тем, сколько единиц состояния выведено на текущее значение выхода (Ы) модели ЬБТМ. Механизм работы представлен в уравнениях (1) -
ft = о wf • [ht-1, xt] + bf
Storage of updated information:
(1)
it = a (wt ■ [ht-1, xt] + bi) C = tanh(wc ■ [ht-1, xt] + bc)
(2) (3)
Aggregate input information and update information:
Ct - ft ■ Ct-i + it ' Ct
Determine the output information: Ot - S(Wo • [ht-i, xt] + bo)
Output information activation: t - Ot • tanh(Ct)
(6)
(4)
(5)
Сбор данных и предварительная обработка Метод сбора данных: такие данные, как путь, скорость, маршрут, состояние самосвала, путь отвала груза и другие данные, с помощью датчиков, расположенных в самосвале, с помощью которых можно собрать данные о расходе топлива и доказать их достоверность. Данные считываются с датчиков во время движения самосвала, особенно при загрузке сырья (здесь максимальная нагрузка на двигатель и крутящий момент). Во время дорожных испытаний. Датчики выводят посекундные данные в CSV-файл для каждой поездки. У нас есть 40 параметров (3112 строк), таких как расход топлива (л/ч), скорость двигателя (об/мин) и скорость (км/ч).
Таблица № 1
Данные, считанные с датчиков самосвала, в файле csv.
1еп !>реес! I <( 1 I (чкй1
11 > ■> < ,«[1| I <мм; 11 к! 1 [ ЬаЛ;ега1 ¿псЫпаИсн!
М»' 1 р;111 ^ 111:ег5
10 13 15 18 21
5 54.159399 87 121072 221
11 54.159434 87 .121223 221 .0
а 54.159445 87 121263 221 □
э 54.159449 87 .121290 223
в 54.159459 87 .121334 224
2.0 1.0
3.0 5.0 2.0
4.00 287.0 МаМ
з.оо 288.0 ИаМ
3.00 23В.0 МаМ
3.00 288.0 МаИ
3.00 289.0 К1а!Ч
3107 2218
3108 2219 310Э 2221
3110 2222
3111 2223
5 54.152425 87 .120592 217 .0
4 54.152436 87 .120615 219 .0
4 54.152442 87 .120635 221 .0
4 54.15244в 87 .120657 224 .0
3 54.152.458 87 .120678 225 0
-3.0 -2.0 -1.0 -1.0 -2.5
5.00 зез.о К1аГМ
2.00 зез.о ЫаМ
2.00 363.0 ЫаМ
2.00 362.0 ЫаМ
1 .05 362.0 N314
3112 гоууе 40 со1итпэ
Атрибуция данных: Удаление признаков со значительной долей пропущенных значений, превышающей 40%, было принято во внимание по различным причинам. Эти причины включают в себя качество, надежность и целостность данных. Признаки с заметной долей пропущенных значений могут обладать недостаточной целостностью или качеством данных, что потенциально ставит под угрозу надежность таких признаков. Более того, наличие значительной доли пропущенных данных может привнести
предвзятость или искажения, что приведет к неточным выводам или моделям.
Кодирование категориальных данных: One-Hot Encoding - это техника, используемая при предварительной обработке категориальных данных для преобразования категориальных переменных в формат, который может быть предоставлен алгоритмам машинного обучения для улучшения работы модели. Оно преобразует категориальные переменные в двоичный формат, который может быть легко понят и использован алгоритмами машинного обучения.
Рис. 3. - Рабочий процесс моделирования прогнозирования будущих
ценностей
Нормализация данных: Этап предварительной обработки в машинном обучении, известный как масштабирование признаков, имеет огромное значение, поскольку он подразумевает преобразование признаков набора данных к стандартной шкале без ущерба для присущих им различий в диапазонах значений. Этот процесс осуществляется для того, чтобы все признаки были приведены к сопоставимому масштабу или диапазону, что
дает им множество преимуществ, облегчает конвергенцию и предотвращает доминирование определенных признаков.
Проектирование характеристик
Для улучшения процесса моделирования необходимо, чтобы собранные данные точно отражали реальность. Исходный набор данных часто содержит различные помехи, такие, как неполные или ошибочные значения, лишняя информация или аномальные показания, вызванные неисправностью датчиков или отсутствием записи. С помощью функции инженерии исходные данные подвергаются преобразованию, которое отражает суть взаимодействия между различными функциями в рамках прогнозной модели, что приводит к общему повышению эффективности. Не все значения, выявленные с помощью статистического подхода, могут оказаться промахами, поэтому важно проанализировать промахи, прежде чем их удалять. В некоторых случаях провалы могут указывать на существенные условия, которые необходимо учитывать при анализе. Например, сбой в датчике может зафиксировать значение по умолчанию для характеристики. Такие краевые условия тщательно анализируются перед удалением точки данных из моделирования. Ниже в таблице № 2 приведена часть характеристик для моделирования расхода топлива, используемого в этом исследовании.
Таблица № 2
Подмножество характеристик для моделирования расхода топлива
ш. Характеристики Описание
1 Путь Маршрут, по которому он следует за самосвалом при перемещении из одного места в другое.
2 Скорость Скорость самосвала в данный момент (км/ч)
3 Частота вращения двигателя Скорость вращения двигателя (об/мин)
4 Грузоподъемность Самосвал грузоподъемностью тонн
5 Текущая нагрузка на двигатель Нагрузка на двигатель (%)
6 Продольный наклон Продольное направление для вертикального выравнивания дороги.
7 Модель самосвала Идентификатор самосвала
8 ДВС.Расход топлива Сколько топлива вы расходуете на единицу пути
9 Расход топлива Фактическое показание топлива в баке
10 мощность крутящего момента двигателя Крутящий момент двигателя (%)
11 Склон Средний уклон дороги, по которой движется самосвал.
12 Мгновенный вес Вес самосвала меняется при загрузке и разгрузке
После предварительной обработки данных, удаления столбцов с утечкой более 40 % и вменения недостающих данных для столбцов с отсутствующими записями, мы должны отфильтровать сигналы (данные), чтобы сделать записи гладкими и более надежными для обучения модели RNN. Здесь мы фильтруем данные с помощью фильтра ЕМА (экспоненциальное скользящее среднее) [10].
На «рис.4» представлены этапы потока данных от ввода и обработки до вывода, а также разница между обучением данных с помощью предложенной модели и оценкой модели с точки зрения обучения данных вводом и тестированием данных.
М Инженерный вестник Дона, №1 (2024) ivdon.ru/ru/magazine/arcliive/nly2024/8966
Рис. 4. - Схема, показывающая этапы обучения и тестирования данных.
Материалы и методы
В данном исследовании представлено моделирование расхода топлива современных самосвалов с использованием данных с их датчиков при различных условиях движения, на разных дорогах и под воздействием внешних факторов. В качестве входных данных для модели используются 25 характеристик, таких, как путь, загрузка самосвала, загрузка двигателя (%), скорость двигателя (об/мин), скорость автомобиля (км/ч) и т. д. Для обучения мы выбрали 100 временных шагов для каждого патча (т. е. размер партии = 100), а для прогнозирования - 5 будущих временных шагов. Процесс обучения длился 10 эпох.
Результаты и обсуждение
На «Рис.5» нормализация прогнозных значений с учетом фактора времени показывает прогноз расхода топлива, линия синего цвета по сравнению с фактическими значениями оранжевого цвета. Это
свидетельствует о сходимости фактических и прогнозных значений, что говорит об успешности практического эксперимента.
Fuel consumption
0.30
0.25
ï 0.20-N
ï 0.15£
о 0.10
0.05
ï
ь -0.05
— Actual values Fuel consumption — Predicted Fuel consumption
20
40
Time
Рис. 5. - Предлагаемая модель LSTM-DNN Производительность для прогнозируемого расхода топлива и фактических значений.
На «Рис. 6» показаны истории матриц, в которых значения матриц зависят от фактора Epochs. Чтобы рассчитать общее количество топлива, израсходованного автомобилем, необходимо сложить значения мгновенного расхода топлива за каждую секунду, чтобы получить суммарный расход топлива. Для оценки модели и обучающих данных используются показатели эффективности. Модель LSTM-DNN хорошо подходит для обобщения на неизвестные данные.
Эффективность предложенной модели прогнозирования расхода топлива оценивается с помощью показателей средней квадратичной ошибки (MSE)/потери, средней абсолютной ошибки (MAE), среднеквадратичной ошибки (RMSE) и коэффициента детерминации К2/точности.
М Инженерный вестник Дона, №1 (2024) ivdon.ru/ru/magazine/arcliive/nly2024/8966
Metrics History
1.0 -
Loss :On noisy data MAE:On noisy data RMSE:On noisy data R2:On noisy data Loss :On filtered data MAE:On filtered data RMSE:On filtered data R2:On filtered data
0.0 - -------------------------------------------
0 2 4 6 8
Epochs
Рис. 6. - Сравнение прогнозирования общего расхода топлива с помощью плотных слоев LSTM-DNN.
Для того, чтобы определить общее количество топлива, потребляемого автомобилем, кумулятивный расход топлива определяется путем суммирования мгновенных значений расхода топлива каждую секунду. Для оценки модели используются показатели эффективности, полученные на шумовых данных loss:0.0106, MAE:0.0698, MSE:0.0106, RMSR:0.1029, R2:0.8267 и на отфильтрованных данных loss:0.0008, MAE: 0.021, MSE:0.0009, RMSE: 0.029, а значение R2 составляет 0.984 для данных обучения.
Таблица № 3
Сравнение производительности на тестовом наборе данных с
использованием ML и ANN
Model MAE RMSE R2 No. features References
MLP NN 0.0614 0.0772 0.7854 10 [15]
KNN 0.0595 0.0796 0.7200
Gradient Boosting (GB) 0.0582 0.0762 0.7330
Artificial Neural Network 0.0006 0.0010 0.7806 10 [16]
Таблица № 3 - это результаты работы исследователей в той же области, "Расход топлива с помощью нейронных сетей". В ней показано использование нескольких алгоритмов. Первые три строки основаны на машинном обучении (ML) с использованием трех алгоритмов. Они использовали разреженные данные с небольшим количеством признаков. Результаты показали низкий коэффициент точности.
В то время как исследователь в последнем ряду использовал алгоритмы искусственных нейронных сетей (ANN) с большими данными, но количество признаков было небольшим, коэффициент точности оказался высоким, но
л
меньше, чем у наших результатов, R2 (0,944).
Таблица № 4
Тестирование производительности на наборе данных с использованием
нашей модели
Model loss MAE MSE RMSE R2 Data kind
Our proposed LSTM-DNN 0.0106 0.0698 0.0106 0.1029 0.8267 On noise
0.0008 0.0210 0.0009 0.0294 0.9842 On filtered
В таблице № 4 представлены результаты практического эксперимента предложенной модели глубокого обучения с использованием LSTM-DNN со средним количеством данных (3112) с 40 параметрами. Мы извлекли из них
25 функций. После проведения обработки данных результаты предстали
2
перед нами с высокой точностью, R2 (0.984).
Предложенная модель была сравнена в таблице (3) с алгоритмами и методами машинного обучения и сетями искусственного интеллекта, где точность Я2 оказалась ниже, и исследование показало, что предложенная модель в таблице № 4 дала нам большую эффективность и точность.
Заключение
В нашем исследовании было проведено моделирование расхода топлива современными самосвалами на открытых карьерах на основе имеющихся данных с использованием алгоритма рекуррентной нейронной сети (LSTM) и сочетания его с глубоким обучением с использованием плотных слоев. Была предпринята попытка построить фреймворк, использующий минимальное количество параметров, собранных в различных условиях, для обучения рекуррентной нейронной сети. Система была создана на основе данных и параметров, которые без особых усилий собираются с автомобиля во время его поездки. Показатели эффективности: средняя абсолютная ошибка (MAE), средняя квадратичная ошибка (MSE)/потери, среднеквадратичная ошибка (RMSE) и R-квадрат (R2) демонстрируют, что с помощью модели можно получить точное предсказание. Предложенная модель была сравнена с алгоритмами и методами машинного обучения и сетями искусственного интеллекта, где точность R2 оказалась ниже, и исследование доказало, что предложенная модель обладает большей эффективностью и точностью. Использование модели и оперативное прогнозирование в реальном времени будет способствовать увеличению расхода топлива. Данное исследование может быть расширено, чтобы охватить другие переменные, такие как время, информация о дорожном движении, информация о маршруте, данные GPS и т.д., которые влияют на расход топлива.
Литература (References)
1. Vera-Burau, A., Alvarez-Ramirez, D., Sanmiquel, L., Bascompta, M. Applied Sciences, May 2023, Vol. (13), 5769. URL: mdpi.com/2076-3417/13/9/5769.
2. Siami-Irdemoosa, E., Dindarloo, S.R. Applied Energy, April, 2015, Vol. (151), pp.77-84. URL: academia.edu/download/38610325/3.pdf
3. Bousonville, T., Dirichs, M., Krüger, T. In 2019 International Conference on Industrial Engineering and Systems Management (IESM) IEEE, 2019, pp. 1-6.
4. Alzubaidi, L., Zhang, J., Humaidi, A. J., Al-Dujaili, A., Duan, Y., Al-Shamma, O., Santamaría J., Mohammed A. F., Al-Amidie, M., Farhan, L. Journal of big Data, March 2021, Vol. (8), URL: link.springer.com/content/pdf/10.1186/s40537-021-00444-8.pdf
5. Mavaie, P., Holder, L., Skinner, M. K. BMC bioinformatics, November 2023, Vol. 24, No. 419, URL: doi.org/10.1186/s12859-023-05557-w
6. Garcia-Garcia, A., Orts-Escolano, S., Oprea, S., Villena-Martinez, V., Martinez-Gonzalez, P., Garcia-Rodriguez, J. Applied Soft Computing, September 2018, Vol. 70, pp. 41-65, URL: sciencedirect.com/science/article/pii/S1568494618302813
7. Kussul, N., Lavreniuk, M., Skakun, S., Shelestov, A. IEEE Geoscience and Remote Sensing Letters, 2017, vol. 14, no. 5, pp. 778-782, URL: ieeexplore.ieee.org/abstract/document/7891032.
8. Sherstinsky, A. Physica D: Nonlinear Phenomena, 2020, Vol. 404, URL: arxiv. org/pdf/1808.03314.pdf
9. Zhang, Q., Bu, Y., Chen, B., Zhang, S., Lu, X. In Journal of Physics: Conference Series 2021, Vol. 1738, URL: iopscience.iop.org/article/10.1088/1742-6596/1738/1/012131/pdf
10. Haynes, D., Corns, S., Venayagamoorthy, G. K. IEEE Congress on Evolutionary Computation 2012, pp. 1-8.
11. Mohanty, S. N., Lydia, E. L., Elhoseny, M., Al Otaibi, M. M. G., Shankar, K. Physical Communication, 2020, URL: sciencedirect.com/science/article/abs/pii/S 1874490720301737
12. Pereira, G., Parente, M., Moutinho, J., Sampaio, M. Infrastructures, 2021, vol. 6(11), URL: mdpi.com/2412-3811/6/11/157
М Инженерный вестник Дона, №1 (2024) ivdon.ru/ru/magazine/arcliive/nly2024/8966
13. Hochreiter, S., Schmidhuber, J. Neural computation, 1997, vol. 9(8), pp. 1735-1780.
14. Ozcan, A., Catal, C., Donmez, E., Senturk, B. Neural Computing and Applications, 2021. URL: link.springer.com/article/10.1007/s00521-021-06401-z.
15. Saim, A. K., Kumah, F. N., Oppong, M. N. Advances in Engineering Design Technology, 2020, Vol. 2, URL: j ournal s.nipes.org/index.php/aedt/article/download/561/579.
16. Katreddi, S., Thiruvengadam, A. Energies, December 2021, vol.14, URL: mdpi.com/1996-1073/14/24/8592
Дата поступления: 3.12.2023 Дата публикации: 23.01.2024
