CC BY
189Prospects of using Big Data in the steel industry Fedin M. (Russian Federation)
Перспективы использования систем обработки больших данных (big data) в металлургической промышленности Федин М. В. (Российская Федерация)
Федин Максим Владимирович /Fedin Maxim - студент, кафедра бизнес-информатики и систем управления производством, факультет экономики и управления промышленными предприятиями, Научно-исследовательский технологический университет МИСиС, г. Москва
Аннотация: в данной статье даются основы технологии Big Data, рассматриваются перспективы использования систем обработки больших данных в металлургической промышленности.
Abstract: this article provides the basic elements of the Big Data technology, discusses the need for analysis of the incoming data in retail companies, and also it is proposed specific improvements that can be achieved using this technology in retail.
Ключевые слова: большие данные, машинное обучение, металлургическая промышленность.
Keywords: the Big Data, machine learning, steel industry.
Большие Данные, на сегодняшний момент, являются одним из ключевых драйверов развития информационных технологий. Это направление, относительно новое в России, получило широкое распространение в западных странах. Это связано с тем, что в эпоху информационных технологий, особенно после бума социальных сетей, по каждому пользователю интернета стало накапливаться значительное количество информации, что, в конечном счете, дало развитие направлению Big Data [1].
В большинстве случаев Big Data - это неструктурированные данные, которые отличаются не только объемами, но и требуют особых подходов к хранению и обработке. В отличие от традиционных баз данных, где информация хранится в соответствии с внутренней структурой и алгоритмами приложения, разрозненные объекты - документы, медиа файлы, элементы электронной почты, папки с файлами - трудно консолидировать, организовать централизованное управление и обеспечить поиск, так как данные являются неструктурированными. Пока объемы хранения таких данных невелики, особых проблем не возникает, но на рубеже сотен терабайт и числа объектов, исчисляемых миллионами, появляются сложности в поиске нужного документа, медленно открываются файлы, затрудняется навигация по большому количеству папок, создается множество других проблем.
Парадигма Big Data определяет три основных типа задач.
• Хранение и управление объемом данных в сотни терабайт или петабайт, которые обычные реляционные базы данных не позволяют эффективно использовать.
• Организация неструктурированной информации, состоящей из текстов, изображений, видео и других типов данных.
• Анализ больших данных, который ставит вопрос о способах работы с неструктурированной информацией, генерацию аналитических отчетов, а также внедрение прогностических моделей [2].
Сфера использования технологий Больших Данных обширна. К примеру, с помощью Больших Данных можно узнать о предпочтениях клиентов, об эффективности производства или провести анализ рисков. Big Data - это уже устоявшаяся сфера технологий, даже несмотря на относительно молодой ее возраст, получившая распространение во многих сферах бизнеса и играющая немаловажную роль в развитии компаний [3].
Не стали исключением и металлургические предприятия. В настоящее время металлургические компании стремятся к сокращению издержек, что позволит являться конкурентоспособными на металлургическом рынке. Использование технологии Big Data может позволить значительный экономический эффект в виде сокращения затрат на обработку информации в производстве, логистике и управлении.
Современное металлургическое производство представляет собой сложный комплекс различных переделов, базирующийся на месторождениях руд, коксующихся углей, энергетических мощностях. Металлургическое производство включает в себя следующие комбинаты, заводы, цеха:
- шахты и карьеры по добыче руд и каменных углей;
- горно-обогатительные комбинаты для подготовки руды к плавке;
- коксохимические заводы или цеха для подготовки углей, их коксование и извлечение полезных химических продуктов;
- энергетические цеха для получения сжатого воздуха, кислорода, а также очистки газов металлургических производств;
- доменные цеха для выплавки чугуна и ферросплавов;
- заводы для производства ферросплавов;
- сталеплавильные цеха (конвертерные, мартеновские, электросталеплавильные) для производства стали;
- прокатные цеха для получения сортового проката (листы, балки, рельсы, прутки, проволока и т. д.) [4]. Автоматизированные системы управления металлургическими комбинатами ежесекундно порождают
данные о процессах:
- технологических (АСУ ТП);
- логистических (АСУ Транспортной логистики);
- управления (MES и ERP системы).
Системы АСУ ТП собирают данные с датчиков агрегатов о состоянии и режимах технологических процессов. С систем контроля качества могут поступать видеоизображения полос прокатки и дефектов на полосе, карты ультразвукового контроля. АСУ Транспортной логистики содержат данные о перемещении материалов. ERP и WHS владеют информацией о заказах, планировании, оперативном управлении обработкой материалов, о состоянии запасов на складах.
К примеру, только цепочка производства от выплавки металла до выпуска автолиста может включать в себя от 7000 до 15000 источников разнородных неструктурированных данных, поступающих в реальном масштабе времени. Высокая степень автоматизации производства порождает у персонала предприятий «иллюзию доступности данных».
Оснащение производства современными системами автоматизации приводит к оцифровке всех получаемых данных, и это создает у персонала предприятия иллюзию их доступности. Но «оцифровано» -не значит «доступно».
Данные о технологических процессах есть в АСУ ТП агрегатов, данные о производстве в MES системах, данные о заказах в ERP.
При анализе ситуации на производстве, поиске причин брака и закономерностей, решении оптимизационных задач необходимо собрать и сопоставить между собой отчеты совершенно разнородных систем. На сопоставление данных этих отчетов может уйти много времени и поставленная задача может оказаться уже не актуальной. Количество данных, полученных с различных датчиков, может достигать объемов в петабайты информации. Весь этот огромный объем требуется обрабатывать и анализировать. К сожалению, текущие методы обработки и анализа информации не имеют возможности обрабатывать столь большие объемы данных. Однако в данной ситуации на помощь может прийти технология Big Data .
В современных информационных технологиях сложилась серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов. В качестве определяющих характеристик для данных подходов отмечают «три V»:
- Volume (объём);
- Velocity (скорость обработки и получения результатов);
- Variety (многообразие типов структурированных и неструктурированных данных) [2].
Эти характеристики хорошо подходят для структурированных и неструктурированных данных металлургического производства:
- множество сигналов с датчиков контроля технологических процессов,
- карты ультразвукового контроля,
- изображения полос прокатки, содержащих дефекты на полосе,
- данные о перемещении продукции и материалов,
- данные о заказах и поставщиках.
Технология Big Data позволит свести данные из АСУ ТП, АСУ Транспортной логистики и систем класса ERP и MES воедино, тратя на это в разы меньшее количество времени, по сравнению с традиционным подходом. Экономия времени, соответственно, принесет экономический эффект, делая системы обработки Больших Данных выгодным делом для металлургического бизнеса в целом.
В перспективе металлургические компании, благодаря Большим Данным, получат возможность заниматься предиктивным анализом, к примеру, с большой вероятностью предсказывать долю брака в металлургическом переделе на основе технологии Машинного обучения.
Литература
1. Big Data. 2 Вопроса // Газета IT-News № 16/2013 (27.11) С. 16-17.
2. Константин Селезнев. - Проблемы анализа Больших Данных// Открытые системы. СУБД №07, 2012 С 25-30.
3. Ирина Янина. Хранилище для больших данных // Открытые системы. СУБД № 07, 2012, С. 30-33.
4. Основы металлургического производства Бабич В. К., Лукашин Н. Д., Морозов А. С., Поляк И. П., Соболевский А. Л., Тараканов Ю. В., Шевякова Л. Г. 1988, С. 150-155.
