CC BY
39
НАУКА и ОБРАЗОВАНИЕ
Эл№ФС77- 30569. Государственная регистрация №0421100025.155М 1994-0408_
Технология вычислительного эксперимента в исследованиях развития угольной промышленности
77-30569/239757
# 10, октябрь 2011 Чинь К. Ч.
УДК 004.42 + 004.6 : 622.33
Национальный Исследовательский Иркутский государственный технический университет
диапа1хипа [email protected]
Введение. В статье рассматривается предлагаемая автором технология вычислительного эксперимента в исследованиях развития угольной промышленности, основанная на использовании инструментальной среды. Инструментальная среда включает совокупность инструментальных средств, как разработанных автором, так и внешних, совместное использование которых на первом этапе обеспечивается экспертом. Предлагаемые технология и инструментальная среда предназначены для поддержки принятия решений при прогнозировании развития угольной промышленности.
Угольная промышленность - одна из ведущих отраслей топливо-энергетического комплекса. Уголь используется как технологическое сырье (в виде кокса) в черной металлургии, химической промышленности (коксовые газы), для производства минеральных удобрений и пластмасс, а также как энергетическое сырье для производства электроэнергии на тепловых электростанциях.
Угольная промышленность в настоящее время включает в себя сотни угледобывающих и углеперерабатывающих предприятий и снабжает коксующимися и энергетическими углями тысячи потребителей.
В России уголь добывается в 24-х субъектах Федерации, а потребляется во всех 89-ти. При рассмотрении потребления угля структурная сложность угольной промышленности проявляется в разобщенности и в выделении групп потребителей, т.е. для энергетических углей - это тепловые электростанции, теплоэлектроцентрали промышленные и отопительные котельные, обжиговые печи, коммунально-бытовые тепловые установки, газогенераторные установки и прочее; для коксующихся углей -коксохимические заводы. Кроме того, объекты энергетики проектируются обычно в расчете на угли определенного месторождения (определенного качества) и, в силу
больших различий в качественных показателях углей, добываемых на разных предприятиях, возможность взаимозаменяемости углей ограничена.
Структурная сложность угольной промышленности определяется многочисленностью предприятий, входящих в нее, территориальной и производственной структурой, наличием большого количества внутренних связей, существованием множества направлений использования и различных технологий потребления. Эти вопросы рассмотрены, в частности, в статье [1].
Задачи вычислительного эксперимента в исследованиях развития угольной промышленности. Вычислительный эксперимент основан на решении общей задачи линейного программирования (ЛП), в которой используются экономико-математические модели угольной промышленности России и ее регионов. Матрица условий задачи ЛП далее в тексте называется информационной моделью. Для проведения вычислительного эксперимента необходимо выполнить:
1) расчет технико-экономических показателей, требующихся для построения информационных моделей на основе показателей из базы данных;
2) формирование информационных моделей, соответствующих используемым математическим моделям;
3) обработку результатов вычислительного эксперимента, перевод их из представления, используемого стандартным пакетом решения задач линейного программирования в вид, понятный для пользователя, мыслящего не категориями модели (уравнение, переменная) а категориями объектов и процессов предметной области (добыча, поставки, потребление);
4) представление результатов вычислительного эксперимента в виде, необходимом для анализа и представления результатов расчетов в отчетах, статьях и презентациях.
При исследовании развития угольной промышленности наиболее трудоемкими и слабо формализуемыми являются этапы формирования информационных моделей для задачи ЛП и обработки результатов решения этих задач.
Стандартные пакеты решения задач ЛП требуют подготовки данных в определенном формате. Эти форматы выбираются из соображений эффективности реализации оптимизирующего алгоритма пакета. Обычно работа с данными, формирование модели и выходных документов вынужденно ведутся в терминах модели: коэффициенты матрицы, уравнения, переменные или их обозначения, шифры уравнений, переменных, блоков модели. Такой подход диктует необходимость привязывать всю информацию, как используемую для формирования моделей, так и внемодельную - к
терминам модели. К тому же для разных формулировок экономико-математических моделей, использующих одну и ту же информацию, составляются дублирующие друг друга по содержанию, но отличающиеся по структуре наборы данных. Формирование таких наборов данных, в особенности для моделей большой размерности, весьма трудоемко. Оно заключается в расчете коэффициентов задачи ЛП и формировании наборов данных в соответствии с требуемым форматом. Также трудоемка и обработка результатов расчетов.
На сегодняшний день существует достаточно большое «решателей» (стандартных пакетов для решения задач ЛП), каждый из которых работает со своим форматом файлов: МРБ [2], ЬР [3], СРЬЕХ [4], ЬШБО [5] и др.
В результате анализа существующих форматов представления данных для задач линейного программирования можно сделать выводы, что для этих форматов характерны:
• сложность составления и поддержания моделей большой размерности, так как задача перестает быть наглядной для исследователя;
• необходимость размещения ограничений, переменных и прочего в определенных частях файла и с определенными промежутками (отступами) между ними;
• неоднозначность определения различных типов данных и математических выражений;
• сложность разбора и записи моделей стандартными программными средствами, поскольку обычно файл, содержащий модель, является плоским текстовым файлом - это неструктурированный файл, содержащий записи только одного типа без физических связей с другими файлами; его можно рассматривать как двумерный массив (таблицу) полей данных, поля разделены запятыми;
Для исследований развития угольной промышленности в ИСЭМ СО РАН используются данные из различных документов: форм статистической отчетности, справочников, статистических сборников, а также периодических изданий, содержащих обобщенные данные.
Процесс получения необходимых для работы данных из форм статистической отчетности достаточно трудоемкий и плохо формализуемый. Для работы исследователя необходимы не сами формы, а выбранные из этих форм отдельные показатели. Формы статистической отчетности и статистические сборники содержат обычно избыточный набор показателей только за один период (год). Эксперту же необходимо видеть эти показатели в динамике за несколько лет.
Процесс подготовки данных для исследования развития УП значительно облегчается при наличии базы данных, содержащей соответствующие показатели, как
расчетные, так и взятые непосредственно из источников, в том числе и варианты не совпадающих данных. Такая база данных «Перспектива» разработана автором и описана в статье [6].
Технология вычислительного эксперимента. Для решения проблем, связанных с вышеперечисленными сложностями, автором был разработан информационно -программный комплекс (ИПК «Уголь»), включающий базу данных «Перспектива» и следующие программные компоненты: компонент расчета показателей, компоненты формирования компьютерных моделей, компоненты обработки результатов расчетов. Реализация подробно описана в статье [7].
В рамках данной статьи представлена технология вычислительного эксперимента, базирующаяся на понятии инструментальной среды (рис. 2), включающей как разработанные автором, так и внешние (разработанные ранее и/или привлекаемые инструментальные средства). Взаимодействие этих инструментальных средств на данном этапе поддерживается экспертом, в дальнейшем возможна автоматизация отдельных этапов этого взаимодействия.
Реализация Хранилища данных и знаний выполнена ранее и описана в статье [8]. Автором выполнена реализация БД «Перспектива» и ИПК «Уголь» и обеспечено взаимодействие с электронными таблицами Excel.
Инструментальная среда
Рис. 1. Инструментальная среда поддержки принятия решений при прогнозировании
развития угольной промышленности
Приведенные на схеме система агентного моделирования AnyLogiс [9] и свободно распространяемые средства OLAP-анализа относятся к числу внешних инструментальных
средств. Автором рассмотрены возможности их применения, которые описаны, в частности, в статье [10].
С одной стороны, Excel - привычный и удобный для исследователей-энергетиков инструмент. Поскольку задачи слабо структурируемые и сложно формализуемые, реализация в электронных таблицах Excel позволяет легко перенастраивать и модифицировать модели для конкретных исследований. Таким образом, для каждого исследования создается своя модель на основе предыдущих версий. С другой стороны, реализация в электронных таблицах Excel вызывает следующие сложности:
- в модели для расчетов используется большой объем различных техникоэкономических показателей;
- ошибки, которые возникают при перенастройке формул, сложно контролировать;
- использование программ, созданных на специализированном для таблиц Excel языке VBA (интерпретатор) требует изменения текстов программ при переходе от использовавшейся версии MS Office к следующей его версии;
- все данные находятся в разных таблицах Excel, что вызывает трудности при нахождении нужных данных.
Предлагаемая технология позволяет интегрировать привычный и удобный для исследователей-энергетиков инструмент (Excel) и необходимую для ведения многовариантных вычислительных экспериментов базу данных, не требуя от исследователя специальных навыков работы с БД.
Рис. 2 иллюстрирует технологию проведения вычислительных экспериментов в исследованиях развития УП.
В качестве решателя задач ЛП автором выбран набор инструментов, реализованных в виде свободно распространяемой библиотеки Java (Lpsolve).
л
Рис. 2. Технология вычислительных экспериментов в исследованиях развития угольной
промышленности
Среди основных характеристик библиотеки ЬрБо1уе можно выделить следующие: отсутствие ограничений на размерность матрицы; распространение библиотеки бесплатно вместе с исходными кодами; мощный АР1-интерфейс; возможность получения исходных данных из файлов формата МРБ, ЬР или пользовательских файлов; возможность формировать модель непосредственно в оперативной памяти без использования входных или выходных файлов; возможность конвертирования разных форматов входных файлов.
Суть предлагаемой технологии (рис. 2) заключается в следующем:
• исследователь готовит данные в виде Ехсе1-файлов по шаблонам и загружает их в БД. Процесс загрузки данных автоматически выполняется с помощью компонента «Импорт-экспорт данных», который является одним из компонентов ИПК «Уголь»;
• ИПК «Уголь» извлекает данные из БД и составляет информационную модель (матрицу условий задачи ЛП) в виде таблицы по периодам исследований посредством БОЬ - запросов;
• таблица данных передается решателю Lpsolve с помощью АР1 - функций;
• ЬрБо1уе формирует информационную модель и сохраняет ее в стандартных форматах для других целей;
• полученные результаты представляются в виде таблиц для корректировки и сохраняются в БД с помощью БОЬ - запросов.
В предлагаемой технологии стандартные форматы решателя Lpsolve используются только для проверки корректности при построении модели. Преимуществами использования этой технологии являются: уменьшение нагрузки на исследователя, возможность одновременно выполнить анализ нескольких периодов прогнозирования, представление полученных результатов в удобном виде для сравнения и корректировки, перед тем как сохранять их в БД.
Реализация ИПК и БД выполнена автором с использованием языка программирования высокого уровня Java и СУБД Firebird 1.5.2. Пример интерфейса ИПК «Уголь» (формирование информационной модели для решения задачи ЛП) приведен на рис. 3, пример применения AnyLogic показан на рис. 4.
Рис. 3. Пример интерфейса ИПК «Уголь»
Рис. 4. Модель конкуренции компании производителей энергии в AnyLogic
Заключение. В статье рассматривается технология вычислительного эксперимента в исследованиях развития угольной промышленности, основанная на использовании инструментальной среды. Важными компонентами этой среды являются разработанные автором информационно-программный комплекс «Уголь» и база данных «Перспектива». Взаимодействие ИПК «Уголь», БД и электронных таблиц Excel автоматизировано. Дальнейшей задачей работы является автоматизация взаимодействия с системой агентного моделирования AnyLogic и свободно распространяемыми средствами OLAP-анализа.
Работа выполнена при частичной финансовой поддержке грантов РФФИ №10-0700264, №11-07-00192 и гранта Программы Президиума РАН № 2.29.
Список литературы
1. Такайшвили Л.Н. Особенности угольной промышленности, как объекта исследования в рамках ТЭК // Информационные и математические технологии в науке и управлении / Труды ХТТТ Байкальской Всероссийской конференции. - Иркутск: ИСЭМ СО РАН, 2008. - С. 313-320.
2. MPS формат - http://en.wikipedia.org/wiki/MPS format/
3. lp_solve reference guide 5.5.0.- http://lpsolve.sourceforge .net/
4. ILOG CPLEX® 2003 - http://www.ilog.com/products/cplex/
5. LINDO Systems - Optimization Software - http://www.lindo.com
6. Чинь Куанг Чунг Информационная поддержка построения модели оптимизации
поставок и добычи угля / Труды XL конференции молодых ученых «Системные исследования в энергетике». - Иркутск: ИСЭМ СО РАН, 2010. - С. 261-267.
7. Массель Л.В., Такайшвили Л.Н., Чинь Куанг Чунг. Информационно-программный
комплекс для исследований развития угольной промышленности России. - Вестник ИрГТУ. - № 9(56). - 2011. - С. 6-11.
8. Осама Ель Сайед Ахмед Мохамед Шета. Технология использования хранилища данных и знаний в исследованиях энергетики / Наука и образование (электронное научно-техническое издание, эл. № ФС 77 - 30569, гос. рег. № 0421000025). - №10. -2010. - http://technomag.edu.ru/.
9. Карпов Ю. Имитационное моделирование систем. Введение в моделирование с АпуЬо^с-5. - С-Пб: ВНУ, 2005. - 403 с.
10. Чинь Куанг Чунг. Возможности применения агентного моделирования в исследованиях конкуренции компаний - производителей энергоресурсов / Труды IV Всероссийской конференции «Винеровские чтения». - Иркутск, 2011. - С. 309 - 313.
