Научная статья на тему 'Процесс сбора, систематизации данных при помощи средств реляционной базы данных oracle'

Процесс сбора, систематизации данных при помощи средств реляционной базы данных oracle Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
234
21
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СБОР / COLLECTION / СИСТЕМАТИЗАЦИЯ / SYSTEMATIZATION / ИНФОРМАЦИЯ / INFORMATION / БАЗА ДАННЫХ / DATABASE / АСУТ-Т / ASUT-T / ЖЕЛЕЗНЫЕ ДОРОГИ / RAILWAYS / PROCESSING

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Ткаченко Антон Юрьевич

В представленной статье описывается процесс сбора и систематизации данных по операциям, выполненным в рамках технологического процесса, между базами данных информационно-сигнальной системы поддержки принятия решений в локомотивном хозяйстве регионального уровня. Сбор данных производится с региональных баз данных, расположенных на шести полигонах сети железных дорог России, в которых содержится вся информация по исполненным операциям в локомотивной и поездной моделях данных. Систематизация осуществляется при помощи выделения информации, которая точно идентифицирует конкретный объект модели и является уникальной для всех региональных баз данных. В качестве средств обработки собранных и систематизированных данных выступают инструменты базы данных Oracle, которые инициируют выполнение необходимых триггеров по мере поступления новых данных. Использование представленного процесса позволяет выполнять анализ данных по выполненным технологическим операциям в рамках охвата всей сети ОАО «РЖД».

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

COLLECTION, SYSTEMATIZATION AND DATA PROCESSING BY MEANS OF A RELATIONAL DATABASE ORACLE

The article describes the process of collecting, managing and processing of data on transactions made within the framework of the process between databases information-warning decision support system in the locomotive sector at the regional level (ASUT-T). Data are collected from regional databases on six ranges of «Russian railways», which contain all the information on the execution of transactions in the locomotive and train data models. Systematization is carried out by selection of information that accurately identifies the specific model object and is unique for all regional databases. As the processing of the collected and systematic data module written in the programming language Java, which forces implementation of the necessary triggers as new data become available. The use of the presented process allows to perform data analysis of technical operations within the scope of the whole railway network of JSC «Russian Railways».

Текст научной работы на тему «Процесс сбора, систематизации данных при помощи средств реляционной базы данных oracle»

ИРКУТСКИМ государственный университет путей сообщения

применения корреляционного и регрессионного анализа к задачам эконометрики должна способствовать освоению основных этапов эконометри-ческого моделирования: постановка проблемы, получение данных, спецификация, идентификация и верификация модели, а также интерпретация полученных результатов. Особое внимание уделено отбору объясняющих переменных регрессионной модели в связи с проблемой их мультиколли-неарности. Наиболее тесную корреляцию ИЧР имеет с индексами развития ИКТ, продовольственной безопасности и восприятия коррупции. Однако мультиколлинеарность модели приводит к необходимости исключить названные объясняющие переменные. В итоге наиболее удачной моделью ИЧР признана модель, в которой объясняющими переменными являются: индекс экономической свободы, индекс миролюбия и индекс расходов на здравоохранение. Для большинства стран модель даёт удовлетворительную точность предсказания, однако для части стран получается значительное завышение или занижение величины ИЧР. Проанализированы причины этих ошибок, связанные с определённой спецификой социального, политического и экономического развития ряда стран.

БИБЛИОГРАФИЧЕСКИИ СПИСОК

1. Зимняя И.А. Исследовательская деятельность студентов в вузе как объект проектирования в компе-тентностно-ориентированной ООП ВПО. М. : Исследовательский центр проблем качества подготовки специалистов. 2010. 40 с.

2. Гефан Г.Д., Кузьмин О.В. Активное применение компьютерных технологий в преподавании вероятностно-статистических дисциплин в техническом вузе // Вестник Краснояр. гос. пед. ун-та им. В.П. Астафьева. 2014. № 1 (27). С. 57-61.

3. Кейнс Дж.М. Метод профессора Тинбергена // Вопросы экономики. 2007. № 4. С. 37-45.

4. Тинберген Я. О методе статистического исследования делового цикла. Ответ Дж. М. Кейнсу // Вопросы экономики. 2007. № 4. С. 46-59.

5. Рассел Б. Человеческое познание, его сферы и границы. Киев : Ника-Центр, 1997. 560 с.

6. Орлов А.И. Современная эконометрика // Наука и технология в России. 1997. №.1 (18). С.16-17.

7. Гуманитарная энциклопедия [Электронный ресурс] // Центр гуманитарных технологий : информационно-аналитический портал. URL: http://gtmarket.ru/research (Дата обращения 05.11.2015).

8. Эконометрика / под ред. И.И. Елисеевой. М. : Финансы и статистика, 2004. 344 с.

9. Гефан Г.Д. Эконометрика. Дополнительные материалы. Иркутск : Изд-во ИрГУПС, 2014. 40 с.

УДК 004.043 Ткаченко Антон Юрьевич,

аспирант, Иркутский государственный университет путей сообщения, тел. 8-908-666-3319, e-mail: tkachenkoayu@mail.ru

ПРОЦЕСС СБОРА, СИСТЕМАТИЗАЦИИ ДАННЫХ ПРИ ПОМОЩИ СРЕДСТВ РЕЛЯЦИОННОЙ БАЗЫ ДАННЫХ ORACLE

A. Yu. Tkachenko

COLLECTION, SYSTEMATIZATION AND DATA PROCESSING BY MEANS OF A RELATIONAL DATABASE ORACLE

Аннотация. В представленной статье описывается процесс сбора и систематизации данных по операциям, выполненным в рамках технологического процесса, между базами данных информационно-сигнальной системы поддержки принятия решений в локомотивном хозяйстве регионального уровня. Сбор данных производится с региональных баз данных, расположенных на шести полигонах сети железных дорог России, в которых содержится вся информация по исполненным операциям в локомотивной и поездной моделях данных. Систематизация осуществляется при помощи выделения информации, которая точно идентифицирует конкретный объект модели и является уникальной для всех региональных баз данных. В качестве средств обработки собранных и систематизированных данных выступают инструменты базы данных Oracle, которые инициируют выполнение необходимых триггеров по мере поступления новых данных. Использование представленного процесса позволяет выполнять анализ данных по выполненным технологическим операциям в рамках охвата всей сети ОАО «РЖД».

Ключевые слова: сбор, систематизация, информация, база данных, АСУТ-Т, железные дороги.

Abstract. The article describes the process of collecting, managing and processing of data on transactions made within the framework of the process between databases information-warning decision support system in the locomotive sector at the regional level (ASUT-T). Data are collected from regional databases on six ranges of «Russian railways», which contain all the information on the execution of transactions in the locomotive and train data models. Systematization is carried out by selection of information that accurately identifies the specific model object and is unique for all regional databases. As the processing of the collected and systematic data module written in the programming language Java, which forces implementation of the necessary triggers as new data become available. The use of the presented process allows to perform data analysis of technical operations within the scope of the whole railway network of JSC «Russian Railways».

Keywords: collection, systematization, processing, information, database, ASUT-T, railways.

Информатика, вычислительная техника и управление

ш

Введение

Ценность и достоверность знаний, полученных в результате интеллектуального анализа данных, зависит не только от эффективности используемых аналитических методов и алгоритмов, но и от того, насколько правильно подобраны и подготовлены исходные данные для анализа.

Для осуществления поддержки принятия решений, контроля соблюдения межремонтных периодов в эксплуатации, анализа работы локомотивного парка и бригад на сети ОАО «РЖД» применяется информационно-сигнальная система поддержки принятия решений в локомотивном хозяйстве регионального уровня (АСУТ-Т) и корпоративного уровня (АСУТ-ЦТ). Данный комплекс выполняют, в режиме реального времени сбор, хранение и обработку информации о выполненных операциях, дислокации и состояниях объектов, участвующих в перевозочном процессе, которые имеют свое отражение в региональных базах данных (БД) АСУТ-Т, в виде локомотивной и бригадной моделей данных.

Для распределения нагрузки комплекс АСУТ-Т разделен на шесть регионов (Восточный, Западно-Сибирский, Южно-Уральский, Южный, Центральный, Куйбышевский), каждый из которых хранит оперативную информацию о процессах, происходящих в определенном регионе сети ОАО «РЖД». С целью обеспечения синхронизации данных используется центральный сервер, расположенный в Главном вычислительном центре - филиале ОАО «РЖД», который поддерживает в актуальном состоянии основные справочники, такие как серии локомотивов, список предприятий, список бригад. Схема комплекса изображена на рис. 1.

Оперативная информация, содержащаяся на региональных серверах комплекса АСУТ-Т, представляет из себя список исполненных операций по локомотивной и бригадной моделям данных.

Рис. 1. Общая схема комплекса АСУТ-Т

Постановка задачи

В ходе сбора данных по бригадной и локомотивной моделям был обнаружен недостаток существующей реализации хранения данных, который выражается в отсутствии связей между объектами моделей на разных серверах баз данных АСУТ-Т. Таким образом, один и тот же объект регистрируется под своим идентификатором, который уникален только для одного сервера АСУТ-Т.

Данный недостаток усугублялся тем, что в процессе технологического цикла работы один объект может работать, перемещаясь между двумя регионами, вследствие чего история операций и состояний объекта регистрируется частично на сервере одного региона, а частично - на сервере другого региона.

Соответственно, отсутствие связей между региональными серверами, в совокупности с образуемыми разрывами данных, не позволяет производить объективный анализ данных в целом по сети дорог ОАО «РЖД».

Рассмотрим пример данных из истории одного локомотива по Восточному и ЗападноСибирскому регионам АСУТ-Т, за один промежуток времени.

Как мы можем увидеть, в указанной истории присутствует одновременно две проблемы: во-первых, идентификатор объекта для одного локомотива разный на серверах АСУТ-Т; во-вторых, информация по одному объекту хранится кусками на серверах АСУТ-Т.

Для систематизации данных между всеми региональными серверами баз данных АСУТ-Т необходимо решить следующие задачи:

1. Найти способ сопоставления объектов моделей данных между разными серверами баз данных АСУТ-Т.

2. Выполнить объединение и восстановление цепочек данных на основе информации со всех региональных серверов баз данных АСУТ-Т.

3. Исключить избыточную, дублирующуюся информацию по исполненным операциям.

Решение задачи

Для нахождения способа сопоставления объектов был произведен анализ имеющейся информации по локомотивам и бригадам с целью выделения общей для конкретного объекта информации, которая удовлетворяет следующим критериям:

1. Информация должна точно идентифицировать конкретный объект модели на любом из серверов БД АСУТ-Т.

2. Информация должна быть уникальна для всей сети ОАО «РЖД».

В итоге, исходя из указанных критериев, в базе данных АСУТ была выделена следующая информация:

1. по локомотивной модели - код серии и номер головной секции локомотива;

2. по бригадной модели - код депо приписки и табельный номер машиниста.

После выделения общей информации выполним преобразование данных из табл. 1 и заменим идентификатор объекта кодом серии и номером головной секции локомотива на обоих региональных серверах АСУТ-Т, после чего получим следующие данные, которые отображены в табл. 2.

Выделение общей информации и установка однозначных связей между всеми серверами баз данных АСУТ-Т открыли путь к решению второй части задачи по систематизации данных по бригадной и локомотивной моделям.

Систематизация данных заключается в объединении данных со всех региональных серверов в единый список с целью устранения пропусков информации в целом, обеспечения хронологического порядка выполненных операций и исключения дублирующейся на региональных серверах ин-

Т а б л и ц а 1

История операций одного локомотива на двух серверах АСУТ-Т

Дата АСУТ-Т Восток АСУТ-Т ЗапСно

Объект Событие Дислокация Объект Событие Дислокация

15.03.14 16:45 960069498 1008 888700 Данные отсутствуют

15.03.14 18:12 960069498 1000 888660 20011541 1000 888660

15.03.14 18:15 960069498 1004 888660 20011541 1004 888660

16.03.14 00:59 960069498 94 38375 20011541 94 38375

16.03.14 01:44 960069498 47 886490 20011541 47 886490

16.03.14 02:12 Данные отсутствуют 20011541 1029 886490

16.03.14 02:45 960069498 1004 886490 20011541 1004 886490

16.03.14 05:30 960069498 1000 888660 20011541 1000 888660

16.03.14 06:40 960069498 1004 888660 20011541 1004 888660

16.03.14 07:26 960069498 1000 888665 Данные отсутствуют

16.03.14 07:43 960069498 1004 888665

16.03.14 08:50 960069498 1008 888700

16.03.14 10:35 960069498 1000 888800

Т а б л и ц а 2

История операций после выделения общей информации_

¡Цата асут-т Восток асут-т зщ]мси6^

Головная секция Код события Дислокация Головная секция Код события Дислокация

15.03.2014 16:45 233 /17981 1008 888700 Данные отсутствуют

15.03.2014 18:12 233 /17981 1000 888660 233/17981 1000 888660

15.03.2014 18:15 233 /17981 1004 888660 233 /17981 1004 888560

16.03.2014 00:59 233 /17981 94 38375 233/17981 94 38375

16.03.2014 01:44 233 /17981 47 886490 233/17981 47 886490

16.03.2014 02:12 Данные отсутствуют 233/17981 1029 886490

16.03.2014 02:45 233 /17981 1004 886490 233/17981 1004 886490

16.03.2014 05:30 233 /17981 1000 888660 233 /17981 1000 888560

16.03.2014 06:40 233 /17981 1004 888660 233/17981 1004 888660

16.03.2014 07:26 233 /17981 1000 888665 Данные отсутствуют

16.03.2014 07:48 233 /17981 1004 888665

16.03.2014 08:50 233 /17981 1008 888700

16.03.2014 10:35 233 /17981 1000 888800

Информатика, вычислительная техника и управление

ш

формации.

Достижение этих целей осуществляется при помощи выполнения алгоритма, содержащего следующие шаги:

1. Выполняется сбор данных с шести региональных серверов БД АСУТ-Т. При этом к данным добавляется информация, уникально идентифицирующая каждый объект моделей данных на всей сети дорог ОАО «РЖД».

2. Сбор и систематизация данных производится во временную таблицу БД АСУТ-Т с использованием инструкции MERGE, которая позволяет выполнять операции вставки, обновления или удаления для целевой таблицы на основе результатов соединения с исходной таблицей.

3. Далее средствами СУБД Oracle производится сортировка полученного списка.

Общая схема работы алгоритма изображена на рис. 2.

После выполнения данных действий получаем систематизированные данные, как указано в табл. 3, содержащие полную информацию по объектам, которые можно использовать для последующего анализа.

Заключение

Составленный процесс сбора, систематизации и обработки данных с региональных серверов АСУТ-Т, а также разработанные на его основе скрипты на языке PL/SQL СУБД Oracle были внедрены в состав автоматизированной системы контроля полноты информации комплекса АСУТ-Т и позволили достичь следующих результатов:

Т а б л и ц а 3 Систематизированные данные по локомотиву

Дата Объединение

Головная секция Код события Дислокация

15.03.2014 16:45 233 /17981 1008 888700

15.03.2014 18:12 233 /17981 1000 888660

15.03.2014 18:15 233 /17981 1004 888660

16.03.2014 00:59 233 /17981 94 38375

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

16.03.2014 01:44 233 /17981 47 886490

16.03.2014 02:12 233 /17981 1029 886490

16.03.2014 02:45 233 /17981 1004 886490

16.03.2014 05:30 233 /17981 1000 888660

16.03.2014 06:40 233 /17981 1004 888660

16.03.2014 07:25 233 /17981 1000 888665

16.03.2014 07:48 233 /17981 1004 888665

16.03.2014 08:50 233 /17981 1008 888700

16.03.2014 10:35 233 /17981 1000 888800

Рис. 2. Общая схема сбора и систематизации данных из БД АСУТ-Т

1) восстановления логической последовательности информации по событиям объектов, работающих территориально на двух и более регионах;

2) Уменьшения количества ложных срабатываний аналитических систем за счет восстановления логической последовательности информации;

3) Повышения качества и объективности анализа данных.

БИБЛИОГРАФИЧЕСКИИ СПИСОК

1. Громов Ю.Ю., Татаренко С.И. Программирование на языке СИ. Тамбов, 1995. 169 с.

2. Орешков В.И., Паклин Н.Б. Бизнес-аналитика: от данных к знаниям. СПб.: Питер, 2013. 624 с.

3. Брюс Эккель. Философия Java. СПб. : Питер, 2009. 638 с.

4. Стив Макконнелл. Совершенный код. СПб. : Питер, 2007. 896 с.

5.

6.

7.

8.

Скотт Урман, Рон Хардман, Майкл МакЛафлин. Oracle Database 10g. Программирование на языке PL/SQL. М., 2007. 792 с.

Коннор МакДональд, Хаим Кац, Бек Кристофер. Oracle PL/SQL для профессионалов: практические решения. СПб., 2005. 560 с.

Кирьянчиков В.А. Качество и надежность программного обеспечения. СПб. : СПбГЭТУ, 2001. 57 с.

Константайн Л., Локвуд Л. Разработка программного обеспечения. СПб. : Питер, 2004. 592 с.

УДК 519.711 Александров Илья Михайлович,

инженер вычислительного центра, Ангарская государственная техническая академия,

тел. 8 (904) 129-96-32, e-mail: mozg@agta.ru Бадеников Артём Викторович, к. т. н., доцент, ректор, Ангарская государственная техническая академия,

тел. (8-3955) 67-18-32, e-mail: info@agta.ru Евсевлеева Лариса Геннадьевна, к. х. н., доцент, зав. кафедрой «Высшая математика», Ангарская государственная техническая академия, тел. (8-3955) 51-29-50, e-mail: evsevleeva67@mail.ru

НЕЙРО-НЕЧЁТКАЯ АДАПТИВНАЯ СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ

В ТЕХНОЛОГИЧЕСКОМ ПРОЦЕССЕ

I. M. Aleksandrov, A. V. Badenikov, L. G. Evsevleeva

NEURO-FUZZY ADAPTIVE DECISION SUPPORT SYSTEMS IN TECHNOLOGICAL PROCESS

Аннотация. В статье рассматриваются показатели эффективности технологического процесса, которые можно представлять в виде лингвистических переменных и оценивать с помощью термов, что позволяет применять нечеткие системы. Предлагается метод автоматизации принятия решения в условиях неопределенности, основанный на применении виртуального датчика, построенного на основе нечеткой нейронной продукционной сети. Полученный метод повышает эффективность управления технологическим объектом, оптимизируя параметры, влияющие на целевой продукт производства. В работе описана структура нейро-нечеткой системы и процесс ее обучения. Предлагается использовать мнение эксперта для обучения нечеткой нейронной продукционной сети, что позволит расширить границы точности измерения неизмеримых и трудноизмеримых параметров целевого продукта технологического процесса. Приведены примеры использования предлагаемых методов повышения эффективности управления технологическим процессом.

Ключевые слова: нейро-нечёткая продукционная сеть, адаптивная система, принятие решения, эффективность технологического процесса.

Abstract. The article discusses the performance indicators of the process that can be represented in the form of linguistic variables and evaluated using terms which allows the use offuzzy systems. A method of automating decision-making under uncertainty based on the use of virtual sensor based on fuzzy neural network ofproduction is proposed. The resulting method improves the efficiency of the control of technological units, optimizing the parameters that influence the production of the desired product. The paper describes the structure of the neuro-fuzzy system and the process of its training. It is proposed to use expert opinion to train the fuzzy neural network of production, which will expand the boundaries of measurement accuracy of immeasurable and difficult to measure parameters of the desired product of the process. Examples of the use of the proposed methods for increasing the efficiency of the process control are given.

Keywords: neuro-fuzzy network, adaptive system, decision, efficiency of the process.

Введение

Один из подходов в развитии действующих технологий или разработке новых технологий -это из конечного множества имеющихся вариантов решений найти лучший. Технологии могут включать как завершенные, так и незавершенные процессы. Каждый технологический процесс включает совокупность технологий, ресурсы и определенное время для его выполнения. Сформулируем набор показателей эффективности технологического процесса I = I(1п, О,Т, Я), где I -технологический процесс, !и - его начальное со-

стояние, О - цель, Т - правила перехода от одного состояния к другому, Я - ресурсы, используемые при этом. В показатели оценки включим:

- финансовые результаты реализации процесса;

- воздействие рассматриваемого технологического процесса на другие процессы;

- экологичность процесса;

- качество готовой продукции.

Все эти факторы содержат в себе значительную долю непредсказуемости. Таким образом, при оценке проекта технологии, как правило, имеют

i Надоели баннеры? Вы всегда можете отключить рекламу.