CC BY
215
УДК 004.94
И.В. Гвоздюк, А.В. Сластихин, Т.Э. Шульга
О ВОЗМОЖНОСТЯХ МОДЕЛИРОВАНИЯ ГЕТЕРОГЕННЫХ ИНФОРМАЦИОННЫХ СИСТЕМ НА ОСНОВЕ АГЕНТНОГО ПОДХОДА
В рамках данной работы представлен сравнительный анализ трех современных технологий построения гетерогенных информационных систем: EII, EAI, ETL. Сделаны выводы о перспективности каждой из представленных технологий. Для моделирования гетерогенных информационных систем с применением техно-
логии EII исследована и обоснована актуальность применения компьютерного моделирования на основе агентного подхода.
Компьютерное моделирование, агентное моделирование, гетерогенные информационные системы, EII-системы, интеграция информации
I.V. Gvozdyuk, A.V. Slastihin, T.E. Shulga
HETEROGENEOUS INFORMATION SYSTEMS MODELING USING THE AGENT-BASED APPROACH
The paper presents the comparative analysis of three advanced technologies for heterogeneous information systems implementation (EII, EAI and ETL) including their benefits, scope of coverage and weak points. For the most perspective and appropriate implementation technology, Enterprise Information Integration (EII), the agent-based method of heterogeneous information systems modeling is described by means of available approach capabilities.
Imitation modeling, agent-based modeling, heterogeneous information systems, EII-systems, information integration
Последние десятилетия характеризуются экспоненциальным увеличением объема хранимой в электронном виде информации, в том числе и корпоративной. Современное предприятие обычно использует в своей деятельности несколько информационных систем, которые хранят данные в разных форматах, и множество программных приложений, которые должны обрабатывать зачастую противоречивые данные из различных источников. Очевидно, что конфликты данных и конфликты, возникающие при одновременной работе нескольких приложений негативно влияют на бизнес-процессы предприятия. Эти проблемы призваны решать так называемые гетерогенные информационные системы. Элементами гетерогенной информационной системы могут быть как источники разнородных данных, так и механизмы их обработки. Отметим, что понятие гетерогенных систем активно используется не только в области информационных технологий, но и в прикладной химии, технике и других отраслях. В частности, многие сплавы и жидкости можно считать гетерогенными системами, а в производстве классическим примером гетерогенной системы может служить обычная кирпичная кладка [1].
Актуальность гетерогенных информационных систем также обусловлена повышенными требованиями к производительности, скорости реакций и масштабируемости разрабатываемых решений, а также практически достигнутым пределом мощностей отдельных процессоров [2]. Гетерогенный подход прогнозируемо позволяет дать существенный прирост возможностей вычислительных систем для решения все более и более сложных прикладных задач. В качестве примера популярных коммерческих продуктов данного класса можно привести продукты Federate компании Attunity и PureData System всемирно известной компании IBM [3][4].
Среди существующих зарубежных исследований выделим два основных направления в изучении гетерогенных информационных систем - вопросы конфиденциальности гетерогенных данных и социальные-экономических проблемы.
В рамках первого направления помимо работ по исследованию классических подходов к хранению информации [5], многие исследования направлены на решения прикладных задач. Например, в работе [6] авторами рассматривается вопрос безопасности гетерогенных данных в медицине, где хранимая информация о пациенте имеет критическое значение, а традиционный подход к хранению подобной информации неэффективен с повышением требований к современным системам.
В рамках второго направления отметим работу [7], где автором рассматриваются вопросы оптимизации ценовых показателей для улучшения потока розничных продаж. Исследуя гетерогенную систему и применяя к ней методики сбора и проведения гетерогенных вычислений, автор разрабатывает модель наилучшей работы системы розничной торговли. Важным вопросам в работах [8], [9] является исследование социальных сообществ. Для определения социальных групп, а также для прогнозирования отношений между элементами групп, авторы используют подход EII систем, направленный на интеграцию гетерогенной информации и выявлению связей. Это в очередной раз доказывает широкий спектр применения гетерогенного подхода.
Среди отечественных исследователей проблематика интеграции гетерогенных данных также является актуальной. Так, в работах [10], [11], [12] под руководством В.Л. Бурковского исследуются 186
различные системы реального времени (например, транспортные и медиа потоки) в условиях гетерогенности окружающей информации. Авторы применяют методы теории моделирования для разработки комплекса программ, успешно оптимизирующих работу конкретных процессов.
Однако, все указанные выше работы освещают только отдельные аспекты разработки гетерогенных информационных систем или особенности их разработки в конкретных предметных областях, и в научной литературе отсутствуют описание общих моделей, которые могут быть эффективно использованы при проектировании данных систем.
В данной работе проводится сравнительный анализ современных технологий построения гетерогенных информационных систем и обосновывается возможность их моделирования на основе агентного подхода.
Рассмотрим современные технологии построения гетерогенных информационных систем - а именно EAI, ETL и EII подходы [13].
Технология EAI (англ. Enterprise Application Integration) обеспечивает централизацию приложений и создание общего интерфейса между компонентами единой инфраструктуры. Особенность EAI-систем заключается в том, что системы этого типа решают типичные интеграционные задачи [14]. К недостаткам EAI-систем принято относить высокие затраты на анализ инфраструктуры, а также на установку и сопровождение разработанной системы.
В отличие от EAI, технология ETL (англ. Extract, Transform and Load) предназначена для работы на уровне данных, обработка которых осуществляется порциями [15]. Для обеспечения целостности данных в системах данного типа формируется сложная метамодель для надежного хранения систематизированных данных. Технологии EAI и ETL могут быть использованы вместе.
Технология EII (англ. Enterprise Information Integration) обеспечивает непрерывную интеграцию данных и универсальную систему доступа к ним. Как правило, такие системы предоставляют удобный пользовательский интерфейс (к примеру, для сотрудников компании или их клиентов) [16]. Одной из важнейших задач EII систем является обеспечение безопасного доступа к собранным данным. В основу решений на базе технологии EII закладывается понятие федеративных запросов - распределенных запросов, направленных на одновременное извлечение данных из нескольких систем.
Для обоснования выбора наиболее перспективной технологии построения гетерогенных информационных систем были выбраны следующие ключевые критерии.
1. Уровень использования системы. Один из самых важных показателей, отражающий с какого рода гетерогенной информацией работает технология - приложениями, базами данных, разными информационными системами.
2. Область применения. Данный критерий характеризует потенциал гетерогенной системы, описывая типовые задачи, которые могут быть решены с помощью технологии.
3. Время. Критерий, который показывает, поддерживает ли технология обработку данных в режиме реального времени или асинхронно (batch-обработка).
4. Интерфейс. Данный критерий содержит перечисление поддерживаемых технологий типов интерфейсов.
5. Затраты на установку и поддержку. Вспомогательный фактор при выборе технологии построения системы в реальных условиях, описывающий на какой из процессов (установка и сопровождение) тратится основной объем средств.
Результаты анализа технологий EAI, ETL и EII на основе предложенных критериев представлены в таблице.
Сравнительная характеристика технологий EAI, ETL и EII
Критерий EAI ETL EII
Уровень использования Приложения Данные Шлюз между Различными информационными системами
Область Автоматизация Работа с Работа с
Применения бизнес-процессов хранилищами данных несогласованными источниками данных
Время Real-time система Batch-обработка Real-time система
Интерфейс API Доступ к данным напрямую Графический интерфейс. Возможно API
Установка и Только установка Установка и Установка и при
Поддержка сопровождение необходимости сопровождение
Таблица показывает, что системы БЛ1-типа используются в основном для построения промежуточного слоя для связи информации, работа с которой осуществляется в рамках отдельных корпоративных приложений.
В отличие от технологий ЕЛ1 и ЕТЬ, системы Е11 решают задачу построения полноценного шлюза между гетерогенными источниками данных и внешним интерфейсом. К тому же Е11 - технология с минимальным количеством ограничений в реализации. Также это единственная технология, которая направлена на конечного потребителя и поэтому поддерживает удобный графический интерфейс. Однако сложность Е11-систем заключается в том, что обработанные данные должны соответствовать всем требованиям предприятия, в том числе и в отношении прав доступа.
Одним из важнейших факторов, влияющих на выбор гетерогенных информационных систем, являются временные рамки. В настоящее время важной задачей является интеграция гетерогенных данных в режиме реального времени. В этом отношении ЕТЬ существенно проигрывает технологиям ЕЛ1 и Е11 [15].
На основе проведенного анализа можно сделать вывод о том, что технология Е11 представляет наибольший интерес для дальнейшего исследования как наиболее перспективное направление среди существующих средств построения гетерогенных информационных систем.
На данный момент все решения из области гетерогенных информационных систем Е11 типа обладают закрытой архитектурой в рамках коммерческих продуктов. В публичном доступе отсутствуют модели таких систем. Рассмотрим возможность построения модели такой системы при помощи компьютерного моделирования.
На данный момент в области компьютерного моделирования устоялись три основные парадигмы. К ним относят дискретно-событийные модели, системную динамику и агентное моделирование [16]. Рассмотрим уровни обеспечения абстракции моделей для всех трех парадигм с целью обоснования наиболее подходящего варианта для моделирования системы Е11 типа.
Как видно из схемы 1, системная динамика используется для выявления причинно-следственных связей на глобальном уровне. В свою очередь, дискретно-событийный подход решает задачу на более низком уровне абстракции (в качестве яркого примера можно указать моделирование цепочек поставок) [14]. Агентная модель позволяет варьировать уровень абстракции в зависимости от целей моделирования.
Стоит отметить, что вопрос выбора «лучшей» парадигмы по-прежнему открыт. Существуют приверженцы каждой из парадигм, считающие, что остальные подходы ненаучны, либо не могут решить поставленную задачу с необходимой точностью [17].
Одним из новейших методом компьютерного моделирования является агентное моделирование или ABM (англ. agent-based model) [18]. Появление агентного подхода можно связать с переходом от моно-моделей к мультимоделям, содержащим множество уникальных алгоритмов. Основная идея данного подхода заключается в исследовании поведения набора уникальных агентов в рамках единой системы. В классической имитационной модели под агентом подразумевают сущность, обладающую автономным поведением, взаимодействующую с окружением и способную принимать решения в соответствии с набором правил и целей.
Системная динамика
Высокий уровень абстракции
Дискретно-
событийная
модель
Низкий уровень абстракции
Агентное моделирование
Возможность реализовать любой уровень абстракции
Схема 1. Уровни абстракции для различных парадигм
Любая агентная модель описывается множеством агентов Agents = {Ag1(Ag2,•••,Agn},Ag; £ Agents. Под агентом может пониматься любая программа (или ее часть), которая моделирует отдельную личность или реальный объект. Агент программируется таким образом, чтобы реагировать на изменения окружающей виртуальной среды, которая в свою очередь является моделью реального окружения исследуемых агентов. При этом важнейшей характеристикой модели является состояние ее агентов, которое определяется следующим образом.
^gS; = (Base;, Goa/;, PZans;, £П!;,) (1)
Будем считать Base; - это множество информации, которой владеет агент Agj и которая используется им для достижения цели Goal;. В подобном множестве информации фактически могут содержаться любые данные, связанные с целями агентов.
Для достижения указанной цели Goal; агент Ag; использует множество планов Plans; = )plani11, plan;12, ••• +. В свою очередь для обеспечения сбора и обработки информации каждый агент обладает множеством связей £п!; [19]. Это множество реализует принцип взаимодействия между агентами и окружающей средой, являющийся одним из основных в теории агентного моделирования.
Покажем, каким образом при помощи агентного подхода возможно отслеживание динамики работы компьютерной модели гетерогенной EII-системы. Рассмотрим модель гетерогенной системы EII-типа, основываясь на понятии самой гетерогенной информационной системы, в контексте агент-ного подхода.
Пользователи
Схема 2. Модель гетерогенной информационной системы типа EII
Как видно из схемы 2, ключевыми элементами модели гетерогенной информационной системы EII-типа являются Агенты (интерфейсы доступа к различным множествам информации), взаимодействующие непосредственно с источниками данных, а также ядро системы, отвечающее за циркуляцию и обработку всех приходящих запросов, управление пользователей и т.п. Стоит отметить, что данное представление достаточно абстрактное - каждый из элементов в свою очередь может быть разбит на отдельные компоненты.
Введем понятие агента в модели гетерогенной информационной системы. Под агентом Agj подразумеваем элемент гетерогенной системы, моделирующий поведение некоторого объекта в процессах сбора и обработки информации из различных источников, а также внешней среды. Например, в качестве агента может выступать средство обработки запросов в базу данных Oracle. Множеством информации такого агента являются все необходимые данные для подключения к СУБД Oracle. Все цели такого агента направлены на извлечение данных из обрабатываемой базы, а планы достижения этих целей - всевозможные варианты построения SQL-запросов. Множество связей с окружающей средой может быть представлено данными о зеркальной базе данных (выполняющей функцию ре-
зервного хранения), а также данными учетной записи пользователя, в контексте которого необходимо работать внутри сегмента сети, содержащего базу.
Таким образом, делаем вывод о том, что принцип перехода к уникальным алгоритмам внутри децентрализованной системы и лежит в основе механизмов обработки информации в гетерогенных информационных системах EII типа.
Перейдем к перечислению достоинств агентного подхода, позволяющих его успешно применить для построения модели гетерогенной информационной системы EII-типа.
1. Независимость. Агенты действуют автономно друг от друга [14]. По такому же принципу гетерогенные информационные системы взаимодействуют с источниками данных - любой из механизмов, работающих с конкретными информационными источниками, может не знать о существовании других.
2. Децентрализация. В отличие от других подходов, в агентных системах нет централизованного места, где бы определялось поведение системы в целом. Вместо этого поведение определяется на индивидуальном (агентном) уровне, а глобальное поведение возникает как результат деятельности всех агентов. Данная характеристика также применима и к EII-системам.
3. Контроль и реакция. Как и механизмы доступа к гетерогенным источникам данных, агенты наделены ограниченным набором интеллекта, и действуют только внутри среды. Агенты также способны реагировать на изменения макро-уровня среды, базируясь на наборе правил.
4. Проактивность. Наличия собственного множества планов и намерений позволяет агентам проявлять активность для достижения поставленных целей. Для EII-систем в рамках множества планов и намерений ярко выражены принципы безопасности и доступа к разнородной информации.
5. Детализация. Погрешность компьютерной модели определяется исключительно мощностью вычислительных ресурсов и степенью приближения к реальности [14].
Также важно отметить, что разработка модели гетерогенной информационной системы при помощи агентного подхода позволяет при отсутствии знаний о глобальных свойствах исследуемых систем (которые, как правило, присутствуют только в виде коммерческих продуктов и обладают закрытой архитектурой) построить модель за счет индивидуальных целей и намерений каждого из агентов.
Таким образом, в данной работе проведен сравнительный анализ технологий построения гетерогенных информационных систем и сделан вывод о перспективности технологии EII. Для моделирования такого рода систем обосновано использование компьютерного моделирования с применением агентного подхода.
ЛИТЕРАТУРА
1. EAI vs. ETL: Drawing Boundaries for Data Integration [Электронный ресурс] / Syntel Inc. -Режим доступа: http://www.syntelinc.com/uploadedFiles/ Syntel/Digital_Lounge/ White_Papers/ Syn-tel_EAI_vs_ETL.pdf.
2. Roger D. Chamberlain, Joseph M. Lancaster, Ron K. Cytron: Visions for application development on hybrid computing systems. Parallel Computing 34(4-5): 201-216 (2008).
3. Attunity Federate [Электронный ресурс]. - Режим доступа: http: //www. attunity .com/company.
4. IBM PureData [Электронный ресурс]. - Режим доступа: http://www-01 .ibm.com/software/data/puredata/.
5. Wang, X., Hochin, T., Nomiya, H.: Feasibility of unified usage of heterogeneous databases storing private information. 2nd IIAI International Conference on Advanced Applied Informatics: 337-342 (2013).
6. Khan, A., McKillop, I.: Privacy-centric access control for distributed heterogeneous medical information systems. 1st IEEE International Conference on Healthcare Informatics: 297-306 (2013).
7. Herbon, A.: Dynamic pricing vs. acquiring information on consumers heterogeneous sensitivity to product freshness. International Journal of Production Research. Volume 52: 918-933 (2014).
8. Lakshmi, T.J., Bhavani, S.D.: Heterogeneous link prediction based on multi relational community in-formation. 2014 6th International Conference on Communication Systems and Networks, COMSNETS 2014.
190
9. Cruz, J.D., Bothorel, C., Poulet, F.: Integrating heterogeneous information within a social network for detecting communities. 2013 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining, ASONAM 2013.
10. Ломов, Эдуард Олегович. Программное обеспечение процессов управления медиапото-ками в условиях гетерогенности информационных систем реального времени : диссертация ... кандидата технических наук : 05.13.11 / Ломов Эдуард Олегович; [Место защиты: Воронеж. гос. техн. унт].- Воронеж, 2012.- 190 с.: ил. РГБ ОД, 61 13-5/730.
11. Рыков, Сергей Александрович. Математическое и программное обеспечение информационных систем реального времени с гетерогенной средой распределенных СУБД : диссертация ... кандидата технических наук : 05.13.11 / Рыков Сергей Александрович; [Место защиты: Воронеж. гос. техн. ун-т].- Воронеж, 2011.- 185 с.: ил. РГБ ОД, 61 12-5/846.
12. Голиков, Алексей Анатольевич. Математическое и программное обеспечение распределенных информационных систем реального времени управления транспортными потоками : диссертация ... кандидата технических наук : 05.13.11 / Голиков Алексей Анатольевич; [Место защиты: Воронеж. гос. техн. ун-т].- Воронеж, 2010.- 172 с.: ил. РГБ ОД, 61 11-5/263.
13. Imhoff, С. Intelligent Solutions: Understanding the Three E's of Integration EAI, EII and ETL / C. Imhoff// DM Review. 2005. - April.
14. Сластихин, А.В. О возможности моделирования процессов командной работы с использованием мультиагентов. - Modern informatization problems in economics and safety, 2013. ISBN 978-1-
15. Шульга Т.Э. Программные решения систем интеграции данных и корпоративной информации. Материалы Международной научно-практической конференции «Интернет и инновации: практические вопросы информационного обеспечения инновационной деятельности».- Саратов, Изд-во СГТУ, 2008. С.246-250.
16. Карпов, Ю.Г. Моделирование агентов новая парадигма в имитационном моделировании. Электронный ресурс. - Режим доступа: http://mas.exponenta.ru/files/npo/texts/karpov.pdf.
17. Хлюнев В.А., Вагарина Н.С. Пример интеграции данных на основе семантических описаний в формате RDF и OWL //Материалы конференции: Международная научная конференция «Математические методы в науке и технологиях» (ММТТ-26), Саратов, 24-26 апреля 2013 г.
18. Wooldridge M. An introduction to multiagent systems. - New York: John Wiley & Sons, 2002.
19. Ивашкин Ю.А. Структурно-параметрическое моделирование интеллектуальных агентов и систем // Информационные технологии и системы. Вып. 4, Воронежская государственная технологическая академия. Воронеж, 2001. С. 33-37.
Гвоздюк И.В. - I.V. Gvozdyuk -
Студент НИТУ «МИСиС» Undergraduate,
62174-012-4.
National University of Science and Technology «MISIS» (Moscow Institute of Steel and Alloys)
Сластихин Алексей Владимирович -
аспирант кафедры «Прикладная информатика и программная инженерия» Саратовского государственного технического университета имени Гагарина Ю.А.
A.V. Slastihin -
Postgraduate,
Yuri Gagarin State Technical University of Saratov
Шульга Татьяна Эриковна -
доктор физико-математических наук, доцент, заведующий кафедрой «Прикладная информатика и программная инженерия» Саратовского государственного технического университета имени Гагарина Ю.А.
T.E. Shulga -
Ph.D, Associated Professor,
Hear: Department of Applied Informatics
and Software Engineering,
Yuri Gagarin State Technical University of Saratov
Статья поступила в редакцию 12.10.14, принята к опубликованию 25.12.14
