CC BY
66
Vol. 10. No. 4 (58). 2015
А. И. Волков, аспирант Московского физико-технического института, генеральный директор АО «РДТеХ», [email protected]
интеграция хранилищ данных с открытыми и большими данными для решения задач финансовой организации: проблемы и подходы к решению1
В статье рассмотрены вопросы, связанные с интеграцией информации из различных источников для комплексного применения в решении задач финансовой организации . Предложены подходы к использованию в хранилищах данных организации сведений из внешних источников: открытых данных, Интернета, государственных систем автоматизации и др . Рассматриваются особенности применения процессного подхода сервисной ИТ-компанией для разработки средств автоматизации финансовой организации
Ключевые слова: хранилище данных, финансовая информация, большие данные, открытые данные, процессный подход, обработка финансовой информации, информационный объект .
введение
Финансовая информация является одной из наиболее востребованных в современном мире. Она содержит сведения об объектах и субъектах финансовых операций, все чаще дополняется другими сведениями, которые становятся доступными в автоматизированных системах.
Новыми видами сведений являются большие данные, открытые данные (ОД), информация, предоставляемая государственными автоматизированными системами. Средствами автоматизации также формируются метаданные о различных свойствах социальной и технологической среды (финансовых и др.).
1 Статья подготовлена по материалам доклада «Проблемы интеграции хранилищ данных с открытыми и большими данными и подходы к их решению» на Международной конференции «Физико-техническая информатика» (СРТ2014) 11-18 мая 2014 года, г. Лар-нака, Республика Кипр, и 17-21 июня 2014 года, г. Протвино Московская область, Россия.
В основе алгоритмов обработки и анализа данных находится модель предметной области и концепция организации данных.
В финансовой организации (ФО) одним из основных элементов системы автоматизации является хранилище данных (ХД). Под ФО мы понимаем такую организацию, в основе деятельности которой находится предоставление финансовых услуг. К ФО относятся в первую очередь банки, страховые компании, организации, обслуживающие платежные системы и др.
ХД обеспечивает консолидацию информации об основной деятельности ФО. Наряду с проблемами автоматизации обработки и хранения информации мы рассмотрим также организационно-технологические вопросы, связанные с использованием средств автоматизации в решении финансовых задач, поскольку «построение хранилища данных — это не просто создание очень большой базы данных, это процесс» [1].
Функциональные требования к хранилищам данных ФО, принципы и приоритеты в формировании структуры информа-
ПРИКЛАДНАЯ ИНФОРМАТИКА / JOURNAL OF APPLIED INFORMATICS /-
' Том 10. № 4 (58). 2015
ции, особенности ее обработки определяются системой целей организации, в основе которых находятся стратегические цели. Информационное наполнение ХД является результатом реализации бизнес-процессов (БП) компании. Модель бизнес-процессов и ее поддержка в актуальном состоянии определяются процессным офисом компании, реализованным тем или иным образом. Для выполнения БП, связанных с интеграцией, обработкой и анализом информации, используются соответствующие программные средства [2].
Содержание деятельности ФО изменяется, что определяется подвижной бизнес-средой, конкурентной обстановкой, развитием рынка финансовых услуг, появлением новых возможностей по получению и обработке информации о деятельности финансовых и других организаций. Адаптация ФО к новым условиям в таких «точках стратегического перелома» затрагивает как изменения БП компании, так и структуру ХД и способы работы с находящейся в нем информацией [3].
Структура и использование информации финансовой организацией
В современном обществе широко используется общедоступная телекоммуникационная инфраструктура, которая включа-
ет пользователей в обработку информации (в том числе и финансовой) в режиме реального времени.
Рассмотрим основные виды информации, наполняющей автоматизированные системы для решения финансовых задач, а также взаимодействие информации, получаемой из различных источников [4].
На рис. 1 показаны основные составляющие информационного наполнения систем обработки финансовой информации и наиболее существенные информационные связи между ними.
Основным источником информации о деятельности ФО является транзакционная система (применительно к некоторой обобщенной ФО). В банках эта система обычно называется «автоматизированная банковская система» (АБС). Она обеспечивает механизмы авторизации пользователей, средства взаимодействия с клиентом с использованием принадлежащих ему компьютерных и коммуникационных устройств, возможность подключения к существующим системам безналичных денежных расчетов. Важной особенностью такой системы является обеспечение согласованности, достоверности и непротиворечивости всех выполняемых действий.
В перспективе произойдет интеграция транзакционных систем ФО с появивши-
Рис. 1. Виды информации, применяемые в финансовой организации, и их взаимодействие Fig. 1. Types of information used in financial institutions, and their interaction
VJ9
Vol. 10. No. 4 (58). 2015
мися в государстве официальными системами идентификации и аутентификации для решения задач взаимодействия с другими организационными структурами. Это в первую очередь касается единой системы идентификации и аутентификации (ЕСИА). Заверенная государством информация на бумажных носителях (паспорта, различные документы государственных организаций и др.) будет постепенно замещаться их электронными аналогами и интегрироваться с информационной системой ФО, а также с доступными внешними источниками данных.
Система межведомственного электронного взаимодействия (СМЭВ) является перспективным средством коммуникации, обработки запросов к различным государственным структурам и местным органам власти. Информация, появляющаяся в государственных структурах, должна быть увязана с данными собственной транзакционной системы ФО. Поскольку сейчас эти средства автоматизации развиваются независимо, средства информационного обмена между ними, как правило, являются недостаточно эффективными. Поэтому ФО должна формировать новые и совершенствовать имеющиеся механизмы взаимодействия с создаваемой государственной информационной инфраструктурой.
Транзакционная система реализует взаимодействие с клиентами как с использованием труда сотрудников ФО, так и с применением программного обеспечения для самостоятельного доступа потребителей к предоставляемым услугам. В этой деятельности во все большей степени применяется инфраструктура Интернета, средства автоматизации, предоставляемые госструктурами и партнерами ФО. Например, все чаще платежи за услуги организаций — государственных, ресурсоснабжающих и других — осуществляются с использованием средств автоматизации этих организаций. При этом ФО должны обеспечивать взаимодействие клиентов с организациями в автоматизированном режиме. Для информирования
и подтверждения транзакций применяются принадлежащие клиентам средства коммуникации с использованием инфраструктуры телекоммуникационных компаний.
Информация транзакционной системы финансовой организации выгружается в хранилище данных — среду хранения и обработки информации, обеспечивающей ее эффективную аналитическую обработку (показано в верхней части рис. 1). В ХД также поступает информация из внешних систем управления справочными данными — Master Data Management (MDM), источников открытых данных (ОД) и из Интернета. Рассмотрим взаимодействие этих систем.
В процессе работы ФО в ней формируется внутренняя среда классификации и кодирования, обеспечивающая работу транзак-ционной системы и ХД. В то же время в государстве в целом и его финансовой сфере формируется среда унифицированного представления информации, которую можно назвать внешней MDM-системой, обеспечивающей общепринятую классификацию и кодирование данных. Эта внешняя MDM-система формируется в виде общепринятых форматов и определений данных, унифицированных значений классификаторов, стандартизованных форм документов, онтологий.
Упомянутая внешняя MDM-система — это не единая автоматизированная среда, а некоторое множество систем, содержащих возникающую в автоматизированном режиме в других организациях информацию, необходимую для работы ФО. С этой инфраструктурой в условиях единой коммуникационной среды каждой ФО приходится считаться во все большей степени, обеспечивая в том числе прозрачность собственных средств автоматизации относительно общепринятой системы смыслов. В настоящее время мы находимся на этапе формирования внешней MDM-инфраструктуры ФО, что усложняет процесс автоматизации. Однако со временем, с развитием средств интеграции на методическом, технологическом, нормативном уровнях, острота проблемы совместного ис-
Том 10. № 4 (58). 2015
пользования информации будет снижаться. В результате возникнет новое качество в функциональных возможностях обработки финансовой информации.
Под ОД обычно понимаются данные, доступные для свободного использования и представленные в виде, удобном для использования в автоматизированных системах [5]. ОД в ФО являются средством связывания внутренней и внешней информации, позволяют дополнительно структурировать сведения, спонтанно возникающие в Интернете.
Все большее значение в деятельности ФО имеет Интернет (вверху справа на рис. 1). В этой информационной среде информация может быть представлена в различной форме, отличаться степенью структурирования и формализации. Она не всегда является достоверной. Однако в современных условиях Интернет является эффективной инфраструктурой для осуществления различных видов финансовой деятельности и источником сведений о состоянии и тенденциях развития общества. Интернет позволяет получать неочевидную информацию о клиентах, использовать новые способы увеличения клиентской базы. ФО, более эффективно использующие в своей работе интернет-информацию, получают дополнительные рыночные преимущества. Большой объем данных, имеющихся во Всемирной сети, и высокие темпы роста этого объема требуют использования ФО специальных способов работы с ними, в частности интенсивно развивающихся технологий обработки Больших данных (Big Data), а также средств структурирования и оценки достоверности появляющихся сведений.
На основе вышеизложенного можно сделать вывод о необходимости использования в работе ФО новых видов информации, позволяющих повысить эффективность решения задач и обеспечить конкурентные преимущества ФО на рынке финансовых услуг. Происходит все большая интеграция финансовой деятельности клиентов и партнеров ФО в автоматизированную инфор-
мационную инфраструктуру общества, и ФО должны учитывать эту тенденцию.
типовые задачи, решаемые финансовой организацией, и оценка эффективности их автоматизации
Различные типы ФО — банки, страховые компании, платежные системы, посреднические структуры, участвующие в выполнении платежей, и другое — решают определенный круг автоматизируемых задач.
Операционные задачи, связанные с конкретными финансовыми операциями, решаются в транзакционной системе, а аналитические — с использованием информации, собираемой в ХД в виде, удобном для обобщенной обработки.
ХД — информационная основа для принятия решений. С помощью ХД решаются задачи, связанные с анализом доходности услуг ФО, изучением клиентской базы с целью повышения охвата рынка, выявлением востребованных услуг, возможностей оказания дополнительных услуг в регионах, получения необходимых видов отчетности и др.
В табл. 1 в качестве примера приведен перечень основных аналитических задач, решаемых банком с использованием ХД, а также рассмотрены способы решения этих задач, источники данных и критерии эффективности.
В табл. 2 приведены основные свойства рассмотренных выше технологических решений, которые используются для обработки финансовой информации.
Одним из перспективных направлений развития систем обработки финансовой информации является использование ОД.
использование открытых данных в решении задач финансовых организаций
В автоматизированных системах, которые внедряются в обществе, появляются данные, не имеющие ограничений по использованию и распространению (патенты,
Vi1
Vol. 10. No. 4 (58). 2015
Таблица 1. Основные аналитические задачи, стоящие перед банком, и подходы к их решению Table 1. The main analytical challenges facing the Bank, and approaches to their solution
Финансовые задачи Способы решения задач Источники данных для решения задачи Критерии эффективности решения задач
Подготовка обязательной отчетности для регулирующих органов (ЦБ РФ, ФНС) Создание автоматизированных систем сбора и обработки информации для расчета необходимых показателей и формирования регламентируемых отчетов АБС, системы аналитического учета совершаемых сделок Удовлетворение требований регулирующих органов по срокам предоставления и качеству отчетов
Подготовка внутренней управленческой отчетности Создание хранилищ данных и специализированных аналитических витрин с использованием инструментов расчета показателей АБС, системы аналитического учета совершаемых сделок. Для более глубокого анализа можно использовать ОД Эффективность принятия управленческих решений на основе подготовленной отчетности
авторское право и др.) в любых применениях, — открытые данные [4]. Они позволяют решать на новом качественном уровне ряд задач, стоящих перед ФО.
В литературе имеются различные трактовки понятия ОД. Различия в определении этого понятия не позволяют единообразно сравнивать различные технические и технологические решения в этой области. Обычно ОД возникают в коммерческих системах или как результат внедрения различных государственных программ, таких как «открытое правительство». В отдельных случаях они могут возникать и в результате инициативы юридических и физических лиц.
Использование ОД требует решения ряда концептуальных, технологических и технических проблем. Некоторые вопросы, связанные с использованием ОД в современных системах, рассмотрены в работе [6]. Отмечается, что ОД являются результатом работы автоматизированных систем различных организаций и отражают существенные свойства предметов и явлений, которые могут использоваться непосредственно, а также служить ключами для связывания информации об описываемых этими данными объектах при выполнении различных аналитических операций с финансовыми характеристиками объектов. Например, если в ОД доступна информация о местоположении детских площадок в некотором районе города, а также сведения о стоимости каж-
дой из этих площадок, то с помощью имеющихся средств анализа пространственной информации можно получить стоимость этих площадок на некоторой территории — в парке, районе города и др.
ОД могут быть классифицированы по различным основаниям, что позволяет глубже осмыслить и структурировать это явление.
Известную классификацию, характеризующую степень формализованности и возможности использования ОД в автоматизированных системах, предложил один из разработчиков концепции web-технологий Тим Бернерс-Ли [7; 8]. Он предложил «пятизвездочную модель» ОД.
Одна звезда — находящееся в любом машиночитаемом формате хранилище данных, т. е. файл с графическим образом документа получит одну звезду. Данные в проприетарном формате, где существует какое-либо структурирование, допускающее автоматическую обработку, будут оценены в две звезды. Пример таких данных — файл электронной таблицы в формате Excel. Структурированные данные в свободном формате, автоматизированная обработка которых не требует каких-либо лицензий и платежей, оцениваются тремя звездами. Это, в частности, данные в структурированном текстовом формате CSV. Использование URL-ссылок в данных оценивается в четыре звезды. Пять звезд в оценке получают данные, пре-
Таблица 2. Применение информационных технологий для решения задач ФО Table 2. The application of information technology to solve problems financial organization
ИТ для обработки финансовой информации Примеры решаемых задач Краткая характеристика Ответственный за информационное наполнение и развитие Основные параметры в понятии финансовой организации
Транзакционные системы Финансовые операции Выполнение согласованной и авторизованной обработки финансовой информации в реальном времени ИТ-служба ФО Время реакции системы. Согласованность информации. Отказоустойчивость системы
Хранилища данных Принятие решений на основе анализа данных Информация для принятия управленческих решений ИТ-служба ФО Полнота данных. Гибкость запросов. Масштабируемость
Технологии работы с клиентами ФО Выполнение финансовых операций клиентом. Поиск и оформление услуг Возможность клиента в автоматизированном режиме решать свои задачи в ФО ИТ-служба ФО, партнеры, клиент Доля клиентов, использующих ПО ФО для собственного обслуживания. Место ПО ФО среди подобных решений по оценкам экспертов
СМЭВ Электронные документы о юридических и физических лицах Заверенная информация от государственных и муниципальных структур Уполномоченные организации (Ростелеком) Доля запросов к госструктурам, которая выполняется в автоматическом режиме. Отсутствие задержек в получении информации
Открытые данные (ОД) Общезначимая информация о социально-экономических объектах Общезначимые данные, полученные в результате консенсуса заинтересованных в решении задач ФО пользователей Государственные, общественные, коммерческие организации. Возможно, с участием физических лиц Семантическая однозначность информации. Актуальность и достоверность сведений
ЕСИА Доступ к средствам автоматизации ФО. Заочное заключение соглашений ФО с клиентом Автоматизация идентификации и аутентификации пользователей: физических и представителей юридических лиц Уполномоченные государственными структурами организации (Ростелеком) Защищенность системы. Простота и надежность использования и выявления нарушений в функционировании
Vol. 10. No. 4 (58). 2015
доставляемые в связи с другими данными, например доступные в виде взаимоувязанных таблиц.
Предоставление информации в рамках концепции ОД востребовано и поддерживается рядом федеральных и региональных структур России. Основанием для публикации ОД является Указ Президента РФ № 601 от 7 мая 2012 г. (подпункт «г» п. 2) [9]. Так, например, имеются страницы ОД на официальных сайтах Федеральной налоговой службы [10], Росстата [11], Московского правительства [12]. На портале открытых данных г. Москвы кроме собственно данных и лицензионных соглашений размещены приложения, разработанные пользователями и организациями для различных компьютерных платформ, в которых используются эти данные.
Однако представленные в имеющихся сервисах ОД в силу ряда концептуальных, организационных и технологических причин структурированы недостаточно. При их формировании и поддержке недостаточно учитывается смысловое содержание ОД, не вполне определено их место среди других видов имеющихся информационных ресурсов.
Для учета особенностей смыслового содержания ОД приведенную классификацию по уровню формализованности информации целесообразно дополнить классификацией по содержанию ОД [6; 13]. В соответствии с этой классификацией информация в автоматизированных системах включает 4 слоя, отличающихся условиями ее формирования и принципами доступа к информации:
1) государственный приватный;
2) государственный официальный общего применения;
3) коммерческий;
4) бесплатный.
Государственный приватный уровень закрыт для открытого использования и содержит сведения ограниченного распространения. Это вызвано политическими, военными, экономическими ограничениями, а так-
же соблюдением приватности юридических и физических лиц (персональные данные). Если допустимо раскрытие информации, она попадает в категорию государственной официальной информация общего применения — сведения государственных структур, которые нет смысла скрывать.
Для развития информационной инфраструктуры в государстве эта категория данных является наиболее важной, поскольку позволяет связывать все остальные категории сведений с использованием общей семантики, ключей данных, обеспечивает совместимость регламентов и ограничений по работе с информацией. Нужно отметить, что современные реализации технологий ведения ОД официальными структурами не обеспечивают достаточного для разработки сложных приложений уровня регламентации и стандартизации данных.
В процессе деятельности коммерческих организаций формируется коммерческий информационный уровень, используемый как для обеспечения собственной деятельности предприятия, так и для продажи или передачи заказчикам и партнерам произведенных в коммерческих целях информационных продуктов.
Уровень бесплатной информации — сведения, получаемые безвозмездно в результате функционирования бесплатных сервисов, в качестве хобби или благотворительности. В то же время информация, полученная бесплатно, может использоваться и в коммерческих целях.
ОД востребованы на всех перечисленных информационных уровнях, кроме первого — государственного приватного. На остальных трех уровнях ОД должны использоваться комплексно и согласованно с тем, чтобы получать максимальный эффект, но избегать связанных с их использованием негативных явлений.
Принципиальным вопросом является обеспечение информационной связности рассмотренных уровней на основе государственного официального. Данный уровень, по сути, является метаинформацией в со-
Том 10. № 4 (58). 2015
циальной системе. Наличие общих классификаторов, онтологий, определений данных и таблиц с данными позволяет согласованно использовать информационную инфраструктуру, развивать ее, привязывая новое информационное содержание к общим смыслам, ключам данных и регламентам ведения информации остальных уровней. Государственный официальный уровень информации нуждается в управлении и целенаправленном развитии. Это позволит получать дополнительные технологические, экономические и социальные результаты.
Наиболее актуальной открытой информацией для решения финансовых задач является:
• информация о людях в объеме, не противоречащем Закону о персональных данных;
• открытая информация о юридических лицах;
• местоположения и значимые свойства различных объектов (здания, транспортная инфраструктура и пр.) на поверхности земли, используемые в решении финансовых задач;
• форматы и структурированные описания различных документов для их единообразного использования, например в финансовой отчетности;
• финансовая информация в обобщенной или обезличенной форме, которая может применяться для аналитических целей (статистические данные, объемы продаж по видам товаров и услуг и пр.).
• служебная информация, необходимая для согласованного функционирования и обеспечения взаимно предсказуемого поведения сопрягаемых автоматизированных систем, в частности справочники и классификаторы, регламенты изменений данных и пр.
Использование ОД в России сейчас особенно актуально в связи с автоматизацией предоставления государственных услуг и участием в этом процессе в том числе и ФО. Общедоступный официальный ин-
формационный сегмент позволит упростить и ускорить внедрение государственных услуг, а также расширить функциональность имеющихся решений за счет информационных ресурсов коммерческих организаций и участия в процессах разработки новых сервисов социально активных граждан.
Выводы раздела
Появление инфраструктуры ОД в государстве предоставляет ФО новые возможности в обработке данных. ОД позволяют интегрировать сведения, получаемые во внутренних автоматизированных системах, с внешними информационными источниками. В связи с этим развитие инфраструктуры ОД в ближайшем будущем явится одним из основных факторов, влияющих на развитие информационных технологий.
Инфраструктура ОД в настоящее время находится в стадии становления, но уже сейчас с их помощью возможно решение различных пользовательских и аналитических задач. ОД являются информационной базой для предложения перспективных сервисов и услуг, разрабатываемых ФО и предоставляемых пользователям в коммерческом или бесплатном режиме.
Хранилище данных финансовой организации как базовая среда информационной интеграции
ХД являются основой для реализации технологий интеллектуального принятия решений в современных ФО.
Основные принципы построения хранилищ данных рассмотрены, например, в работах [1; 14]. Особенности обработки данных финансовой отчетности отражены в монографии [15].
Эффективность и применимость ХД для ФО может быть оценена рядом его существенных характеристик, к которым можно отнести:
• функциональную полноту ХД при решении задач ФО;
• используемые базовые технологии;
Vi5
Vol. 10. No. 4 (58). 2015
• специализированное программное обеспечение, применяемое для решения задач ФО;
• средства интеграции информации ХД с другими источниками данных, содержащими интересующую информацию.
Важной задачей является разработка перспективной архитектуры ХД.
Традиционно ХД предназначено для размещения больших объемов структурированных сведений с целью последующего анализа и осуществляет обработку ретроспективных данных ФО с обеспечением достаточной отказоустойчивости, необходимого уровня защиты от неправомерного использования, включает средства интеллектуального анализа данных.
Однако в настоящее время появляются источники данных — такие как социальные сети, мультимедиа-данные, сведения о местоположении и перемещении объектов, семантически размеченные финансовые сведения и т. п. Поэтому становится актуальной задача использования совместно с информацией ХД гетерогенных внешних данных. Полная интеграция разнотипных данных, как мы уже отмечали ранее, часто невозможна, да и не требуется в практике, однако частичное решение этой задачи востребовано и может быть реализовано.
Рассмотрим ХД в связи с задачами интеграции с другими типами данных. Традиционно ХД — тип базы данных, специализированной на объединении данных из различных источников и последующей ее аналитической обработки. Кроме базы данных, хранилище включает средства обработки информации, используемые в служебных целях, и аналитику для клиентов.
В ХД включаются данные из различных источников, обеспечивается их целостность и интегрированность. При этом данные, находящиеся в ХД, как правило, являются неизменяемыми и размещаются в хранилище после завершения транзакции в системе оперативной обработки данных (OLTP-системе) ФО. В хранилищах размещаются ретроспективные сведения, позволяющие
анализировать изменения объектов БД во времени. ХД имеют предметный характер — они касаются некоторой предметной области, работа с которой автоматизируется.
В отличие от OLTP-систем, где используются небольшие транзакции, данные в ХД загружаются периодически и включают все изменения в исходной системе за необходимый промежуток времени. Поэтому данные в ХД появляются с задержкой, которая допустима для последующего применения этих данных.
ХД должно обеспечивать оптимальную производительность при выполнении наиболее востребованных типов запросов к данным, необходимым, например, для получения финансовых отчетов. Как правило, структура данных при этом отличается от нормализованного до 3 нормальной формы и выше представления сведений в OLTP-системах. Используется структура данных «звезда», или «снежинка». В них таблица фактов окружается таблицами измерений, содержащими сведения о параметрах, характеризующих эти факты.
В условиях доступной в настоящее время для ФО информационной инфраструктуры содержание ХД, характеризующее факты, не ограничивается сведениями, имеющимися в самом хранилище, а использует результаты подключения к ним внешних информационных источников — других автоматизированных систем и Интернета в целом.
На рис. 2 представлен пример традиционной для ХД схемы «звезда» для анализа продаж с указанием на ней возможных подключений внешних источников данных различных типов. На схеме имеется таблица фактов — продажи, а также несколько основных измерений: продукты, клиенты, момент продаж и каналы продаж. Схема дополнена примером возможных связей перечисленных сущностей с внешней информационной средой.
Связь 1 продуктов с ОД позволяет получать сведения о свойствах продукта, унифицированным способом идентифициро-
Том 10. № 4 (58). 2015
-6—(^СМЭВ
Открытые данные
- официальные данные
- данные сообществ пользователей
Интернет
Клиенты
Таблица фактов
ЕСИА^
Каналы
Рис. 2. Типичная схема «звезда» хранилища данных, дополненная внешними источниками данных Fig. 2. A typical star schema data warehouse with external data sources
2
3
4
5
вать продукт и, как следствие, связать информацию о продукте со сведениями о нем в сети Интернет — связь 2. Дополнительная информация о клиентах может быть получена как с использованием ОД (связь 3), так и непосредственно из сети Интернет (связь 4) и использоваться в процессе анализа. Для идентификации клиентов в рамках нормативных ограничений может применяться ЕСИА (связь 5), а при наличии ведомственных ограничений по продаже продукта — СМЭВ (связь 6). Информация, полученная из этих систем, также может использоваться в аналитических целях. Следует отметить, что в случае совместного использования информации ХД и сведений, получаемых динамически из внешних автоматизированных систем, результат анализа оказывается неоднозначным, поскольку изменение внешних данных не всегда регламентировано. Однако это ограничение для многих аналитических задач является допустимым.
Рассмотрим влияние внешней информации на архитектуру хранилища данных. На рис. 3 представлена типичная базовая
архитектура, обеспечивающая функционирование ХД в ФО. Данные, находящиеся в оперативных системах, объединяются по смысловым связям и агрегируются в области предварительной обработки, а затем трансформируются в хранилище данных. При этом формируются метаданные хранилища, в котором сохраняются сведения о формате данных, источниках их возникновения, регламенте обновления и др. Данные в хранилище представляются в виде витрин данных — специализированных баз данных, предназначенных для решения соответствующей задачи. При построении витрин используются внешние данные. Пользователи применяют скомпонованные данные для решения аналитических, отчетных и исследовательских задач.
Внешняя информация может участвовать в обработке на различных этапах описанного процесса. Ее можно с некоторой долей условности разделить на метаданные и значения данных.
Внешние метаданные в рассматриваемом контексте — это справочники и классификаторы, определения и форматы элемен-
VJ7
Vol. 10. No. 4 (58). 2015
Источники данных
Область предварительной обработки
Оперативная система „
Оперативная система
К
данных /
Хранилище данных
Предварительные данные
Данные из таблиц
Метаданные
Внешние метаданные и внешние данные с различными уровнями структурирования
Пользователи
Аналитика
Отчетность
Исследование
1
2
3
Рис. 3. Влияние внешних информационных ресурсов на базовую архитектуру хранилища данных Fig. 3. The influence of external information resources on the basic architecture of data warehouse
тов данных, ключи, связи между сущностями, стандартизованные значения ключевых атрибутов сущностей, описания объектов финансовой инфраструктуры в форме он-тологий и другие общепринятые элементы описания данных.
Внешние метаданные могут быть доступны оперативным системам (связь 1 на рис. 3) и таким образом в возможной степени участвовать в формировании источников данных хранилища. Например, если в различных оперативных системах некоторый продукт описан по единым правилам, то интеграция данных о нем в ХД существенно облегчается.
При предварительной обработке данных для размещения в ХД также возможно подключение внешних метаданных с целью интеграции информации оперативных систем и файлов данных (связь 2 на рис. 3). Однако в этом случае такое преобразование требует использования дополнительных средств согласования информации и в общем случае не является однозначным. На этом этапе возможна также загрузка в ХД внешних данных, которые должны стать его частью и сохраняться постоянно.
Если ХД построено с использованием внешних метаданных, то клиентское программное обеспечение, решающее при-
кладные задачи, может извлекать данные из внешних источников (связь 3 на рис. 3), и они за счет стандартизации метаданных будут структурированы в той степени, в которой это позволяют сделать метаданные, имплицитно встроенные в ХД. Таким образом, клиентское программное обеспечение сможет извлекать меняющееся и не полностью структурированное содержание внешних автоматизированных систем, опираясь на доступное в собственном ХД базовое информационное наполнение.
Выводы раздела
Одной из перспективных тенденций развития средств обработки финансовой информации является включение в традиционные ХД внешних данных, получаемых из различных источников. Такие средства обработки будут предоставлять технологические решения, обеспечивающие автоматизированное расширение информационного наполнения хранилища данных. Будет использоваться дополнительная семантическая составляющая, получаемая из формирующейся в настоящее время на государственном и коммерческом информационных уровнях среды доставки необходимой метаинформации заинтересованным потребителям.
ПРИКЛАДНАЯ ИНФОРМАТИКА / JOURNAL OF APPLIED INFORMATICS /-
' Том 10. № 4 (58). 2015
организация обработки новых видов информации финансовой организацией и сервисной ит-компанией
В деятельности ФО используются сложные и быстро развивающиеся информационные технологии, в которых все более широко используются рассмотренные выше новые типы данных.
Методология внедрения в деятельность организаций этих данных: ОД, Больших данных, сведений государственных автоматизированных систем, — пока не вполне отработана, поскольку она должна включать в себя не только ИТ-составляющую, но и существенно влиять на систему управления ФО. Можно сказать, что ФО приобретает при этом новый «организационный дизайн», подразумевающий управляемую интеграцию информации, технологий и персонала. Результатом этих процессов является повышение качества функционирования организации [16].
Как правило, ФО не имеет ресурсов, достаточных для самостоятельного решения возникающих при внедрении ИТ технологических и организационных вопросов, ка-стомизации применяемых типовых решений. Для реализации этих задач ФО привлека-
ет одну или несколько специализирующихся на таких работах ИТ-компаний. Будем называть такие компании сервисными ИТ-компаниями.
В работе [17] рассмотрены вопросы, связанные с организацией работы сервисной ИТ-компании по разработке, внедрению, развитию и поддержке системы обработки информации ФО.
Взаимодействие сервисной ИТ-компании и ФО показано на рис. 4
Сервисные ИТ-компании проектируют систему обработки информации ФО, а также осуществляют консалтинг по ее эффективному использованию и развитию. Такие сервисные структуры могут выступать в качестве поставщика решений для информационной интеграции в обслуживаемых ФО всех используемых ими ИТ-систем. Если отдельные прикладные задачи, бизнес-модели работы, выполняемые ФО, не формализуемы и не поддаются полной автоматизации, сервисная компания предлагает ФО человеко-машинные подходы к их решению, обеспечивающие наиболее эффективное решение задачи.
Расширяющееся использование внешних по отношению к ФО источников информации требует более формализованного
ФО — клиенты ИТ-компании
Собственные системы обработки данных
(транзакционные системы, ХД и др.)
ИТ-компания — разработчик решений, осуществляет развитие и поддержку информационных систем Заказчика
Внешняя информационная среда ФО, включенная в обработку ее информации
Анализ деятельности ФО, ее функционирования, семантики используемой информации, выработка и внедрение решений по организации работы и обработке, т.е. по совершенствованию организационного дизайна
Рис. 4. Сервисная ИТ-компания и ее взаимодействие с финансовой организацией Fig. 4. Service IT company and its interaction with financial institution
VJ9
Vol. 10. No. 4 (58). 2015
подхода к способам и регламентам ее получения, проверки полноты и достоверности. Новые типы данных имеют разнообразную структуру и содержание, возникают из различных информационных источников по собственным регламентам и поэтому требуют применения новых инструментов и методов для обработки, поддержки эффективных для решения этих задач программных и аппаратных решений.
В ФО возрастает доля не вполне формализованной информации, получаемой в реальном времени и требующей оперативного анализа и учета в работе. Поэтому возникают новые требования к уровню подготовки и регламентации деятельности персонала организации. Специалисты должны уметь интерпретировать данные, поступающие из различных источников, выявлять проблемы и находить пути их решения. Они должны иметь бизнес-навыки, позволяющие корректно формулировать запросы к системе, применять методы принятия решений с использованием знаний о финансовой сфере, а также разбираться в технологиях автоматизированной обработки данных.
Требуется интеграция необходимых для выполнения деятельности компетенций специалистов с целью решения проблем и поиска новых возможностей для ФО. Аналитик финансовых данных должен применять как традиционные средства исследования данных, так и предсказательную и предписывающую аналитику. Предписывающий анализ данных предполагает как поддержку, так и автоматизацию принятия управленческих решений [16].
Востребовано создание новых регламентов и стандартов, учитывающих комплексное использование всей доступной ФО информации. Для этого должны использоваться модели процессов обработки информации в организации, учитывающие особенности новых типов данных.
ИТ-компания, предлагающая на рынке финансовые ИТ-продукты, заинтересована в выработке тиражируемого востребованного решения, способного настраиваться
на особенности работы конкретной организации.
Особенностью деятельности ИТ-компании на финансовом рынке является сложность и «виртуальность» продуктов и услуг, предоставляемых обслуживаемыми ФО. В то же время появляются новые концепции работы с информацией, совершенствуется ИТ-инфраструктура, появляются новые средства разработки и обслуживания информационных систем. В последнее время существенное влияние на деятельность ФО оказывает международная обстановка, поскольку необходимо учитывать вызванные структурными переменами изменения в бизнес-процессах. Особые риски связаны с использованием ИТ-решений, на многие из которых могут распространяться санкции, вызванные политическими причинами.
Как правило, продукты работы ИТ-компании — это инструменты для работы с информацией и информационное наполнение автоматизированных систем. Информация в автоматизированных системах появляется в соответствии с порядком и регламентами, принятыми в ФО. Поэтому актуально понимание методов получения и обработки информации, а также оптимизация информационного обмена с целью уменьшения издержек, ускорения и повышения достоверности ее обработки.
Для анализа механизмов функционирования предприятия используются технологии бизнес-моделирования. Информация, полученная в результате моделирования, — это метаинформация о функционировании собственного предприятия и контрагентов [17].
Использование процессного подхода — одна из основных тенденций в совершенствовании управления компаниями в современных условиях [18; 19]. При этом сервисная компания влияет на процессы ФО и отчасти включается в них. Рассмотрим основные организационные, методологические и технологические аспекты совершенствования процессного управления ФО с участием ИТ-компании, занимающейся
Том 10. № 4 (58). 2015
продвижением интеграционных решений на финансовом рынке.
При использовании процессного подхода иерархическая структура управления дополняется процессной моделью. Модель имеет самостоятельное значение для функционирования компании, а также применяется при разработке и развитии ее средств автоматизации. Непосредственное управление заменяется настраиваемым механизмом, поддерживающим выполнение процессов и контролем значений метрик, характеризующих эти процессы. Такой подход позволяет получить дополнительный эффект в работе компании [20; 21]. Можно выделить следующие основные цели бизнес-моделирования:
• реализация предсказуемости и возможности повторного выполнения всех БП компании;
• увеличение управляемости компании в процессе ее функционирования;
• автоматизация процесса управления, оптимизация управленческой структуры и повышение качества управления;
• реализация измеримости основных процессов работы компании и выполнение их регулярной оценки;
• структурирование и детальная оценка деятельности каждого сотрудника числовыми показателями;
• тиражирование удачных практик работы сотрудников с целью повышения эффективности совместной работы и предсказуемости ее результатов.
В контексте применения в бизнес-процессах организации новых типов данных можно говорить об уровне зрелости этих процессов. Например, в литературе [22] выделяется пять уровней зрелости бизнес-модели организации при решении задач с использованием Больших данных: мониторинг бизнеса, осознание бизнеса, оптимизация бизнеса, монетизация данных, реорганизация бизнеса. Эти же уровни применимы и для других рассматриваемых нами новых типов информации, используемых ФО.
В целом использование бизнес-моделирования позволяет решать проблемы фор-
мирования компетенций, требуемых для освоения новых направлений деятельности и применения достигнутых компетенций на нужном уровне. Решаются проблемы, связанные с накоплением знаний как компании в целом, так и знаний ее сотрудников в удобной для использования форме.
В процессе применения этих технологий совершенствуется культура работы. Наличие бизнес-моделей работы ФО с использованием новых видов данных и средств автоматизации выполнения этих бизнес-моделей позволяет создать инфраструктуру для комплексного и эффективного использования имеющейся информации, получения си-нергетического эффекта от согласованной работы сотрудников.
Специализация ИТ-компании на рынке финансовых услуг предполагает создание собственного портфеля востребованных ФО продуктов и услуг, выработку и тиражирование уникальных предложений, предоставления сервисов, востребованных на финансовом рынке. В этом контексте технологию процессного управления во многих случаях целесообразно использовать как внутри сервисной ИТ-компании для собственных целей, так и предлагать полученные компетенции и типовые решения потенциальным Заказчикам.
Технология бизнес-моделирования должна удовлетворять ряду требований, в частности предоставлять возможность полно и наглядно отражать БП. В процессе формализации БП обычно формируется база данных объектов, их существенных свойств, используемых в моделировании и составляющих репозиторий системы. Описания объектов поддерживаются ведением классификаторов для всех типов объектов и их элементов, обеспечивающих единообразное понимание, дальнейшее развитие, своевременную модернизацию модели.
Все позиции каждого классификатора должны быть подробно описаны для однозначного восприятия сотрудниками. Как правило, репозиторий включает и позволяет наглядно отображать на соответ-
Vi1
Vol. 10. No. 4 (58). 2015
ствующих диаграммах модели следующие базовые классификаторы:
• организационная структура моделируемой компании, организации;
• должности и роли сотрудников компании;
• документы, применяемые в компании;
• продукты, услуги компании, а также их структурированное описание.
Применяемые технологии моделирования должны быть удобны как для восприятия человеком, так и для машинной обработки. Это позволяет обеспечить непрерывное совершенствование способов применения технологии сотрудниками, а также увеличить уровень автоматизации работы с моделью в процессе ее использования.
Результатом комплексного развития средств автоматизации в финансовой сфере должен быть инструментарий для обеспечения функциональности «идеального исследователя» финансовых данных. Такой инструментарий позволит формировать модель необходимой финансовой ситуации с учетом существенных внешних и внутренних данных ФО и рекомендовать пользователю наиболее целесообразный в этой ситуации алгоритм действий.
Технологии моделирования БП обычно включают способ наглядного графического отображения (графическую нотацию) процессов, удобный для восприятия человеком, позволяющий документировать разработку и обсуждать БП в процессе разработки и использования. Концептуально многие из этих средств сформировались уже давно, однако они постоянно совершенствуются, в том числе получают новые возможности по автоматизации создания на их основе пользовательских приложений, обеспечивающих реализацию описываемых БП.
Средства формализованного описания БП обеспечивают однозначность восприятия процессной модели, исключают ее двусмысленность и позволяют применять различные средства автоматизации работы с бизнес-моделью.
Ряд технологий позволяет с помощью соответствующих программных средств построить модель БП, инициировать выполнение ее экземпляров и затем отражать ход выполнения этих экземпляров БП. То есть обеспечивается автоматизированный ввод и необходимая обработка получаемой в процессе выполнения БП информации. Такими свойствами обладают, в частности, средства автоматизации выполнения БП, встроенные в технологии BPM, Workflow.
Рассмотрим коротко распространенные в практике технологии моделирования БП, а также их характерные особенности.
Начальным этапом в построении бизнес-модели, как правило, является построение иерархии БП моделируемой организации. Моделирование начинается с формирования иерархического списка БП.
Для каждого элемента списка указывается вход, выход, владелец этого процесса, исполнитель, роль, метрики, документы. На нижнем уровне модели всегда реализуются конкретные операции. На более высоких уровнях иерархии они обобщаются, что позволяет целостно увидеть картину деятельности организации и не пропустить существенные элементы применяемой бизнес-логики.
В процессе построения иерархии БП бизнес-консультанты выявляют общие и типичные процессы и их элементы, характерные для каждой компании. Результатом является обобщенная схема декомпозиции БП, отражающая особенности работы моделируемой компании.
Описанная универсальная схема может использоваться на начальном этапе построения процессной модели любого предприятия с соответствующей сферой деятельности.
Примером стандартизованной реализации такой типовой схемы может служить классификация процессов APQC (American Productivity and Quality Center). Эта структура классификации процессов развивается и в настоящее время, например, она доступна в версии 5.2.0. для предприятий, деятельность которых связана с маркетингом и продажами [23]. Классификация отражает
Том 10. № 4 (58). 2015
универсальную модель процессов начиная с верхнего уровня. Для использования модели в нашем случае необходимо выполнить модификацию под задачи ИТ-компании, учитывающую особенности ее работы в сфере автоматизации финансового рынка или, в случае решения задачи моделирования для Заказчика, отразить в модели задачи моделируемой ФО.
Для этого из стандартизованного классификатора процессов исключаются позиции в иерархии, которые связаны с материальным производством, а также уточняются и детализируются необходимые пункты иерархии, отражающие специфику работы моделируемой компании. Поскольку структура процессов выверена и обобщена, то, например, для ИТ-компании требуются в основном удаление отдельных неиспользуемых позиций, а также незначительная корректировка названий ряда процессов применительно к особенностям компании.
Для построения иерархии БП часто используются электронные таблицы, однако многие средства автоматизации поддержки бизнес-моделирования осуществляют ведение иерархической информации об описываемых БП с использованием собственного встроенного репозитория.
Известной технологией бизнес-моделирования является SADT (Structured Analysis and Design Technique). Другое название этой технологии — IDEF0 [24]. Исторически это одна из первых широко распространенных технологий моделирования БП, возникшая в 70-х годах двадцатого века в американской аэрокосмической промышленности. Технология известна на рынке, что является ее преимуществом, поскольку она освоена специалистами-аналитиками, позволяет создавать модели с необходимой степенью детализации.
Однако SADT имеет и недостатки, связанные с трудностью ее восприятия неподготовленным пользователем, а также с недостаточными возможностями по автоматизации встраивания бизнес-модели, выполненной в этой нотации, в работу компании.
Технология ARIS (Architecture of Integrated Information Systems) бизнес-моделирования, предложенная компанией IDS Scheer, является популярной в России технологией. Автором методологии является А. Шеер [25; 26]. В настоящее время технология и программное обеспечение развиваются и распространяются компанией Software AG [27].
При использовании этой технологии с помощью поставляемого программного обеспечения возможно построение около 80 видов диаграмм, а также ведение репози-тория процессов и объектов, применяемых в диаграммах. Используя информацию ре-позитория, можно сформировать различные нормативные документы и отчеты, выполнять интеграцию с базами данных и приложениями, содержащими соответствующую информацию. Это облегчает поддержку модели организации в процессе эксплуатации.
Технология ARIS встраивается в собственные программные продукты рядом крупных поставщиков ПО, в частности Oracle (Oracle Business Process Analysis Suite) и SAP в поставляемом этой компанией интеграционном решении для продукта SAP R/3.
К недостаткам технологии ARIS можно отнести ее некоторую избыточность и громоздкость, а также сложность для восприятия рядовыми сотрудниками организации. В современных условиях существенным недостатком можно считать проприетарный характер методологии и средств ее автоматизированной поддержки. Однако в практике часто применяется достаточное для решения необходимых задач подмножество этой методологии, что облегчает ее практическое применение.
ARIS также не совсем подходит как средство автоматизации в BPM-системах, для использования в которых модель нужно транслировать в BPMN-нотацию, а также выполнять необходимые ручные доработки.
Унифицированный язык моделирования UML (Unified Modeling Language) является открытым международным стандартом [28]. Он содержит средства моделирования БП
\ 33
Vol. 10. No. 4 (58). 2015
наряду со средствами проектирования программного обеспечения и баз данных.
Этот язык сложен для освоения и требует специального обучения. В связи с этим его использование для проектирования БП в России не очень распространено. Однако в литературе [29] имеется мнение, что его роль в моделировании БП ввиду открытости и интеграции с популярными средствами разработки ПО будет возрастать.
Методология BPMN (Business Process Model and Notation) применяется как специалистами по анализу бизнес-процессов, так и бизнес-пользователями. Так как это решение стандартизовано и формализовано, оно может применяться для создания средств, обеспечивающих трансляцию модели БП в исполняемый код на языке BPEL. Одной из целей разработки этой нотации является осуществление связей между описанием БП и автоматизацией их выполнения. Среди специалистов имеется мнение о возможности интеграции в перспективе технологий UML и BPMN, так как они обе разрабатываются консорциумом OMG и решают сходные задачи [30].
Технологии моделирования БП не исчерпываются перечисленными примерами. Имеется ряд менее известных подходов к решению этой задачи. Часто упрощенные диаграммы БП для решения ограниченных по объему практических задач создаются с помощью универсальных редакторов диаграмм, в частности MS Visio. Следует отметить, что такие инструменты обеспечивают наглядность отображения БП, однако не обеспечивают ведения репозитория объектов, используемых в модели бизнес-процесса, т. е. имеют неполную функциональность. Они используются, как правило, на начальных стадиях бизнес-моделирования в качестве средства для удобного редактирования графических диаграмм.
Возникают также собственные нотации моделирования и средства их автоматизации, предлагаемые поставщиками программного обеспечения. Примером является российская разработка Business Studio.
В этой методологии используется собственная графическая среда, которая может применяться как специалистами, так и обычными бизнес-пользователями [31]. Эта технология ориентирована в том числе на автоматизированную подготовку регламентирующей документации, необходимой для функционирования компании, а также на создание систем менеджмента качества предприятия. Поскольку система разработана в России, она учитывает имеющиеся в стране особенности организации и документирования.
Таким образом, технологии моделирования БП развиваются как средства, обеспечивающие единство языка, взаимодействие сотрудников и позволяющие улучшить понимание функционирования предприятия, а при необходимости — детализировать нужные БП до операционного уровня. Они также позволяют подготовить регламенты работы предприятия и корпоративные стандарты.
Унифицированные средства бизнес-моделирования позволяют ИТ-предприятию тиражировать опыт обработки бизнес-информации в обслуживаемых ФО, воспринимать обобщенный опыт и использовать типовые бизнес-решения.
Эффект от применения технологий моделирования БП для ИТ-компании складывается из повышения эффективности работы собственной компании и из обобщения, типизации и автоматизации выполнения БП клиентов, которых она обслуживает. Бизнес-моделирование работы клиентов позволяет полнее выявить имеющиеся у них проблемы, сделать более адресными услуги сервисной ИТ-компании. Оно позволяет повысить качество услуг, а также выявить новые потребности ФО и обосновать целесообразность их удовлетворения с использованием средств автоматизации.
Важное значение имеет репозиторий типовых объектов ФО, применяемых в задачах бизнес-моделирования. Такими объектами являются роли и должности сотрудников, справочник подразделений, используемые
Том 10. № 4 (58). 2015
на предприятии документы и их подробные описания. Рассмотренные выше технологии и инструментальные средства бизнес-моделирования в той или иной степени включают в себя функциональность для разработки и сопровождения репозитория объектов моделирования.
Программные средства для бизнес-моделирования обеспечивают автоматизацию получения и ведения регламентирующих и нормативных документов. С помощью средств автоматизации с использованием модели процессов предприятия и предварительно подготовленных шаблонов осуществляется получение документов, необходимых для работы и сертификации предприятия с целью обеспечения соответствия требованиям стандартов качества, в том числе должностных инструкций, описаний организационной структуры, ответственности подразделений, регламентов выполнения работ и др.
Результаты бизнес-моделирования применяются для решения задач автоматизации при внедрении в организации процессного управления. Поэтому технологии работы с БП часто встраиваются в программные системы, предназначенные для решения специализированных прикладных задач управления предприятиями [32], таких как CRM, ERP, CAD/ CAM и др.
На основе изучения модели процессов настраиваются и кастомизируются средства автоматизации предприятия. При необходимости оптимизации или реорганизации работы используются результаты ручного, а также автоматизированного реинжиниринга функциональности, автоматизированной системы предприятия в процессную модель.
При создании модели БП предприятия можно выделить внутренние и сквозные процессы. Внутренние процессы выполняются внутри подразделений, а сквозные — касаются всей компании или проходят через несколько ее подразделений. Разработка и применение каждого из этих типов БП имеет свои особенности.
Характерные примеры внутренних процессов предприятия: организация продаж;
организация производства; оказание внутренних сервисных услуг ИТ-компании, организованной в виде виртуальных специализированных компаний; командная работа разработчиков ИТ с использованием технологий организации труда, таких как Jira, Agile.
Сквозные процессы объединяют предприятие, «сшивают» его деятельность. Они объединяют внутренние БП, поэтому их оптимизация значимо влияет на общую эффективность компании. Примерами таких процессов, характерными для большинства предприятий, являются стратегическое планирование, продажи, документооборот, разработка новых продуктов и услуг.
Жизненный цикл многих услуг компании также является сквозным БП, формирующимся на основе имеющихся типовых элементов, таких как ключевые компетенции, клиентская база и др.
Следует ожидать в перспективе изменений в работе с БП, связанных с появлением технологий обработки ОД, которые мы рассматривали ранее. Очевидно, что в будущем в формате ОД появятся общезначимые сведения по бизнес-моделированию и способам эффективного управления, полученные с использованием стандартизованных процессных моделей. Такие ОД будут аккумулировать опыт компаний, работающих в сфере ИТ. В финансовой сфере развитие сообществ, поддерживающих ОД, позволит увеличить уровень семантической связности информации, консолидировать сведения о различных аспектах деятельности ФО и финансовых услугах, предлагаемых на рынке.
При наличии соответствующих технологических и экономических условий тиражирование собственных эффективных практик бизнес-моделирования с использованием инфраструктуры ОД позволит заинтересованным предприятиям полнее реализовать свои конкурентные преимущества, качественно изменить уровень автоматизации бизнеса и повысить эффективность деятельности как собственной компании,
\ 35
Vol. 10. No. 4 (58). 2015
так и обслуживаемых ФО в результате тиражирования собственных удачных бизнес-практик.
Выводы по разделу
Для создания и развития средств автоматизации ФО необходимо использование современных технологий, своевременное использование возможностей, связанных с появлением новых информационных источников для решения финансовых задач. Для этого целесообразно использование ФО опыта сервисных ИТ-компаний в области консалтинга, разработки, технической поддержки и развития автоматизированных систем и др. Взаимодействие ФО и сервисной ИТ-компании — регулярный процесс, который требует включенности разработчика информационной системы в деятельность Заказчика. Для организации внутренней деятельности сервисной ИТ-компании ФО и решения задач обслуживания ФО необходимо использование процессного подхода, позволяющего отражать необходимые изменения в бизнес-процессах, связанных с обработкой информации. Интеграция деятельности ИТ-компании и ФО в области обработки данных позволяет ФО своевременно внедрять новые аналитические методы и эффективно использовать всю доступную ФО информацию.
Пример развития ит-компании с использованием процессного подхода к управлению
Положения процессного подхода, рассмотренные выше, применимы к деятельности любой сервисной ИТ-компании, в том числе специализирующейся на обслуживании ФО. Этот подход может применяться как для организации собственной деятельности такой компании, так и в процессах, связанных с обслуживанием заказчика — ФО. Для учета вклада каждого подразделения в деятельность ИТ-компании процессный подход дополняется концепцией виртуальных предприятий, предусматривающей, что основ-
ные подразделения становятся отдельными «предприятиями», имеющими собственный бюджет. Назовем эти виртуальные предприятия центрами финансовой ответственности (ЦФО). Единые для компании сервисные подразделения, сами являющиеся ЦФО, обеспечивают регламентную и бюджетную поддержку других виртуальных компаний. Взаимодействуют ЦФО на внутреннем «рынке», который управляется метриками, имеющими в том числе и финансовый характер. Кроме этого, учитывается фонд рабочего времени (ФРВ) сотрудников ИТ-компании.
Процессный подход фактически обеспечивает новый уровень оценки эффективности функционирования подразделений. Результаты работы ЦФО оцениваются с использованием финансовых и нефинансовых показателей. Они характеризуют полный цикл работы ЦФО, включающий, как правило, маркетинг, продажи и производство.
Для взаиморасчетов ЦФО установлены внутренние ставки для оплаты, например, имеется внутренняя ставка по обслуживанию одного сотрудника для услуг бухгалтерии.
Функциональная деятельность ЦФО осуществляется с использованием нефинансовых метрик для управления коммерческими подразделениями. Эти метрики позволяют в достаточной степени оценить их основную деятельность. Так, менеджеры по продажам оцениваются в том числе по следующим показателям: активность в маркетинговой деятельности; оценка эффективности участия в мероприятиях; количество встреч с заказчиками; использование ФРВ сотрудниками.
Финансовые показатели в целом позволяют сформировать полностью прозрачный механизм, раскрывающий получение и расход средств компании.
Значения показателей для каждого ЦФО вводятся в автоматизированную систему сервисными службами компании. Массив значений получаемых показателей позволяет комплексно анализировать эффективность работы каждого ЦФО и компании в целом.
ПРИКЛАДНАЯ ИНФОРМАТИКА / JOURNAL OF APPLIED INFORMATICS /-
' Том 10. № 4 (58). 2015
Рис. 5. Взаимодействие участников процессного взаимодействия сервисной ИТ-компании Fig. 5. The interaction of the participants of the process interaction service it company
На рис. 5 показано взаимодействие между участниками БП сервисной ИТ-компании. Они действуют в рамках ограничений (регламентов, взаимных соглашений), которые обеспечивают выполнение обусловленных процессной моделью коммуникаций между подразделениями компании, а также осуществляют внешние связи с клиентами и партнерами.
Использование рассмотренного подхода позволяет осуществлять оперативное управление и анализ состояния компании, выполнять адаптацию имеющихся в компании сервисов в соответствии с меняющимися требованиями.
Выводы раздела
Применение процессного подхода в деятельности ИТ-компании позволяет сформировать в ней эффективные механизмы мониторинга ее состояния и управления. Эта методология также способствует сокращению издержек, повышению управляемости и адаптивности компании по отношению к возникающим изменениям. Накопленный опыт может применяться в работе с заказчиками.
Использование процессного подхода увеличивает адаптационные возможности организации к изменениям структуры информации на рынке, является механизмом, позволяющим интегрировать в регламент обработки финансовой информации внешние информационные ресурсы. Он предоставляет инструменты, ориентирующие всех участников коммерческой деятельности на достижение конечного результата. Риски, возникающие в процессе выполнения работы, распределяются между всеми участниками коммерческой деятельности.
При внедрении процессной модели управления формируются горизонтальные связи, работающие более эффективно, чем вертикальные, при их правильном применении и настройке. Кроме того, применение процессных механизмов управления позволяет использовать новые аналитические возможности, в основе которых находятся измеримые показатели работы.
ФО также нуждаются в применении средств моделирования, позволяющих использовать новые виды данных, новые инструменты, методические средства и организационные механизмы, обеспечивающие
Vil
Vol. 10. No. 4 (58). 2015
быструю и эффективную адаптацию организаций к меняющейся финансовой ситуации.
Заключение
Перспективным направлением автоматизации обработки финансовой информации является комплексное использование всех имеющихся в распоряжении ФО сведений для решения своих задач. Нами рассмотрены особенности использования новых видов информации и способы организации работы ФО и сервисной ИТ-компании, совместно решающих задачи финансовой автоматизации. Эти положения могут применяться с использованием доступных средств автоматизации для обработки новых видов информации — открытых данных, больших данных, а также сведений, получаемых во взаимодействии с государственными автоматизированными системами, обеспечивающими функционирование систем автоматизации финансовой деятельности.
Использование процессного подхода при обработке финансовой информации позволяет обеспечить развитие и мониторинг работы организации, направить деятельность всех сотрудников и подразделений компании на достижение конечного результата.
Рассмотренные в статье положения могут применяться на различных этапах разработки, обеспечения функционирования и модернизации финансовых автоматизированных систем, а также при выполнении исследований в области методов обработки и использования финансовой информации.
Список литературы
1. Спирли Э. Корпоративные хранилища данных. Планирование, разработка, реализация. Т. 1: пер. с англ. М.: Вильямс, 2001. — 400 с.
2. Волков Д. Консолидатор 2.0. // Открытые системы. 2014. № 9. С. 1.
3. Гроув Э. Выживают только параноики. Как использовать кризисные периоды, с которыми сталкивается любая компания. М.: Бизнеском, 2011. — 231 с.
4. Волков А. И. Проблемы интеграции хранилищ данных с открытыми и большими данными и подходы к их решению // Труды Международной научной конференции CPT-2014 Московского физико-технического института (государственного университета), Института физико-технической информатики. Ларнака, Республика Кипр; Протвино, Московская область, Россия. 2014 г. C. 18-33.
5. Открытые данные. URL: https: //ru.wikipedia.org/ wiki/Открытые_данные
6. Волков А. И., Рейнгольд Л. А. Открытые данные: проблемы и решения // Прикладная информатика. 2014. № 3 (51). С. 5-12.
7. Демидов М. Открытые данные: Россия стоит на низком старте. URL: http://www.cnews.ru/ reviews/index. shtml? 2013/03/27/523707
8. Открытые государственные данные: российский и зарубежный опыт. Информационный обзор. Серия «Развитие информационного общества и электронного правительства» // Центр технологий электронного правительства НИУ ИТМО. 2012. Вып. 3. — 8. с. URL: http://egov. ifmo.ru/files/reviews/eGov_Review_2012_03_ opendata.pdf
9. Указ Президента Российской Федерации от 7 мая 2012 г. № 601 «Об основных направлениях совершенствования системы государственного управления». URL: http://www.rg.ru/2012/05/09/ gosupravlenie-dok. html
10. Сайт Федеральной налоговой службы РФ. Открытые данные. URL: http://www.nalog.ru/ opendata/
11. Сайт Федеральной службы государственной статистики РФ. Открытые данные. URL: http:// www.gks.ru/opendata
12. Портал открытых данных Правительства Москвы. URL: http://data.mos.ru/
13. Рейнгольд Л. А., Рейнгольд Е. А, Славин О. А. Интеграция информации в социально-экономической системе как основа инновационного развития государства // Труды ИСА РАН: Методы и модели системного анализа. Оценка эффективности и инвестиционных проектов. Системная диагностика социально-экономических процессов: Т. 61. Вып. 3. М.: URSS, 2011. С. 76-83.
14. Перминов Г. И. Системы интеллектуального анализа данных (Business Intelligence).
Том 10. № 4 (58). 2015
Учебно-методический комплекс. М.: ГУ-ВШЭ,
2007. — 121 с.
15. Исаев Д. В., Кравченко Т. К. Автоматизированные системы формирования консолидированной финансовой отчетности. Учебное пособие. М., 2006. — 370 с.
16. Мальцева С. Большие данные и дизайн организации // Открытые системы. 2015. № 1. С. 28-29.
17. Волков А. И. Методологические и программно-технологические аспекты внедрения процессного управления в ИТ-компании // Прикладная информатика. 2014. № 2 (50). С. 6-13.
18. Собакарева А. В. Процессный подход и мероприятия по устранению проблем его внедрения на российских предприятиях // Вестник МГТУ.
2008. Т. 11. № 2. С. 279-283.
19. Комиссарова М. А. Возможности использования реинжиниринга как основного инструмента управления компаниями с позиций процессного подхода // Креативная экономика. 2011. № 7 (55). С. 10-16.
20. Коновалов С. Н. Моделирование процессов СМК и управление изменениями // Материалы с официального сайта Менеджмент качества и ISO 9000. URL: http://quality.eup.ru/DOCUM4/ model-smk. htm
21. Курьян А. Г., Серенков П. С. Реализация процессного подхода в рамках систем менеджмента качества на основе методологии функционального моделирования IDEF0 // Автоматизация в промышленности. 2003. № 3. С. 26-35.
22. Schmarzo B. Big Data Business Model Maturity Chart. URL: https: //infocus.emc.com/william_ schmarzo/big-data-business-model-maturity-chart
23. American Productivity and Quality Center. URL: http://www.apqc.org/
24. Верников Г. Основные методологии обследования организаций. Стандарт IDEF0. URL: http:// www.cfin.ru/vernikov/idef/idef0.shtml
25. Каменнова М, Громов А., Ферапонтов М., Шма-талюк А. Моделирование бизнеса. Методология ARIS. Практическое руководство. М., Весть-Метатехнология, 2001.
26. Шеер А. В. Бизнес-процессы. Основные понятия. Теория. Методы: пер с англ. М., 2000. — 144 с.
27. Компания Software AG. URL: http://www. softwareag.com/ru/
28. Буч Г., Рамбо Дж, Джекобсон А. UML. Руководство пользователя.: пер. с англ. 2-е изд., стер. М.: ДМК Пресс; СПб.: Питер, 2004. — 432 с.
29. Репин В. В., Елиферов В. Г. Процессный подход к управлению. Моделирование процессов // М.: Стандарты и качество, 2004. — 408 с.
30. Репин В. В., Сооляттэ А. Ю. Обзор практики управления проектами внедрения процессного подхода в российских компаниях // М.: Финэк-сперт. ру, 2005. С. 19.
31. Система бизнес-моделирования Business Studio. URL: http://www.businessstudio.ru/
32. Панин A. B. Управление предприятием через идентификацию и классификацию процессов // Экономический вестник Ростовского государственного университета. 2007. С. 224-229.
References
1. Sperley E. Enterprise data warehouse. Planning, building, and implementation. Vol. 1, Moscow, Vil'jams Publ., 2001. 400 p. (in Russian).
2. Volkov D. Konsolidator 2.0. Otkrytye sistemy, 2014, no. 9, p. 1.
3. Grouv E. Vyzhivajut tol'ko paranoiki. Kak ispol'zovaf krizisnye periody, s kotorymi stalkivaetsja ljubaja kompanija. [Only the Paranoid Survive: How to Exploit the Crisis Points That Challenge Every Company] Moscow, Bizneskom Publ., 201 1. 231 p. (in Russian).
4. Volkov A. I. Problemy integratsii khranilishch dan-nykh s otkrytymi i bol'shimi dannymi i podkhody k ikh resheniyu [Problems of integration of data warehouses with open and big data and the approaches to their solution]. CPT2014 The International Scientific Conference of The Moscow Institute of Physics and Technology (State University) of The Institute of Computing for Physics and Technology. Larnaca, Republic of Cyprus; Protvino, Moscow region, Russia, 2014, pp. 18-33.
5. Otkrytye dannye [Open data]. Available at: https: // ru.wikipedia.org/wiki/Otkrytye_dannye (accessed 25.05.2015).
6. Volkov A. I., Rejngold L. A. Otkrytye dannye: problemy i reshenija [Open data: challenges and solutions]. Prikladnaja informatika — Journal of Applied Informatics, 2014, no. 3 (51), pp. 5-12.
7. Demidov M. Otkrytye dannye: Rossiya stoit na nizkom starte [Open data: Russia stands at a low
\ 39
Vol. 10. No. 4 (58). 2015
start]. Available at: http://www.cnews.ru/reviews/ index. shtml? 2013/03/27/523707 (accessed 25.05.2015).
8. Otkrytye gosudarstvennye dannye: rossiiskii i zaru-bezhnyi opyt. Informatsionnyi obzor. Seriya «Raz-vitie informatsionnogo obshchestva i elektronnogo pravitel'stva» [Open government data: Russian and foreign experience. Newsletter. A series of «Development of information society and e-government»] // «Centr tehnologij jelektronnogo pravitel'stva NIU IT-MO» Publ. 2012. no. 3. 7 p. Available at: http://egov. ifmo.ru/files/reviews/eGov_Review_2012_03_open-data. pdf (accessed 25.05.2015).
9. Ukaz Prezidenta Rossiiskoi Federatsii ot 7 maya 2012goda №601 «Ob osnovnykh napravleniyakh sovershenstvovaniya sistemy gosudarstvenno-go upravleniya» [The decree of the President of the Russian Federation from may 7, 2012 № 601 «On the main directions of perfection of system of public administration»]. Available at: http://www. rg.ru/2012/05/09/gosupravlenie-dok. html (accessed 25.05.2015).
10. Sait Federal'noi nalogovoi sluzhby RF. Otkrytye dannye [The website of the Federal tax service of the Russian Federation. Open data.]. Available at: http://www.nalog.ru/opendata/ (accessed 25.05.2015).
11. Sait Federal'noi sluzhby gosudarstvennoi statistiki RF. Otkrytye dannye. Otkrytye dannye [The website of the Federal service of state statistics of the Russian Federation. Open data]. Available at: http:// www.gks.ru/opendata/ (accessed 25.05.2015).
12. Portal otkrytyh dannyh Pravitel'stva Moskvy [The open data portal of the government of Moscow]. Available at: http://data.mos.ru/ (accessed 25.05.2015).
13. Reingold L. A., Reingold E. A., Slavin O. A. Inte-gratsiya informatsii v sotsial'no-ekonomicheskoi sisteme kak osnova innovatsionnogo razvitiya gos-udarstva [Information integration in the socio-economic system as the basis for innovative development of the state]. Trudy ISA RAN: Metody i mod-eli sistemnogo analiza. Otsenka effektivnosti i in-vestitsionnykh proektov. Sistemnaya diagnostika sotsial'no-ekonomicheskikh protsessov: no. 61. vol. 3. Moscow, URSS Publ., 2011. pp. 76-83.
14. Perminov G. I. Sistemy intellektual'nogo analiza dannykh (Business Intelligence). Uchebno-metod-
icheskii kompleks [System for intelligent data analysis (Business Intelligence). Educational-methodical complex]. Moscow, GU-VShJe Publ., 2007. 121 p.
15. Isaev D. V., Kravchenko T. K. Avtomatizirovannye sistemy formirovaniya konsolidirovannoi finansovoi otchetnosti. Uchebnoe posobie [Automated systems of preparation of consolidated financial statements]. Moscow, 2006. 370 p.
16. Mal'tseva S. Bol'shie dannye i dizain organizatsii [Big data and organization design]. Otkrytye sistemy, 2015, no. 1, pp. 28-29.
17. Volkov A. I. Metodologicheskie iprogrammno-tekh-nologicheskie aspekty vnedreniya protsessnogo upravleniya v IT-kompanii [Methodological and software-technological aspects of the implementation of process management in it companies]. Prikladnaja informatika — Journal of Applied Informatics, 2014, no. 2 (50), pp. 6-13.
18. Sobakareva A. V. Protsessnyi podkhod i mero-priyatiya po ustraneniyu problem ego vnedreniya na rossiiskikh predpriyatiyakh [Process approach and activities to address the problems of its implementation at Russian enterprises]. Moscow, Vestnik MGTU Publ., 2008, vol. 11, no. 2, pp. 279-283.
19. Komissarova M. A. Vozmozhnosti ispol'zovaniya reinzhiniringa kak osnovnogo instrumenta upravleniya kompaniyami s pozitsii protsessnogo podk-hoda [The possibility of using reengineering as the main instrument for the management of companies from the standpoint of the process approach]. Kreativnaya ekonomika Publ., 2011, no. 7 (55), pp. 10-16. Available at: http://www.creativecono-my.ru/ articles/41 (accessed 25.05.2015).
20. Konovalov S. N. Modelirovanie protsessov SMK i upravlenie izmeneniyami [Modeling of the processes of the QMS and the management of change] // Available at: http://quality.eup.ru/DOCUM4/mod-elsmk. htm (accessed 25.05.2015).
21. Kur'yan A. G., Serenkov P. S. Realizatsiya protsessnogo podkhoda v ramkakh sistem menedzhmenta kachestva na osnove metodologii funktsional'nogo modelirovaniya IDEF0 [The implementation of the process approach in the framework of quality management systems based on the methodology of functional modeling IDEF0] // Avtomatizacija v pro-myshlennost, 2003, no. 3, pp. 26-35.
40
Том 10. № 4 (58). 2015
22. Bill Schmarzo. Big Data Business Model Maturity Chart. Available at: https: //infocus.emc.com/wil-liam_schmarzo/big-data-business-model-maturity-chart (accessed 25.05.2015).
23. American Productivity and Quality Center http:// www.apqc.org/ (accessed 25.05.2015).
24. Vernikov G. Osnovnye metodologii obsledovaniya organizatsii. Standart IDEF0 [The basic methodology of the survey organizations. The IDEF0 standard]. Available at: http://www.cfin.ru/vernikov/idef/ idef0.shtml (accessed 25.05.2015).
25. Kamennova M., Gromov A., Ferapontov M., Shma-talyuk A. Modelirovanie biznesa. Metodologiya ARIS. Prakticheskoe rukovodstvo [Modeling business. The ARIS methodology. A practical guide], Moscow, Vest' Metatehnologija Publ., 2001.
26. Sheer A. V. Business processes. Basic concepts. Theory. Methods (in Russian). Moscow, Vest'Metatehnologija Publ., 2000, 144 p. (in Russian).
27. The website of company Software AG. Available at: http://www.softwareag.com/ru/ (accessed 25.05.2015).
28. Buch G., Rambo Dzh., Dzhekobson A. The Unified Modeling Language User Guide, St. Petersburg, «Piter» Publ., 2004. 432 p. (in Russian).
29. Repin V. V., Eliferov V. G. Protsessnyi podkhod k upravleniyu. Modelirovanie protsessov [Process approach to management. Modeling of processes]. Moscow, Standarty i kachestvo Publ., 2004. 408 p.
30. Repin V. V., Soolyatte A. Yu. Obzor praktiki uprav-leniya proektami vnedreniya protsessnogo pod-khoda v rossiiskikh kompaniyakh [Overview of the project management of the process approach implementation in Russian companies]. Moscow, Fin-jekspert.ru Publ., 2005, pp. 19.
31. Sistema biznes-modelirovaniya Business Studio [System business modeling «Business Studio»]. Available at: http://www.businessstudio.ru/ (accessed 25.05.2015).
32. Panin A. B. Upravlenie predpriyatiem cherez iden-tifikatsiyu i klassifikatsiyu protsessov [Enterprise management through the identification and classification processes]. Ekonomicheskii vestnik Ros-tovskogo gosudarstvennogo universiteta, 2007, pp. 224-229.
A. Volkov, CJSC «RDTEX Intelligent information technologies», Moscow, Russia, [email protected]
Integration of data warehouses with open and big data for solving problems of financial institutions: problems and approaches to solving
The article considers the issues related to the integration of information from various sources for complex application in solving problems of financial institutions. Approaches are suggested for use in data warehouses organize information from external sources: open data, Internet, state of automation systems, etc. emphasizes the importance of using financial institutions structural beginning, shared meanings, redistributable formed in the present state automation. An example of such a system is the system of interdepartmental electronic interaction that enables the financial institution to get automated information from state and municipal agencies. Another example is also introduced in Russia a unified system of identification and authentication, providing a legally confirmed authorization of users of automated systems. It is noted that in a society based on such systems form some external to the financial organization master data management environment, which must be effectively used by financial organizations to obtain new functionality automation and additional structuring information in their data warehouses. Discusses the potential use of financial organizations open data generated in the present time, various organizations in the initiative order, and published various state and municipal agencies of Russia. The article also considers the interaction of financial institutions and service it service it company, including the use of the process approach to develop, support, and development of automation for financial institutions.
Keywords: data repository, financial information, big data, open data, processing method, processing of financial information, information object.
About author: A. Volkov, Postgraduate
For citation: Volkov A. Integration of data warehouses with open and big data for solving problems of financial institutions: problems and approaches to solving. Prikladnaya Informatika — Jornal of Applied Informatics, 2015, vol. 10, no. 4 (58), pp. 18-41 (in Russian).
Vil
