CC BY
260Ринат Дамирович Гимранов
Начальник управления информационных технологий ОАО «Сургутнефтегаз», заведующий базовой кафедрой ОАО «Сургутнефтегаз» в Сургутском государственном университете, преподает магистрантам курс «Общество и информатизация». Автор ряда публикаций в научных журналах и ИТ-изданиях по тематике внедрения ИТ, СУБД in-memory, предприятия реального времени, архитектуры предприятия и управления данными.
REAL-TIME ENTERPRISE 2.0. ИЗМЕНЕНИЯ КОРПОРАТИВНЫХ ИНФОРМАЦИОННЫХ СИСТЕМ ПРИ РЕАЛИЗАЦИИ ТЕХНОЛОГИИ IN-MEMORY DATA MANAGEMENT
Управление жизненным циклом информационных бизнес-систем. Real-Time Enterprise 2.0
Используемые сегодня крупными предприятиями информационные системы сложны и многокомпонентны. Они содержат системы учета, хранилища данных, аналитические и вспомогательные системы. Сложность архитектуры и необходимость для систем обмениваться значительными объемами данных приучили наших бизнес-пользователей при принятии управленческих решений использовать устаревшую информацию. Практически все аналитические системы оперируют данными прошлых суток и еще более старыми. При необходимости обеспечить более оперативную информацию в системах принятия решений, мы вынуждены идти на определенные упрощения, агрегации, но даже в этом случае «кладем на стол» менеджеров информацию из прошлого — например, часовой давности. Причем стоимость таких решений гиперболически возрастает с приближением к времени реального события. Можно говорить об определенном технологическом барьере, обусловленном текущими особенностями корпоративных информационных систем (рис. 1).
Попытки качественных улучшений в приближении к реальному времени в основном связывали с усовершенствованием аппаратной части. Так, при появлении конвергентных аппаратных решений в начале XXI века Gartner предложил определение предприятия, управляемого в реальном времени (real-time enterprise), как “an enterprise that competes by using up-to-date information to progressively remove delays to the management and execution of its critical business processes". Наличие
Рис. 1.
Событие
t
Р.Д. Гимранов. Real-Time Enterprise 2.0. Изменения корпоративных информационных У систем при реализации технологии in-memory data management 'V
Событие
t
Рис. 2.
в определении характеристики последовательного исключения задержек обусловлено ограничениями, архитектурными и функциональными, со стороны СУБД. Причем Gartner отмечал, что приближение к реальному времени асимптотическое.
Современные требования к информационным системам по обработке больших массивов информации и потоков событий, проведению неструктурированного поиска, поддержке принятия решений не могут быть в полной мере реализованы на реляционной СУБД, которая с 1970-х годов и до сегодняшнего дня положена в основу практически любой информационной системы [1].
По прогнозу М. Стоунбрейкера и других ученых на смену реляционной СУБД на дисках придут разнообразные решения, специализированные для конкретных задач. Одно из таких решений — поколоночная СУБД, размещенная в оперативной памяти сервера. Концептуальный подход и прототип были представлены в 2007 году [2], в 2008 году подход был расширен дополнительными технологическими находками [3] и в 2009 году реализован в первой коммерческой СУБД in-memory SAP HANA [4]. С тех пор, с той или иной степенью успешности, этот подход реализуется в решениях всех крупных поставщиков СУБД — Oracle, IBM, Microsoft.
Именно вследствие появления нового «полностью переписанного» продукта можно утверждать, что технологические решения, заложенные в in-memory data management, предоставляют возможность строить информационные системы, которые принципиально по-другому работают с потоками и объемами информации.
Управление жизненным циклом информационных бизнес-систем. Real-Time Enterprise 2.0
Старые технологические ограничения преодолены, и теперь предприятия могут управлять своими бизнес-процессами в реальном времени (рис. 2).
Осуществление инновации стало возможным, как и десятилетием ранее, благодаря достижениям производителей аппаратного обеспечения — существенному увеличению объема оперативной памяти серверов и снижению ее стоимости, а также появлению многоядерных процессоров, обеспечивающих сверхбыстрые вычисления с использованием большого объема оперативной памяти.
Основные технологические решения, положенные в основу новой СУБД, — поко-лоночное хранение, сжатие, распараллеливание, буферизация изменений. Именно они позволили повысить на порядки скорость обработки данных, уменьшить объемы БД, получить новые возможности. На уровне структуры данных стало возможным существенное упрощение за счет исключения промежуточных агрегатов, фактов, витрин, индексов, а также благодаря изменению подходов к количеству и структуре таблиц с особенностями поколоночного хранения. На уровне аппаратного обеспечения снижаются требования к системе хранения данных, поскольку диски (а теперь уже, как правило, флеш-память) используются лишь для резервного хранения, и только в режиме записи. На порядки возросшая скорость обработки позволяет решать прежние задачи на меньших по мощности вычислительных ресурсах.
ОАО «Сургутнефтегаз» уже 3 года использует SAP HANA, и мы можем обоснованно подтвердить все теоретические и макетные предположения [5, 6]. Первое же реализованное в 2011 году продуктивное решение на базе SAP HANA позволило получать результаты (отчеты) о наличии и движении материальных ресурсов в 675 раз быстрее (16 секунд вместо 3 часов), а объемы хранимой информации снизились вчетверо. Впервые менеджерам среднего звена предоставлена возможность получить единый оперативный и исторический отчет, не устанавливая никаких ограничений на глубину и объем выборки (по складам, номенклатуре, датам и т. п.).
Возможности новой СУБД сильно влияют на ИТ-архитектуру информационных систем. Так как нет более необходимости разделять транзакционную и аналитическую БД, можно исключить многие системы, а именно — хранилища данных, системы загрузки и трансформации (ETL — Extraction, Transformation, Loading), системы обработки цепочки сервисов и др. Архивные и исторические данные перемещаются из оперативной памяти на диски или флеш-память автоматически при понижении «температуры данных» — интегрального показателя изменяемости и использования. Таким образом, в наиболее эффективном применении in-memory можно реализовать функциональность корпоративной информационной системы в одной СУБД (рис. 3), а задачи, которые ранее решались с использованием отдельных баз данных, становятся сервисами уровня приложений.
Однако основное значение перемен заключается не в снижении затрат и упрощении инфраструктуры, а в появлении новых возможностей. Так, в аналитических приложениях мы можем оперировать свежими данными непосредственно из транзакционной БД. Можем строить аналитические запросы тысячекратно более сложные, чем раньше. Значит, потенциально in-memory открывает широкие
Р.Д. Гимранов. Real-Time Enterprise 2.0. Изменения корпоративных информационных S систем при реализации технологии in-memory data management 'V
Транзакционные
системы
Сервер
приложений
Хранилища данных
Сервер
приложений
Сервер
приложений
Сервисы
транзакционной
бизнес-логики
Сервисы BI
Сервисы...
Сервер Сервер Сервер
приложений приложений приложений
Вспомогательные и интерфейсные системы
Рис. 3. Свертывание инфраструктуры
Управление жизненным циклом информационных бизнес-систем. Real-Time Enterprise 2.0
возможности для появления нового поколения систем поддержки принятия решений.
Таким образом, становится возможным преодолеть текущий технологический барьер и построить информационную систему предприятия для управления в режиме реального времени, которая позволит принимать управленческие решения на основе актуальной информации не только на оперативном, но и на стратегическом уровне. Можно определить такую информационную систему как Real-Time Enterprise 2.0, дополнив определение Gartner 2002 года: “An enterprise that competes by using up-to-date information to progressively completely remove delays to the management and execution of its critical business processes".
Корпоративные информационные системы сложны и неповоротливы, поэтому нам предстоит длительный путь повышения их эффективности с использованием СУБД in-memory. М. Стоунбрейкер с коллегами, проводя аналогию с периодом появления реляционной СУБД, писал: «Период 1970-1985 годов был временем интенсивных дебатов, множества идей и значительного переворота. Мы предсказываем, что следующие 15 лет будут такими же» [2].
В заключение отмечу, что in-memory data management как инновационная технология, далекая от зрелости, открывает возможности для решения актуальных сегодня задач импортозамещения и, уверен, при проведении организованных совместных работ позволит создавать мощные конкурентные решения на российском программном обеспечении — от операционной системы и СУБД до прикладных и интерфейсных систем.
ЛИТЕРАТУРА
1. Stonebraker M., Cetintemel U. “One Size Fits All": An Idea Whose Time Has Come and Gone.
2. Stonebraker M., Madden S., Abadi D. J., Harizopoulos S. et al. The End of an Architectural Era (It’s Time for a Complete Rewrite) // VLDB. 2007. No. 7.
3. Plattner H. A Common Database Approach for OLTP and OLAP Using an In-Memory Column Database // SIGMOD’09.
4. Plattner H., Zeier A. In-Memory Data Management. — Springer, 2011.
5. Surgutneftegas Takes HANA for a Test Drive. SAP insider profiles, 2012.
6. Gimranov R. Customer Report: Surgutneftegas Deploys SAP HANA to Increase the Energy Efficiency of Thousands of Operating Facilities in Real Time // SAP Service and Support. — SAP Press, 2014. — P. 44-46.
7. Гимранов Р. Д., Агиевич В. А. Обеспечение достоверной информации в информационной системе крупного предприятия на основе архитектурного подхода // Нефтяное хозяйство. — 2013. — № 4.
