CC BY
28
Гимранов Р.Д.
ОАО «Сургутнефтегаз», г.Сургут, начальник управления информационных технологий
Информационные модели предприятия в реализации технологии in-memory data management
КЛЮЧЕВЫЕ СЛОВА
ИТ-архитектура, In-Memory, модернизация ИС, Real-time Enterprise. АННОТАЦИЯ
В докладе представлена технология In-Memory Database Management (IMDM), как современная инновация, которая потенциально сильно влияет на информационные системы предприятий.
Используемые сегодня крупными предприятиями информационные системы сложны и многокомпонентны. Они содержат системы учета, хранилища данных, аналитические системы, вспомогательные системы. Сложность архитектуры и необходимость передавать между системами значительные объемы информации приучили наших бизнес-пользователей использовать устаревшую информацию при принятии управленческих решений. Практически все аналитические системы оперируют данными прошлых суток и более старыми. При необходимости обеспечить более оперативную информацию в системах принятия решений, мы вынуждены идти на определенные упрощения, агрегации и даже в этом случае «кладем на стол» менеджеров информацию из прошлого, например, часовой давности. Причем стоимость таких решений гиперболически возрастает при приближении к времени реального события. Можно говорить об определенном технологическом барьере, обусловленном текущими особенностями корпоративных информационных систем.
Попытки качественных улучшений в приближении к реальному времени в основном связывали с усовершенствованием аппаратной части. Так при появлении конвергентных аппаратных решений в начале 21 века, Gartner предложил формулировку предприятия, управляемого в реальном времени (Real-Time Enterprise) как «an enterprise that competes by using up-to-date information to progressively remove delays to the management and execution of its critical business processes». Наличие в определении характеристики последовательного исключения задержек обусловлено ограничениями как архитектурными, так и функциональными со стороны СУБД. Причем Gartner отмечал, что приближение к реальному времени асимптотическое.
Современные требования к информационным системам по обработке больших массивов информации, обработке потоков событий, проведения
неструктурированного поиска, поддержке принятия решений не могут быть в полной мере реализованы на традиционной реляционной СУБД, которая с 70-х годов и до сегодняшнего дня положена в основу практически любой информационной системы [1].
По прогнозу М.Стоунбрейкера и других ученых на смену реляционной СУБД на дисках придут разнообразные решения, специализированные для конкретных задач. Одно из таких решений — поколоночная СУБД, размещенная в оперативной памяти сервера. Концептуальный подход и прототип был представлен в 2007 году [2], в 2008 году подход был расширен дополнительными технологическими находками [3] и в 2009 году реализован в первой коммерческой СУБД in-memory SAP HANA [4]. С тех пор, с той или иной степенью успешности, этот подход реализован в решениях всех крупных поставщиков СУБД — Oracle, IBM, Microsoft.
Именно вследствие появления нового «полностью переписанного» продукта можно утверждать, что появившиеся новые технологические решения, заложенные в in-memory data management, предоставляют возможность строить информационные системы, которые принципиально по-другому работают с потоками и объемами информации. Старые технологические ограничения преодолены и предприятия могут управлять своими бизнес-процессами в реальном времени.
Осуществление инновации стало возможным, как и десятилетием ранее, благодаря достижениям производителей аппаратного обеспечения — существенному увеличению объема оперативной памяти серверов и снижению их стоимости, а также появлению многоядерных процессоров, обеспечивающих мощные вычисления с использованием большого объема оперативной памяти.
Основные технологические решения, положенные в основу новой СУБД, это — поколоночное хранение, сжатие, распараллеливание, буферизация изменений. Именно они позволили повысить на порядки скорость обработки данных, снизить объемы БД, получить новые возможности. На уровне структуры данных стало возможным существенное упрощение за счет исключения промежуточных агрегатов, фактов, витрин, индексов, а также изменению подходов к количеству и структуре таблиц с особенностями поколоночного хранения. На уровне аппаратного обеспечения снижаются требования к системе хранения данных, поскольку диски (а теперь уже как правило флеш-память) используются лишь для резервного хранения и только в режиме записи. На порядки возросшая скорость обработки позволяет решать прежние задачи на меньших по мощности вычислительных ресурсах.
ОАО «Сургутнефтегаз» уже три года использует SAP HANA и мы можем обоснованно подтвердить все теоретические и макетные предположения [5], [6]. Первое же реализованное в 2011 году продуктивное решение на базе SAP HANA позволило получать результаты (отчеты) о наличии и движении материальных ресурсов в 675 раз быстрее (16 секунд вместо 3
часов), объемы хранимой информации снизились вчетверо. Впервые менеджерам среднего звена предоставлена возможность получить единый оперативный и исторический отчет и не устанавливать никаких ограничений на глубину и объем выборки (по складам, номенклатуре, датам и т.п.)
Возможности новой СУБД сильно влияют на ИТ-архитектуру информационных систем. Так как нет более необходимости разделения транзакционной и аналитической БД, возможно исключить многие системы, а именно хранилища данных, системы загрузки и
трансформации (ETL — extraction, transformation, loading), системы обработки цепочки сервисов и другие. Архивное хранение и исторические данные для анализа переносятся из оперативной памяти на диски или флеш-память автоматически при понижении «температуры данных» — интегрального показателя изменяемости и использования.
Однако, основное значение перемен заключается не в снижении затрат и упрощении инфраструктуры, а в появлении новых возможностей. Так в аналитических приложениях мы можем оперировать свежими данными непосредственно из транзакционной БД. Можем строить аналитические запросы тысячекратно более сложные, чем раньше.
Таким образом становится возможным преодоление текущего технологического барьера при построении информационной системы предприятия для управления в режиме реального времени, позволяющего принимать управленческие решения на основе актуальной информации не только на оперативном, но и на стратегическом уровнях Можно определить такую информационную систему как Real-Time Enterprise 2.0, дополнив определение Gartner 2002 года: «An enterprise that competes by using up-to-date information to progressively completely remove delays to the management and execution of its critical business processes».
Корпоративные информационные системы сложны и неповоротливы, поэтому нам предстоит длительный путь повышения их эффективности с использованием СУБД in-memory. М.Стоунбрейкер с коллегами, проводя аналогию с периодом появления реляционной СУБД писал: "Период 19701985 г.г. был временем интенсивных дебатов, множества идей и значительного переворота. Мы предсказываем, что следующие 15 лет будут такими же." [2]
В настоящее время основная сложность на этом пути — отсутствие специалистов требуемой квалификации.
В связи с тем, что подходы кардинально меняются как на низовом технологическом уровне, так и на уровне архитектуры предприятия, требуются новые компетенции для ИТ-специалистов практически всех специализаций:
Специалисты по БД, программисты: • знать технологию: особенности, подходы, принципы;
• знать текущие программные решения (SAP HANA, Oracle EXAData, IBM SolidDB,...);
• уметь проектировать и оптимизировать структуры данных;
• уметь разрабатывать и отлаживать новые SQL-запросы. Специалисты по BI (Business Intelligence):
• знать технологию;
• знать особенности построения решений;
• уметь проектировать и оптимизировать юниверсы;
• уметь выбирать и проектировать аналитические решения (отчетность, СППР, обработка событий, симуляторы, ...). Специалисты по интеграции:
- знать технологию;
- знать особенности обеспечения интеграции на уровне систем, процессов, событий, данных;
- уметь проектировать и оптимизировать интеграционные решения в составе ИТ-архитектуры.
Специалисты по инфраструктуре:
• знать технологию;
• знать варианты построения ландшафта систем с использованием решений IM — компоненты, связи, существенные параметры;
• уметь проектировать и оптимизировать ландшафт;
• уметь выполнять сайзинг;
• уметь разрабатывать стратегию развития ландшафта. Аналогичные требования предъявляются к ИТ-архитекторам,
специалистам по моделированию бизнес-процессов и др.
Для улучшения ситуации в этой области высшей школе необходимо как следует поработать — внести образовательные инициативы, изменить существующие учебные программы, подготовить учебный материал, УМК, лабораторные и практические занятия. И, в первую очередь, самим профессорам и преподавателям изучить особенности этой технологии, вплести их в общую канву целевого образа выпускника. Аналогичные изменения нужны в программах профессиональной переподготовки. И, может быть, именно с них можно было бы начать, чтобы затем применить для основных образовательных программ.
Такая работа невозможна без тесного партнерства с теми, кто технологию разрабатывает и использует. Мы сегодня решаем эти задачи в рамках обеспечения непрерывного профессионального образования на базовой кафедре ОАО «Сургутнефтегаз» в Сургутском государственном университете. Это, на мой взгляд, положительный пример результативного и взаимовыгодного партнерства.
В заключении отмечу, что in-memory data management как инновационная технология, далекая от зрелости, открывает возможности для решения актуальных сегодня задач импортозамещения и, уверен, при
проведении организованных совместных работ, позволит создавать конкурентные мощные современные решения на российском программном обеспечении — от операционной системы и СУБД до прикладных и интерфейсных систем.
Литература
1. "One Size Fits All": An Idea Whose Time Has Come and Gone. Michael Stonebraker, Ugur £etintemel
2. The End of an Architectural Era (It's Time for a Complete Rewrite). Michael Stonebraker, Samuel Madden, Daniel J. Abadi, Stavros Harizopoulos, Nabil Hachem, Pat Helland, VLDB '07, 2007
3. A Common Database Approach for OLTP and OLAP Using an In-Memory Column Database. Hasso Plattner, SIGMOD'09
4. In-Memory Data Management. Hasso Plattner, Alexander Zeier, Springer 2011
5. Surgutneftegas takes HANA for a Test Drive. SAP insider profiles 2012.
6. Customer report: Surgutneftegas deploys SAP HANA to increase the energy efficiency of thousands of operating facilities in real time. Rinat Gimranov, SAP Service and Support pages 4446, SAP Press 2014.
7. Обеспечение достоверной информации в информационной системе крупного предприятия на основе архитектурного подхода. Р.Д.Гимранов, В.А.Агиевич, Нефтяное хозяйство 04'2013.
