CC BY
9УДК 004
Лобанов О.А.
студент 2 курса магистратуры кафедры управления и информатики в технических системах Московский государственный технический университет «СТАНКИН»
(г. Москва, Россия)
ОБЗОР ОСНОВНЫХ ТРУДНОСТЕЙ ИНТЕГРАЦИИ ДАННЫХ И ВАЖНОСТЬ В ИХ КАЧЕСТВЕ
Аннотация: в работе показаны существующие трудности интеграционных данных в виде качества данных, организационных трудностей и технических трудностей, на которые стоит обратить внимание и уменьшить вероятность появления этих трудностей при интеграции.
Ключевые слова: качественные данные, мастер-данные, интеграция, организационные трудности, технические трудности.
Качество данных
При отсутствии качественных данных, которые приведены к единому формату, не дублируются и согласованы между собой, в информационных системах многочисленных компаний является жизненными реалиями, с которыми необходимо работать или избегать. Этот факт, когда внедряются новые информационные системы, не учитывается, что в конце реализации проекта компания может получить еще одну систему со своим набором данных, которые слабо согласуются с данными других систем. В этих случаях, когда происходит попытка настройки взаимодействия, несогласованность данных может привести к тому, что интеграция систем есть, а интеграции данных нет. При этом также может получиться несколько наборов данных в одной системе одинаковых по сути, но разных по представлению, например.
Для решения задачи согласованности данных созданы системы управления мастер-данными - MDM (Master Data Management). Во время отсутствия единой системы мастер-данных в компании, задачи для согласования данных и обеспечения их качества ложатся на процессы интеграции. В связи с этим разрабатываются бизнес-правила преобразования данных, создаются таблицы соответствия, решения, что в сущности представляет систему мастер-данных для одной или нескольких интеграционных процессов.
Прежде чем начать разрабатывать бизнес-правила и таблицы соответствия, нужно и необходимо изучить имеющиеся данные, провести их предварительный анализ.
С помощью анализа, можно получить информацию о содержании, качестве и структуре данных. Этот процесс является одним из важных этапов, который предшествует этапу проектирования процессов интеграции, при этом этот процесс довольно часто игнорируется, что приводит в итоге к несогласованности данных в интегрируемых системах. Следующей важной задачей анализа данных является уменьшение множества передаваемых данных, которые в процессе анализа можно выявить как "мусорные", "не нужные" или дублирующиеся.
При подведении итогов, можно сказать, что к типичным проблемам интеграции, связанных с качеством данных, можно отнести:
1. несогласованность интегрируемых данных, из-за отсутствия в компании единой системы управления, "мастер-данными";
2. из-за не придания важности профилированию, анализу и очистки данных перед реализацией процессов интеграции.
Организационные трудности
Процессы интеграции находятся на стыке некоторого количества информационных систем, которые обязаны решать в первую очередь вопросы ответственности за обеспечение работоспособности процессов интеграции и
обеспечению качества данных, которые являются всегда спорными. Поэтому для решения этих вопросов нужно использовать следующее правило: сторона, которая заинтересована в данных, должна выполнить всю основную работу по организации интеграции, и ее дальнейшему сопровождению.
Если заинтересованные стороны отсутствуют, то в интеграции, следует применять административный ресурс - то есть назначить ответственного специалиста сверху.
При этом можно столкнуться с еще одной сложностью - это закрытость служб, то есть невозможность получения данных от этих служб, сопровождения и разработчиков информационных систем компании заказчика. Это может привести к тому, что у бизнес-аналитиков и специалиста по модели данных сложится неполная или недостоверная картина об имеющихся данных в компании. В результате этого получим неполное хранилище данных, что приведет к проблемам в будущем. Избежать это возможно только путем правильного совместного взаимодействия специалистов заказчиков и консультантов разработчиков.
Необходимо привлечь к анализу данных и их последующей разработке бизнес-правил преобразования данных предметных экспертов заказчика. К сожалению, даже самые опытные бизнес-аналитики разработчиков не всегда могут знать все тонкие особенности и мелкие детали конкретного бизнеса, которые знают только специалисты заказчика, имеющие практический опыт работы с данными компании.
Из выше сказанного можно подытожить и сказать про организационные трудности и отнести к ним следующие пункты:
1. отсутствие назначенных ответственных за интеграционные процессы или за качество данных;
2. недостаточный административный ресурс или несвоевременное его применение;
3. недостаток доверия к имеющейся информации, и ее корректности;
4. закрытость служб сопровождения и разработчиков информационных систем компании заказчика для получения необходимых данных;
5. не привлечение предметных экспертов заказчика к анализу данных и последующей разработке бизнес-правил преобразования.
Технические трудности
Процесс организации интеграции можно свести к следующим действиям:
1. определение источника/приемника данных;
2. анализ данных источника;
3. выбор инструмента интеграции;
4. согласование форматов, способа и периодичности обмена данными, согласование регламента интеграции;
5. проектирование и разработка процессов интеграции;
6. тестирование;
7. промышленная эксплуатация.
Основные трудности, как правило, возникают на этапах разработки и тестирования, но причины их появления закладываются раньше.
Одним из важных этапов интеграции данных является выбор платформы интеграции данных. Следует понимать, что нужно иметь хорошую интеграционную платформу для решения задач очистки данных и организацию сложных бизнес-процессов их передачи для работы с большим объемом данных, а также учитывать особенности бизнеса при выборе платформы интеграционных данных или принятии решения создания новой.
Еще одной распространенной ошибкой, которая связана с интеграционной платформой - это её неправильное использование.
Можно излишне усложнить решение по интеграции при стремлении разработчиков к универсальности и применению передовых технологий, форматов, шаблонов и т.д. К задержкам передачи и обработки большого объема данных, усложнению выявления ошибок в данных в огромных хт1-файлах и так далее. Поэтому все должно стремиться к простоте. Во время организации
процессов интеграции не следует их усложнять без сильной необходимости протоколами с шифрованием или web-сервисами.
При подведении итогов по техническими трудностями, можно отнести к ним следующие:
1. выбор неподходящей платформы интеграции;
2. неправильное использование платформы интеграции;
3. излишнее усложнение решения;
4. риск задержки и потери информации, вызванный ненадежностью сетей передачи данных.
СПИСОК ЛИТЕРАТУРЫ:
1. Морозова О.А Интеграция корпоративных информационных систем // Учебное пособие. Москва, финансовый университет, 2014. 140с.
2. Соловьев А.В., Туманова И.В. Цифровизация экономики и проблемы интеграции баз данных // Федеральный исследовательский центр «Информатика и управление» Российской академии наук, г. Москва. 2020. С. 59-67.
Lobanov O.A.
2nd year Master's student of the Department of Management and Computer Science in Technical Systems Moscow State Technical University «STANKIN» (Moscow, Russia)
DIFFICULTIES OF INTEGRATION DATA AND THEIR QUALITY
Abstract: the paper shows the existing difficulties of integration data in the form of data quality, organizational difficulties and technical difficulties, which are worth paying attention to and reducing the likelihood of these difficulties during integration.
Keywords: qualitative data, integration, organizational difficulties, technical difficulties.
