CC BY
8УДК 004
Артемов А.А.
ведущий инженер данных, Schwarz Media Plattform GmbH (г. Мульхайм, Германия)
DATA CONTRACT В АНАЛИТИЧЕСКИХ СИСТЕМАХ: ОСНОВНЫЕ ПРИНЦИПЫ, ПРАКТИЧЕСКАЯ ПОЛЬЗА И МЕТОДЫ РЕАЛИЗАЦИИ
Аннотация: управление информацией является неотъемлемой составляющей успешного бизнеса. Для корректного принятия важных стратегических решений компании полагаются на точные и достоверные данные. Важно обеспечить доверие к данным, а также контроль над их использованием. Для этой цели предприятия применяют инструменты, обеспечивающие честное и безопасное взаимодействие с данными. Вот тут-то и появляются Data Contract. Контракты на обработку данных устанавливают четкие и структурированные правила использования данных, включая критерии качества и стандарты обслуживания. Путем определения этих норм и условий контракты сближают информацию с бизнес-процессами, что способствует улучшению прозрачности, обмену информацией и укреплению взаимного доверия. Таким образом, контракты на передачу данных становятся надежным фундаментом для эффективного управления данными в современном бизнесе, поддерживая его стратегическое развитие и конкурентоспособность.
Данная статья представляет собой глубокий анализ концепции Data Contract и ее важной роли в современных аналитических системах. В статье рассматриваются ключевые принципы, на которых строится Data Contract, выявляются преимущества использования данной методологии и описываются практические сценарии ее применения.
Автор предлагает подробное рассмотрение различных методов реализации Data Contract, включая проектирование схем данных, контроль целостности данных, и обеспечение согласованности информации в аналитических системах.
Эта статья представляет интерес для аналитиков данных, разработчиков информационных систем и всех, кто стремится оптимизировать управление данными в аналитических средах для достижения более точных и значимых результатов.
Методологией при написании статьи явились научные труды и статьи бизнес-аналитиков.
Ключевые слова: аналитические системы, использование Data Contract, аналитические системы, методы реализации.
Введение.
Эффективное использование информации играет важную роль в обеспечении правильного использования данных. Важным элементом в этом процессе являются Data Contract. Он определяет, как осуществляется обмен данными между различными командами и организациями, какими данными осуществляется обмен и стандартам качества, которые должны соблюдаться.
Эти контракты создают прочную основу для управления данными, которая гарантирует этичное и эффективное использование информации. Правильное управление данными и заключение контрактов на передачу информации позволяют компаниям совершить важный шаг в построении доверительных отношений между бизнесом и данными.
Data Contract представляет собой официальное соглашение или спецификацию, которая определяет, как данные должны быть структурированы, организованы и обменены между различными системами, приложениями или сторонами. В современных системах обработки данных информация из исходных источников сохраняется в хранилищах данных или репозиториях и затем используется в разнообразных последующих процессах. Точность этих данных крайне важна, чтобы избежать проблем с качеством информации, неточными анализами и связанными с этими событиями.
Команды по обработке данных могут внедрять контракты на передачу данных для улучшения трех важнейших областей управления данными, в которых будет рассказано в таблице 1.
Таблица 1. области управления данными и их характеристика Table 1. Data management areas and their characteristics
Наименование Характеристика
Обеспечение согласованности и точности данных Контракты на передачу информации устанавливают стандартизированный формат и структуру для обмена данными. Согласование между потребителями и производителями данных в рамках общего контракта гарантирует правильное представление, организацию и интерпретацию информации. Это снижает риск возникновения ошибок, недоразумений и несоответствий данных, которые могут возникнуть в процессе передачи. Контракты на передачу информации определяют типы данных, их форматы и ограничения, что облегчает проверку входных данных, улучшает качество информации и предотвращает проблемы с целостностью данных.
Обеспечение конфиденциальности и соблюдение требований к данным Контракт на передачу данных может включать в себя рекомендации по защите данных, политики конфиденциальности и стандарты соответствия. Здесь могут быть определены правила использования данных, методы управления доступом, процедуры анонимизации и политики хранения данных. Это помогает обеспечить безопасность информации и соблюдение законодательных и нормативных требований, таких как GDPR.
Связь между различными системами Контракты на передачу данных действуют как унифицированный интерфейс в разнообразной ИТ-среде, где потребители обмениваются данными с несколькими системами и приложениями производителей. Они обеспечивают четкую и согласованную структуру обмена данными, обеспечивая беспрепятственную интеграцию и функциональную совместимость [1,2].
1. Ключевые элементы эффективных контрактов на передачу данных
Ключевым фактором, обеспечивающим успешные контракты на обработку данных, является ясность.
Четкие определения и измеримые показатели — это основа для успешного контракта. Определения должны быть краткими и точными, а показатели - конкретными и измеримыми. Они обеспечивают ясность и предотвращают двусмысленность, которая может привести к конфликтам.
Определение цели и объема контракта имеет стратегическое значение. Это гарантирует согласованность в использовании, обмене и обслуживании данных. Важно указать, на какие данные распространяется контракт, кто несет ответственность и когда данные могут быть обменены.
Регулярные обзоры и обновления контрактов поддерживают их актуальность. Их пересмотр не менее одного раза в год обеспечивает внесение изменений по мере необходимости, включая обновление определений, показателей и сферы действия контракта.
Определение владения и ответственности за данные обязательно для разрешения вопросов качества данных. Это гарантирует, что проблемы решаются оперативно и что все знают свои роли.
При разработке контракта на передачу данных, эксперты по обработке информации обязаны учитывать шесть критических аспектов, о которых будет рассказано в таблице 2.
Таблица 2. важные аспекты при разработке Data Contract Table 2. important aspects in the development of Data Contract
Наименование аспекта Общая характеристика
Четкие определения данных Необходимо ясно определить элементы данных и их функциональное предназначение. Применение стандартизированной терминологии и предоставление подробных описаний каждого элемента данных обеспечивают единообразное восприятие всеми сторонами.
Стандарты качества данных Следует установить ожидаемый стандарт качества данных, включая требования к точности, полноте, согласованности и актуальности. Определение процессов проверки данных и методов их очистки поддерживает целостность информации.
Конфиденциальность данных В контракте следует учесть требования к конфиденциальности данных и ограничения для защиты чувствительной информации. Это включает средства контроля доступа, методы анонимизации и меры управления согласием.
Меры безопасности данных Это может включать в себя шифрование, контроль доступа, аудиторские журналы и другие средства обеспечения конфиденциальности.
Управление данными Содержит рекомендации по управлению данными, включая владение информацией и соответствие нормативным требованиям.
Управление жизненным циклом данных Опишите жизненный цикл данных, включая создание, изменение, хранение, архивирование и удаление. Определите сроки хранения и процедуры удаления данных, соответствуя нормативам и бизнес-требованиям.
Исходя из этих шести фундаментальных аспектов, контракты на передачу данных обеспечивают прозрачность и эффективность в управлении информацией, содействуя высокому качеству и защите данных.
Эффективные методы составления и реализации контрактов на передачу данных предполагают внедрение следующих лучших практик:
Коллективное сотрудничество: При разработке контрактов на передачу данных важно вовлекать разнообразных участников, включая производителей данных, инженеров по обработке информации, специалистов по анализу данных и представителей из ключевых областей, таких как бизнес, информационные технологии, юридическое сопровождение и соблюдение требований. Это способствует глубокому пониманию всех сторон и требований контракта.
Гибкость и масштабируемость: При разработке контрактов учтите потенциальные изменения и масштабируемость. Рассмотрите механизмы расширения, подходы к управлению версиями и возможность добавления или изменения элементов данных или условий контракта без нарушения существующих интеграций.
Соблюдение этих практик помогает создать эффективные и устойчивые контракты на передачу данных, способствуя успешной реализации процессов обработки и управления информацией [3].
Распространенные ошибки и методы их устранения при внедрении Data Contract в аналитических системах будут описаны в таблице 3.
Таблица 3. Ошибки при внедрении Data Contract в аналитических системах и способы их решения
Table 3. Errors in implementation of Data Contract in analytical systems and ways to solve them
Наименование проблемы Способы ее решения
Отсутствие Ясности Четко определите термины, элементы данных и требования, исключив противоречивые интерпретации
Низкое качество данных Укажите ожидания по качеству и установите процессы мониторинга и улучшения качества данных.
Не обновлённые контракты, не учитывающие изменения Регулярно обновляйте контракты, чтобы соответствовать новым потребностям, технологическим изменениям и нормативам.
Ограниченное участие заинтересованных сторон Вовлекайте все заинтересованные стороны, чтобы собрать все необходимые требования и учесть потребности всех участников.
Соблюдение этих рекомендаций помогает избежать распространенных ошибок и обеспечивает более успешное заключение контрактов на передачу данных [4].
2. Компоненты Data Contracts
Существует семь основных компонентов контракта на передачу данных:
Типы данных: В контракте четко определяются разрешенные типы данных для каждого поля или элемента данных. Это включает как структурированные данные, например числа или строки, так и неструктурированные данные, например массивы или пользовательские структуры.
Формат данных: Контракт на передачу данных определяет формат представления данных. Это может быть такой формат файла, как JSON, YAML, XML, или даже пользовательский формат.
Структура данных: В контракте описывается организация данных, включая вложенные элементы или связи между полями данных. Например,
контракт на передачу данных может определить иерархию полей, таких как имя, адрес, номер телефона и электронная почта клиента.
Кодирование данных: Иногда контракты указывают схему кодирования, особенно если данные должны быть переданы компактно. Это может включать кодирование Base64 для двоичных данных или кодирование URL-адресов для передачи данных в URL.
Ограничения на данные: В контрактах могут быть определены ограничения и правила для допустимых значений или диапазонов данных. Например, для поля с температурой может быть установлено ограничение на диапазон значений.
Качество данных: Контракты могут содержать рекомендации по обеспечению качества данных, включая правила проверки данных на полноту, точность, согласованность и соответствие стандартам. Также могут включать рекомендации по процессам очистки и преобразования данных.
Помимо этих компонентов, контракт на передачу данных также может содержать соглашения о семантике схемы, владении данными и уровне обслуживания (SLA) для обеспечения доступности и свежести данных [5].
В качестве примера контракта набора данных и схемы контракта на передачу данных можно использовать следующий [6]:
dataset: [Р
- table: tbl
physicalName: tbl_l tr MEW in v2.'l.e, Optional, default value is table name -f- version separated by underscores, as table_l_2 priorTableName: null it if needed description: Provides core payment metrics tags: null
dataGranularity: Aggregation on columns txn_ref_dt, pmt_txn_id columns:
- column: txn_ref_dt
isPrimary: false # NEW in v2.1.0, Optional, default value is false, indicates whether the column is primary key in the
businessName: transaction reference date
logicalType: date
physicalType: date
isNullable: false
d«icription; null
partitionStatus: true
clusterStatus: false
criticalDataElementStatus: false
tags: null
classification: null
encryptedColumnName: null
transformsource rabies:
- table_name_l
- table_name_2
- table_name_3
transformLoglt: sel tl.txn_dt as txn_ref_dt from table_name_x as tl, table_name_2 as t2, table_name_3 as 13 where tl.txi
transformOescription: defines the logic in business termsj logic for dummies
sampleValues:
- 2022-19-03
- 2C2G-01-28 * column: rcvr_id
isPrimary: true If NEW in V2.1.0, Optional, default value is false, indicates whether the column is primary key in the t,
businessName: receiver id
logicalType: string
physicalType: varchar(lS)
isNullable: false
description: A description for column rcvr_id.
partitionStatus: false
clusterStatus: true
criticalOataElementStatus: false
tags: null
classification: null
en crypte dColumnName: null
- column: rcvr_cntry_code
isPrimary: false # NEW in v2,1.0, Optional, default value is false, indicates whether the column is primary key in the "
businessName: receiver country code
logicalType: string
physicalType: varchar(2)
isNullable: false
description: null
partitionStatus: false
clusterStatus: false
criticalOataElementStatus: false
tags: null
classification: null
authoritativeDefinitions:
- url: https://collibra.com/asset/742b358f-71a5-4abl-bda4-dcdbae418c25 type: Business definition
- url: https://github.com/myorg/nfyrepo type: Reference implementation
encryptedColumnName: rcvr_cntry_code_encrypted
Рис.1, 2. Набор данных и схема контракта на передачу данных Fig. 1, 2. Data set and data transfer contract scheme
3. Интеграция контрактов на передачу данных в стратегии управления данными
Контракты на передачу данных играют важную роль в управлении данными. Для успешной интеграции контрактов в процессы управления данными, предлагается выполнить следующие шаги:
Начните с определения требований к данным, учитывая типы, форматы, структуры данных и ожидания от их качества. Важно учесть потребности различных заинтересованных сторон и бизнес-процессы в вашей организации.
Разработайте эффективную структуру управления данными, включив контракты на передачу данных как ключевой элемент. Определите роли и обязанности, а также процессы создания, обслуживания и контроля соблюдения контрактов.
Обеспечьте обмен данными и соблюдение контрактов во всех сегментах вашей организации. Убедитесь, что все системы и стороны соблюдают условия контрактов.
Организуйте программы обучения для сотрудников, вовлеченных в управление данными. Это поможет им лучше понимать и соблюдать контракты на передачу данных и связанные с ними политики.
Таким образом интеграция контрактов на передачу данных в архитектуру вашей компании поможет стандартизации, согласованности и регулированию процессов обработки данных. Это, в свою очередь, улучшит качество данных, их совместимость и соответствие нормативным требованиям. Эффективное управление данными с использованием контрактов способствует повышению эффективности и прозрачности в организации [7,8].
Заключение.
Контракты на передачу данных представляют собой официальное соглашение, которое описывает структуру, формат и ожидания от качества обмена информацией между производителями и потребителями данных. Эти
контракты выполняют важную функцию в управлении данными, устанавливая руководящие принципы для использования данных, обеспечения конфиденциальности, поддержания безопасности и соблюдения законодательных требований. Соблюдение контрактов на передачу данных позволяет организациям четко определить ожидания и установить стандарты для обмена данными. Это способствует повышению согласованности, целостности и соответствия данным, что, в свою очередь, способствует более эффективным и надежным методам управления данными. Использование контрактов в стратегиях управления данными способствует максимальному раскрытию потенциала данных и помогает группам, работающим с данными, а также компаниям, оптимизировать свои операции и принимать обоснованные решения на основе качественного и структурированного информационного обмена.
СПИСОК ЛИТЕРАТУРЫ:
1. Контракты на передачу данных: ключ к масштабированию архитектуры распределенных данных и уменьшению хаоса в данных.[Электронный ресурс] Режим доступа: https://atlan.com/data-contracts /.- (дата обращения 14.09.2023);
2. Руководство по контрактам на передачу данных .[Электронный ресурс] Режим доступа: https://www.striim.com/blog/a-guide-to-data-contracts/ .- (дата публикации 14.09.2023);
3. Контракта данных для реестра схем .[Электронный ресурс] Режим доступа:https://docs.confluent.io/platform/current/schema-registry/fundamentals/data-contracts.html .- (дата обращения 14.09.2023);
4. Контракты на передачу данных: Преодоление разрыва между бизнесом и данными.[Электронный ресурс] Режим доступа: https://www.metaplane.dev/blog/data-contracts-bridging-the-gap-between-business-and-data .- (дата обращения 14.09.2023);
5. Понимание контрактов на передачу данных и их роли в управлении данными [Электронный ресурс] Режим доступа: https://airbyte.com/data-engineering-resources/data-contracts .- (дата обращения 14.09.2023);
6. Data Contract Template .[Электронный ресурс] Режим доступа: https: //github. com/paypal/data-contract-
template/blob/main/docs/README.md#example-1- (дата обращения 26.09.2023);
7. Ю. И. Шокин, Андрей Юрченко Модели организации хранения и использования исследовательских данных: основные принципы, процессы и механизмы реализации .[Электронный ресурс] Режим доступа: https://www.researchgate.net/publication/333932658_Models_of_organizing_researc h_data_storage_and_usage_basic_principles_processes_and_implementation_mecha nisms.- (дата обращения 14.09.2023);
8. Топ-8 методов интеграции данных и советы, как выбрать правильный.[Электронный ресурс] Режим доступа: https://pixelplex.io/blog/data-integration-techniques /.- (дата обращения 14.09.2023)
Artemov A.A.
Schwarz Media Plattform GmbH (Mulheim, Germany)
DATA CONTRACT IN ANALYTICAL SYSTEMS: BASIC PRINCIPLES, PRACTICAL BENEFITS AND IMPLEMENTATION METHODS
Abstract: information management is an integral part of a successful business. Companies rely on accurate and reliable data to make important strategic decisions correctly. It is important to ensure trust in the data, as well as control over its use. For this purpose, enterprises use tools to ensure honest and secure interaction with data. That's where Data Contract comes in. Data processing contracts establish clear and structured rules for the use of data, including quality criteria and service standards. By defining these rules and conditions, contracts bring information closer to business processes, which helps to improve transparency, information exchange and strengthen mutual trust. Thus, data transfer contracts become a reliable foundation for effective data management in modern business, supporting its strategic development and competitiveness.
Keywords: analytical systems, Data Contract usage, analytical systems, implementation
methods.
