CC BY
32
Научная статья
УДК 004.4
DOI: 10.14529/ctcr230310
МИГРАЦИЯ ДАННЫХ В КОНТЕКСТЕ ERP-СИСТЕМ
А.А. Максимов1, https://orcid.org/0000-0002-1476-0663
О.Л. Голубева2, golubeva.ol@mail.ru
Г.И. Волович3, g_volovich@mail.ru
С.Г. Некрасов2, nekrasovsg@susu.ru
1Государственная Дума Федерального Собрания Российской Федерации VIII созыва,
Москва, Россия
2 Южно-Уральский государственный университет, Челябинск, Россия
3 ООО «Челэнергоприбор», Челябинск, Россия
Аннотация. В основе каждой ERP-системы лежит единая база данных, которая позволяет сотрудникам организации полагаться на один и тот же согласованный набор информации. Миграция данных является важной составляющей проектов обновления, внедрения и интеграции ERP. При этом сценарий миграции может быть сложным и длительным, требовать большого количества ресурсов и высокой компетенции руководящего персонала. Недооценка необходимых времени и усилий может привести к существенному увеличению расходов и затягиванию сроков ввода ERP в эксплуатацию. Точность и полнота передаваемых данных также имеют большое значение, поскольку многие аспекты бизнеса - удовлетворение потребностей клиентов, принятие решений, цепочка поставок и отношения с партнерами - будут зависеть от качества данных. Несмотря на это, сложность сценариев миграции данных традиционно недооценивается. В большинстве существующих исследований миграция данных рассматривается преимущественно с технической стороны. Аспекты, связанные с концептуальным содержанием миграции данных, ее взаимосвязью с бизнес-процессами и управлением компанией, а также специфической ролью миграции данных в проектах обновления, внедрения и интеграции ERP-систем, остаются недостаточно проработанными. Цель исследования. Целью данной работы является дополнение теоретических представлений о содержании, разнообразии, проблемах и стратегиях миграции данных в контексте ERP-систем. Материалы и методы. В статье приведены обобщение и систематизация видов, этапов, ключевых стратегий и наиболее значимых проблем миграции данных. В целях данного исследования был рассмотрен, переработан и дополнен материал из 23 источников на близкую тематику. Результаты. В работе описаны классификации видов миграции данных, приведены примеры, относящиеся к ERP. Детально описаны и дополнены этапы проекта миграции данных. Приведено сравнение двух ключевых стратегий миграции данных, выделены их преимущества и недостатки, сформированы рекомендации для применения той или иной стратегии. Рассмотрены основные проблемы миграции данных в контексте ERP-систем, последствия данных проблем для всего проекта миграции. Заключение. Полученные результаты позволяют утверждать, что миграция данных является сложным и трудоемким процессом, требующим серьезных компетенций от руководства и исполнителей. Стратегия миграции должна быть разработана эффективным образом с учетом всего многообразия влияющих факторов.
Ключевые слова: миграция данных, ERP-системы, внедрение ERP, качество данных
Для цитирования: Миграция данных в контексте ERP-систем / А.А. Максимов, О.Л. Голубева, Г.И. Волович, С.Г. Некрасов // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». 2023. Т. 23, № 3. С. 118-129. DOI: 10.14529/ctcr230310
© Максимов А.А., Голубева О.Л., Волович Г.И., Некрасов С.Г., 2023
Original article
DOI: 10.14529/ctcr230310
DATA MIGRATION IN THE CONTEXT OF ERP
A.A. Maksimov1, https://orcid.org/0000-0002-1476-0663 O.L. Golubeva2, golubeva.ol@mail.ru G.I. Volovich3, g_volovich@mail.ru S.G. Nekrasov2, nekrasovsg@susu.ru State Duma of the Federal Assembly of the Russian Federation of the VIII convocation, Moscow, Russia
2 South Ural State University, Chelyabinsk, Russia
3 LLC Chelenergopribor, Chelyabinsk, Russia
Abstract. At the heart of every ERP is a single database that allows employees of the organization to rely on the same consistent set of information. Data migration is an important component of ERPs upgrade, implementation and integration projects. At the same time, the migration scenario can be complex and lengthy, require a large amount of resources and high competencies of the management staff. Underestimating the required time and effort can lead to a significant increase in costs and delay in the commissioning of the ERP. The accuracy and completeness of the transmitted data is also of great importance, since many aspects of the business - customer satisfaction, decision-making, supply chain and relationships with partners - will depend on the quality of the data. Despite this, the complexity of data migration scenarios is traditionally underestimated. In most existing studies, data migration is considered mainly from the technical side. Aspects related to the conceptual content of data migration, its relationship with business processes and company management, as well as the specific role of data migration in projects of updating, implementing and integrating ERPs, remain insufficiently developed. The aim of the study. The aim of this study is to supplement theoretical ideas about the content, diversity, problems and strategies of data migration in the context of ERPs. Materials and methods. The article summarizes and systematizes the types, stages of the project, key strategies and the most significant problems of data migration. For the purposes of this study, the material from 23 sources on a similar topic was reviewed, revised and supplemented. Results. The paper describes classifications of types of data migration, provides examples related to ERP. The stages of the data migration project are described in detail and supplemented. The comparison of two key data migration strategies is given, their advantages and disadvantages are highlighted, recommendations for the application of a particular strategy are formed. The main problems of data migration in the context of ERPs, the consequences of these problems for the entire migration project are considered. Conclusion. The results obtained suggest that data migration is a complex and time-consuming process that requires serious competencies from management and performers. The migration strategy should be developed in an effective way and take into account all the variety of influencing factors.
Keywords: data migration, ERP systems, ERP implementation, data quality
For citation: Maksimov A.A., Golubeva O.L., Volovich G.I., Nekrasov S.G. Data migration in the context of ERP. Bulletin of the South Ural State University. Ser. Computer Technologies, Automatic Control, Radio Electronics. 2023;23(3): 118-129. (In Russ.) DOI: 10.14529/ctcr230310
Введение
Как известно, миграция данных - это процесс перемещения данных между различными структурами, форматами, хранилищами данных или приложениями.
ЕЯР-системы, которые являются на сегодняшний день базовой интеграционной платформой для данных и бизнес-процессов организации, часто выполняют роль источников или целевой системы для миграции, а также имеют встроенные инструменты автоматизации процессов миграции.
Вопросам развития ЕЯР-систем посвящено очень большое количество публикаций, в том числе и авторов данной статьи [1-4].
Целый ряд публикаций посвящен миграции данных, наиболее разработанными темами являются алгоритмы миграции данных [5-9] и подходы к разработке программных инструментов миграции [10, 11], а также значительное внимание уделяется вопросам переноса данных между раз-
личными технологиями хранения или моделями данных [12-17]. Большинство из этих источников предполагают не только физическую миграцию данных между различными хранилищами данных, но и процедуру перепроектирования схемы данных.
Гораздо меньше публикаций посвящено концептуальному содержанию миграции данных, ключевым этапам, стратегиям и значению миграции в общем контексте использования информационных систем. Здесь можно отметить фундаментальную работу [18], в которой детально описываются этапы и стратегии миграции, сценарии тестирования, возникающие проблемы и скрытые затраты. Другой важной основой для такого исследования послужила работа [13], которая изучает содержание понятия миграции данных, значение данной концепции, ключевые проблемы и причины неудач сценариев миграции.
Миграция данных в контексте ERP на сегодняшний день не получила должного внимания. Стоит отметить работу [19], посвященную взаимосвязи миграции и бизнес-процессов организации, и [20, 21], связанные с проектами переноса данных между устаревшей и новой ERP.
Необходимо также отметить, что за рубежом данной теме уделяется гораздо большее внимание, а публикации на русском языке практически отсутствуют. Достаточно долгое время миграция данных недооценивалась, не обеспечивалась достаточными ресурсами и не рассматривалась с учетом ее важности [13].
В данной статье поставлена цель дополнить теоретические представления о содержании, разнообразии, проблемах и стратегиях миграции данных в контексте ERP-систем.
Содержание сценария миграции данных
Содержание сценария миграции заключается в переносе и размещении данных из одного или нескольких источников в систему-приемник, либо в переносе и размещении данных из источника в одну или несколько систем-приемников (целевых систем).
Необходимо отметить, что миграция подразумевает не только перенос данных (выгрузку и загрузку), но и их размещение в системе-приемнике, то есть встраивание в уже существующие данные и процессы.
ERP в сценариях миграции может быть как одним из источников данных, так и целевой или одной из целевых систем.
При этом миграция данных подразумевает изменение технологии хранения (например, MS SQL на MongoDB), программного приложения (например, SAP ERP на 1C:ERP), структуры или формата данных (например, при обновлении ERP изменяются добавляются новые таблицы, изменяется количество и содержание полей таблиц и т. п.).
Виды миграции данных
Существует большое разнообразие видов миграции в контексте ERP, которые необходимо рассмотреть, прежде чем принимать решение о стратегии миграции.
По целевому назначению мы предлагаем рассматривать миграцию следующих видов (см. рисунок).
1. Миграция обновлений: является частью процесса обновления и перехода на новую версию [22]. Информационная система в данном случае сама является как источником, так и приемником данных. При этом в ходе обновления должны изменяться формат или структура данных.
2. Миграция синхронизации: представляет собой двусторонний обмен данными между различными системами для их согласования. При этом обе системы могут быть как источником, так и приемником данных. Обе системы продолжают функционирование после обмена данными. Данный вид миграции обычно связан с необходимостью регулярного обмена данными с внешними информационными системами, хранилищами данных и сервисами (приложениями для бизнес-аналитики, базой данных интернет-магазина и т. п.).
3. Миграция перехода: данные переносятся из устаревшей в новую информационную систему. После завершения миграции старая система перестает функционировать. Потребность в такой миграции может возникать при внедрении ERP или, наоборот, переходе с ERP на другие виды информационных систем (CRM, FRM, HRM и т. д.). Эта процедура может быть как добровольной (если организация отказывается от устаревшего программного обеспечения и т. п.), так и вынужденной (если разработчик существующей системы отказался от поддержки и т. д.).
4. Миграция объединения (интеграции): несколько исходных систем интегрируются в одну целевую систему [22].
5. Миграция разъединения: данные из исходных систем переносятся в несколько целевых систем.
6. Перекрестная (кросс) миграция: данные из нескольких исходных систем переносятся в несколько целевых систем.
Виды миграции данных по целевому назначению Types of data migration for the intended purpose
По отношению к границам информационной системы миграция может быть:
- внутренней: если данные не пересекают границы системы, к данному виду относится миграция обновления;
- внешней: если данные выгружаются во внешние системы.
По отношению к объему исходных данных миграция может быть:
- полной: все данные исходной системы переносятся в целевую;
- частичной: переносятся только отдельные массивы данных. По направлению данных мы можем различать миграцию:
- одностороннюю: каждая система является только приемником или только источником;
- двустороння: каждая система является и приемником, и источником данным. По количеству участвующих систем можно выделить миграцию:
- одноканальную: в сценарии миграции участвует одна система, которая является и источником, и приемником;
- двухканальную: в сценарии миграции участвует две системы;
- многоканальную: в сценарии миграции участвует более двух систем.
По отношению ко времени протекания миграция может быть:
- единовременная: все данные выгружаются и загружаются единоразово;
- регулярная: данные выгружаются и загружаются периодически;
- многоэтапная: данные выгружаются и загружаются постепенно, в несколько итераций.
По отношению к используемой технологии хранения [23] миграция может быть:
- однородная: исходная и целевая система используют одну и ту же технологию хранения данных (MySQL, Oracle, PostgreSQL и т. п.) и/или одинаковую структуру;
- неоднородная: миграция, при которой исходная и целевая базы данных принадлежат разным технологиям баз данных, например, миграция с базы данных MS SQL на MongoDB. Разнородная миграция базы данных может осуществляться между идентичными моделями данных (например, с реляционной на реляционную) или между различными моделями данных (например, с реляционной на нереляционную).
По отношению к уровню автоматизации процессов можно выделить виды миграции:
- ручная: данные переносятся без использования автоматизированных алгоритмов и цифровых инструментов;
- автоматическая: данные переносятся с использованием автоматизированных алгоритмов и цифровых инструментов;
- полуавтоматическая: часть данных переносится с использованием автоматизированных алгоритмов и цифровых инструментов, другая часть вводится вручную.
Этапы сценария миграции данных
В зависимости от предполагаемого вида миграции этапы сценария могут существенно различаться, но на основе собственно опыта разработки и внедрения ERP, а также исследований [18] авторы предлагают следующую усредненную последовательность этапов миграции данных в контексте ERP.
1. Предъявление требований. Это начальная фаза сценария миграции, на которой определяются [22]:
- цели и планируемые результаты миграции (в том числе критерии принятия миграции);
- заинтересованные стороны (стейкхолдеры) миграции;
- количество и общие характеристики систем, которые будет участвовать в обмене данными;
- направление и порядок миграции;
- объем миграции (полная или частичная);
- перечень данных, предъявляемых к миграции.
2. Определение структуры данных в источнике.
Этап предполагает выбор данных, подлежащих миграции в системах-источниках, определение структуры данных, анализ взаимосвязей данных и бизнес-процессов.
3. Сопоставление структуры данных с целевой системой.
На данном этапе структуры данных из источника и целевой системы сопоставляются и адаптируются друг к другу при необходимости [22], происходит:
- сопоставление таблиц;
- сопоставление полей (в том числе типы полей, размеры, ограничения и т.п.);
- сопоставление взаимосвязей;
- адаптация структур данных или изменение требований.
4. Оценка качества и подготовка данных.
Этап предполагает проведение глубокого анализа данных и преобразование их в случае необходимости:
- оценка качества и очистка данных (исправление неверных, дублирующихся, непоследовательных, противоречивых, неправильно отформатированных или нерелевантных данных) [22];
- форматирование слабоструктурированных и неструктурированных данных.
5. Проектирование инструментов миграции.
На данном этапе формируются основные принципы и подходы к проектированию инструментов миграции:
- сценарии согласования данных [16];
- правила конвертации (преобразования) данных;
- принципы и подходы к выявлению и обработке ошибок, исключений и предупреждений (например, принципы работы с отсутствующими и несогласованными данными и т. п.).
6. Разработка программных инструментов миграции.
После завершения этапа проектирования начинается работа над созданием программных инструментов миграции, организация промежуточного хранилища данных, а также настройка инструментов миграции для выбранных систем.
7. Тестирование программных инструментов миграции.
На данном этапе происходит отладка программных инструментов миграции на тестовых наборах данных:
- разработка модульных тестов;
- тестовое извлечение и загрузка данных;
- проверка и сопоставление объема и качества загруженных данных;
- оценка производительности программных инструментов;
- анализ и исправление алгоритмических ошибок (потери данных, нарушение целостности и т. п.).
8. Извлечение и преобразование данных.
На данном этапе нужные данные из системы-источника извлекаются и помещаются в файл или промежуточную среду. В процессе извлечения данные преобразуются в соответствии с установленными правилами.
9. Загрузка и проверка данных.
Этап предполагает массовую загрузку извлеченных данных в целевую систему с использованием программных инструментов миграции, а также выполнение процедур автоматической проверки полученных данных, происходит фиксация и оценка критичности ошибок.
10. Размещение данных.
Этап размещения данных предполагает:
- встраивание загруженных данных в уже существующие в системе данные и бизнес-процессы;
- ручное или программное исправление ошибок;
- проверка качества данных пользователями системы.
11. Оценка результатов миграции.
На данном этапе происходит оценка результатов и принятие решения о будущем сценария миграции:
- завершении: если результаты миграции принимаются;
- продолжении: если результаты миграции требуют дополнительных манипуляций с данными;
- откате: если результаты миграции неудовлетворительны.
12. Завершение миграции.
В случае если на предыдущем этапе принято решение о завершении миграции, сценарий закрывается. При необходимости готовится документация и отключаются устаревшие системы.
Необходимо отметить, что этапы сценария могут следовать как последовательно (каскадная модель), так и иметь глобальные или локальные циклические структуры (У-образная модель, инкрементная модель). Ввиду наличия сложных взаимосвязей между данными и бизнес-процессами миграцию данных вряд ли можно реализовать, используя гибкие методологии проектирования.
Стратегии миграции данных
Следует выделить две принципиальные стратегии миграции: единовременную и инкремент-ную, каждая из которых имеет свои достоинства и недостатки.
1. Стратегия единовременного перехода.
При использовании стратегии единовременного перехода компания готовит масштабный сценарий миграции, который реализуется от начала и до конца по заранее определенному сценарию. Весь массив данных выгружается за один раз в течение короткого периода времени.
Стратегия единовременного перехода может быть основана на каскадной или У-образной модели, которая также подразумевает последовательное выполнение, но при этом предполагает тестирование и проверку различных этапов миграции, начиная с первых стадий разработки.
2. Инкрементная стратегия.
При инкрементной миграции данные из старой системы переносятся и размещаются в несколько итераций [22]. Здесь возможны два варианта.
- Новая система предлагает полную функциональность, но доступна только ограниченной группе пользователей. Группа пользователей расширяется с каждой итерацией сценария миграции.
- Предоставление частичных функций, но для всех пользователей. Пользователи работают параллельно на новых и старых системах. С каждым шагом функциональность новой системы расширяется до тех пор, пока старая система не будет полностью заменена [18]
Каждая из стратегий имеет свои преимущества и недостатки, представленные в таблице. Данная информация основана на сравнении, приведенном в [24], но существенно доработана и дополнена.
Сравнение стратегий миграции данных Comparison of data migration strategies
Стратегия единовременного перехода Инкрементная стратегия
Стоимость и сроки проекта определены заранее Стоимость и сроки проекта сложно спрогнозировать, проект может растянуться на неопределенное время
Управленческие усилия направлены преимущественно на планирование сценария перехода Управленческие усилия направлены преимущественно на координацию и контроль
Для положительного результата необходимо наличие четко структурированных и согласованных требований Требования могут быть не определены заранее, либо меняться в процессе
Пользователи работают только в новой системе, старая система отключается Новые и старые системы работают параллельно, происходит регулярное согласование данных между ними
Эксплуатационные затраты касаются только новой системы Требуются существенные затраты как на эксплуатацию новой системы, так и на поддержание старой системы
Пользователей необходимо комплексно подготовить к новым способам работы с данными Пользователи могут постепенно привыкать к новым способам работы с данными
В случае обнаружения ошибок или появления проблем с размещением данных возможны существенные простои в работе Пользователи могут временно использовать старую систему как основную в случае возникающих проблем
Единичный простой при масштабном переносе данных Многократные простои (при проведении каждой следующей итерации переноса данных)
Высокие риски миграции из-за большого объема единовременно перемещаемых данных Сведение к минимуму рисков миграции за счет перемещения меньшего объема данных
Стратегии отката могут быть сложными, особенно если проблемы обнаруживаются через некоторое время после события миграции Стратегии отката легко реализуемы
Таким образом, стратегия единовременного перехода может быть рекомендована организациям в случае:
- небольшого объема данных;
- наличия четких требований и понятных соответствий между данными;
- одинаковой структуры данных и принципов работы между новой и старой системами;
- наличия типовых инструментов миграции (например, при обмене данными между типовыми конфигурациями 1С);
- готовности компании к существенным единовременным затратам;
- отсутствия требований к высокой надежности и бесперебойной работе системы.
Инкрементная стратегия, наоборот, может быть рекомендована в случаях:
- большого объема данных и наличия сложных взаимосвязей между ними;
- отсутствия четких требовании или сложности их формирования ввиду серьезных отличий в организации данных между старой и новой системой;
- наличия существенных различий между новой и старой системой;
- отсутствия типовых инструментов миграции;
- неготовности компании к существенным единовременным затратам;
- бизнес-процессы компании требуют высокой надежности систем.
Проблемы миграции данных
Миграция данных как сложный и многоплановый процесс сталкивается с большим числом разнообразных проблем, ключевыми из которых можно считать следующие.
1. Качество исходных данных
Системы-источники могут содержать неточные, неполные, дублирующие или противоречивые данные [24].
Существует много причин низкого качества данных [22].
- Сбор данных. Причинами низкого качества данных может быть неверный выбор пользователями полей для ввода (например, путаница в полях имени и фамилии), опечатки, игнорирование масок ввода (например, для номера телефона), отсутствие проверки ввода дублирующих данных и т. д. Большинство этих ошибок возникают из-за плохого дизайна интерфейса или низкого качества программного кода самой ERP-системы. Источником проблем может стать также импорт некачественных данных из внешних систем (например, реквизиты клиента, введенные им в личном кабинете на веб-сайте).
- Процессы. Процессы становятся причиной низкого качества данных, если они неверны или неполны (например, неправильная обработка данных или отсутствие процедур проверки). Источником проблемы здесь могут быть как программные ошибки, так и неверная формализация бизнес-процессов на этапе подготовки технического задания.
- Истечение срока действия данных. Этот фактор возникает, поскольку определенные данные могут утратить актуальность по истечении определенного периода (цены, контактные данные, скидки и т. п.).
Поскольку массивы данных используются ERP-системой автоматически, противоречивая, неправильная или неполная информация часто распознается очень поздно и приводит к повторяющимся ошибкам. После ввода в систему несколько отделов и общекорпоративных приложений получают доступ к информации и используют ее повторно. Таким образом, даже небольшая ошибка в данных может затронуть всю компанию, вызывая последующие ошибки и провоцируя неправильные решения. В данном случае интеграционная функция ERP имеет негативные последствия.
Плохое качество данных в исходной системе может приводить к неверной работе алгоритмов миграции, сбоям в обработке, потере данных, ошибкам в целевой системе.
В качестве решения данной проблемы на сегодняшний день доступны мощные методы и инструменты обеспечения качества данных. Приложив разумные усилия, руководство и технические специалисты могут выявить проблемы с качеством данных и сосредоточиться на их устранении до начала выгрузки данных.
2. Сопоставление данных
Структура данных в исходной и целевой системе может существенно различаться. Данные из исходной системы могут не отображаться непосредственно в целевую систему из-за ее структуры, и несколько баз данных-источников могут иметь разные модели данных [24]. Кроме того, данные в исходных системах могут иметь разное форматирование или быть представлены не так, как в целевой системе.
Поэтому часто требуется преобразование данных, что может привести к несоответствиям и, следовательно, к низкому качеству данных в целевой системе [18]. Помимо преобразования дан-
ных может потребоваться также изменение структуры целевой системы, особенно если исходная и целевая системы имеют разные модели [23].
Решение данной проблемы потребует значительных усилий по предварительному анализу и сопоставлению данных. Здесь могут помочь автоматизированные программные алгоритмы, но они пока не способны дать решение в случае принципиальных расхождений в структуре данных.
3. Размещение данных
С окончанием загрузки данных в целевую систему сценарий миграции не заканчивается. Данные необходимо разместить и встроить в существующие бизнес-процессы. Бизнес-правила, логика и стандарты исходной и целевой системы могут существенно различаться, что приводит к дополнительным сложностям.
На текущий момент все процедуры размещения выполняются преимущественно вручную и слабо автоматизированы. Причем за большую часть из них отвечают рядовые пользователи, ответственные за определенные бизнес-процессы, а не технические специалисты.
4. Управление сценарием миграции
Миграция данных является сложным процессом, который требует высокого уровня управленческих компетенций. Большинство сценариев по миграции данных будет иметь стратегическое значение для организации в связи с переходом на новую ЕЯР-систему. Это потребует самоотверженности и хорошо спланированной координации, чтобы уложиться в график переноса данных, поскольку сбои на любом этапе повлияют на проект в целом.
В инкрементных стратегиях многие задачи миграции данных, такие как оценка качества данных, проверка, очистка и т. д., должны выполняться итеративно [24], и по результатам данной проверки могут происходить изменения алгоритмов и настроек программных инструментов миграции.
К проблемам может приводить также отсутствие должного внимания к миграции данных [13]. Во многих компаниях сценарии миграции данных терпят неудачу из-за того, что их важность и сложность не воспринимались достаточно серьезно [22].
Чтобы предотвратить проблемы вследствие неэффективного управления, организациям нужна надежная и последовательная методология, позволяющая планировать, проектировать, координировать и проверять правильность миграции. Организации нужны надежные цифровые инструменты, чтобы держать под контролем все моменты проектирования, оценки и выполнения сценария миграции. К сожалению, на данный момент специальных программных инструментов для управления и координации сценариев миграции не разработано.
Заключение
Миграция данных происходит повсеместно, поскольку компании переходят от устаревших систем к более актуальным решениям, от локальных инфраструктур и приложений к облачным хранилищам и облачным приложениям для оптимизации или преобразования своего бизнеса. Всякий раз, когда компании внедряют и обновляют ЕЯР-системы, им приходится переносить и размещать существующие данные.
В процессе миграции необходимо учитывать множество факторов, в том числе: объем и качество данных, различия в структуре данных и функциональных возможностях, эффективность алгоритмов, наличие автоматизированных инструментов и т. д. [13]. Поэтому разработка стратегии и сценария миграции является важной исследовательской задачей и серьезным бизнес-кейсом по менеджменту внутренних процессов организации, предполагающим разработку этапов, подготовку инструментов, системы контроля и оценки эффективности миграции [25, 26].
Организации должны относиться к сценариям миграции с должным вниманием, так как миграция данных является одной из наиболее сложных и требовательных составляющих проектов обновления, внедрения и интеграции ЕЯР-систем.
Перспективными направлениями дальнейших исследований являются изучение подходов и принципов управления инкрементными стратегиями миграции данных, разработка алгоритмов и программных инструментов координации и контроля для данного типа стратегий. В контексте ЕЯР-систем важной задачей является также автоматизация размещения данных и разработка средств проверки эффективности размещения в соответствии с критичностью различных бизнес-процессов.
Список литературы
1. Логиновский О.В., Максимов А.А. Корпоративное управление: науч. изд. М.: Машиностроение, 2007. 624 с.
2. Логиновский О.В., Максимов А.А. Управление группой предприятий. Челябинск: Издат. центр ЮУрГУ, 2008. 480 с.
3. Логиновский О.В., Максимов А.А. Управление промышленным предприятием: науч. изд. М.: Машиностроение, 2006. 576 с.
4. Управление промышленными предприятиями: стратегии, механизмы, системы: моногр. / О.В. Логиновский, А.А. Максимов, В.Н. Бурков и др. [под ред. О.В. Логиновского]. М.: Инфра-М, 2018. 410 с.
5. Algorithms for Data Migration / E. Anderson, J. Hall, J. Hartline et al. // Algorithmica. 2010. Vol. 57. P. 349-380. DOI: 10.1007/s00453-008-9214-y
6. An experimental study of data migration algorithms / E. Anderson, J. Hall, J. Hartline et al. // Proceedings of the Workshop on Algorithm Engineering (WAE). 2001. P. 145-158. DOI: 10.1007/3-540-44688-5_12
7. On algorithms for efficient data migration / J. Hall, J. Hartline, A. Karlin et al. // Proceedings of the ACM-SIAM Symposium on Discrete Algorithms (SODA). 2001. P. 620-629.
8. Khuller S., Kim Y., Wan Y. Algorithms for data migration with cloning // SIAM J. Comput. 2004. Vol. 33 (2). P. 448-461. DOI: 10.1137/S009753970342585X
9. Khuller S., Kim Y., Malekian A. Improved algorithms for data migration // Proceedings of the International Workshop on Approximation Algorithms for Combinatorial Optimization Problems (APPROX). 2006. P. 164-175.
10. Грушицын А.С. Создание трассы при миграции базы данных // Системные технологии. 2016. № 21. C. 51-55.
11. Нефедова И.В. Тестирование кода при переносе базы данных // Системные технологии. 2016. № 20. С. 96-100.
12. Alotaibi O., Pardede E. Transformation of Schema from Relational Database (RDB) to NoSQL Databases // Data. MDPI. 2019. Vol. 4 (4). P. 148-159. DOI: 10.3390/data4040148
13. Goyal V., Jain A., Gupta V.K. Data Migration & its Issues. URL: https://www.researchgate.net/ publication/256502376_Data_Migration_its_Issues (дата обращения: 25.04.2023).
14. Hanine M., Bendarag A., Boutkhoum O. Data Migration Methodology from Relational to NoSQL Databases // International Journal of Computer, Electrical, Automation, Control and Information, Engineering. 2015. Vol. 9 (12). P. 2566-2570. DOI: 10.5281/zenodo.1339211
15. Model Transformation and Data Migration from Relational Database to MongoDB / T. Jia et al. // Conference: 2016 IEEE International Congress on Big Data (BigData Congress). 2016. P. 60-67. DOI: 10.1109/BigDataCongress.2016.16
16. Mason R.T. NoSQL databases and data modeling techniques for a document-oriented NoSQL database // Conference: Proceedings of Informing Science & IT Education Conference (InSITE) 2015. 2015. P. 259-268. DOI: 10.1109/BigDataCongress.2016.16
17. Королева Ю.А., Маслова В.О., Козлов В.К. Разработка концепции миграции данных между реляционными и нереляционными системами БД // Программные продукты и системы. 2019. № 1. С. 63-67. DOI: 10.15827/0236-235X.125.063-067
18. Sarmah S.S. Data Migration // Science and Technology. 2018. Vol. 8 (1). P. 1-10. DOI: 10.5923/j .scit.20180801.01
19. Ratings migration and the business cycle, with application to credit portfolio stress testing / A. Bangia, F.X. Diebold, A. Kronimus et al. // Journal of banking & finance. 2002. Vol. 26(2-3). P. 445-474. DOI: 10.2139/ssrn.231152
20. An overview of legacy information system migration / J. Bisbal, D. Lawless, B. Wu et al. // Software Engineering Conference and International Computer Science Conference. 1997. P. 529-530. DOI: 10.1109/APSEC.1997.640219
21. Legacy system migration: A legacy data migration engine / B. Wu, D. Lawless, J. Bisbal et al. // Proceedings of the 17th International Database Conference (DATASEM'97). 1997. P. 129-138. DOI: 10.1109/APSEC.1997.640188
22. Azeroual O., Jha M. Without Data Quality, There Is No Data Migration // Big Data and Cognitive Computing. 2021. Vol. 5 (24). P. 1-12. DOI: 10.1007/978-981-19-5209-8_2
23. Peretiatko M., Shirokopetleva M., Lesna N. Research of methods to support data migration between relational and document data storage models // Innovative Technologies and Scientific Solutions for Industries. 2022. Vol. 2 (20). P. 64-74. DOI: 10.30837/ITSSI.2022.20.064
24. Thalheim B., Wang Q. Towards a Theory of Refinement for Data Migration // Part of the Lecture Notes in Computer Science book series (LNISA, volume 6998). 2011. P. 1-14. DOI: 10.1016/j.datak.2012.12.003
25. Ceresnak R., Dudas A., Matiasko K. Mapping rules for schema transformation: SQL to NoSQL and back // International Conference on Information and Digital Technologies. 2021. P. 52-58. DOI: 10.1109/IDT52577. 2021.9497629
26. Matthes F., Schulz C., Haller K. Testing & quality assurance in data migration projects // 2011 27th IEEE International Conference on Software Maintenance (ICSM). 2011. P. 438-447. DOI: 10.1109/ICSM.2011.6080811
References
1. Loginovskiy O.V., Maksimov A.A. Korporativnoe upravlenie: nauch. izd. [Corporate governance: scientific edition]. Moscow: Mashinostroenie Publ.; 2007. 624 p. (In Russ.)
2. Loginovskiy O.V., Maksimov A.A. Upravlenie gruppoypredpriyatiy [Management of a group of enterprises]. Chelyabinsk: South Ural St. Univ. Publ.; 2008. 480 p. (In Russ.)
3. Loginovskiy O.V., Maksimov A.A. Upravlenie promyshlennym predpriyatiem: nauch. izd. [Industrial enterprise management: scientific edition]. Moscow: Mashinostroenie Publ.; 2006. 576 p. (In Russ.)
4. Loginovskiy O.V., Maksimov A.A., Burkov V.N. et al. Upravlenie promyshlennymi predpriya-tiyami: strategii, mekhanizmy, sistemy: monografiya [Management of industrial enterprises: strategies, mechanisms, systems: monograph]. Moscow: Infra-M Publ.; 2018. 410 p. (In Russ.)
5. Anderson E., Hall J., Hartline J. et al. Algorithms for Data Migration. Algorithmica. 2010;57:349-380. DOI: 10.1007/s00453-008-9214-y
6. Anderson E., Hall J., Hartline J. et al. An experimental study of data migration algorithms. In: Proceedings of the Workshop on Algorithm Engineering (WAE). 2001. P. 145-158. DOI: 10.1007/3-540-44688-5_12
7. Hall J., Hartline J., Karlin A., Saia J., Wilkes J. On algorithms for efficient data migration.
In: Proceedings of the ACM-SIAM Symposium on Discrete Algorithms (SODA). 2001. P. 620-629.
8. Khuller S., Kim Y., Wan Y. Algorithms for data migration with cloning. SIAM J. Comput. 2004;33(2):448-461. DOI: 10.1137/S009753970342585X
9. Khuller S., Kim Y., Malekian A. Improved algorithms for data migration. In: Proceedings of the International Workshop on Approximation Algorithms for Combinatorial Optimization Problems (APPROX). 2006. P. 164-175.
10. Grushitsyn A.S. [Creating a route during database migration]. System technologies. 2016;21:51-55. (In Russ.)
11. Nefedova I.V. [Code testing during database migration]. System technologies. 2016;20:96-100. (In Russ.)
12. Alotaibi O., Pardede E. Transformation of Schema from Relational Database (RDB) to NoSQL Databases. Data. MDPI. 2019;4(4):148-159. DOI: 10.3390/data4040148
13. Goyal V., Jain A., Gupta V.K. Data Migration & its Issues. Available at: https://www. researchgate.net/publication/256502376_Data_Migration_its_Issues (accessed 25.03.2023).
14. Hanine M., Bendarag A., Boutkhoum O. Data Migration Methodology from Relational to NoSQL Databases. International Journal of Computer, Electrical, Automation, Control and Information, Engineering. 2015;9(12):2566-2570. DOI: 10.5281/zenodo.1339211
15. Jia T. et al. Model Transformation and Data Migration from Relational Database to MongoDB. In: Conference: 2016 IEEE International Congress on Big Data (BigData Congress). 2016. P. 60-67. DOI: 10.1109/BigDataCongress.2016.16
16. Mason R.T. NoSQL databases and data modeling techniques for a document-oriented NoSQL database. In: Conference: Proceedings of Informing Science & IT Education Conference (InSITE) 2015. 2015. P. 259-268. DOI: 10.1109/BigDataCongress.2016.16
17. Koroleva Yu. A., Maslov V. O., Kozlov V. K. Development of the concept of data migration between relational and non-relational database systems. Software & Systems. 2019;1:63-67. (In Russ.) DOI: 10.15827/0236-235X.125.063-067
18. Sarmah S.S. Data Migration. Science and Technology. 2018;8(1): 1-10. DOI: 10.5923/ j scit.20180801.01
19. Bangia A., Diebold F.X., Kronimus A., Schagen C., Schuermann T. Ratings migration and the business cycle, with application to credit portfolio stress testing. Journal of banking & finance. 2002;26(2-3):445-474. DOI: 10.2139/ssrn.231152
20. Bisbal J., Lawless D., Wu B. et al. An overview of legacy information system migration. In: Software Engineering Conference and International Computer Science Conference. 1997. P. 529-530. DOI: 10.1109/APSEC.1997.640219
21. Wu B., Lawless D., Bisbal J. et al. Legacy system migration: A legacy data migration engine. In: Proceedings of the 17th International Database Conference (DATASEM'97). 1997. P. 129-138. DOI: 10.1109/APSEC.1997.640188
22. Azeroual O., Jha M. Without Data Quality, There Is No Data Migration. Big Data and Cognitive Computing. 2021;5(24): 1-12. DOI: 10.1007/978-981-19-5209-8_2
23. Peretiatko M., Shirokopetleva M., Lesna N. Research of methods to support data migration between relational and document data storage models. Innovative Technologies and Scientific Solutions for Industries. 2022;2(20):64-74. DOI: 10.30837/ITSSI.2022.20.064
24. Thalheim B., Wang Q. Towards a Theory of Refinement for Data Migration. Part of the Lecture Notes in Computer Science book series (LNISA, volume 6998). 2011. P. 1-14. DOI: 10.1016/j.datak.2012.12.003
25. Ceresnak R., Dudas A., Matiasko K. Mapping rules for schema transformation: SQL to NoSQL and back. In: International Conference on Information and Digital Technologies. 2021. P. 52-58. DOI: 10.1109/IDT52577. 2021.9497629
26. Matthes F., Schulz C., Haller K. Testing & quality assurance in data migration projects. In: 2011 27th IEEE International Conference on Software Maintenance (ICSM). 2011. P. 438-447. DOI: 10.1109/ICSM.2011.6080811
Информация об авторах
Максимов Александр Александрович, д-р техн. наук, депутат, Государственная Дума Федерального Собрания Российской Федерации VIII созыва, Москва, Россия.
Голубева Ольга Леонидовна, аспирант кафедры информационно-аналитического обеспечения управления в социальных и экономических системах, Южно-Уральский государственный университет, Челябинск, Россия; golubeva.ol@mail.ru.
Волович Георгий Иосифович, д-р техн. наук, проф., директор, ООО «Челэнергоприбор», Челябинск, Россия; g_volovich@mail.ru.
Некрасов Сергей Геннадьевич, д-р техн. наук, проф. кафедры информационно-измерительной техники, Южно-Уральский государственный университет, Челябинск, Россия; nekrasovsg@susu.ru.
Information about the authors
Alexander A. Maksimov, Dr. Sci. (Eng.), Deputy, State Duma of the Federal Assembly of the Russian Federation of the VIII convocation, Moscow, Russia.
Olga L. Golubeva, Postgraduate Student of the Department of Informational and Analytical Support of Control in Social and Economic Systems, South Ural State University, Chelyabinsk, Russia; golubeva.ol@mail.ru.
Georgiy I. Volovich, Dr. Sci. (Eng.), Prof., Director, LLC Chelenergopribor, Chelyabinsk, Russia; g_volovich@mail.ru.
Sergey G. Nekrasov, Dr. Sci. (Eng.), Prof. of the Department of Information and Measuring Technology, South Ural State University, Chelyabinsk, Russia; nekrasovsg@susu.ru.
Статья поступила в редакцию 29.04.2023
The article was submitted 29.04.2023
