Научная статья на тему 'ЦИФРОВИЗАЦИЯ ПРОЦЕССНОГО ПОДХОДА'

ЦИФРОВИЗАЦИЯ ПРОЦЕССНОГО ПОДХОДА Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
0
0
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
процесс / цифровизация / оптимизация / устойчивое развитие / process / digitalization / optimization / sustainable development

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Дранкова Наталья Александровна

Рассмотрены основные изменения в подходе к менеджменту, аспекты цифровизации процессов, тренды в бизнес-процессах, а также влияние цифровизации на различные сферы деятельности. Особое внимание уделяется подбору персонала, в этой связи были разработаны требования к соискателям на должность специалиста по описанию бизнес-процессов и изложен опыт применения цифровых технологий в контексте моделирования архитектуры бизнес-процессов. Результаты исследования позволяет сделать вывод о значимости цифровизации процессов для повышения эффективности и оптимизации различных областей деятельности, а также выявить перспективы развития данной области.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Дранкова Наталья Александровна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

DIGITALIZATION OF THE PROCESS APPROACH

The article considers main changes in the approach to management, issues of digitalization of processes, trends in business processes, as well as influence of digitalization on various spheres of activity. Particular attention is paid to the selection of staff, in this regard, requirements for a business process specialist have been developed and experience with the application of digital technologies in the context of business process architecture modelling has been presented. The results of the study allow to draw conclusions about the importance of digitalization of processes for increasing efficiency and optimization of various areas of activity, as well as to identify prospects for the development of this field.

Текст научной работы на тему «ЦИФРОВИЗАЦИЯ ПРОЦЕССНОГО ПОДХОДА»

Соблюдение вышеприведенных рекомендаций позволит сохранить требуемую точность измерений при проведении контроля параметров изделий с применением КИМ.

Список литературы

1. Ушаков М.В., Воробьев И.А., Никольский С.М. Анализ возможностей существующего программного обеспечения КИМ // Известия Тульского государственного университета. Технические науки. 2021. Вып. 10. С. 506510.

2. Никольский С.М. Влияние количества контролируемых точек на погрешность результата измерений с применением КИМ // Известия Тульского государственного университета. Технические науки. 2023. Вып. 4. С. 389395.

Никольский Сергей Михайлович, инженер по метрологии, nikolsky.serge@yandex. ru, Россия, Тула, АО «АК «Туламашзавод»

RECOMMENDATIONS ON THE SELECTION OF THE KIM MEASURING TIP

S.M. Nikolsky

This paper gives advice on the choice of CMMprobe tips depending on the measurement task at hand. Various configurations of existing measuring tips are considered.

Key words: probe tip, stylus, CMM, material, configuration.

Nikolsky Sergey Mikhailovich, metrology engineer, [email protected], Russia, Tula, JSC "Tulamashza-

vod"

УДК 658.5

Б01: 10.24412/2071 -6168-2024-3-459-460

ЦИФРОВИЗАЦИЯ ПРОЦЕССНОГО ПОДХОДА

Н.А. Дранкова

Рассмотрены основные изменения в подходе к менеджменту, аспекты цифровизации процессов, тренды в бизнес-процессах, а также влияние цифровизации на различные сферы деятельности. Особое внимание уделяется подбору персонала, в этой связи были разработаны требования к соискателям на должность специалиста по описанию бизнес-процессов и изложен опыт применения цифровых технологий в контексте моделирования архитектуры бизнес-процессов. Результаты исследования позволяет сделать вывод о значимости цифровизации процессов для повышения эффективности и оптимизации различных областей деятельности, а также выявить перспективы развития данной области.

Ключевые слова: процесс, цифровизация, оптимизация, устойчивое развитие

В настоящее время наблюдается активное цифровое преобразование всех сфер жизнедеятельности человечества. В рамках четвертой промышленной революции (индустрии 4.0) появились и стали широко применяться: искусственный интеллект, интернет вещей, роботизация, беспилотные транспортные средства, технологии симуляции и дополненной реальности, облачные технологии, биоинженерия, новые материалы, анализ больших данных [1]. В рамках индустрии 4.0 изменился и подход к менеджменту (тал.1), что обусловлено потерей эффективности стандартных методов менеджмента качества. Это подтверждают и результаты опроса 50 ведущих экспертов в области качества и руководителей крупных промышленных компаний, 40% из которых отметили, что стандартные методы менеджмента качества значительно снизили свою эффективность, а 48% указали на возросшую значимость проблем менеджмента качества за последние 10 лет [2].

Таблица 1

Развитие менеджмента в период XIX - XXI века__

Эпоха Период Основатель Особенности Ключевые факторы

1 2 3 4 5

Эпоха научного управления Конец XIX - первая половина XX вв. Ф. Тейлор Акцент на научных методах и принципах в управлении, стандартизации процессов, рационализации и оптимизации. Технический прогресс, появление научного менеджмента, повы шение эффективности производства.

Продолжение таблицы 1

1 2 3 4 5

Эпоха административного управления Середина XX в. Г. Файоль, Л. Урвик Централизация власти, вертикальная иерархическая структура, управление по командам и инструкциям, важность целей и принципов управления установленных на верхнем уровне администрации. Развитие крупных организаций, необходимость управления большими и сложными структурами.

Эпоха управления качеством Вторая половина XX в. Дж. Джуран, Ф. Кросби Фокус на обеспечении качества продукции или услуг, применении методов контроля и улучшения качества. Возросшая конкуренция, увеличение требований потребителей к качеству.

Эпоха стратегического управления Конец XX - начало XXI вв. М. Портер Управление на основе стратегического планирования, определение целей и направлений развития организации, формирование уникальных преимуществ. Глобализация рынков, изменчивость внешней среды, необходимость адаптации и выживания.

Эпоха инновационного управления Современность (XXI в.) Р.А. Фатхутдинов, Ю.П. Морозов, А.А. Алексеев Поддержка инноваций и креативности, развитие гибких и адаптивных методов управления, формирование цифрового менеджмента Быстрые изменения технологий, конкуренция на основе инноваций, потребность в постоянном развитии и совершенствовании, использование цифровых инструментов и технологий, киберзащита [3].

Идеи методов менеджмента активно стали развиваться с XIX века, начиная с идей Ф.Тейлора, под действием технического прогресса (табл. 1). Однако прежде эффективные и результативные методы в XXI веке стали постепенно терять свою эффективность под действием глобализации, цифровой трансформации, изменений в обществе. Данные процессы послужили толчком для нового преобразования менеджмента, а именно - цифровой трансформации процессов управления заключающейся в широкомасштабном использовании информационных ресурсов с целью получения и обработки данных в максимально возможные короткие сроки (для проведения анализа удовлетворенности потребителей, анализа больших данных о качестве и системе менеджмента и др.).

На текущий момент мы находимся на цифровом этапе информационной революции, связанном с развитием трансграничных глобальных информационно-телекоммуникационных сетей, охватывающих все страны и континенты. В этих условиях цифровизация становится неотъемлемым атрибутом дальнейшего развития компаний.

Рассматривая вопрос об изменении менеджмента в условиях цифровизации нельзя не отметить следующее: в эпоху цифровизации менеджмент рассматривается в качестве международного понятия, подразумевающего широкомасштабное международное сотрудничество и совершенствование систем управления, что в большей части характерно для стран с открытой экономикой и развитой системой демократических методов управления [4]. В связи с этим многие авторы активно исследуют вопросы, связанные с «цифровым менеджментом», «цифровым управлением», «менеджментом 4.0», «менеджментом цифровой экономики»: Парахина В.Н., Антонов В.Г., Самосудов М.В, Салимова Т.А., Ватолкина Н.Ш., Репина Е.Д. др. [5] Практически все исследователи признают, что новые условия функционирования требуют изменений в подходах к управлению предприятием, т.к. они невозможны без современных методов управления с применением цифровых технологий, требуемых для автоматизации бизнес-процессов. Важность цифровизации поддерживается и на правительственном уровне, что в совокупности создает основу для переосмысления теоретических и методологических основ менеджмента.

В этой связи важно дать определение цифровому менеджменту, основываясь на том, что основная концепция толкования понятий лежит в плоскости увеличения экономических выгод и повышения эффективности бизнес-процессов организации. Авторская трактовка термина «цифровой менеджмент» заключается в том, что цифровой менеджмент рассматривается как часть системы менеджмента, базирующаяся на использовании цифровых технологий и используемая для автоматизации бизнес-процессов, с целью достижения стабильного качества, повышения эффективности деятельности организации и обеспечения устойчивого развития. Следовательно, основная цель менеджмента в условиях цифровизации состоит в том, чтобы хозяйствующий субъект достиг состояния, которое будет значительно отличаться от существующего на данный момент времени по количественным и (или) качественным показателям, характеризующим его деятельность в направлении развития новых цифровых технологий [4]. Если же говорить об изменении устойчивого развития в условиях цифровизации, то цифровые технологии помогают существенно увеличить экономический рост, способствуют улучшению условий труда на производстве и усилению защиты охраны окружающей среды, что и составляет основные аспекты устойчивого развития.

Одной из основных областей, где цифровизация оказывает сильное влияние, является экономика. Цифровые технологии способствуют созданию новых рабочих мест, стимулируют внедрение инноваций, повышают производительность труда. Благодаря цифровым инструментам, предприятия ещё на этапе архитектурного построения текущих процессов могут оптимизировать свои бизнес-процессы, уменьшить издержки и снизить негативное воздействие на окружающую среду.

В настоящее время в части бизнес-процессов уже сформировались определённые тренды. Так, посредством проведения опроса в телеграм-канале «Бизнес-аналитики, системные аналитики, специалисты по рискам и ИТ» [6] были выявлены следующие актуальные направления по работе с бизнес-процессами:

- Описание процессов (наведение порядка) (46%)

- Построение комплексной цифровой модели организации (31%)

- Тотальная роботизация и искусственный интеллект (24%)

- Применение новых методов оптимизации процессов (19%)

- Снижение издержек и экономия на всём (17%)

- Управление операционными рисками (14%)

На основании проведенного опроса и представленных данных можно сказать, что для большинства руководителей по прежнему главным направлением является «Описание процессов (наведение порядка)», которое является основой для выстраивания дальнейшей работы. На втором месте находится «Построение комплексной цифровой модели организации», что логично вытекает из первого. Третье место занимает «Тотальная роботизация и искусственный интеллект», что подчеркивает актуальность и значимость цифровизации во всех сферах жизни. Далее следуют «Управление операционными рисками» и «Снижение издержек и экономия на всём». К сожалению, не многие организации могут себе позволить профессиональную реализацию данных направлений, но именно в них сконцентрирован наибольший резерв для оптимизации при реализации процессного подхода.

В сфере образования цифровизация также играет значительную роль. Цифровые технологии обеспечивают доступ к образованию и информации, улучшают качество обучения, способствуют развитию навыков, необходимых для рынка труда будущего. Это, в свою очередь, благоприятствует социальному развитию и уменьшению цифрового неравенства. Так, например, для процесса первичной адаптации персонала целесообразно использовать цифровые ресурсы для обучения новых сотрудников на рабочем месте без отрыва от выполняемых должностных обязанностей. Использование данного подхода позволяет увеличить гибкость в процессе обучения во время прохождения испытательного срока новым сотрудником и может быть рекомендовано для применения в различных коммерческих организациях [7].

Для более результативного внедрения цифровизации в деятельность компании при подборе персонала стоит обращать особое внимание на соискателей, уже владеющих цифровыми навыками. В табл. 2 представлены требования к должности специалиста по описанию бизнес-процессов в части знаний и умений. Они были сформированы в том числе в соответствии с требованиями профессионального стандарта 07.007 «Специалист по процессному управлению» [8], а также с учетом специфики деятельности (в данном случае, компании по производству бытовой техники).

Таблица 2

Требования к специалисту по описанию бизнес-процессов__

Квалификация Специалист Процессный аналитик Методолог Процессный архитектор

1 2 3 4

Обобщенная функция трудовая Регламентация процессов подразделений/ Разработка внутренних документов Проектирование и описание кросс-функциональных процессов Разработка внутренних документов Проектирование и внедрение процессного подхода Проектирование, трансформация процессной архитектуры предприятия

Знания Методы сбора информации (наблюдения, фиксация данных, хронометраж, фотография рабочего дня, техники проведения интервью и анкетирования, анализ документов и отчетной информации, изучение обратной связи от заинтересованных сторон) Теория процессного управления Принципы классификации процессов Нотации моделирования процессов Методы структурной декомпозиции процессов Нотации моделирования процессов Методы проектирования функционально-ролевых моделей Правила разработки методических документов Методы структурной декомпозиции процессов Принципы и методы трансляции целей организации в показатели процессов (в т.ч. KIP, ССП). Типовые возможности программного обеспечения для управления процессами. Теория процессного управления Методы принятия управленческих решений Принципы системного подхода

Умения Анализировать информацию о границах процесса, цели, входящей и исходящей информации и т.д. необходимой для описания процесса Анализировать зоны ответственности, заинтересованные стороны процесса Анализировать состав и последовательность операций, составляющих процесс или внутренний документ Агрегировать и обобщать собранную информацию Анализировать зоны ответственности и интересы заинтересованных сторон кросс-функционального процесса Анализировать полноту требований к кросс-функциональному процессу Выявлять недостатки, несоответствия в функционировании процесса, формулировать и обосновывать предложения по их исправлению Оценивать ресурсы, необходимые для усовершенствования процессов Осуществлять коммуникации, проводить рабочие совещания, находить консенсус Разрабатывать схемы процессов Определять последовательность работ, распределять функции и ответственность между подразделениями для обеспечения достижения целей кросс-функционального процесса Разрабатывать регламентирующую и контрольную документацию для кросс-функционального процесса в соответствии с требованиями, заданными нормативно-методическими документами Выполнять структурную декомпозицию процессной модели Проверять процессные модели на связность и непротиворечивость Оценивать риски выбранных решений Осуществлять коммуникации, проводить рабочие совещания, находить консенсус Выявлять узкие места в процессах цифровой трансформации и предлагать решения по устранению; Анализировать, проектировать, внедрять и контролировать процессы Использовать программное обеспечение для управления процессами Анализировать, систематизировать и обобщать информацию Проектировать системы управления Проектировать системы плановых и отчетных показателей (KIP, ССП и т.д.) Осуществлять коммуникации, проводить рабочие совещания, находить консенсус

Из табл. 2. видно, что цифровая трансформация затрагивает все ключевые процессы деятельности компании и поэтому особенно важно проводить ее поэтапную и планомерную интеграцию.

В рассматриваемой организации с целью комплексной автоматизации было решено внедрить систему бизнес-моделирования «business studio» с последующим выстраиванием процессов в 1C:ERP. Цель - создание такой

архитектуры процессов, которая соответствовала бы следующим критериям: гибкость, масштабируемость, тестируемость.

Задачами системы являются:

- обеспечение высокой скорости изменений без потери эффективности и масштабируемости;

- создание иерархии процессов в едином пространстве;

- единообразие описания процессов.

В рамках данной работы специалистами подразделения было выполнено следующее:

1. Пройдено обучение по курсу «Проектирование бизнес-архитектуры компании с использованием программного обеспечения «Business Studio».

2.Проведено сравнительное тестирование работы Business Studio по сравнению с ранее используемой Microsoft Visio.

3.Проведено согласование и утверждение правил моделирования бизнес-процессов.

4. Запущен процесс создания верхнеуровневых процессов в нотации IDEF0 с последующей детализацией и моделированием процессов нижнего (операционного) уровня в нотации Business Process Model and Notation (BPMN).

По результатам проделанной работы получены следующие результаты:

1. Сокращение времени на моделирование процесса на 15%.

2. Возможность выстраивать всю иерархию процессов и корректные взаимосвязи.

3. Отображение в каждом объекте полной информации: форма, показатели, нормативный документ и т.д. (в отличие от Microsoft Visio).

4.Автоматическое уведомление системы об ошибках позволило минимизировать ошибки на 10% по сравнению с Microsoft Visio.

По результатам построения процессов (рис.1,2) в нотации IDEF0 есть возможность сформировать отчет «Проверка правильности построения диаграммы», в котором происходит проверка построенной диаграммы процесса на соответствие методологии функционального моделирования IDEF0.

В- Q Бизнес-процессы

-I IjtLc.u-ev чода s

U •ф* .'|<"ffT?nif<v—■ гк> г[ч-~-wfl<—гу vivvi -редум ✓ / Г «ф» I П.КЯ Л I :.l VI р.1 .li'H-V

•ф' 1.1 '. paie л isi_-.ee - la-ii-lAïs-i-e •ф* ..¿ 1э<-и-:сос "й -1ЭОСС1':

-4>- . " Di-tWWe-Oi' I , .!"ltnOt*9r*4>

I «ф» . II:KHJ<i ,iO<-raHw ni'vit>m«»x m •ф* J. 1-"ai^afci; oc¿y< á ? , pivwji«—pe т ?. • us

» (ЮЛ-МИ»

I- «»■• . HDOLêCtonCZOeC-O-Sâ-Om«' аеПёЛЫ-ОСТИ t . Упр-такчмг персонаж*«

-"(" Л.ГЮриЛКЧ» !К:» ¿mli' i U' i—3.3 Ф и наисово-э kqhqhh ч еское обеспечение j—гф» 3.4 Административно-хозяйственное обеспечение -»ф» 3.5 Информационно-технологическое обеспечение -+Ф» 3.6 Маркетинговое продвижение

j.....>> 3.7С,р.и„,,п=я«™

; ->ф> 3.8 Логистическое обеспечение

■.....3.9 Обеспечение безопасности

.....^ А2 Модель все процессы

- I Модель вверхнего уровня

Рис. 1. Структура процессов

Внутренняя документация

NODE: 2.3 TITLE: Закупки NO.: 1.0

Рис. 2. Процесс Закупки в нотации IDEF0

462

Кроме того, в Business Studio есть возможность сформировать и другие отчеты (табл. 3), с помощью которых можно отобразить данные о процессе в формате MS Word.

Таблица 3

Перечень отчетов, формируемых с помощью Business Studio_

Название отчета Описание и его содержание

1 2

Описание функции отчет содержит краткую информацию о функции ГОЕЕО: - диаграмму; - информацию о владельце и исполнителях, входах и выходах функции; - информацию о владельцах, исполнителях, входах и выходах дочерних единиц деятельности функции в табличном виде.

Регламент функции регламент описывает последовательность выполнения функции IDEF0 с указанием: - входов, выходов, результатов; - исполнителей (исполнитель, получатель); - показетели функции.

Документооборот единицы деятельности описывает движение документации в организации. Может формироваться как по отдельной единице деятельности, так и по всей модели деятельности.

Описание дочерних единиц деятельности список всех потомков и граничных сегментов стрелок

Стрелки список всех сегментов стрелок модели, сгруппированных по названию. Для каждого сегмента указываются единицы деятельности, которые он связывает.

Примечание: Данный перечень отчетов не является полным, система позволяет строить и другие отчеты, в зависимости от приобретенной лицензии и объекта, через который вызывается тот или иной отчет.

По результатам первого этапа внедрения цифрового менеджмента в процессное управление (создание верхнеуровневых процессов) были получены следующие результаты, а именно:

1. создано более информативное отображение составляющих процесса (ресурсы для работы процесса; ресурсы необходимые для масштабирования процесса; входы и выходы процесса; управляющие воздействия в виде внутренней и внешней документации, приказов и распоряжений и т.д.);

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

2. разработано единое пространство для совместной работы различных подразделений компании;

3. создано общее цифровое пространство для хранения внутренней архитектуры процессов, внутренней документации, а также видео-инструкций, которые записываются для типовых операций.

Следующим этапом планируется провести полное описание всех процессов, далее - осуществить интеграцию с 1C:ERP. Данная работа позволит упростить многие процедуры в области цифрового менеджмента.

Подводя итог, в рамках процессного подхода к управлению важно осуществлять моделирование всех ключевых процессов, а также использовать современные подходы к образованию, в том числе в области владения цифровыми инструментами.

Таким образом, текущие условия функционирования бизнеса создали основу для развития цифрового менеджмента, однако эта система из-за сложной геополитической обстановки, экономического кризиса и трансформации глобальных цепочек сталкивается с рядом проблем. Данные проблемы необходимо решать, опираясь на опыт прошлого и потенциал, который в себе несут цифровые технологии. Их интеграция в различные сферы деятельности поможет обеспечить экономический, социальный и экологический прогресс, что будет способствовать достижению целей устойчивого развития.

Список литературы

1. Салимова Т., Наталья Ватолкина Менеджмент качества в условиях перехода к индустрии 4.0 [Электронный ресурс] URL: https://www.researchgate.net/profile/tatiana-salimova/publication/326066325 quality management under the transition to the industry 40/links/5b365227aca272078 5f5e23e/qualitv-management-under-the-transition-to-the-industry-40.pdf (дата обращения: 20.10.2023).

2. Krubasik S., Dirlea V., Kidambi R., Sachseneder C. Quality 4.0: Preventive, Holistic, Future-Proof. [Электронный ресурс] URL: https://www.a1:kearnev.com/industrial-goods-services/article?/a/qualitv-4-0-preventive-holistic-future-proof. (дата обращения: 20.10.2023).

3. Наугольнова И.А. Менеджмент 4.0: эволюция и инновации в управлении организацией в цифровую эпоху [Электронный ресурс] URL: https://cvberleninka.ru/article/nmenedzhment-4-0-evolvutsiva-i-innovatsii-v-upravlenii-organizatsiey-v-tsifrovuyu-epohu (дата обращения: 17.10.2023).

4. Парахина В.Н., Чарыева А., Менеджмент 4.0: управление в цифровую эпоху. Материалы XII Российской научнопрактической конференции для управленцев // Пермский государственный национальный исследовательский университет. - Электронные данные. Пермь, 2020. 111 с.

5. Репина Е.Д. Менеджмент 4.0: agile-технологии в управлении [Электронный ресурс] URL: http://bgitu.ru/upload/iblock/af2/Sbornik Vvzovv tsifrovov ekonomiki 2022.pdf#page=333 (дата обращения:

20.10.2023).

6 Телеграм-канал «Бизнес-аналитики, системные аналитики, специалисты по рискам и ИТ» [Электронный ресурс] URL: https://t.me/process risk IT (дата обращения: 05.02.2024).

7 Дранкова Н.А., Денисова Я.В. Первичная адаптации персонала в рамках СМК с использованием цифровой платформы // Компетентность. 2023, в.9-10. С. 76-81.

8. Профстандарт: 07.007 Специалист по процессному управлению [Электронный ресурс] URL: https://classinform.ru/profstandarty/07.007-spetcialist-po-protcessnomu-upravleniiu.html (дата обращения:

03.03.2024).

Дранкова Наталья Александровна, соискатель, руководитель направления по оптимизации бизнес-процессов, [email protected], Россия, Москва, ООО Консалтинговый центр «Эксперт»

DIGITALIZA TION OF THE PROCESS APPROACH N.A. Drankova

The article considers main changes in the approach to management, issues of digitalization of processes, trends in business processes, as well as influence of digitalization on various spheres of activity. Particular attention is paid to the selection of staff, in this regard, requirements for a business process specialist have been developed and experience with the application of digital technologies in the context of business process architecture modelling has been presented. The results of the study allow to draw conclusions about the importance of digitalization ofprocesses for increasing efficiency and optimization of various areas of activity, as well as to identify prospects for the development of this field.

Key words: process, digitalization, optimization, sustainable development.

Drankova Natalia Alexandrovna, head of business process optimization, [email protected], Russia, Moscow, LLC Consulting Center «Expert»

УДК 005.6

DOI: 10.24412/2071 -6168-2024-3 -464-465

ПРИМЕНЕНИЕ СИНГУЛЯРНЫХ РАЗЛОЖЕНИЙ К ОБНАРУЖЕНИЮ ВЫБРОСОВ В ДАННЫХ О ПОТРЕБЛЕНИИ ИНФОРМАЦИОННОГО КОНТЕНТА

В.Г. Мосин, В.Н. Козловский, С.А. Васин

В статье рассмотрен метод выявления аномальных объектов, основанные на редукции данных к главным направлениям и не требующий предварительной разметки данных на нормальные и аномальные объекты. Метод реализован в виде алгоритма и протестирован на данных о потреблении контента одного из ведущих хостин-гов.

Ключевые слова: контент, оценка качества, анализ данных, сингулярные разложения, детекция аномалий, scikit-learn, pandas, numpy, SVD.

1. Введение. Одной из важных задач анализа данных является обнаружение шума в данных и его последующее исключение для получения более надежных результатов, не зависящих от случайных флуктуаций [6, 7].

Шум в данных — это нежелательные, случайные или неточные значения, которые вносят искажения или искажают истинные данные. Шум может возникать по разным причинам, таким как ошибки измерений, неполадки в оборудовании, случайные факторы или неправильные записи. Шум может иметь различные формы и влиять на данные по-разному. Некоторые типы шума включают случайный шум, выбросы (аберрации), грубые ошибки, систематические искажения и многие другие.

Поскольку шум может вносить искажения в данные, его наличие может затруднить анализ и интерпретацию данных. Это может привести к неправильным выводам и недостоверным результатам. Поэтому важно применять методы обработки данных и фильтрации шума для улучшения качества данных перед анализом или использованием их для принятия решений. Методы борьбы с шумом могут включать фильтрацию, сглаживание (например, сглаживание скользящим средним), применение алгоритмов обнаружения выбросов или применение статистических методов для определения и удаления шумовых значений.

Вместе с тем, важно отметить, что в некоторых случаях шум может содержать полезную информацию или быть результатом естественных изменений в данных. Поэтому необходимо тщательно анализировать и контролировать шум, чтобы минимизировать его влияние на данные и сохранить релевантные и достоверные сведения.

1.1. Теоретическая часть. Обнаружение выбросов относится к предварительной обработке данных, которая, как правило, предшествует основной задаче: задаче моделирования и прогнозирования целевых признаков. Для того чтобы модели обладали лучшими характеристиками, а их прогнозы были более точными, из обучающих наборов данных важно исключать записи, являющиеся нетипичными или аномальными [7].

Это связано с тем, что обучение модели на типичных объектах позволяет ей лучше улавливать общие закономерности и характеристики в данных. Аномальные объекты могут содержать случайные или экстремальные значения, которые могут отличаться от общих трендов и снизить способность модели к обобщению на новые, неизвестные объекты.

Кроме того, аномальные объекты могут вносить существенные искажения в данные и повлиять на модель, если они включены в процесс обучения. Модель может стремиться адаптироваться к этим выбросам, в результате чего потеряется способность модели к правильному предсказанию на типичных данных.

И наконец, обучение на типичных объектах помогает создать более надежную и стабильную модель. Такие модели обычно лучше справляются с новыми данными и более точно предсказывают результаты. Тогда как модель, обученная на аномальных объектах, может быть менее надежной и неустойчивой к изменениям в данных.

Не менее важной является и задача прогнозирования [6]. Обученная стабильная модель, дающая хорошие результаты на типичных объектах, вполне может оказаться непригодной при попытке спрогнозировать значения целевых признаков в ситуациях, сильно отличающихся от тех, на которых модель обучалась.

Это проявляется, прежде всего, в низкой точности прогнозов. Если модель не была обучена на разнообразных данных и не встречала сильно отличающиеся друг от друга примеры, ее прогноз может быть неточным на таких данных. Модель может не уловить закономерности или связи между признаками в новых данных, что приведет к плохим прогнозам.

Вдобавок к этому происходит потеря обобщающей способности. Если модель была обучена на данных с определенными характеристиками и структурой, она може т не получить достаточной обобщающей способности для предсказания на данных с другой структурой или характеристиками.

464

i Надоели баннеры? Вы всегда можете отключить рекламу.