Научная статья на тему 'ПОДХОДЫ К ПОСТРОЕНИЮ И ИСПОЛЬЗОВАНИЮ ОНТОЛОГИИ ПРЕДМЕТНОЙ ОБЛАСТИ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ УПРАВЛЕНИЯ РИСКАМИ'

ПОДХОДЫ К ПОСТРОЕНИЮ И ИСПОЛЬЗОВАНИЮ ОНТОЛОГИИ ПРЕДМЕТНОЙ ОБЛАСТИ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ УПРАВЛЕНИЯ РИСКАМИ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
129
49
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
БОЛЬШИЕ ДАННЫЕ / ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ / КОНЦЕПТУАЛИЗАЦИЯ / МАШИННОЕ ОБУЧЕНИЕ / ОНТОЛОГИЯ / ОНТОЛОГИЧЕСКИЙ ИНЖИНИРИНГ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Баранова О.В., Гоглев Н.Н., Мигалин С.А., Муштак О.И.

Чтобы решения, принимаемые в целях управления риском, были объективными и эффективными, они должны быть основаны на точных данных, своевременно представленных и обработанных из разнородных источников. Базисом для интеграции таких данных является онтология, позволяющая обеспечить основу для построения моделей оценки риска с применением различных методов искусственного интеллекта, и способная непрерывно развиваться в ответ на изменения внутренней и внешней среды организации. Предложены подходы к построению сквозного автоматизированного процесса создания и развития онтологии предметной области системы управления рисками, основанные на методах, проверенных мировой практикой. Предлагаемые подходы покрывают основные задачи онтологического инжиниринга с учетом специфики риск-менеджмента, в т.ч. (1) концептуализацию предметной области применительно к проблематике риск-менеджмента, (2) онтологический реинжиниринг на основе концептуализации унаследованной системы управления рисками и исследования исторического массива результатов применения такой системы, (3) оценку качества онтологии, (4) эволюцию онтологии в ответ на изменения внутренней и внешней среды организации. Представлены примеры применения онтологии в интеллектуальной системе управления рисками.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Баранова О.В., Гоглев Н.Н., Мигалин С.А., Муштак О.И.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

APPROACHES TO THE CONSTRUCTION AND USE OF AN ONTOLOGY OF AN INTELLIGENT RISK MANAGEMENT SYSTEM DOMAIN

For risk management decisions to be objective and effective, they must be based on accurate data, presented in a timely manner and processed from a variety of sources. The basis for the integration of such data is an ontology that provides a basis for building risk assessment models using various artificial intelligence methods and is capable of continuously evolving in response to changes in the internal and external environment of the organization. Approaches to building an end-to-end automated process of creating and developing an ontology of a risk management system domain based on methods proven by world practice are proposed. The proposed approaches cover the main tasks of ontological engineering, taking into account the specifics of risk management, incl. (1) conceptualization of the subject area in relation to the problems of risk management, (2) ontological reengineering based on the conceptualization of the legacy risk management system and the study of the historical array of results of the application of such a system, (3) assessment of the quality of the ontology, (4) evolution of the ontology in response to changes internal and external environment of the organization. Examples of ontology application in the intellectual risk management system are presented.

Текст научной работы на тему «ПОДХОДЫ К ПОСТРОЕНИЮ И ИСПОЛЬЗОВАНИЮ ОНТОЛОГИИ ПРЕДМЕТНОЙ ОБЛАСТИ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ УПРАВЛЕНИЯ РИСКАМИ»

Подходы к построению и использованию

онтологии предметной области интеллектуальной системы управления

рисками

О.В. Баранова, Н.Н. Гоглев, С.А. Мигалин, О.И. Муштак

Аннотация - Чтобы решения, принимаемые в целях управления риском, были объективными и эффективными, они должны быть основаны на точных данных, своевременно представленных и обработанных из разнородных источников. Базисом для интеграции таких данных является онтология, позволяющая обеспечить основу для построения моделей оценки риска с применением различных методов искусственного интеллекта, и способная непрерывно развиваться в ответ на изменения внутренней и внешней среды организации. Предложены подходы к построению сквозного автоматизированного процесса создания и развития онтологии предметной области системы управления рисками, основанные на методах, проверенных мировой практикой. Предлагаемые подходы покрывают основные задачи онтологического инжиниринга с учетом специфики риск-менеджмента, в т.ч. (1) концептуализацию предметной области применительно к проблематике риск-менеджмента, (2) онтологический реинжиниринг на основе концептуализации унаследованной системы управления рисками и исследования исторического массива результатов применения такой системы, (3) оценку качества онтологии, (4) эволюцию онтологии в ответ на изменения внутренней и внешней среды организации. Представлены примеры применения онтологии в интеллектуальной системе управления рисками.

Ключевые слова - большие данные, искусственный интеллект, концептуализация, машинное обучение, онтология, онтологический инжиниринг, риск-менеджмент, система управления рисками.

I. ВВЕДЕНИЕ

Менеджмент риска (риск-менеджмент) является частью корпоративного управления организации и имеет фундаментальное значение для управления на всех уровнях.

Статья получена 02.06.2022

О.В. Баранова - ООО «ЦИТ», советник Президента Группы

компаний (e-mail: Olga.Baranova@centre-it.com).

Н.Н. Гоглев - ООО «ЦИТ», руководитель направления (e-mail:

Nikita.Goglev@centre-it.com).

С.А. Мигалин - ООО «ЦИТ», ведущий системный аналитик (e-mail: Sergey.Migalin@centre-it.com ).

О.И. Муштак - ООО «ЦИТ», аналитик (e-mail: Oksana.Mushtak@centre-it.com ).

Основные принципы, термины и технологии в области риск-менеджмента изложены в ГОСТ Р ИСО 31000-2019 [1], ГОСТ Р 51897-2021 [2], ГОСТ Р 58771-2019 [3].

В частности, чтобы быть эффективным, менеджмент риска должен быть непрерывным, структурированным, комплексным и должен быть интегрирован в ключевые бизнес-процессы организации. В целях удовлетворения этих требований, управление рисками должно строиться на основе использования современных информационных и цифровых технологий, позволяющих обеспечить прозрачность, объективность и оперативность принятия решений при оценке риска.

Чтобы управленческие решения были объективными и эффективными, они должны быть информационно обоснованными, т.е. основанными на анализе точных, достаточных, актуальных, непротиворечивых и

взаимосвязанных данных, своевременно представленных лицам, принимающим решение при оценке риска. При этом в качестве исходных данных могут использоваться как исторические, так и текущие данные, хранящиеся, как правило, в разнородных информационных ресурсах, имеющих разные информационные модели, и использующих разные форматы представления данных.

При этом следует учитывать, что поставщиками данных для информационной системы управления рисками (далее - система управления рисками или СУР) могут служить внутренние информационные системы и базы данных организации, а также внешние информационные ресурсы, в т.ч. коммерческие системы партнеров, государственные информационные системы и открытые источники. Более того, с учетом современных тенденций развития систем управления рисками, подразумевающих использование методов искусственного интеллекта и технологий обработки больших данных [4]-[7], неизбежно появление принципиально новых источников.

Базисом для интеграции источников разнородных данных является онтология, которая предоставляет явное формальное описание областей знаний. Для интеллектуальной системы управления рисками такая онтология обеспечивает единое понятийное пространство, семантически объединяющее концепты, используемые как в области управления рисками, так и в предметных областях основной деятельности организации, а также в области искусственного анализа данных. С точки зрения интеграции, в т.ч. новых источников данных, онтология позволяет не просто определять правила для получения информации из разных источников в одном формате, но и одинаково ее интерпретировать, в т.ч. сопоставлять семантический смысл новых данных с понятиями, уже содержащимися в онтологии.

Проблематика разработки онтологий достаточно хорошо освещена в российских и зарубежных публикациях, разработано множество методов, технологий и подходов к такой разработке [8]-[16]. Однако все они достаточно общие, т.к. разработка онтологии зависит от специфики предметной области, от сценариев ее использования, а также от окружающего контекста. Поэтому основная задача состоит в том, чтобы отобрать методы и технологии разработки онтологий, наиболее

соответствующие предметной области применительно к проблематике риск-менеджмента.

Далее в статье рассматриваются вопросы разработки, развития и применения онтологии предметной области с учетом специфики ее применения к проблематике риск-менеджмента.

II. СПЕЦИФИКА ОНТОЛОГИИ ПРЕДМЕТНОЙ ОБЛАСТИ ПРИМЕНИТЕЛЬНО К ПРОБЛЕМАТИКЕ РИСК-МЕНЕДЖМЕНТА

Определение онтологии, используемое в области информационных технологий, было дано Томасом Грубером в 1995 г. в [17, с.908]. Согласно этому определению под онтологией понимается явная спецификация

концептуализации, где концептуализация представляет собой абстрактное упрощенное представление мира, которое формируется для некоторых целей. Другими словами, концептуализация представляет собой объекты, понятия и другие сущности в некоторой представляющей интерес области, а также связи между ними. Явная спецификация подразумевает точное описание таких понятий, сущностей и связей на формальном языке, понимаемом машиной и допускающем автоматическую обработку соответствующей информации. Если говорить об интеллектуальных системах управления рисками, концептуализации

подлежат, как минимум, три области знаний, в т.ч. (1) область риск-менеджмента, (2) предметная область деятельности организации, к которой применяется риск-менеджмент (далее -предметная область), а также (3) область интеллектуального анализа данных, отвечающая за «интеллектуальность» риск-менеджмента. Основные термины и определения в области риск-менеджмента безотносительно конкретных предметных областей приведены в [1]-[3]. На основе анализа таких терминов может быть получена концептуализация, отражающая взаимосвязь основных понятий, используемых в риск-менеджменте.

Структура основных понятий риск-менеджмента, предложенная, например, в [18], предоставляет знания о том, что:

1) к риску приводят опасные события, которые характеризуются вероятностью и последствиями их наступления;

2) значимые для организации риски, которые отбираются с помощью критериев риска, представленных признаками и правилами оценки его значимости, должны быть описаны и учтены в организации (профиль риска);

3) оценивание риска, т. е. ответ на вопрос, являются ли риск и (или) его величина приемлемыми или допустимыми, осуществляется на основе сравнения результатов анализа риска с установленными критериями (модель оценки риска).

Однако, концептуализация, сформированная на основе [1]-[3], является инвариантной по отношению к предметной области. Чтобы использовать такую концептуализацию для описания конкретной предметной области, требуется сопоставить содержащиеся в ней понятия с концептами соответствующей предметной области. Другими словами, необходимо определить какие именно понятия предметной области соответствуют опасным событиям, последствиям, критериям риска и т.д. Более того, с учетом того, что интеллектуальные системы управления рисками подразумевают использование технологий искусственного интеллекта и больших данных, описание предметной области применительно к проблематике риск-менеджмента (далее -предметная область СУР) должно содержать концепты, соответствующие интеллектуальным моделям оценки риска, правила применения таких моделей к различным объектам и субъектам деятельности в зависимости от их характеристик, а также правила обучения моделей. Такая концептуализация также требует сопоставления с понятиями предметной области. Резюмируя вышесказанное, концептуализация предметной области СУР должна содержать понятия и отношения между ними во

взаимосвязанных областях риск-менеджмента, предметной области и области интеллектуального анализа данных, а также аксиомы и правила,

обеспечивающие процесс интеллектуального риск-менеджмента (см. Рис. 1).

Рис. 1 - Упрощенная схема предметной области СУР.

Онтология, построенная на такой концептуализации (онтология предметной области СУР), обеспечит основу для формирования интеллектуальной системы управления рисками с применением современных технологий анализа и обработки больших данных, а также методов искусственного интеллекта. Дополнительно следует отметить:

1) критическую важность процессов управления рисками, которая предъявляет дополнительные требования к качеству онтологии предметной области СУР, в т.ч. к ее четкости и непротиворечивости;

2) динамичность изменений предметной области СУР, связанную с появлением новых рисковых событий, которая требует наличия сквозного автоматизированного процесса, поддерживающего согласованное развитие онтологии.

III. МЕТОДОЛОГИЧЕСКИЕ АСПЕКТЫ РАЗРАБОТКИ ОНТОЛОГИИ ПРЕДМЕТНОЙ ОБЛАСТИ СУР

Начиная с 1995 г. было предложено множество методологий, направленных на решение задач по разработке онтологий (методологий

онтологического инжиниринга), в т.ч. METHONTOLOGY [12], методология Майка Ушольда [13], TOVE [14], а также более современные методологии, такие как NeON [15], Melting Point [16] и др., которые разрабатывались

в соответствии с последними тенденциями, направленными на совместное создание онтологических сетей. Детальный обзор и анализ методологий онтологического инжиниринга приведен в [5]-[10].

Следует отметить, что единой комплексной методологии, охватывающей все возможные задачи в области онтологического инжиниринга, не существует. Основная причина такого положения заключается в том, что, как было отмечено ранее, процесс разработки онтологии сильно зависит от специфики предметной области, от сценариев ее использования, а также от окружающего контекста.

Несмотря на отсутствие единой методологии, исследователями в области онтологического инжиниринга предлагается несколько полезных шагов и комбинаций [9]-[16]. С точки зрения разработки онтологии предметной области СУР потребуется выполнение следующих задач:

1) концептуализация (conceptualization), подразумевающая выявление концептов и отношений между ними во взаимосвязанных областях риск-менеджмента, предметной области и области интеллектуального анализа данных, а также генерацию точных и однозначных текстовых определений для концептов и отношений;

2) формализация (formalization), в рамках которой создается формальная модель выявленных на предыдущем этапе концептов и отношений;

3) реализация (implementation) на языке представления онтологий.

Задачи, связанные с формализацией и реализацией, предполагают описание выявленных концептов и отношений между ними на формальном языке при помощи определенного терминологического аппарата, а также преобразование такого описания в машинно-читаемую форму на языке представления онтологий. Упомянутые задачи не имеют явно выраженной специфики применительно к проблематике риск-менеджмента, поэтому не рассматриваются подробно в настоящей статье. Тем не менее, следует отметить, что современный подход к представлению онтологий предполагает использование стандартов и рекомендаций консорциума W3C, в частности языка описания онтологий OWL [19], который представляет особый интерес в контексте проблематики риск-менеджмента в связи с большим уровнем выразительности, т.к. отношения между классами могут быть формально смоделированы на основе логики описания (математической теории), и точностью описания онтологий. Подробные рекомендации по моделированию элементов онтологии на основе стандартов W3C приведены в [8].

Рассмотрим подробнее задачи, связанные с концептуализацией предметной области СУР. В соответствии с описанной ранее спецификой онтология предметной области СУР может быть представлена как результат объединения трех онтологий:

0СУР _ ОПрОбл QPM 0ИнтАД МЛВ ^

где О - онтология предметной области СУР, дПробл - онтология предметной области, ОРМ -онтология риск-менеджмента, ОнтАД - онтология интеллектуального анализа данных, Мв - модель машины логического вывода. В общем случае каждая из упомянутых выше онтологий может разрабатываться отдельно. Для объединения онтологий может использоваться, например, встроенная функция «merge ontologies» редактора онтологий Protégé [20], которая предусматривает реализацию операции объединения эквивалентных классов, сущностей и синонимов с участием экспертов предметной области. В результате в онтологии предметной области СУР будут отображены отношения между концептами объединяемых онтологий. Если система управления рисками строится на основе унаследованной системы, предлагается использовать метод онтологического

реинжиниринга (Ontological Reengineering), который представляет собой процесс получения концептуальной модели из устаревшей системы и преобразование ее в другую, более полную концептуальную модель [21]. Полученная концептуальная модель, как правило, подлежит уточнению за счет исследования

исторического массива результатов применения унаследованной системы. Исследование включает выборку, систематизацию и анализ событий, выявленных в результате применения унаследованной системы, а также оценку частоты и значимости последствий, являющихся результатами воздействия таких событий. По результатам исследования определяются характеристики, которые наиболее сильно коррелируют с риском и, следовательно, должны быть отображены в онтологии предметной области СУР. Для анализа результатов исследований могут применяться как классические (основанные преимущественно на экспертной оценке) методы, приведенные в ГОСТ 58771 [3], так и современные методы искусственного интеллекта и (или) анализа больших данных [5].

В любом случае, чтобы обеспечить «интеллектуальность» риск-менеджмента, в концептуальную модель предметной области СУР требуется включить концепты области интеллектуального анализа данных, а также аксиомы и правила, обеспечивающие возможность применения моделей оценки риска к различным объектам и субъектам деятельности в зависимости от их характеристик, а также возможность машинного обучения упомянутых моделей.

Онтология предметной области СУР, разработанная в соответствии с приведенными выше рекомендациями и методами, может служить основой интеллектуальной системы управления рисками, т.к.:

- предоставляет основу при формировании структур данных для системы управления рисками. Применение модельно-ориентированного подхода MDA [22] допускает автоматизированный путь от онтологической модели предметной области СУР до конкретной реализации;

- предоставляет характеристики и параметры для процедур обучения моделей оценки рисков. Обученные модели оценки рисков, в свою очередь, являются источником развития и совершенствования онтологии предметной области СУР, т.к.:

- анализ результатов применения моделей способствует выявлению аномалий, которые могут свидетельствовать о наличии новых рисковых ситуаций, и, следовательно, должны быть учтены в онтологии предметной области СУР;

- оценка эффективности моделей оценки рисков способствует выявлению слабых мест в онтологии предметной области СУР и определению путей их устранения. Резюмируя вышесказанное, онтология предметной области СУР позволяет

формализовать данные для обучения моделей оценки рисков и способ их получения из соответствующих информационных источников, а процедуры обучения моделей позволяют автоматически уточнять онтологию предметной области СУР в целях ее дальнейшего применения для дообучения моделей.

Общая схема разработки онтологии предметной области СУР с учетом наличия унаследованной системы управления рисками приведена на

рисунке (см. Рис. 2).

Унэследаванная система

Онтологический

Информационная модель

I

Концептуальная модель предметной области СУР

Исторические

Анализ,

Предметная область

Область интеллектуального

Компетенции

Анализ и обработка информации

Область риск-менеджмента

Правила применения моделей

Интеллектуализация 1

¡ация, реализация

Информационное хранилище

Структура данных

Процедура обучения модели оценки рисков

Характеристики/ параметры

С л Онтология предметной области СУР

Индивиды Свойства

¡1 Объектные 1 свойства Атрибуты 1

Классы

Аксиомы Правила логического вывода

TT

Модель оценки рисков

Результаты применения

Новые pi ситуации

"I-

I Данные для оценки . эффективности Оценка

L — — — — — — эффективное модели

совершенствование

_I

Рис. 2 - Схема разработки онтологии предметной области СУР.

Следует отметить, что выявление концептов и отношений при построении концептуальной модели представляет собой сложную задачу. Такая сложность обусловлена, в основном, различиями в парадигмах объектно-ориентированного или реляционного

моделирования и онтологического

моделирования. Особенно это связано с особенностями моделирования пространственно-временных объектов в онтологической парадигме. Проблематика выявления и моделирования элементов онтологии раскрыта в [8] в общем случае и в [23] в случае онтологического реинжиниринга.

Как упоминалось выше, критически важным является обеспечение качества онтологии предметной области СУР. Нарушение непротиворечивости, например, может привести к тому, что из набора определенных в онтологии аксиом могут быть выведены некорректные утверждения, которые не позволят правильно оценить риск.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Методы повышения качества и оценки онтологии приведены в [10, с. 101-109], [24]. В контексте риск-менеджмента наибольший интерес

представляют методы, основанные на критериях, т.к. они позволяют оценивать четкость онтологии, а также наиболее эффективны для обнаружения противоречий путем оценки аксиом в онтологии. При этом наиболее важными для оценки онтологии предметной области СУР являются следующие критерии [24] :

- четкость (Clarity), которая оценивает, насколько эффективно онтология передает предполагаемое значение определенных в ней терминов. Для такой оценки могут использоваться подходы, основанные на методологии OntoClean [10, с.249-256];

- вычислительная эффективность (Computational Efficiency), которая измеряет способность используемых инструментов работать с онтологией, в частности скорость, которая необходима машине логического вывода для выполнения требуемых задач;

- непротиворечивость (Consistency), которая подразумевает, что онтология не включает и не допускает каких-либо противоречий.

IV. МЕТОДОЛОГИЧЕСКИЕ АСПЕКТЫ РАЗВИТИЯ ОНТОЛОГИИ ПРЕДМЕТНОЙ ОБЛАСТИ СУР

Необходимость создания и развития онтологии предметной области СУР в целом обусловлена динамичностью системы управления рисками: риски могут возникать, меняться или исчезать в процессе деятельности организации, меняется нормативная база, появляются новые методы и технологии и т.д. Чтобы отражать эти изменения, онтология должна непрерывно развиваться на протяжении всего своего жизненного цикла. При этом изменения, вносимые в онтологию, не должны нарушать ее непротиворечивость. Это достаточно сложная задача, которая требует комплексного учета большого количества факторов.

Чтобы избежать ошибок, связанных в первую очередь с участием человека, онтология должна предполагать наличие методов, обеспечивающих внесение в нее изменений в автоматическом или автоматизированном режиме. Вопросы, связанные с обслуживанием процедур развития онтологии (Ontology Evolution), включая состав и описание требуемых для этого задач, достаточно хорошо освещены. Обзор работ в части алгоритмов и процессов развития онтологии приведен в [25].

В частности, предлагается рассмотреть подход к поддержке процесса эволюции онтологии предметной области СУР, включающий следующие этапы, которые могут быть автоматизированы [26] :

1) обнаружение информации (Information Discovery);

2) проверка достоверности данных (Data Validation);

3) формирование онтологических изменений (Ontological Changes);

4) проверка эволюции (Evolution Validation);

5) управление эволюцией (Evolution Management). Источниками изменений онтологии предметной области СУР могут являться нормативные правовые акты, регламентирующие деятельность в области управления рисками, текущее функционирование системы управления рисками, а также результаты применения моделей оценки рисков, в частности моделей анализа аномалий. В зависимости от источника изменений методы обнаружения информации могут включать мониторинг изменения нормативной базы, оперативные запросы экспертов предметной области и специалистов в сфере анализа и обработки информации на внесение изменений в онтологию предметной области СУР, а также анализ результатов применения моделей оценки риска.

Проверка достоверности данных выполняется путем оценки обнаруженной информации с целью убедиться, что новые данные имеют семантический смысл в рамках предметной области СУР.

Достоверная информация об изменениях проверяется на наличие связи со знаниями, уже существующими в онтологии предметной области

СУР. Если такие связи не выявлены, обнаруженная информация представляет собой новое знание (например, новый вид риска), следовательно, должна быть отражена в онтологии предметной области СУР. В этом случае формируются онтологические изменения, позволяющие интегрировать в онтологию новые знания.

С учетом критической важности процессов управления рисками необходимо убедиться, что онтологические изменения не нарушают непротиворечивость онтологии предметной области СУР. Для этого необходимо выявить и разрешить все противоречия, которые могут возникнуть в онтологии при ее модификации. В целях управления эволюцией изменения, вносимые в онтологию предметной области СУР, должны журналироваться. Это позволит отслеживать онтологические изменения и, при необходимости, обеспечит возможность их отката. Поскольку онтология должна непрерывно развиваться на протяжении всего своего жизненного цикла, процесс эволюции онтологии предметной области СУР должен быть циклическим.

Описанный выше подход к поддержке процесса эволюции онтологии предметной области СУР представлен на рисунке (см. Рис. 3).

? N

Нормативная база

\_Р

Функционирование системы управления рисками

Модели анализа аномалий

Обнаружение информации

Мониторинг нормативной базы

Запросы на внесение изменений в онтологию

Обнаружение аномалий при оценке

рисков

Проверка достоверности данных

Оценка изменений нормативной базы

Оценка запросов на внесение изменений

Выявление однородных групп аномалий

Формирование онтологических изменений

Выявление связей с существующими в онтологии знаниями

Выявление связей с существующими рисками

Рис. 3 - Схема эволюции онтологии предметной области СУР.

Выявление и разрешение противоречий, появляющихся в онтологии предметной области СУР вследствие внесения в нее изменений, требует особого внимания. Чтобы понизить сложность и избежать ошибок при внесении изменений в онтологию предметной области СУР,

Г

X

Проверка эволюции

Выявление структурных противоречий

Выявление логических противоречий

Выявление противоречий, определяемых пользователем

Г Управление эволюцией

Журналирование Применение Распространение

изменении изменении изменении

необходим специальный инструментарий для управления онтологией, определяющий элементы, которые могут использоваться в онтологии предметной области СУР, и содержащий ограничения в отношении использования этих элементов. В этом случае процесс выявления и разрешения противоречий может быть автоматизирован.

Обзор методов разрешения противоречий представлен в [27]. В частности, предлагается рассматривать следующие виды

непротиворечивости:

1) структурная непротиворечивость (Structural Consistency);

2) логическая непротиворечивость (Logical Consistency);

3) непротиворечивость, определяемая пользователем (User-defined Consistency). Общим способом разрешения противоречий в онтологии является выявление всех аксиом, которые приводят к таким противоречиям, и исключение их из онтологии. Однако такой подход не является предпочтительным из-за своей экстремальности и применим только в качестве крайней меры.

Чтобы сохранить семантику онтологии предметной области СУР, рекомендуется выбирать более гибкие способы. Например, в случае нарушения структурной

непротиворечивости некорректные аксиомы можно выразить средствами используемого языка описания онтологии.

Для разрешения логической противоречивости рекомендуется определить набор аксиом, который необходимо удалить, чтобы получить логически непротиворечивую онтологию с «минимальным влиянием» на существующую онтологию, при этом «минимальное влияние» определяется пользовательскими требованиями. Количество удаляемых из онтологии аксиом должно быть минимизировано.

V. ПРИМЕНЕНИЕ ОНТОЛОГИИ ПРЕДМЕТНОЙ ОБЛАСТИ В ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЕ

Возможности практического применения онтологии могут рассматриваться с двух основных сторон: онтологии как независимой формальной концептуализации предметной области и онтологии как базы знаний, то есть части интеллектуальной информационной системы. В настоящей статье рассмотрен аспект использования онтологии в области управления рисками, так как именно он позволяет расширить использование онтологии за рамки роли исключительно визуально-аналитического

инструмента.

Исследователи и практики выделяют несколько основных сценариев прикладного использования онтологий в автоматизированных системах [8], некоторые из них приведены ниже: 1. Обеспечение доступности знаний в организации

В данном случае онтологии используются для систематизации значительных объемов служебной информации, которая используется сотрудниками для выстраивания процессов аналитики, стратегического планирования,

управления компанией, а также обучения новых участников команды. В качестве информации могут выступать, например, техническая документация, операционные базы данных, международные, государственные и отраслевые стандарты. Стандартные способы хранения данных в каталогах представляются недостаточно эффективными, так как занимают значительное количество времени, в отличии от реализации поиска необходимой информации с помощью специализированного языка запросов по тщательно структурированной базе знаний, имеющей возможность быть сформированной из разнородных источников данных. Так, например, в разрезе приложения онтологий к задаче управления операционными рисками компании, исследователи [28] решают проблему обмена информацией об управлении операционными рисками в рамках всей организации, тем самым способствуя сотрудничеству между подразделениями бизнеса в отношении как общих, так и горизонтальных операционных рисков. Для разработки онтологии управления операционным риском была выбрана методология, предложенная Мизеном, Долбером и Хартом [29], установленная с 2004 года в качестве стандартной методологии создания онтологий управления рисками, и применяющаяся для разработки онтологий управления рисками природных катастроф. Данная методология проводит различие между концептуальной (высокоуровневой, понятной человеку) и логической (предназначенной для обработки информации) частями онтологии. Прикладная онтология операционных рисков позволяет команде управления операционными рисками собирать разнородную информацию из всех областей бизнеса и эффективно передавать ее руководству предприятия, а также классифицировать информацию о рисках от организационных подразделений, чтобы поддержать процесс принятия решений и стратегию управления организацией в отношении рисков.

2. Системы консолидации и анализа данных Системы консолидации и анализа данных на основе онтологий имеют много общих черт с первым примером использования, но имеют некоторые специфические черты, такие как разнородность данных вследствие разных источников, неподконтрольность изменений структуры данных в источниках и более широкое использование технологий работы с большими данными. Такие решения являются крайне эффективными в крупных организациях, имеющих потребность в систематизации источников данных, таких как внешние базы данных клиентов, партнеров, подрядчиков, а также сторонние API.

Примером онтологического подхода к системам консолидации и анализа данных о рисках в области информационной безопасности служит инструмент онтологического анализа,

разработанный в ходе исследования современного состояния «онтологий информационной безопасности». Данное программное обеспечение базируется на применении онтологии в формате графа знаний. В программном обеспечении были использованы база данных NoSQL, хранящая 156 соответствующих онтологическим концепциям терминов и их определений из стандартов безопасности ISO/IEC, и REST API для манипулирования данными (консолидации стандартов, терминов и определений) [30]. 3. Системы поддержки принятия решений Системы поддержки принятия решений предоставляют пользователю информацию о факторах, задействованных в принятии решения, например, оценка возможных последствий решения и нормативные требования. В отличие от полностью автоматизированных систем данный подход частично позволяет решить проблему с агентом ответственности, оставляя возможность принять окончательное решение специалисту. В качестве примера такой системы рассматривается реализация программного решения [31] для принимающих решения специалистов, базирующегося на методологии AURUM [32] (методология поддержки стандарта управления рисками NIST SP 800-30), предназначенная для управления рисками информационной безопасности, в частности для оценки рисков и гарантий, а также снижения рисков. Необходимо отметить, что AURUM также позволяет использовать модели бизнес-процессов в качестве основы для выявления корпоративных рисков. Исследовательский подход основан на использовании персонализированной онтологии безопасности, которая обеспечивает

высокодетализированную модель физической инфраструктуры, для этого компания, которая решает использовать онтологию безопасности в качестве платформы для управления рисками информационной безопасности, должна один раз инициализировать базовую онтологию с информацией, специфичной для компании. Исследователи также используют байесовское определение вероятности угрозы, которое, по их словам, гарантирует, что вероятность угрозы будет определена максимально объективно. Система позволяет автоматически рассчитать последствия угроз после первоначальной оценки предпосылок, средства контроля для снижения рисков до приемлемого уровня также предлагаются автоматически. Таким образом, использование интерактивной поддержки принятия решений позволяет лицам, принимающим решения (например, риск-

менеджеру), получать информацию о характеристиках основной возникшей проблемы и принимать решение на основе полученной информации.

Отдельно следует обратить внимание на перспективные исследования возможности совмещения подходов инженерии знаний с методами машинного обучения в рамках единой интеллектуальной системы управления рисками. Так, например, в одном из исследований, где используется данный комбинированный подход к проблеме управления рисками стихийных бедствий, рассматривается онтология рисков предметной области, основанная в результате обучения машины опорных векторов и нейронной сети [33]. Таким образом, построенная онтология формируется автоматизировано, однако, сама является верифицируемым объектом, что является ее несомненным преимуществом. Комбинация стабильности и прозрачности процесса логического вывода интеллектуальных систем, основанных на подходе инженерии знаний, со способными выявлять корреляции в больших массивах данных методами машинного обучения, демонстрирует чрезвычайную эффективность в областях с высокой ценой ошибки, к которым относится, в том числе и риск-менеджмент.

Далее будут приведен краткий обзор самых распространенных инструментов, позволяющих разрабатывать программное обеспечение с использованием технологий онтологического моделирования.

Для проектирования онтологии необходим конкретный формализм представления знаний. На сегодняшний день наибольшее распространение получил упомянутый ранее OWL, а точнее его вторая версия OWL 2, являющаяся синтаксическим вариантом дескрипционной логики SROIQ(D). OWL относится к компонентам технологического стека Semantic Web (семантический веб) и Linked Data (набор взаимосвязанных наборов данных в интернете). Сам стек, используемый в Semantic Web и Linked Data, содержит несколько основополагающих составляющих:

1. RDF (Resource Description Framework) -формализм описания взаимосвязанных сущностей, в котором конкретные сущности описываются в виде триплетов, имеющих структуру «субъект-предикат-объект», и где каждый элемент может иметь глобальный идентификатор URI. Также субъекты и объекты могут быть пустыми узлами, то есть анонимными ресурсами без глобальных идентификаторов, а объекты литералами, что означает экземпляры примитивных типов, например, строковых. Один URI в различных триплетах может находиться в

различных позициях, что позволяет триплетам образовывать RDF-граф.

2. RDFS (RDF Schema) - базовый словарь моделирования, добавляющий к структуре RDF дополнительные понятия и свойства: подкласс (rdfs: subClassOf), домен (rdfs: domain), диапазон (rdfs: range) и другие, расширяющие описательную силу формализма

3. SPARQL (SPARQL Protocol and RDF Query Language) - язык запросов к RDF-данным. Результатом запроса являются значения переменных, при подстановке которых может получиться подмножество триплетов RDF- графа (то есть подграф).

Данные технологии неразрывно связаны между собой, например, OWL можно представить, как расширение RDFS, однако, OWL является более мощным формализмом, который не всегда выразим в синтаксисе RDF- триплета. Таким образом, используя широко распространенные практические технологии инженерии знаний, разработчики программного обеспечения имеют возможность создавать индивидуализированные прикладные онтологии в области управления рисками, позволяя использовать базы знаний в качестве самостоятельных или дополнительных систем, использующихся для контроля и управления рисками организации.

VI. ЗАКЛЮЧЕНИЕ Специфической особенностью современных систем управления рисками является использование интеллектуальных моделей оценки рисков, с одной стороны построенных на основе методов искусственного интеллекта и технологий обработки и анализа больших данных, а с другой - подразумевающих применение таких методов и технологий в целях оценки риска. Критическая важность процессов управления риском требует, чтобы модели оценки риска были точными, надежными, прозрачными,

объективными, основанными на качественных оперативных и исторических данных, полученных из разнородных информационных ресурсов организации.

Базисом для построения и сопровождения таких интеллектуальных моделей оценки рисков является онтология предметной области СУР, которая, в свою очередь, требует понятных формализованных процедур для своей разработки и развития. Необходимые методы и технологии для построения, развития и оценки качества онтологии предметной области СУР уже есть, требуется обеспечить правильное их применение с учетом специфики риск-менеджмента. В настоящей статье предложены подходы к построению сквозного процесса создания и развития онтологии предметной области СУР в

автоматическом или автоматизированном режиме. Предложенные подходы основаны на методологиях, проверенных международными исследованиями в области онтологического инжиниринга.

Авторы статьи убеждены, что онтология предметной области СУР, разработанная в соответствии с предложенными подходами, позволит обеспечить основу для построения интеллектуальной системы управления рисками с применением современных методов обработки и анализа больших объемов данных и прогнозирования с использованием методов искусственного интеллекта. В дальнейшем авторы статьи планируют опубликовать собственный подход к построению гибридной интеллектуальной системы для управления рисками, основанной на комбинировании методов инженерии знаний и машинного обучения.

БИБЛИОГРАФИЯ

[1] ГОСТ Р ИСО 31000-2019 Национальный стандарт Российской Федерации. Менеджмент риска. Принципы и руководство.

[2] ГОСТ Р 51897-2021 (ISO Guide 73:2009) Менеджмент риска. Термины и определения.

[3] ГОСТ Р 58771-2019 Национальный стандарт Российской Федерации. Менеджмент риска. Технологии оценки риска.

[4] Указ Президента РФ от 10.10. 2019 № 490 «О развитии искусственного интеллекта в Российской Федерации» [Электронный ресурс]. URL:

http://static.kremlin.ru/media/events/files/ru/AH4x6H gKWANwVtMOfPDhcbRpvd1HCCsv.pdf (дата обращения: 30.03.2022).

[5] Artificial Intelligence (AI) Applied to Risk Management [Электронный ресурс]. URL: https://www.ferma.eu/app/uploads/2019/11/FERMA-AI-applied-to-RM-FINAL.pdf (дата обращения: 30.03.2022).

[6] Насибуллин А.А. Управление рисками в условия интеллектуализации цифровых таможенных технологий // Вестник Российской таможенной академии. 2021 г. № 1. С. 153-159.

[7] Марк Львов. Управление рисками станет прозрачным. Искусственный интеллект присмотрит за соблюдением правил безопасности движения [Электронный ресурс] // Гудок, выпуск № 21 (27357), 08.02.2022. URL: https://gudok.ru/newspaper/?ID=1594450&archive=2 022.02.08 (дата обращения: 30.03.2022).

[8] Онтологическое моделирование предприятий: методы и технологии: моногр. / С. В. Горшков, С. С. Кралин, О. И. Муштак и др.; отв. ред. С. В. Горшков. - Екатеринбург: Издательство Уральского университета, 2019. - 234 с.

[9] Ria Andryani, Edi Surya Negara. Survey on Development Method of Ontology // The 4th ICIBA

2015, International Conference on Information Technology and Engineering Application. Palembang-Indonesia, 20-21 February 2015.

[10] C. Maria Keet. An Introduction to Ontology Engineering. V1.5. 2020. 289 p. URL: https://people.cs.uct.ac.za/~mkeet/files/OEbook.pdf (дата обращения: 30.03.2022).

[11] Kotis, K., Vouros, G., & Spiliotopoulos, D. Ontology engineering methodologies for the evolution of living and reused ontologies: Status, trends, findings and recommendations // The Knowledge Engineering Review. 2020. Vol. 35, E4. doi:10.1017/S0269888920000065.

[12] Gomez-Perez A, Fernandez-Lopez M., Corcho O. Ontological Engineering. Springer Verlag, 2004.

[13] Uschold M., King M., Moralee S., Zorgios Y. (1998). The Enterprise Ontology // Knowl. Eng. Rev. 1998. Vol. 13(1). P. 31-89. doi:10.1017/S0269888998001088.

[14] Gruninger M., Fox M. S. Methodology for the design and evaluation of ontologies. In IJCAI Workshop on Basic Ontological Issues in Knowledge Sharing, 1995.

[15] About NeON// NeOn Project [Электронный ресурс]. URL: http://neon-project.org/nw/About_NeOn.html (дата обращения: 30.03.2022).

[16] Alexander Garcia, Kieran O'Neill, Leyla Jael Garcia, Phillip Lord, Robert Stevens, Oscar Corcho, and Frank Gibson. Developing ontologies within decentralized settings. In H. Chen et al., editors, Semantic e-Science. Annals of Information Systems 11, pages 99-139. Springer, 2010.

[17] Gruber T. R. Toward Principles for the Design of Ontologies Used for Knowledge Sharing // International Journal Human-Computer Studies. -1995. - № 43. - pp. 907-928.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

[18] Могилко Д.Ю. Управление рисками: модель процесса и компетенций // Менеджмент качества. 2019. No3. С.184-199. URL: https://grebennikon.ru/article-tfn3.html (дата обращения: 30.03.2022).

[19] OWL 2 Web Ontology Language Structural Specification and Functional-Style Syntax (Second Edition) [Электронный ресурс] / W3C. 2012. URL: https://www.w3.org/TR/owl2-syntax/ (дата обращения: 30.03.2022).

[20] Protégé [Электронный ресурс]. URL: https://protege.stanford.edu/ (дата обращения: 30.03.2022).

[21] Gomez-Perez A., Rojas M.D. Ontological Reengineering and Reuse // In: Proc. of 11th European Workshop on Knowledge Acquisition, Modelling and Management. - Germany: Springer-Verslag, Dagstuhl Castle, 1999, pp. 139-156.

[22] MDA® - The Architecture Of Choice For A Changing World / OMG. URL: https://www.omg.org/mda/index.htm (дата обращения: 30.03.2022).

[23] C. Partridge. Business Objects: Re-Engineering for Re-Use [2nd Edition] // BORO Centre. 2005. ISBN 0-9550603-0-3. URL: http://www.boroprogram.org/boro_program/bo_rfr.ht m (дата обращения: 11.03.2022).

[24] Raad, Joe & Cruz, Christophe. A Survey on Ontology Evaluation Methods // Proceedings of the 7th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management. Lisbon, Portugal. 20I5. doi:I0.5220/000559I00I790I86.

[25] Zablith F., Antoniou G., D'Aquin M., Flouris G., Kondy-lakis H., Motta E., Plexousakis D., Sabou M. Ontology evolution: A process-centric survey // Knowl. Eng. Rev. 20I5. Vol. 30, no. I. P. 45-75.

[26] F. Zablith. Dynamic Ontology Evolution // International Semantic Web Conference (ISWC) Doctoral Consortium. - Karlsruhe, Germany, 2008.

[27] P. Haase, L. Stojanovic. Consistent Evolution of OWL Ontologies // The Semantic Web: Research and Applications // Proceedings of the 2-nd European Semantic Web Conference (ESWC). Lecture Notes in Computer Science. Berlin: Springer-Verlag, 2005. Vol. 3532, p I82-I97.

[28] Lykourentzou, I. & Papadaki, K. & Kalliakmanis, A.postolis & Djaghloul, Y. & Latour, Thibaud & Charalabis, Ioannis & Kapetanios, Epaminondas. (2011). Ontology-based Operational Risk Management. Proceedings - 13 th IEEE International Conference on Commerce and Enterprise Computing, CEC 20II. I53 - I60. I0.II09/CEC.20II.I8.

[29] H. Mizen, et al., Ontology Ontogeny: Understanding How an Ontology is Created and Developed, Springer, 2005.

[30] Franco Martins Souza, B.; Serrano Gil, LJ.; Reyes Román, JF.; Panach Navarrete, JI.; Pastor López, O. (202I). Towards the Consolidation of Cybersecurity Standardized Definitions. Universitat Politécnica de Valencia.

[31] Ekelhart, Andreas & Fenz, Stefan & Neubauer, Thomas. (2009). Ontology-Based Decision Support for Information Security Risk Management. Proceedings of the 4th International Conference on Systems, ICONS 2009. 80-85. I0. II09/ICONS.2009.8.

[32] A. Ekelhart, S. Fenz and T. Neubauer, "AURUM: A Framework for Information Security Risk Management," 2009 42nd Hawaii International Conference on System Sciences, 2009, pp. I-I0, doi: I0.II09/HICSS.2009.82.

[33] Jennifer O. Contreras, Melvin A. Ballera, and Enrique D. Festijo. 2020. Ontology Learning using Hybrid Machine Learning Algorithms for Disaster Risk Management. In Proceedings of the 2020 3rd International Conference on Signal Processing and Machine Learning (SPML 2020). Association for Computing Machinery, New York, NY, USA, I3-20.

Approaches to the construction and use of an ontology of an intelligent risk management

system domain

Olga Baranova, Nikita Goglev, Sergey Migalin, Oksana Mushtak

Abstract - For risk management decisions to be objective and effective, they must be based on accurate data, presented in a timely manner and processed from a variety of sources. The basis for the integration of such data is an ontology that provides a basis for building risk assessment models using various artificial intelligence methods and is capable of continuously evolving in response to changes in the internal and external environment of the organization. Approaches to building an end-to-end automated process of creating and developing an ontology of a risk management system domain based on methods proven by world practice are proposed. The proposed approaches cover the main tasks of ontological engineering, taking into account the specifics of risk management, incl. (1) conceptualization of the subject area in relation to the problems of risk management, (2) ontological reengineering based on the conceptualization of the legacy risk management system and the study of the historical array of results of the application of such a system, (3) assessment of the quality of the ontology, (4) evolution of the ontology in response to changes internal and external environment of the organization. Examples of ontology application in the intellectual risk management system are presented.

Key words - big data, artificial intelligence, conceptualization, machine learning, ontology, ontological engineering, risk management, risk management system.

References

[1] GOST R ISO 31000-2019 Nacional'nyj standart Rossijskoj Federacii. Menedzhment riska. Principy i rukovodstvo.

[2] GOST R 51897-2021 (ISO Guide 73:2009) Menedzhment riska. Terminy i opredelenija.

[3] GOST R 58771-2019 Nacional'nyj standart Rossijskoj Federacii. Menedzhment riska. Tehnologii ocenki riska.

[4] Ukaz Prezidenta RF ot 10.10. 2019 # 490 «O razvitii iskusstvennogo intellekta v Rossijskoj Federacii» [Jelektronnyj resurs]. URL: http ://static. kremlin.ru/media/events/files/ru/AH4x6HgK WANwVtMOfPDhcbRpvd1HCCsv.pdf (data obrashhenija: 30.03.2022).

[5] Artificial Intelligence (AI) Applied to Risk Management [Jelektronnyj resurs]. URL: https: //www. ferma.eu/app/uploads/2019/11/FERMA-AI-

applied-to-RM-FINAL.pdf (data obrashhenija: 30.03.2022).

[6] Nasibullin A.A. Upravlenie riskami v uslovija intellektualizacii cifrovyh tamozhennyh tehnologij // Vestnik Rossijskoj tamozhennoj akademii. 2021 g. # 1. S. 153-159.

[7] Mark L'vov. Upravlenie riskami stanet prozrachnym. Iskusstvennyj intellekt prismotrit za sobljudeniem pravil bezopasnosti dvizhenija [Jelektronnyj resurs] // Gudok, vypusk # 21 (27357), 08.02.2022. URL: https: //gudok.ru/newspaper/?ID= 1594450&archive=2022. 02.08 (data obrashhenija: 30.03.2022).

[8] Ontologicheskoe modelirovanie predprijatij: metody i tehnologii: monogr. / S. V. Gorshkov, S. S. Kralin, O. I. Mushtak i dr.; otv. red. S. V. Gorshkov. - Ekaterinburg: Izdatel'stvo Ural'skogo universiteta, 2019. - 234 s.

[9] Ria Andryani, Edi Surya Negara. Survey on Development Method of Ontology // The 4th ICIBA 2015, International Conference on Information Technology and Engineering Application. Palembang-Indonesia, 20-21 February 2015.

[10] C. Maria Keet. An Introduction to Ontology Engineering. V1.5. 2020. 289 p. URL: https://people.cs.uct.ac.za/~mkeet/files/OEbook.pdf (data obrashhenija: 30.03.2022).

[11] Kotis, K., Vouros, G., & Spiliotopoulos, D. Ontology engineering methodologies for the evolution of living and reused ontologies: Status, trends, findings and recommendations // The Knowledge Engineering Review. 2020. Vol. 35, E4. doi:10.1017/S0269888920000065.

[12] Gomez-Perez A, Fernandez-Lopez M., Corcho O. Ontological Engineering. Springer Verlag, 2004.

[13] Uschold M., King M., Moralee S., Zorgios Y. (1998). The Enterprise Ontology // Knowl. Eng. Rev. 1998. Vol. 13(1). P. 31-89. doi:10.1017/S0269888998001088.

[14] Gruninger M., Fox M. S. Methodology for the design and evaluation of ontologies. In IJCAI Workshop on Basic Ontological Issues in Knowledge Sharing, 1995.

[15] About NeON// NeOn Project [Jelektronnyj resurs]. URL: http://neon-project.org/nw/About_NeOn.html (data obrashhenija: 30.03.2022).

[16] Alexander Garcia, Kieran O'Neill, Leyla Jael Garcia, Phillip Lord, Robert Stevens, Oscar Corcho, and Frank Gibson. Developing ontologies within decentralized settings. In H. Chen et al., editors, Semantic e-Science. Annals of Information Systems 11, pages 99-139. Springer, 2010.

[17] Gruber T. R. Toward Principles for the Design of Ontologies Used for Knowledge Sharing // International Journal Human-Computer Studies. - 1995. - # 43. - pp. 907-928.

[18] Mogilko D.Ju. Upravlenie riskami: model' processa i kompetencij // Menedzhment kachestva. 2019. No3. S.184-199. URL: https://grebennikon.ru/article-tfn3.html (data obrashhenija: 30.03.2022).

[19] OWL 2 Web Ontology Language Structural Specification and Functional-Style Syntax (Second Edition) [Jelektronnyj resurs] / W3C. 2012. URL: https://www.w3.org/TR/owl2-syntax/ (data obrashhenija: 30.03.2022).

[20] Protégé [Jelektronnyj resurs]. URL: https://protege.stanford.edu/ (data obrashhenija: 30.03.2022).

[21] Gomez-Perez A., Rojas M.D. Ontological Reengineering and Reuse // In: Proc. of 11 th European Workshop on Knowledge Acquisition, Modelling and Management. - Germany: Springer-Verslag, Dagstuhl Castle, 1999, pp. 139-156.

[22] MDA® - The Architecture Of Choice For A Changing World / OMG. URL: https://www.omg.org/mda/index.htm (data obrashhenija: 30.03.2022).

[23] C. Partridge. Business Objects: Re-Engineering for Re-Use [2nd Edition] // BORO Centre. 2005. ISBN 09550603-0-3. URL: http: //www. boroprogram. org/boro_program/bo_rfr. htm (data obrashhenija: 11.03.2022).

[24] Raad, Joe & Cruz, Christophe. A Survey on Ontology Evaluation Methods // Proceedings of the 7th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management. Lisbon, Portugal. 2015. doi:10.5220/0005591001790186.

[25] Zablith F., Antoniou G., D'Aquin M., Flouris G., Kondy-lakis H., Motta E., Plexousakis D., Sabou M. Ontology evolution: A process-centric survey // Knowl. Eng. Rev. 2015. Vol. 30, no. 1. P. 45-75.

[26] F. Zablith. Dynamic Ontology Evolution // International Semantic Web Conference (ISWC) Doctoral Consortium. - Karlsruhe, Germany, 2008.

[27] P. Haase, L. Stojanovic. Consistent Evolution of OWL Ontologies // The Semantic Web: Research and Applications // Proceedings of the 2-nd European Semantic Web Conference (ESWC). Lecture Notes in Computer Science. Berlin: Springer-Verlag, 2005. Vol. 3532, p 182-197.

[28] Lykourentzou, I. & Papadaki, K. & Kalliakmanis, A.postolis & Djaghloul, Y. & Latour, Thibaud & Charalabis, Ioannis & Kapetanios, Epaminondas. (2011). Ontology-based Operational Risk Management. Proceedings - 13th IEEE International Conference on Commerce and Enterprise Computing, CEC 2011. 153 -160. 10.1109/CEC.2011.18.

[29] H. Mizen, et al., Ontology Ontogeny: Understanding How an Ontology is Created and Developed, Springer, 2005.

[30] Franco Martins Souza, B.; Serrano Gil, LJ.; Reyes Román, JF.; Panach Navarrete, JI.; Pastor López, O. (2021). Towards the Consolidation of Cybersecurity Standardized Definitions. Universitat Politécnica de València.

[31] Ekelhart, Andreas & Fenz, Stefan & Neubauer, Thomas. (2009). Ontology-Based Decision Support for Information Security Risk Management. Proceedings of the 4th International Conference on Systems, ICONS 2009. 80-85. 10.1109/IœNS.2009.8.

[32] A. Ekelhart, S. Fenz and T. Neubauer, "AURUM: A Framework for Information Security Risk Management," 2009 42nd Hawaii International Conference on System Sciences, 2009, pp. 1-10, doi: 10.1109/HICSS.2009.82.

[33] Jennifer O. Contreras, Melvin A. Ballera, and Enrique D. Festijo. 2020. Ontology Learning using Hybrid Machine Learning Algorithms for Disaster Risk Management. In Proceedings of the 2020 3rd International Conference on Signal Processing and Machine Learning (SPML 2020). Association for Computing Machinery, New York, NY, USA, 13-20.

i Надоели баннеры? Вы всегда можете отключить рекламу.