CC BY
73
ISSN 0321-2653 ИЗВЕСТИЯ ВУЗОВ. СЕВЕРО-КАВКАЗСКИМ РЕГИОН._ТЕХНИЧЕСКИЕ НАУКИ. 2018. № 3
ISSN 0321-2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION. TECHNICAL SCIENCE. 2018. No 3
УДК 004.81: 53.08 DOI: 10.17213/0321-2653-2018-3-34-41
СИСТЕМА ИНТЕГРИРОВАННОЙ ОЦЕНКИ И СРАВНЕНИЯ ОНТОЛОГИЧЕСКИХ МОДЕЛЕЙ
© 2018 г. Ю.С. Клишина, В.А. Мохов, О.А. Наугольное
Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия
THE INTEGRATED EVALUATION AND COMPARISON OF ONTOLOGICAL MODELS
Y.S. Klishina, V.A. Mokhov, O.A. Naugolnov
Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia
Клишина Юлия Сергеевна - магистрант, Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: [email protected]
Мохов Василий Александрович - канд. техн. наук, доцент, кафедра «Программное обеспечение выиислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: [email protected]
Наугольное Олег Александрович - канд. техн. наук, доцент, Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: [email protected]
Klishina Yuliya Sergeevna - graduate-student, Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: klishina27@yandexru
Mokhov Vasiliy Aleksandrovich - Candidate of Technical Sciences, Assistant Professor, department «Software Computer Engineering», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: [email protected]
Naugolnov Oleg Aleksandrovich - Candidate of Technical Sciences, Assistant Professor, Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: [email protected]
Приводится описание ключевых этапов создания онтологических моделей, осуществляется детальный анализ методов оценки качества готовых онтологических моделей. Рассматривается ряд критериев для сравнения онтологических моделей, а также основные принципы для их сравнения. На основании анализа информации из тематических литературных источников выполнено обобщение сведений об известных метриках онтологических моделей в виде подготовленной классификации с детализацией описания назначения, формул расчета и особенностей применения метрик для получения значений оценок онтологических моделей в различных предметных областях. Приводится описание алгоритма интегрированной оценки и сравнения онтологических моделей, основанного на расчете общих рейтингов, позволяющих оценить когнитивные качества онтологии посредством анализа ее графа, а также описание программы CompOnt, разработанной авторами статьи, для вычисления и сравнения рейтингов двух онтологических моделей.
Ключевые слова: онтология; онтологическая модель; анализ методов; принципы сравнения онтологий; интегрированная оценка; критерий сравнения онтологий; метрика; алгоритм сравнения онтологических моделей; общий рейтинг.
This article describes the key stages of creating ontological models, provides a detailed analysis ofmethods for assessing the quality of finished ontological models. A number of criteria for comparison of ontological models, as well as the basic principles of comparison of ontological models are considered. Based on the analysis of information from the thematic literature sources, the article summarizes information about the known metrics of ontological models in the form of a prepared classification with detailed description of the purpose, calculation formulas and features of the use of metrics to obtain the values of estimates of ontological models in various subject areas. The algorithm of integrated assessment and comparison of ontological models based on the calculation of the General ratings of ontological models that allow to evaluate the cognitive quality of ontology through the analysis of its graph, as well as the description of the program Component, developed by the authors, for the calculation and comparison of the ratings of two ontologi-cal models.
ISSN 0321-2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.
TECHNICAL SCIENCE. 2018. № 3
Keywords: ontology; ontological model; analysis methods; principles of comparison of ontologies; integrated assessment; the criterion for the comparison of ontologies; metrics; algorithm comparison of ontological models; overall rating.
В современном мире каждый день растет объем используемой информации. В поисках данных люди все реже обращаются к книгам, посещая страницы Всемирной сети Интернет. Правда, со временем найти необходимую информацию стало не так просто. Для увеличения эффективности поиска, обработки и представления результатов измерений привлекаются современные достижения в области информационных технологий. В настоящее время применение он-тологий для моделирования предметных областей информационных систем получает все более широкое распространение [1]. В современном мире для корректного отображения информации онтологические модели нашли свое применение в различных предметных областях, например, в сфере бизнеса, медицины, строительства, разработки программных продуктов.
Онтологией принято называть структуру, описывающую элементы некоторой предметной области в виде понятий и правил, с помощью которых можно формировать классы, отношения, функции. Онтологии ограничиваются описанием мира в рамках конкретной предметной области. Они применяются в процессе программирования как формы представления знаний о реальном мире или его части [2].
По своей структуре созданные онтологические модели могут быть различны. Для того чтобы оценить и сравнить две онтологии одной предметной области используется множество различных методов оценки качества и сравнения онтологических моделей.
Методы оценки качества разрабатываемых онтологических моделей являются одной из актуальных проблем современного инжиниринга. В практическом плане процесс разработки онтологических моделей очень важен. Это является причиной того, что разными учеными разработано множество подходов в области оценки онтологических моделей.
Выбор подходящей методики для решения конкретной задачи становится все более сложным, так как в настоящее время известно более десятка методов сравнения онтологий [3].
Существует несколько методологий оценки качества построенных онтологических моделей [4]: Natural Language Application metrics; OntoMetric; FIGO; EvaLexon; Declarative Methods; OntoClean.
Данные методологии проводят оценку онтологических моделей по следующим критериям: полнота и точность словаря предметной области, адекватность структуры с точки зрения отношений, производительность, единство экземпляров, наличие зависимостей классов, стойкость свойств экземпляров онтологии [5].
Для оценки некоторых характеристик онтологической модели используется численный показатель под названием метрика онтологии. Зачастую данные показатели рассчитываются на основе топологии графа онтологической модели.
В табл. 1 рассмотрены и охарактеризованы все группы метрик, используемые в данное время в отечественной литературе [6, 7].
На основе часто используемых метрик был разработан алгоритм интегрированной оценки и сравнения онтологических моделей, основанный на расчете общих рейтингов онтологий.
Процесс интегрированной оценки и сравнения онтологических моделей разделяется на два этапа: применение инструментальных средств для оценки онтологических моделей и принятие решения на основании полученных результатов [8, 9].
На рис. 1 представлена блок-схема алгоритма интегрированной оценки и сравнения онтологических моделей.
Рис. 1. Блок-схема алгоритма интегрированной оценки и сравнения онтологических моделей / Fig. 1. Block diagram of the integrated assessment and comparison of ontological models
Исходными данными для алгоритма являются:
- метрики, используемые при оценке онтологий;
- весовые коэффициенты, сопоставленные метрикам;
сравниваемые онтологии.
ISSN 0321-2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION. TECHNICAL SCIENCE. 2018. No 3
Таблица 1 / Table 1
Метрики когнитивной и субъективной оценки онтологических моделей / Metrics of cognitive and subjective
assessment of ontological models
Группа Название метрики Назначение Формула
Количество различных циклов в графе Используется для определения цикличности графа. В качественной онтологии равно нулю -
1. Метрики циклов Количество вершин, входящих в какой-нибудь цикл, деленное на количество вершин в графе Чем значение этой метрики меньше, тем лучше для онтологии ЩуЕС Л, т = —^^^ , где ис - количество вершин графа; "о С - множество вершин графа, входящих в хотя бы один цикл; ЩуеС - количество вершин графа, входящих в какой-нибудь цикл
2. Метрики разнообра- Количество различных типов связей в графе Чем больше различных типов связей используется в онтологии, тем сложнее она для восприятия т = ЩЕТЕ, где ТЕ = {уреф) | (е е Е)} -множество всех типов связей графа, - количество различных типов связей
зия количества связей Нормированное количество различных типов связей Используется для расчета допустимого количества различных типов связей т = ^¡еТЕ , где ЩЕТЕ - количество различных "о типов связей, по - количество вершин графа
Вершины с разными типами исходящих связей по отношению ко всем вершинам графа - т = ЩуЕул , где ув = {у е ОЩу^ ) > 1} - множество "о е всех вершин графа, с разными типами исходящих связей, 1уре(е„) - множество типов исходящих из вершины V связей
3. Метрики разнообразия количества связей концептов Вершины с разными типами входящих связей по отношению ко всем вершинам графа - N у~ ~ ( ^ т = —уек^ , где ув = у е О|ЩУре~ ) > 1} - множество "О уре всех вершин графа, с разными типами входящих связей, 1уре(еу) - множество типов входящих в вершины V связей
Среднее число типов входящих связей вершины графа - ^уеОЩ ^У ре(ег ) т =- "О
Среднее число различных типов исходящих связей вершины графа - _ 2уеО^Уре(еу) "О
Абсолютная глубина Сумма длин всех путей графа (т.е. путей от корневой вершины к листу) т = '£lpNjEp , где N^Ер - длина каждого пути] из множества путей Р графа g
Средняя глубина Абсолютная глубина деленная на количество путей в графе т = —1— УРЩ,еР , где N;еР - длина каждого пути] из множества путей Р графа g, - количество всех путей
4. Метрики глубины онтологии Максимальная глубина Максимальная длина пути т = NjEр , У^Щер > Щер ) , где N^р и Щ1Ер -длины пути ] и 1 из множества путей Р графа g
Минимальная глубина Минимальная длина пути т = NjEP , У1(Щ]Ер < Щер ) , где N^р и Щ1Ер -длины пути ] и 1 из множества путей Р графа g
Медиана глубины Значение, при котором 50 % «нижних» единиц ряда данных будет иметь значение длины пути не больше медианы, и 50 % «верхних» - не меньше медианы т = NjEP , где N jEP - медиана глубины графа
Линия 90 % глубины Значение, ниже которого находится 90 % значений глубины т = Р90 (NjEр ) , где Р90 (NjEр) - 90-й процентиль глубины графа
ISSN 0321-2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION. TECHNICAL SCIENCE. 2018. No 3
Группа Название метрики Назначение Формула
Среднее квадратичное отклонение глубины [10] Дополнительная метрика оценки глубины онтологии ZP (j -zPNJgP )2 J nPeq m =- nPeq -1
4. Метрики глубины онтологии Среднее квадратичное отклонение глубины по отношению к средней глубине - rP TPNJZP 2 Tp( NJGP--J-J— )2 J nPeq nPeq -1 m = P JgP nPeq
Абсолютная ширина Сумма количества вершин для каждого уровня иерархии по всем уровням m = j^l , где N j G L - количество вершин на уровне j из множества уровней L графа g
Средняя ширина Абсолютная ширина. деленная на количество уровней иерархии m = —1— ~^LNjgl , где N j G j - количество вершин nLeq на уровне j из множества уровней L графа g, nLeq -количество всех уровней графа
Максимальная ширина Количество вершин на уровне, с наибольшим количеством вершин m = Njg L , nJGL > nGL ) > где NJG L и N^L -количество вершин уровней j и i из множества уровней L графа g
Минимальная ширина Количество вершин на уровне, с наименьшим количеством вершин m = NJgL , njgL ^ NigL ) > гДе NJgL и NgL - количество вершин уровней j и i из множества уровней L графа g
Среднее отношение ширины соседних уровней Дополнительная метрика оценки ширины онтологии 1 Nh Gl m =- у -■- "L^g -1 i=2 Nli_1 gL
5. Метрики ширины онтологии Максимальное отношение ширины соседних уровней - N/рг N1gJ N, f, m = l gL , Vk( l gL > hgL ) Nh-1gL Nli-lgL Nlk-gL
Медиана отношения ширины соседних уровней - Nh gL m = - jVl-1G L
Линия 90 % ширины Пороговое значение, ниже которого находится 90 % значений ширины Ni. gL N1gL m = P90 (—■-), где P90 (—■-) - 90-й процентиль Nli_lgL Nh-1gL ширины графа
Среднее квадратичное отклонение ширины Дополнительная метрика оценки глубины онтологии NhGL 1 yn^NhGL )2 ... U=2(NhiGL "Leg у=2 Nh_lGL } n-jс g -1
Среднее квадратичное отклонение ширины по отношению к средней ширине - Niigj 1 ^"lc, Nhgl )2 yi=2 (at „ yi=2 n ) Ni-1 gL "Lc g Nl-i gL "Lcg - 1 m = м 1 n{gj nLeg - 1 у=2 Nl,-1 gL
Вершины с несколькими родителями Количество вершин, имеющих более одного родителя -
6. Метрики запутанно- Среднее количество родительских вершин у вершины графа - 1 G m = — NS G0 , где Sv = {a g G | isa(v,a)} - мно- nG v жество всех родителей вершины v ; Ns Gg - количество всех родителей у вершин v
сти Количество вершин с множественным наследованием по отношению ко множеству всех вершин графа Чем чаще множественное наследие используется в онтологии, тем хуже она с точки зрения эргономики m = NvgM , где MI = {v gG13aba2(isa(v,al)Aisa(v,a2))} nG - множество всех вершин графа с более чем одной входящей дугой отношения isa ; NvGMI - количество всех элементов этого множества
ISSN 0321-2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION. TECHNICAL SCIENCE. 2018. No 3
Группа Название метрики Назначение Формула
7. Метрики ветвистости Количество вершин, у которых есть и листья, и нелистовые ноды в качестве детей, по отношению ко всем количествам вершин, у которых есть листья среди детей [11] Количество связей не должно превышать 7±2 т =-шл&ив , где 8ЬЕА&51В - множество вершин, имеющих среди потомков как листья, так и внутренние вершины; - количество таких вершин; SLEA - множество вершин, имеющих среди потомков листовые ноды; -количество таких вершин
Минимальное количество детей-листьев у предпоследних вершин в графе Используется для нахождения минимально допустимого значения детей-листьев у предпоследних вершин в графе т = N1 ^ , У1(ЩЩЕА < ЩЦЕ ) , где - количество листьев набора], имеющих общего родителя
Среднее квадратичное отклонение детей-листьев у предпоследних вершин в графе - У j<=-SIBMA ( у N]сША Л2 м j с LEA У jeSIBjea N j CSIB Nj с SIB n nSIBlea V /
"ЯП ~ 1
8. Метрики Ингве-Миллера Отношение количества вершин с нормальной степенью ко всем вершинам - т = ЩуЕ°В , где - количество вершин графа; "о ОВ={уЮ^$у) < 9} - множество вершин с нормальной степенью; N ^ - количество вершин с нормальной степенью
Средняя степень вершины графа - т = —уЕО-, где ^ Gdeg(v) - сумма степе- "о УЕ ней вершин графа; " - количество ребер графа
Медиана степени вершины графа - т = deg(v) , где deg(v) - медиана степени вершины графа (т.е. значение степени, при котором 50 % «нижних» единиц ряда данных будет иметь степень не больше медианы, и 50 % «верхних» - не меньше медианы)
Среднее квадратичное отклонение степени вершины графа - 1„о ( **)I т =---— "О -1
В блоках, представленных на рис. 1, осуществляются следующие действия [9] :
1. С помощью программы COAT производится расчет метрик.
2. Осуществляется выбор метрик, которые будут использованы при оценке и сравнении онтологических моделей.
3. Метрике или группе метрик присваивается весовой коэффициент, при этом учитывается специфика онтологических моделей, подлежащих анализу. Например, если у сравниваемых онтологий одинаково низкая запутанность, то весовому коэффициенту метрики, связанному с данной характеристикой, присваивается небольшое значение.
4. Используемые метрики вводятся в реализованном программном обеспечении в качестве исходных данных.
5. Выполняется расчет общих рейтингов для каждой из рассмотренных онтологических моделей.
6. Осуществляется анализ полученных значений. В зависимости от полученных значений рейтингов, принимается решение о дальнейших действиях.
7. Если в п. 6 выявлено, что рейтинг первой модели больше, чем значение рейтинга второй модели, наилучшей моделью признается модель номер один.
8. Если в п. 6 выявлено, что значение рейтинга первой модели меньше, чем значение рейтинга второй модели, наилучшей моделью признается модель номер два.
9. На последнем этапе выводятся рейтинги рассматриваемых онтологических моделей и результат их сравнения.
ISSN 0321-2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.
TECHNICAL SCIENCE. 2018. No 3
Для реализации алгоритма была разработана программа CompOnt (Comparison of Ontology), выполненная в виде Java-приложения с оконным пользовательским интерфейсом. Окно программы показано на рис. 2.
Рис. 2. Окно программы CompOnt / Fig. 2. The window of the Component program
В программе CompOnt в качестве исходных данных вводятся результаты расчетов метрик, выбранных для сравнения онтологий. Каждой метрике присваивается свой весовой коэффициент. Для выбора наилучшей онтологической модели, применяется алгоритм, рассчитывающий рейтинги с использованием нормирующих коэффициентов по формуле [12, 13]
W и)
S,
G,
где ) - рассчитываемый рейтинг 7-й модели; а - весовой коэффициент /-го критерия; Ж, {и1)
- значение /-го критерия оценки для 7-й модели; Б7 - нормирующий коэффициент /-го критерия,
равный максимальному критерию среди рассматриваемых моделей; О, - признак. Если нормированный /-й критерий стремится к максимуму (больше 0,5), то О равен 1, если к минимуму
(меньше или равен 0,5), то О равен -1.
При задании значений весовым коэффициентам стоит учитывать, что метрики, характеризующие явные черты структуры графа (минимальная глубина, максимальная ширина, абсолютная ширина, средняя глубина и т.п.), дают лишь базовые представления о свойствах онто-логий, тогда как метрики, определяющие более сложные взаимосвязи более показательны. Вследствие этого, базовым метрикам рекомендуется выставлять меньшие весовые коэффициенты, а комплексным метрикам - большие [14].
В СотрОш значения весовых коэффициентов устанавливаются пользователем самостоятельно с учетом специфики рассматриваемых онтологических моделей. Например, если заранее известно, что модель 1 имеет ширину больше, чем модель 2, но при этом является более полной, значения весовых коэффициентов метрик ширины должны быть уменьшены.
Характеристиками программы СотрОш являются:
- поддержка 22 фиксированных метрик (в случае необходимости метрики могут быть исключены из анализа путем установки нулевого значения в соответствующем поле);
- возможность сравнения двух онтологических моделей;
- вывод результата в окне программы как в виде непосредственных значений рейтингов моделей, так и в виде рекомендации.
Для проверки соответствия программы СотрОш заданным спецификациям, было произведено сравнение двух онтологических моделей «Процесс разработки ПО», представленных на рис. 3.
б
Рис. 3. Архитектура классов онтологических моделей № 1 (а) и № 2 (б) /Fig. 3. Architecture of the classes of the ontological models № 1 (а) and № 2 (б)
a
а
ISSN 0321-2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.
TECHNICAL SCIENCE. 2018. No 3
Расчет используемых метрик производился с помощью инструмента COAT, выполненного в виде консольного Java-приложения [15]. На рис. 4 представлен пример расчета метрик для онтологической модели в программе COAT.
Вывод - COAT (run) X
---GENERATION CARDINALITY---=
LIVZL 0=1 nodes LIVZL 1=5 nodes LIVZL 2 = 11 nodes LIVZL 3 = 14 nodes
--- ËUNIRL MUIRICS --- =
Has cycles = falaa Nodes number = 31 Leaves number = 24 Max level = 3
---UUFIH---=
Absolute Uepth = il Average Depth = 2.5415557 Maximal Uepth = 3 Minimal Uepth = 1 Median Depth =3.0 30% line of Uepth = 3.0
Mean Square Ueviaticn of Uepth = 0.3450144
Mean Square Deviation / Average Depth = 0.13513531
---ERUAUIH---=
Absolute Breadth = 31 Average Breadth = 7.73 Maximal Breadth = 14 Minimal Breadth = 5
Рис. 4. Пример расчета метрик в программе COAT / Fig. 4. Example of calculation of metrics in the program COAT
б
Рис. 5. Ввод значений метрик и весовых коэффициентов (а); вывод результата сравнения значений рейтингов (б) / Fig. 5. Input of metrics and weight coefficients (а); оШри of the result of the comparison of rank values (б)
Для сравнения онтологий «Процесс разработки ПО» был осуществлен выбор метрик, используемых при расчете общих рейтингов онтологических моделей. Значения данных метрик и их весовых коэффициентов для онтологических моделей № 1 и № 2 представлены на рис. 5 а. На рис. 5 б представлен вывод результата сравнения значений рейтингов онтологических моделей № 1 и № 2 в программе CompOnt.
По результатам работы программы CompOnt наилучшей альтернативой выбора является онтологическая модель № 1, так как ее рейтинг R[1]=10.791449, больше рейтинга R[2]=9.506348 онтологической модели № 2.
Заключение
Рассмотрены критерии для сравнения онтологических моделей. Представлена классификации с детализацией описания назначения, формул расчета и особенностей применения метрик для получения значений оценок онтологических моделей в различных предметных областях. Описан алгоритм интегрированной оценки и сравнения онтологических моделей. Представлено описание программы для вычисления и сравнения рейтингов двух онтологических моделей.
Литература
1. Онтология (информатика) [Электронный ресурс]. Энциклопедия Википедия. - Режим доступа: http://ru.wikipedia.org/wiki/ Онтология (информатика). (дата обращения 25.07.2018)
2. Гладун А.Я., Рогушина Ю.В. Онтологии в корпоративных
системах. Часть I // Корпоративные системы, 2006. № 1. С. 41 - 47.
3.Андрич О.Ф., Макушкина Л.А. Исследование методов оценки качества готовых онтологических моделей // Современные научные исследования и инновации, 2014, № 3. URL:http://web.snauka.ru/issues/2014/03/31194 (дата обращения 07.06.2018)
4. Gruber T.A. Translation Approach to Portable Ontology Specifications // Knowledge Acquisition, 1993. C. 199 - 220.
5. Мохов В.А., Сильнягин Н.Н. Анализ перспектив
программной оценки когнитивных свойств онтологий // Моделирование. Теория, методы и средства: материалы XI Междунар. науч.-практ. конф., 31 марта 2011 г. / Юж.-Рос. гос. техн. ун-т (НПИ). Новочеркасск : ЮРГТУ(НПИ), 2011. С. 158 - 163.
6. Соловьев В.Д., Добров Б.В., Иванов В.В., Лукашевич Н.В. Онтологии и тезаурусы: учеб. пособие, Казань, 2006. 173 с.
7. Hartmann J. Methods for ontology evaluation // Knowledge Web Deliverable, 2005. Р. 11 - 29.
8. Мохов В.А., Гринченков Д.В. Онтологическое моделиро-
вание как средство борьбы с информационным мусором / Фундаментальные основы инженерного образования в России: материалы национальной науч.-практ. конф., посвященной 110-летию ЮРГПУ(НПИ) имени М.И. Платова. Юж.-Рос. гос. техн. ун-т (НПИ). Новочеркасск: ЮРГПУ(НПИ), 2017. С. 83 - 89.
а
ISSN 0321-2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION. TECHNICAL SCIENCE. 2018. No 3
9. Романенко В.Е., Мохов В.А., Шумилов А.К., Яркин Е.К. Онтологическое моделирование мультимодальных перевозок в обучении студентов направленности "транспорт-но-экспедиторская деятельность" // Фундаментальные основы инженерного образования в России: материалы национальной науч.-практ. конф., посвященной 110-летию ЮРГПУ(НПИ) имени М.И. Платова, 2017. Юж.-Рос. гос. техн. ун-т (НПИ). Новочеркасск: ЮРГПУ(НПИ), 2017. С. 90 - 96.
10. Романенко В.Е., Мохов В.А., Шумилов А.К., Яркин Е.К. Диагностика состояния и перспективы развития мульти-модальных транспортных систем с помощью онтологических моделей // Фундаментальные основы, теория, методы и средства измерений, контроля и диагностики: материалы 19-й Междунар. молодежной науч.-практ. конф., 2018. Юж.-Рос. гос. техн. ун-т (НПИ). Новочеркасск: ЮРГПУ(НПИ), 2018. С. 347 - 355.
11. Гринченков Д.В., Мохов В.А., Смирнов А.А., Нгуен ФХ., Нгуен Т.Т., Романенко В.Е. Сравнительный анализ программных продуктов для онтологического моделирования // Фундаментальные исследования, методы проектирования, программно-техническая платформа корпоративных информационных систем: материалы 15-й Национальной молодежной науч.-практ. конф., 2017. Юж.-
Рос. гос. техн. ун-т (НПИ). Новочеркасск: ЮРГПУ(НПИ), 2017. С. 30 - 36.
12. Мохов В.А., Сильнягин Н.Н. Анализ перспектив программной оценки когнитивных свойств онтологий // Моделирование. теория, методы и средства: Материалы XI Междунар. науч.-практ. конф. 2011. Юж.-Рос. гос. техн. ун-т (НПИ). Новочеркасск: ЮРГТУ(НПИ), 2011. С. 158 - 163.
13. Клишина Ю.С., Мохов В.А., Наугольнов О.А. Классификация и назначение метрик для оценки параметров онтологических моделей // Фундаментальные основы, теория, методы и средства измерений, контроля и диагностики: материалы 19-й Междунар. молодежной научн.-практ. конф. 2018. Юж.-Рос. гос. техн. ун-т (НПИ). Новочеркасск: ЮРГПУ(НПИ), 2018. С. 102 - 108.
14. Клишина Ю.С., Мохов В.А., Наугольнов О.А. Разработка и сравнение онтологических моделей // Фундамент альные исследования с применением компьютерных технологий в науке, производстве, социальных и экономических процессах: материалы 17-й Национальной молодежной науч.-практ. конф. 2017. Юж.-Рос. гос. техн. ун-т (НПИ). Новочеркасск: ЮРГПУ(НПИ), 2018. С. 28 - 32.
15. COAT Google Code web page: http://code.google.eom/p/ ontoeval/downloads/ list (дата обращения 25.07.2018)
References
1. Ontologiya_(informatika) [Ontology (computer science)]. Available at: http://ru.wikipedia.org/wiki/ Ontologiya_(informatika). (accessed 25.07.2018)
2. Gladun A.Ya., Rogushina Yu.V. Ontologii v korporativnykh sistemakh. Chast' I [Ontologies in enterprise systems. Part I]. Korporativnye sistemy, 2006, pp. 41 - 47. (In Russ.)
3. Andrich O.F., Makushkina L.A. Issledovanie metodov otsenki kachestva gotovykh ontologicheskikh modelei [Research of methods of quality assessment of ready ontological models]. Sovremennye nauchnye issledovaniya i innovatsii, 2014, № 3. Available at: URL:http://web.snauka.ru/issues/2014/03/31194 (accessed 07.06.2018)
4. Gruber T.A. Translation Approach to Portable Ontology Specifications. Knowledge Acquisition, 1993, pp. 199 - 220.
5. Mokhov V.A., Sil'nyagin N.N. [Analysis of prospects for the programmatic evaluation of the cognitive properties of the ontology]. Teoriya, metody i sredstva: materialy XI Mezhdunar. nauch.-prakt. konf. [Theory, methods and tools: proceedings of the XI Intern. scientific.- prakt. conf.]. Novocherkassk, 2011, pp. 158-163. (In Russ.)
6. Solov'ev V.D., Dobrov B.V., Ivanov V.V., Lukashevich N.V. Ontologii i tezaurusy: uchebnoeposobie [Ontologies and thesaurus: textbook]. Kazan', 2006, 173 p.
7. Hartmann J. Methods for ontology evaluation. Knowledge Web Deliverable, 2005, pp. 11 - 29.
8. Mokhov V.A., Grinchenkov D.V. [Fundamentals of engineering education in Russia].Materialy natsional'noinauch.-prakt. Konf. [The materials of the national scien.-pract. conf.]. Novocherkassk, 2017, pp. 83-89. (In Russ.)
9. Romanenko V.E., Mokhov V.A., Shumilov A.K., Yarkin E.K. [Ontological modeling of multimodal transportation in teaching students of the "transport-forwarding activity" direction, collection: Fundamentals of engineering education in Russia]. Materialy natsional'noi nauch.-prakt. konf. [The materials of the national scien.-pract. conf.]. Novocherkassk, 2017, pp. 90-96. (In Russ.)
10. Romanenko V.E., Mokhov V.A., Shumilov A.K., Yarkin E.K. [Diagnosis of the state and prospects of development of multimodal transport systems with the help of ontological models, collection: Fundamentals, theory, methods and tools for measurement, control and diagnosis]. Materialy 19-oi Mezhdunar. molodezhnoi nauch.-prakt. konf. [Materials of the 19th international youth scientific- pract. conf.]. Novocherkassk, 2018, pp. 347-355. (In Russ.)
11. Grinchenkov D.V., Mokhov V.A., Smirnov A.A., Nguen F.Kh., Nguen T.T., Romanenko V.E. [Comparative analysis of software products for ontological modeling, collection: Fundamental research, design methods, software and technical platform of corporate information systems]. Materialy 15-oi Natsional'noi molodezhnoi nauch.-prakt. konf. [Materials of the 15th National youth scien.-pract. conf.], 2017, pp. 30-36. (In Russ.)
12. Mokhov V.A., Sil'nyagin N.N. [Analysis of prospects for the programmatic evaluation of the cognitive properties of ontologies: modeling,theory, methods and means]. Materialy XIMezhdunarodnoi nauch.-prakt. konf. [Proceedings of the XI International scien.-pract. conf.]. Novocherkassk, 2011, pp. 158-163. (In Russ.)
13. Klishina Yu.S., Mokhov V.A., Naugol'nov O.A. [Classification and assignment of metrics to estimate the parameters of the ontological models, the collection: the fundamentals, theory, methods and means of measurement, control, and diagnostics]. Materialy 19-oi Mezhdunarodnoi molodezhnoi nauch.-prakt. konf. [Materials of the 19th international youth scien.-pract. conf.]. Novocherkassk, 2018, pp. 102-108. (In Russ.)
14. Klishina Yu.S., Mokhov V.A., Naugol'nov O.A. [Development and comparison of ontological models, a collection of Fundamental research with application of computer technologies in science, production, social and economic processes]. Materialy 17-oi Natsional'noi molodezhnoi nauch.-prakt. konf. [Materials of the 17th National youth scien.-pract. conf.]. Novocherkassk, 2017, pp. 28-32. (In Russ.)
15. COAT. Available at: http://code.google.com/p/ontoeval/downloads/ list. (accessed 25.07.2018)
Поступила в редакцию / Received 27 июля 2018 г. / July 27, 2018
