CC BY
8
- Ф
V 1
Дорофеев Р. С. Dorofeev R. 8.
кандидат технических наук,
доцент кафедры «Вычислительная техника», ФГБОУВО «Иркутский национальный исследовательский технический университет», г. Иркутск, Российская Федерация
Дорофеев А. С. Dorofeev А. 8.
кандидат технических наук, доцент, заведующий кафедрой «Вычислительная техника», ФГБОУ ВО «Иркутский национальный исследовательский технический университет», г. Иркутск, Российская Федерация
УДК 004.89 DOI: 10.17122/1999-5458-2019-15-4-99-106
ПРИМЕНЕНИЕ АВТОРСКОЙ СИСТЕМЫ
ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ «КВАЛИМЕТРИЧЕСКАЯ ЭКСПЕРТИЗА» ДЛЯ ОЦЕНКИ БИОЛОГИЧЕСКИХ ОБЪЕКТОВ
В статье рассматривается вопрос применения разработанной авторами системы поддержки принятия решений «Квалиметрическая экспертиза» для оценки биологических объектов на соответствие стандарту. В качестве объекта исследования выступает экстерьер собаки на выставке. Актуальность работы связана с постоянным повышением качества оценки собак в ринге и их породности.
Выставка собак - публичное мероприятие по оценке соответствия собак стандартам породы для определения выраженного представителя породы с целью их разведения. Оценку проводят эксперты, имеющие соответствующую лицензию. Исходя из описания процесса проведения экспертизы в ринге и получения итоговой словесной оценки, авторами статьи предлагается применение квалиметрической экспертизы с целью получения итоговой численной интегральной оценки по оцениваемым экспертом признакам.
Как известно, квалиметрия - это наука о количественной оценке качества объектов исследования, описываемого набором признаков, которые, в свою очередь, образуют иерархию, представляющую собой расчетную модель объекта, подлежащего оцениванию. Квалиметрическая экспертиза является одним из инструментов системы интегрированного менеджмента, и, в отличие от квалиметрии, к ее проведению необходимо привлечь профессионально подготовленных экспертов не только в области оценки качества, но и по тем специальностям (предметной области), которые связаны с разработкой и применением исследуемого объекта.
Понятие онтологии активно применяется в информатике и искусственном интеллекте. В инженерии знаний под онтологией понимается точная спецификация некоторой предметной области, которая включает в себя словарь терминов этой области и множество логических связей между ними. Квалиметрическая экспертиза производится на основе иерархии признаков, при этом разработка онтологии связана с построением системы признаков. В этой связи в статье предлагается применение онтологической системы в качестве исходных данных для квалиметрической экспертизы. Экспертная группа, включающая специалистов предметной области, составляет расчетную модель оценки качества объекта - иерархическое описание его свойств, имеющих определенные оценки их важности для оценки качества объекта. Результатом экспертизы является рассчитанный интегральный показатель качества.
- 99
Электротехнические и информационные комплексы и системы. № 4, т. 15, 2019
Data processíng facílítíes and systems
В статье на примере оценки двух собак приводится расчет всех показателей с помощью разработанной системы, выполнен анализ результатов расчета.
Описанная методика может быть применена при проведении различного рода состязаний и испытаний по специализированным дисциплинам. Использование системы «Квалиметрическая экспертиза» позволит упросить работу эксперта, сократит время проведения экспертизы, а также сделает более объективной оценку объектов, подлежащих оценке качества.
Ключевые слова: квалиметрия, квалиметрическая экспертиза, онтология, система поддержки принятия решений, OntoStudio, язык OBL, ONT-Converter, признаки, интегральный показатель, количественная оценка.
APPLICATION OF THE AUTHOR'S DECISION SUPPORT SYSTEM «QUALIMETRIC EXPERTISE» FOR BIOLOGICAL OBJECTS ASSESSMENT
The paper discusses the use of the «Qualimetric Expertise» decision support system developed by the authors for the assessment of biological objects for compliance with the standard. As the object of research is the exterior of the dog at the show. The relevance of the paper is associated with the constant improvement of the quality of assessment of dogs in the ring and their breed.
Dog show - public event on the assessment of compliance of dogs to the standards of a certain breed, with the aim of identifying best of breed and in further breeding. The assessment is carried out by experts who have the appropriate license. Based on the description of the process of expertise in the ring and obtaining the final verbal assessment, the authors propose the use of qualimetric expertise in order to obtain the final numerical integral assessment of the evaluated expert characteristics.
As you know, qualimetry is the science of quantifying the quality of research objects, which is described by a set of features. They, in turn, form a hierarchy, which is a calculated model of the object to be evaluated. Qualimetric expertise is one of the tools of the integrated management system and, unlike qualimetry, it is necessary to involve professionally trained experts not only in the field of quality assessment, but also in those specialties (subject area) that are associated with the development and application of the object under study.
The concept of ontology is actively used in computer science and artificial intelligence. In knowledge engineering, ontology refers to the exact specification of a subject area that includes a dictionary of terms in that subject area and many logical relationships between them. Qualimetric expertise is based on the hierarchy of features. The development of ontology is connected with the construction of a system of signs. In this regard, the paper proposes the use of the ontological system as the initial data for qualimetric expertise. The expert team, which includes specialists of the subject area, makes a calculation model of the quality assessment of the object hierarchical description of its properties, having certain evaluations of their importance for the assessment of the quality of the object. The result of the expertise is a calculated integral quality indicator.
In this paper on an example of an assessment of two dogs calculation of all indicators by means of the developed system is resulted, the analysis of results of calculation is resulted.
The described technique can be applied at carrying out various kinds of competitions and tests on specialized disciplines. The use of the decision support system «Qualimetric expertise » will simplify the work of the expert, reduce the time of expertise, as well as make more objective assessment of objects subject to quality assessment.
Key words: qualimetry, qualimetric expertise, ontology, decision support system, OntoStudio, OBL language, ONT-Converter, characteristics, integral indicator, quantitative assessment.
Введение
Экспертиза собак на выставке сводится к последовательному исключению наименее соответствующих стандарту породы и/или выделении (по мнению эксперта) наиболее
ярких представителей породы с присвоением лучшей собаке звания «Лучший представитель породы» [1]. Собак оценивают раздельно по полу и возрасту согласно выставочным классам. Если это всепородная
выставка, процесс исключения продолжается до тех пор, пока не остается одна собака, которой присваивается титул «Лучшая собака выставки». Основным методом экспертизы является глазомерная оценка, которая включает в себя визуальный осмотр каждой собаки в стойке и в движении. Тщательный осмотр позволяет провести объективную оценку строения собаки, выявить отклонения от нормы, особенности развития, типичность, гармоничность и пропорциональность строения собаки и на этой основе произвести оценку экстерьера [2, 3]. Экспертиза должна быть основана на сравнении каждой собаки с мысленным представлением судьи об идеальном фенотипе, указанном в стандарте каждой породы.
В каждом классе эксперт проводит индивидуальный осмотр собак на соответствие стандарту породы, оценку движения, после чего выставляет каждой собаке оценку: «отлично», «очень хорошо», «хорошо», «удовлетворительно», «неудовлетворительно» или «дисквалификация».
Далее эксперт сравнивает всех собак между собой в стойках и в движении и расставляет их по местам, исходя из наибольшего соответствия стандарту породы. Собака, занявшая первая место, получает титул «Победитель класса», а также сертификат (согласно рангу выставки). Титул может получить только собака, имеющая оценку «отлично» [3, 4].
Методика и пример квалиметрической экспертизы с помощью разработанной системы поддержки принятия решений Исходя из описания процесса проведения экспертизы в ринге и получения итоговой словесной оценки, авторами статьи предлагается применение квалиметрической экспертизы с целью получения итоговой численной интегральной оценки по оцениваемым экспертом признакам.
Для того чтобы провести квалиметриче-скую экспертизу специалистам, составляющим экспертную группу, необходимо составить расчетную модель оценки качества объекта, представляющую собой описание свойств объекта, расположенных на разных уровнях иерархии, имеющих определенные
оценки их важности для оценки качества объекта. Результатом экспертизы является рассчитанный интегральный показатель качества (в диапазоне от 0 до 1) [5].
В центре большинства онтологий находятся классы, которые описывают понятия предметной области. Слоты (параметры) описывают свойства классов. В основе онтологического анализа лежит описание системы в терминах сущностей. Онтологический анализ начинается с составления словаря терминов, используемого при обсуждении и исследовании характеристик объектов, составляющих рассматриваемую систему, а также создания системы точных определений этих терминов [4-11].
Так как квалиметрическая экспертиза производится на основе иерархии признаков, а разработка онтологии — построение системы признаков, то предлагается применение онтологической системы в качестве исходных данных для квалиметрической экспертизы [5]. Для примера оцениваемых параметров для квалиметрической экспертизы экспонентов в ринге примем 27 критериев оценки: рост, половой диморфизм, шерсть, окрас, костяк, размер головы, туловище, высоконогость, углы конечности, темперамент, показ, зубная система, глаза, уши, мочка носа, зубы, шея, холка, спина, поясница, круп, хвост, грудь, живот, конечности, движения, поведение.
В качестве оцениваемых объектов примем двух абстрактных собак одной породы и одного пола с номерами по каталогу выставки 101 и 102, а проводить экспертизу будет, например, Иванов И.И.
Построенная в редакторе OntoStudio онтология признаков представлена на рисунке 1.
Разработанная в OntoStudio онтология представляется на языке разметки Object logic language (OBL) и содержит описание классов онтологии, экземпляров, атрибуты и отношения. Описание на языке OBL дает возможность корректировать онтологию (имена, добавление и удаление информации), придерживаясь общей ее структуры.
Перечисленным параметрам эксперт во время проведения осмотра собаки будет давать оценку от 1 до 5, где 1 соответствует
Data PROCESSiNG FACiLiTiES AND SYSTEMS
л Д Породность_собак
л Classes
л @ Породность_собак
л |»j Собаки на выставке
Собаки -
Ш Рост
И Половой диморфизм
S Костяк
Q Размер головы
Ш Туловище
Ш Зубная система
л (¡3 Properties
ЕР Рост
Половой диморфизм •w
4 | ГГГ >
01' Instances - =
0101
Ol 102
Рисунок 1. Онтология признаков для оценки породности собак в ринге выставки
«плохо», 5 — «отлично». Для расчета итоговой оценки в автоматизированном режиме авторами была разработана система поддержки принятия решений (СППР) «Квали-метрическая экспертиза» (web-приложение, html+php+mysql). Исходными данными для экспертизы является онтологическая система признаков.
Для преобразования онтологии на языке OBL разработано авторское приложение ONT-Converter, выполняющее это преобразование. Далее OBL-онтологию необходимо будет импортировать в СППР «Квали-метрическая экспертиза». Результат импорта характеристик для оценки экспонентов показан на рисунке 2.
Признаки:
Фу н кци о н ал ь н ы е ха ра ктери сти ки [уровень | число характеристик на уровне)
- Породность собак +
□ Рост [-2) + х
Половой диморфизм (-2) +
□ Костяк (-2) + < Размер головы (-2) +
о Туловище (-2) + Высоконогость (-2) + Углы конечности (-2) + Темперамент (-2) +
□ Глаза С-2) + -О Уши (-2)+-
О Мочка носа (-2) +
Рисунок 2. Онтология признаков в СППР «Квалиметрическая экспертиза»
Полученные от эксперта оценки по каждой осмотренной собаке сохраняются в качестве усредненных значений показателей признаков и пересчитываются к квалиметри-ческой шкале по следующим формулам, используемым при оценке качества: уа1„ - щ
к =
Ь. =
vg
ks-ng
(1)
(2)
т
znkvj = ^val,
(3)
¿=i
QP = \[znWvp, (8)
м
DQP = \-QP, (9)
где QP и DQP — количественное значение, рассчитанное как произведение.
ÍQS
SQS =
g=i
vg-ng
где val—значение показателя, поставленное экспертом;
vg — верхняя граница (в нашем случае —
5);
ng — нижняя граница, принимаемая за 1. В качестве итога проведения квалиметри-ческой экспертизы будет выяснено, какой из двух экспонентов является более породным.
В результате расчета интегральных характеристик на уровнях иерархии по формулам (3)-(9) и итоговых интегральных оценок по формулам (10)-(13) получены следующие результаты (рисунок 3):
/-1' Ídqs
SDQS =
g=i
SQP =
f~ 1 '
ÍQP
g=i
SDQP =
f~ 1'
Ídqp
g=1
/-1 5
(10)
(11)
(12)
(13)
где znkv — сумма значений показателей по всем участникам в одном классе выставки;
m — количество участников в одном классе;
val — значение показателя на уровне; к
sum = ^ znkvj, (4)
м
где sum — сумма по всем показателям; k — количество показателей.
znkv,
znkv' =-J-f (5)
sum
QS^iznkv'^veSj), (6)
м
DQS=\-QS, (7)
где QS — количественное значение соответствия качества объекта предъявляемым требованиям, рассчитанное как сумма на одном уровне;
DQS — количественное значение отклонения объекта от требований;
ves — вес признака при оценке, в нашем случае все веса имеют одинаковое значение равное 1/27=0,037.
где / — максимальное число уровней, / ^ 1;
SQS (<2) — суммарное количественное значение соответствия качества объекта предъявляемым требованиям, рассчитанное как сумма;
SDQS (DeltaQ) — количественное значение отклонения объекта от требований, рассчитанное как сумма;
SQP (<2) — суммарное количественное значение соответствия качества объекта предъявляемым требованиям, рассчитанное как произведение;
SDQP (DeltaQ) — количественное значение отклонения объекта от требований, рассчитанное как произведение [4-7]. Здесь Q — количественное значение соответствия качества объекта предъявляемым требованиям; DeltaQ — количественное значение отклонения объекта от требуемых значений. Расчет интегральных характеристик возможен как по сумме, так и по произведению.
Результаты экспертизы
После получения результатов можно выполнить их анализ с целью выявления отклонений значений признаков от эталонных, для чего в приложении реализована функция «Анализ результатов». Результат работы функции представлен на рисунке 4.
Data processing facilities and systems
Подсчет суммарных интегральных характеристик:
Выберите подгруппу:
Собаки на выставке
101
102
функциональные характеристики
Сумма Q = 0.9877 DeltaQ = 0,0123
Произведение Q = 0.9769 DeltaQ = 0,0231
Подсчет суммарных интегральных характеристик:
Выберите подгруппу:
[Собаки
на выставке
101
102
функциональные характеристики
Сумма Q = 0.8671 DeltaQ = 0,1329
Произведение О = 0.8439 ОеИаО = 0,1561
Анализ результатов
Анализ результатов
Рисунок 3. Результат подсчета суммарных характеристик для обеих собак
Анализ полученных результатов
Наименование Уровень 101 102
Рост 2 0.9 0,85
Половой диморфизм 2 0.98 0,89
Костяк 2 0.93 0,8
Размер головы 2 0.91 0,76
Туловище 2 0.9 0.88
Высоконогость 2 0.89 0.89
Углы конечности 2 0.97 0.95
Темперамент 2 0.92 0.92
Глаза 2 0.91 0.87
Уши 2 0.86 0.85
Мочка носа 2 0.92 0.87
Зубы 2 0.88 0.8
Шея 2 0.89 0.77
Холка 2 0.95 0.9
Спина 2 0.93 0 9
Поясница 2 0.93 0.89
Круп 2 0.95 0.88
Хвост 2 0.96 0.96
Грудь 2 0.89 0.88
Живот 2 0.88 0.87
Конечности 2 0.85 0.85
Движения 2 0.9 0.9
Шерсть 2 0.97 0.96
Окрас 2 0.97 0.97
Поведение 2 0.86 0.86
Показ 2 0.75 0.77
Зубная система. 2 0.86 0.86
Примечание
Представитель породы 101 является более породистым
Рисунок 4. Результат анализа полученных данных
Как видно из полученных результатов, собака под номером 101 является более соответствующей стандарту своей породы (показатели ближе к единице) и, соответственно, более породистая. К аналогичному решению приходит СППР, которая, сравнивая результаты, выдает решение из базы знаний касательно оценки экспонентов.
Выводы
Разработанная система поддержки принятия решений с использованием онтологий и квалиметрической экспертизы позволяет
количественно оценить качество экспонентов в ринге выставки и выбрать среди них более породистого представителя своей породы путем визуального анализа сравнительных результатов. Данная методика может быть применена при проведении различного рода состязаний и испытаний по специализированным дисциплинам. Использование разработанной системы позволит упросить работу эксперта, а также позволит сделать более объективной оценку объекта и сократить время проведения экспертизы.
Список литературы
1. Выставка собак // Свободная энциклопедия «Википедия». URL: https://ru. wikipedia.org/wiki/%D0%92%D1%8B%D1% 81%D1%82%D0%B0%D0%B2%D0%BA%D 0%B0_%D1%81%D0%BE%D0%B1%D0%B 0%D0%BA (дата обращения: 05.11.2019).
2. Интернет-ресурс «Хочу собаку». Что включает в себя экспертиза собак и расшифровка оценок, полученных на выставке. URL: http://www.hochusobaku.ru/dowshow_info/ ekspertiza (дата обращения: 10.11.2019).
3. Официальный сайт Интернет издания «Hot Dog». Американская система выставок. URL: http ://www. chow-chow. cc/proveden/ americ_m.htm (дата обращения: 12.11.2019).
4. Dogs SA. Dog Show: официальный сайт. URL: http://www.dogssa.com.au/?page_ id=884 (дата обращения: 12.11.2019).
5. Дорофеев Р.С., Дорофеев А.С. Оценка качества работы преподавателей с применением квалиметрической экспертизы и онтологического подхода // Инновационные технологии в науке и образования: матер. IV меж дунар. науч.-практ. конф., г. Улан-Удэ, 28-30 августа 2015 г. Улан-Удэ: Изд-во Бурятского госуниверситета, 2015. С. 210-215.
6. Азгальдов Г.Г., Костин А.В., Садо-вов В.В. Квалиметрия: первоначальные сведения. Справочное пособие с примером для АНО «Агентство стратегических инициатив по продвижению новых проектов»: учеб. пособие. М.: Высш. шк., 2010. 143 с.
7. Азгальдов Г.Г., Маругин В.М. Ква-лиметрическая экспертиза. Руководство по организации экспертизы и выполнению ква-лиметрических расчетов. Кн. 2: Расчетные модели качества. СПб.-М.: Русский Регистр, 2002. 517 с.
8. Дорофеев Р.С. Методология и программная реализация совместного использования онтологии и квалиметрической экспертизы при оценке качества станков // Вестник ИрГТУ 2013. № 3 (74). С. 16-23.
9. Дорофеев Р.С. Разработка web-приложения для оценки качества объектов // Инновационные подходы к применению информационных технологий профессиональной деятельности: сб. тр. Второй Междунар. науч.-практ. интернет-конф. Белгородского филиала НАЧАУ ВПО СГА. Белгород: ГиК, 2010. С. 321-323.
10. Dorofeev R.S., Dorofeev A.S., Kostov-skaya O.A. Evaluation of the Quality of Voice over IP Telephony Using the Decision Support System «Qualimetric Expertise» // Proceedings MIPRO, 2015, 38 International Convention on Information and Communication Technology, Electronics and Microelectronics, Opatija, Croatia. 2015. P. 1408-1411.
11. Дорофеев Р.С. Разработка типовой формы для ввода значений свойств экземпляров онтологии // Современные технологии. Системный анализ. Моделирование. 2013. № 3 (39). С. 178-182.
12. Дорофеев Р.С., Дорофеев А.С., Сосинская С.С. Разработка системы для расчета рейтинга преподавателей на основе квалиме-трического подхода и онтологии // Онтология проектирования. 2019. Т. 9, № 2 (32). С. 214224.
References
1. Vystavka sobak [Dog Show]. Svobod-naya entsiklopediya «Vikipediya» [Free Wiki-pedia Encyclopedia]. URL: https://ru.wikipedia. org/wiki/%D0%92%D1%8B%D1%81%D1%8 2%D0%B0%D0%B2%D0%BA%D0%B0_%D 1%81%D0%BE%D0%B1%D0%B0%D0%BA (assessed: 05.11.2019).
2. Internet-resurs «Khochu sobaku». Chto vklyuchaet v sebya ekspertiza sobak i rasshif-rovka otsenokpoluchennykh na vystavke [Internet Resource «I Want a Dog». What Includes an Examination of Dogs and a Transcript of the Marks Received at the Exhibition.]. URL: http:// www.hochusobaku.ru/dowshow_info/ekspertiza (assessed: 10.11.2019).
3. Ofitsial'nyi sait Internet izdaniya «Hot Dog». Amerikanskaya sistema vystavok [The Official Website of the Internet Publication «Hot Dog». American Exhibition System]. URL: http://www.chow-chow.cc/proveden/americ_m. htm (assessed: 12.11.2019).
4. Dogs SA. Dog Show: ofitsial'nyi sait [Dogs SA. Dog Show: Official Site]. URL: http://www.dogssa.com.au/?page_id=884 (assessed: 12.11.2019).
5. Dorofeev R.S., Dorofeev A.S. Otsenka kachestva raboty prepodavatelei s primeneniem kvalimetricheskoi ekspertizy i ontologicheskogo podkhoda [Assessment of the Quality of Teachers' Work Using Qualimetric Examination and Ontological Approach]. Materialy IV
Data PROCESSiNG FACiUTiES AND SYSTEMS
mezhdunarodnoi nauchno-prakticheskoi konferentsii «Innovatsionnye tekhnologii v nauke i obrazovaniya», g. Ulan-Ude, 28-30 avgusta 2015 g. [Materials of the IV International Scientific-Practical Conference «Innovative Technologies in Science and Education», Ulan-Ude, August 28-30, 2015]. Ulan-Ude, Izd-vo Buryatskogo gosuniversiteta, 2015, pp. 210215. [in Russian].
6. Azgal'dov G.G., Kostin A.V., Sado-vov V.V. Kvalimetriya: pervonachal'nye svedeniya. Spravochnoe posobie s primerom dlya ANO «Agentstvo strategicheskikh initsiativ po prodvizheniyu novykh proektov»: ucheb. posobie [Qualimetry: Initial Information. Reference Manual with an Example for the Autonomous Non-Commercial Organization «Agency for Strategic Initiatives to Promote New Projects»: Tutorial]. Moscow, Vyssh. shk., 2010. 143 p. [in Russian].
7. Azgal'dov G.G., Marugin V.M. Kvali-metricheskaya ekspertiza. Rukovodstvo po organizatsii ekspertizy i vypolneniyu kvalimet-richeskikh raschetov. Kn. 2: Raschetnye modeli kachestva [Qualimetric Examination. Guidance for Organization of Examination and Implementation of Qualimetric Calculations. Book 2: Estimated Quality Models]. Saint-Petersburg-Moscow, Russkii Registr Publ., 2002. 517 p. [in Russian].
8. Dorofeev R.S. Metodologiya i program-mnaya realizatsiya sovmestnogo ispol'zovaniya ontologii i kvalimetricheskoi ekspertizy pri otsenke kachestva stankov [Methodology and Software Implementation of Shared Use of Ontologies and Qualimetric Examination When Evaluating Machine Tool Quality]. Vestnik IrGTU — Proceedings of IrSTU, 2013, No. 3 (74), pp. 16-23. [in Russian].
9. Dorofeev R.S. Razrabotka web-prilo-zheniya dlya otsenki kachestva ob"ektov
[Development of a Web Application for Assessing the Quality of Objects]. Sbornik trudov Vtoroi Mezhdunarodnoi nauchno-prakticheskoi Internet-konferentsii Belgorodskogo filiala NAChAU VPO SGA «Innovatsionnyepodkhody k primeneniyu informatsionnykh tekhnologii professional'noi deyatel'nosti» [Collection of Proceedings of the Second International Scientific and Practical Internet Conference of the Belgorod Branch of NACHAU VPO SGA «Innovative Approaches to the Application of Information Technologies of Professional Activity»]. Belgorod, GiK Publ., 2010, pp. 321323. [in Russian].
10. Dorofeev R.S., Dorofeev A.S., Kos-tovskaya O.A. Evaluation of the Quality of Voice over IP Telephony Using the Decision Support System «Qualimetric Expertise». Proceedings MIPRO, 2015, 38 International Convention on Information and Communication Technology, Electronics and Microelectronics, Opatija, Croatia. 2015, pp. 1408-1411. [in Russian].
11. Dorofeev R.S. Razrabotka tipovoi formy dlya vvoda znachenii svoistv ekzemplyarov ontologii [Development of a Standard Form for Entering Property Values of Ontology Instances]. Sovremennye tekhnologii. Sistemnyi analiz. Modelirovanie — Modern Technologies. System Analysis. Modeling, 2013, No. 3 (39), pp. 178182. [in Russian].
12. Dorofeev R.S., Dorofeev A.S., Sosinskaya S.S. Razrabotka sistemy dlya rascheta reitinga prepodavatelei na osnove kvali-metricheskogo podkhoda i ontologii [Developing a System for Estimation Rating of teachers Based on Qualimetric Approach and Ontology]. Ontologiya Proektirovaniya — Ontology of Designing, 2019, Vol. 9, No. 2 (32), pp. 214224. [in Russian].
