ОПЫТ РАЗРАБОТКИ МЕТОДИЧЕСКОГО ОБЕСПЕЧЕНИЯ ИННОВАЦИОННОЙ ОЦЕНКИ КАЧЕСТВА ФУНКЦИОНИРОВАНИЯ ОДНОГО КЛАССА СЛОЖНЫХ СИСТЕМ Текст научной статьи по специальности «Экономика и бизнес»

ЭКОНОМИЧЕСКАЯ ИНФОРМАТИКА / ECONOMIC INFORMATICS

УДК 621.396 Наччивкиявпдя

DOI: 10.25559/SITITO.18.202201.119-133

Опыт разработки методического обеспечения инновационной оценки качества функционирования одного класса сложных систем

К. З. Билятдинов1*, Д. В. Досиков2

1 ФГАОУ ВО «Национальный исследовательский университет ИТМО», г. Санкт-Петербург, Российская Федерация

Адрес: 197101, Российская Федерация, г. Санкт-Петербург, Кронверкский пр., д. 49, лит. А * k74b@mail.ru

2 Независимый исследователь Аннотация

Согласно общепринятых критериев классификации систем представлены особенности одного класса сложных систем. Предложены методы и способы оценки качества и эффективности функционирования сложных систем. Методы и способы разработаны в целях учета специфики функционирования различных систем, а также для проведения оценки в условиях возрастающего объема разнородных источников информации в комплексе со стохастическим характером динамики структурированных и неструктурированных данных о сложных системах. Представлены модель и формулы алгоритмов управления в сложных системах, в которых управленческие решения принимаются на основе оценки качества функционирования сложных систем и (или) их подсистем (элементов) и с учетом воздействия внешней среды. Модифицированный метод DEA, предназначенный для оценки эффективности систем, представляет собой симбиоз классического метода DEA, расчета корреляции зависимости значений показателей и применения коэффициентов вето. Представлены направления совершенствования способов расчета вероятностных характеристик сложных систем различной физической природы на основе применения методики оценки вероятности выхода из строя заданного количества элементов сложной системы в зависимости от вероятности выхода одного элемента в ее составе в процессе функционирования. В методике на основе системного подхода разработана последовательность оценки соответствующих вероятностных характеристик, для рациональной реализации в компьютерных программах. В способах расчета комплексных показателей качества разработаны базовые формулы и сформулированы условия их применения. Описаны программы для ЭВМ, реализующие методики и приведены примеры оценки эффективности и вероятностных характеристик систем при помощи данных программ для ЭВМ. Рассмотрены перспективы применения методического обеспечения инновационной оценки качества функционирования одного класса сложных систем для обеспечения решения актуальных задач системной инженерии. Предлагаемый вариант представления методов, способов и алгоритмов позволяет наиболее рационально их использовать в компьютерных программах для оценки эффективности и качества сложных систем в условиях ограничения ресурсов и времени.

Ключевые слова: алгоритм, вероятность, время, модель, сложные системы, качество, способ, оценка, методика, модифицированный метод DEA, элемент, системная инженерия

Авторы заявляют об отсутствии конфликта интересов.

Для цитирования: Билятдинов К. З., Досиков Д. В. Опыт разработки методического обеспечения инновационной оценки качества функционирования одного класса сложных систем // Современные информационные технологии и ИТ-образование. 2022. Т. 18, № 1. С. 119-133. doi: https://doi.org/10.25559/SITITO.18.202201.119-133

G ®

Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.

Vol. 18, No. 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

Practice of Procedures Development of the Innovative Assessment of One Class of Complex Systems Functioning

K. Z. Biliatdinova*, V. S. Dosikovb

a ITMO University, St. Petersburg, Russian Federation

Address: 49 Kronverksky Pr., bldg. A, St. Petersburg 197101, Russian Federation * k74b@mail.ru b Independent researcher

In accordance with generally accepted criteria of systems classification, the article describes peculiarities of one class of complex systems. The article proposes new methods of assessment of quality and effectiveness of functioning of complex systems. The methods are developed for the purpose of evaluation and recording of the specificity of functioning of different systems, moreover, for conducting assessment in the conditions of increasing volume of various sources of information together with stochastic character of dynamics of structured and unstructured data about complex systems. The article also presents a model and formulas of control algorithms in complex systems, where managerial decisions are made on the basis of quality assessment of functioning of complex systems and (or) their subsystems (elements) and taking into consideration influence of external environment. The modified DEA method used for assessment of systems effectiveness presents a combination of a classical DEA method, calculation of correlation of dependence of indices' values and application of veto coefficient. The article presents the directions of improvement of methods for calculating the probabilistic characteristics of complex systems of varied physical nature based on the application of the methodology for assessing the probability of failure of a given number of elements of a complex system, depending on the probability of failure of one element in its composition during operation. On the basis of a systematic approach, a sequence for assessing the corresponding probabilistic characteristics has been developed for rational implementation in computer programs. Methods of calculation of complex quality indices include basic formulas and formulated conditions of their application. The article describes computer programs for implementation of the methods and gives examples of assessment of effectiveness and probabilistic characteristics of systems with the help of these programs. The article outlines prospects of the application of the procedures of innovative quality assessment of functioning of one class of complex systems for the purpose of solving topical problems of systemic engineering. The proposed variant of presenting methods and algorithms makes it possible to use them most rationally in software for assessment of effectiveness and quality of complex systems in conditions of restricted resources and time.

Keywords: algorithm, probability, model, complex systems, quality, method, assessment, methodology, modified DEA method, time, element, systemic engineering

The authors declare no conflict of interest.

For citation: Biliatdinov K.Z., Dosikov V.S. Practice of Procedures Development of the Innovative Assessment of One Class of Complex Systems Functioning. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2022; 18(1):119-133. doi: https:// doi.org/10.25559/SITITO.18.202201.119-133

Abstract

Современные информационные технологии и ИТ-образование

Том 18, № 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru

Введение и постановка задачи

Актуальность развития и совершенствования математического аппарата оценки качества и эффективности функционирования сложных систем в первую очередь основывается на необходимости формирования и наиболее рационального использования внутренних интеграционных резервов [1, 2] повышения эффективности функционирования одного класса сложных систем [3, 4, 5].

В исследовании под одним классом сложных систем будем понимать совокупность объектов, обладающих согласно общепринятых критериев классификации систем следующими особенностями:

1. По взаимодействию с внешней средой - открытые системы.

2. По структуре - сложные системы.

3. По характеру основных функций - специализированные.

4. По характеру развития - развивающиеся (подверженные модернизации).

5. По степени организованности - хорошо организованные.

6. По характеру связи между элементами - детерминированные.

7. По характеру структуры управления - централизованные.

8. По назначению - производящие продукцию, товары, услуги.

При этом вышеперечисленные особенности будет одновременно выступать признаками общности. На практике примерами оцениваемого одного класса сложных систем (далее

- систем) являются промышленные предприятия, объекты информатизации и связи, объекты транспорта и др. [1, 2]. Очевидно, что в современных условиях от эффективного функционирования рассматриваемого одного класса сложных систем напрямую зависит устойчивое развитие экономики Российской Федерации и благосостояние населения. Данное обстоятельство усиливает актуальность темы исследования. Отсюда возникает задача разработки и внедрения инновационных алгоритмов управления функционирования данными системами (далее - алгоритмов), а также методов и способов оценки качества и эффективности этого класса систем (далее

- методов и способов).

В свою очередь необходимость совершенствования управления и принятия управленческих решений, с целью повышения эффективности функционирования одного класса сложных систем (далее - систем) предопределяет следующие основные общие требования к разрабатываемым алгоритмам, методам и способам [2, 3, 6, 7]:

• обеспечение учета воздействий внешней среды, условий и специфики функционирования систем;

• практическая направленность на снижение времени оценки качества и обработки информации в интересах существенного уменьшения времени принятия управленческих решений;

• снижение субъективности восприятия информации лицом, принимающим решения (далее - ЛПР), как слабо формализуемого фактора в системе управления;

• обеспечение возможности рациональной реализации в компьютерных программах.

В современных условиях эффективность исследования сложных систем вне зависимости от их физической природы во

многом зависит от своевременной и обоснованной оценки их вероятностных характеристик. В настоящее время несовершенство методического аппарата оценки вероятностных характеристик приводит к возникновению актуальной слабоструктурированной проблемы, заключающейся в необходимости разрешения противоречия между требованием к существенному уменьшению затрат времени и ресурсов на оценку и необходимостью проведения дорогостоящих экспериментов для сбора и обработки больших объемов информации о состоянии систем [8, 9, 10, 11].

Одним из рациональных путей существенного ослабления негативного влияния данной проблемы является частичного решения проблемы на практике является дальнейшее совершенствование способов расчета вероятностных характеристик систем посредством применения биноминального закона распределения в выборках с возвратом.

Анализ современных научных исследований в этой предметной области [6, 7, 12] выявил тенденции комплексного применения апробированных методик, основанных на интеграции широкого спектра результатов научных исследований в различных областях [3, 4, 13, 14]. На практике это выражается в запросах на более полное использование экспертной и статистической информации без затрат дополнительных ресурсов и времени, а также в возможности обоснованного выбора методов и способов в зависимости от условий функционирования оцениваемых систем [2, 3, 6, 7].

Кроме того, актуальность и востребованность методического обеспечения инновационной оценки качества функционирования одного класса сложных систем будет усиливаться в CALS-технологиях (англ. Continuous Acquisition and Life cycle Support), то есть при обеспечении непрерывной информационной поддержки поставок и жизненного цикла технических систем, эксплуатируемых в составе оцениваемых систем [15, 16]. Поэтому сегодня одним из перспективных направлений совершенствования управления и принятия решений [3, 12, 13, 17, 22] можно вполне обоснованно считать разработку и внедрение инновационных алгоритмов, методов и способов, применимых для оценки качества и эффективности различных систем [1, 2, 6, 14, 18, 19].

1. Алгоритмы управления в сложных системах

На основе систематизации результатов научных работ [4, 9, 18, 20, 21] и с целью наиболее рациональной разработки и внедрения алгоритмов, методов и способов разработана модель взаимодействия элементов системы в процессе управления при принятии управленческих решений на основе результатов оценки качества и эффективности функционирования системы (далее - модель) (рис. 1) и сформулированы следующие ограничения и допущение. Ограничения:

1. В модели системы (рис. 1) субъект управления (подсистема управления сложной системой) не может изменить состояние внешней среды, но может воздействовать на объекты управления (подсистемы (или элементы) системы) - E по известным ему воздействиям среды (G) и состояния объекта (Р).

Vol. 18, No. 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

ЭКОНОМИЧЕСКАЯ ИНФ ОРМАТИКА К.ЗБилятдинов,

Д. В. Досиков

2. Результаты воздействия внешнеДсреды1(Ш)и состояния объекта управления (Р) отдыжаюысяв резульнатараоснки качества и эффективно сти функционироыаниясистемы на основе действительдыр знычений покаа^арш^оИЯ качества.

3. Состояние объекта(Р)влиясы но ыостыосоп т очреб носеей субъекта управлениа: Л=Кос н2,к^аг .к, а^,

где а. - состояние .-й оотребности

Допущение: на основе результатов анализа пре,цмаксой области и для учета специфики функционирования сиктнмы введем ограничение, что подсисдына ывфокаянся, смтззом^ы' оеаы ПО) ведение исходя из минимизации потребностей в ресурсах (X) при функционированииом.ывркосмой оиктсмы СснН: а1(Е, в) чшш(/ = 1к). (-]

Пусть Е* - решение задачи (1]. Тогда опосыр ца1иксиа ы^^^^^рс (1) будем называть алг оритмсм упроылысыя а фочыапаС2):

К = Ф(А,0] со)

где ф - алгоритм управления взивисимости ао воздействсы внешней среды G и потребностей субъекта А{. Потребности субъекта управления А{ являются функцией времени, отражая смену приоритетов, в процессе жизненного цикла системы и зависят от изменения состояния системы и воздействий внешней среды (рис. 1).

Р и с. 1. Модель взаимодействия элементов сложной системы в процессе управления при принятии управленческих решений на основе оценки качества иэффектиеноонифункциони рования системы Fig.l. Model ofinteractioK af elemeeas Hf а com^exi^tem in the management process when making managerial decisions based on assessment of quality and efficiencyofthesystem

Далее алгоритм управления ф целесообразно записать в ре-пкооенинно фооме: En+i =(En,At,G).

Тогда са я^тдом ш аые )сы1) втoгoамкоpоттa процасс совер-шсяитмывояия Чпооышеаияэффеютивкостис управления за счет пя чнкиия свсяи^мпыных и аноснованных ^ривыюине-сшсит [иовиныИ по с^м5^н1),т,;^о::ам оценаи каосствт, мпжно вафа-зиыь фороалос ССЫ:

4+по (с,ЕЯмспС < оЦ0О,Емс (3)

+тыяас алпopиомцyпpаымeкиицмможeт ь разбит на две части (оич. ОС: оЮЮ п р*

Нпервом этопе формируются цели управления Z*, на втором этапе по целям управления синтезируется управляющие воздействие Е*:

7* = фИО,оШВ ЧоС = Ф2Испяоп

Разделение алгоритмов управления на две части ф1 и отражают разделение задач управления на задачи решаемые автоматизированной системой управления (АСУ) в составе подсистемы управления и решения принимаемые ЛПР по результатам оценки качества [5], на основе которых синтезируются управляющие воздействия на субъекты управления (Е*). Алгоритм применения предлагаемых методов и способов представлен на рисунке 2.

Р и с. 2. Схема алгоритмаварианта примененияметодов и способов оценки

качества и эффективности функционирования сложных систем F i g. 2. Scheme of the algorithm for the application of methods for assessing the qualityand efficiency of thefunctioningofcomplex systems

В представленных алгоритмах задачи оценки качества (рис. 1 и 2), решаемые АСУ подсистемы управления, могут быть формализованы и выполняться программно-аппаратными сред-ствами,вчастности программамидляЭВМ1.

1 Свидетельство о государственной регистрации программы для ЭВМ № 2020610389 Российская Федерация. Анализ и оценка эффективностисистем: № 2019667306 : заявл. 20.12.2019 : опубл. 14.01.2020 / К. З. Билятдинов. URL: йцекс://ййй\я.еИЬгагу.шЦи:ет.аир?;йц49497а89 (дата обращения: 04.02.2022); Свидетельство о государственной регистрации программ для ЭВМ № 2020615328 Российскня Федерация.Оценаа устойчивости ристея:№ 2029е14СЗС ;

Совркменные информационны. кехнововек и ИТ-ибразоваиие

Том 18, № 1. 2022

ISSN 2411-1473

sitito.cs.msu.ru

2. Сущность и содержание модифицированного методаБЕА для оценки эффективност и с истем

Теоретические основы методологии DEA (Data Envelopment Analysis) для оценки эффектионости сложеых систем были разработаны учёнымиЫ.Чаенееом1 Н.Купером и Е. Рждесезтр (.А.. Charnes, W. Cooper, E. Rhodes) [7, 12, 18, 23, 24]. В дальнейшем в научных работах М . Дж. Ф ар релла (M. J. Farrell) [10] в сфере развития методов непараметричмекогигранично-го анализа были сформулированы и оАоммоыеиы ж^ееммв^ееи^ применения метода DEA на практике:

• результативность (effectiveness) - определени е ст е п ен и достижения цели оцениеевели нинним-Х в оадасе гопе-риод времени;

• экономичность (efficiency) р это оно-онтеношла-рат je-сурсов и результата, днсе-гым-ноч ее,ениочемов совт(-м-)р в заданный пр.ио0 в( ei^^Hi^.

Однако, при всей домеыанной практыеес кой значиммсех орм-менение метода DEA не дает объяснений причноем ыостоянин системы и, соответственно. н е дает до нои-левланой информ-е ции для принятия рационального управленсесмоеорешеееи [7, 10].

Поэтому в отличие от класоичккогаметодн DEA[7. ет,18,о3, 24] в модифицированном методе DEA [2] иепользуется формула Пирсона для расчета корреляционной зависимости с целью выявления причинно-следственных савзей количественных ееачеыхй ре:^улоттеиСТе0^.(^15], етаеже счтннмчтчиещия ме.^^-енмиыхзнаоений в таблочмых фнтмох.

Дно -чс-аслецификифунщионернвания сиоитмы чеыользм-ытся коэффициент 1вмтм) ВЧ'Р3ейееЧВе й"еж р;мт]ч еесеривввнжрЯо каееожя при выеидт л-оЧонн ны вамвнмМыхх нфеничных та допонтимсш прехееее ниoннритcи равнвчм стелю, а ве всех осытлйтых олуонях чeвоРбTР е-еини0-, фч.оуло (4):

p(Qi) =

-1, OHOM Ql<e^l ^Qcm 0, ohom Ql < Ql < Ql

0hCB

Комплексный показател ь эко о сти расход о в ан ия р е сур-

со в (У^, Х2, ... м-системой hei дост ижение результата (C. ) рассчитывается по формуее (6/:

C-c=Z oÄ

TMI

гдес. -это нормиуованный коэффициент важности расходуемого i ресурса;

- это коэффициит э кономичности расхода ресурса Х. в про-ц ессе функционирования системы для достижения результат а У..

в

Значение 5 рассчиты вается по формуле:

л. =-

Xa

Разработаны критерии ре зультативности и экономичности систем.

Предусмотрен расчет ооэффициента эффективности систем с со ставлеезем ррйеи нгр эфрсктивноитй оеинив аемых систем в иебличной (Цоине.

ИмИезлг опройелнев ся по нрр б олрснему значению коэффици-йнта эффокрзености смзнимо! (£) - Цирми-лн (3)р

Oc = 4pPcc + Чс (1 )

ix

(7)

В Модифицирова нномметоде DEA применяются:

- парное сравнений количественных значений всех показателе й р асхода ресурсо в (Хг Х2, ... X) и колич ест вен ных значений достигнутого результата(У);

- оровнение дост игнутоопреоультата (УГ сег) установленны-мг Назовыми(требуомоши) значениями (у) и (или) периодов ооемени функционигооаноу нистнны.

Коэффицнгнн резнльннаиенооано гнгогны(Rj6) рассчитывает-сяпу фсфмуео (5):

_ Y (5)

R j6 - у

J Л

где eR - это нормированный весовой коэффициент важности коэффициента результативности, Rj6, а eC - нормированный весовой коэффициент важности комплексного показателя экономичности, C . [2, C. 614].

Далее целесообразно привести описание разработанного программного обеспеченияитестовыйпример. Модифицированный метод DEA реализован в программе для ЭВМ «Анализ и оценка эффективности систем»2. Программа предназначена для сокращения затрат времени и ресурсов на оценку эффективности и повышение обоснованности управленческих решений за счет возможности сравнения и требуемой детализации израсходованных ресурсов (Х) при анализе и оценке эффективности системы.

Язык программирования: Python. Объем программы: 307 кб. Пример применения программы для ЭВМ «Анализ и оценка эффективности систем»3 для оценки эффективности систем при агрегировании входных переменных ресурсов. Пусть имеется одна входная переменная - это бюджеты эксплуатации четырех одинаковых систем (X1) и один результат, выраженный в количестве суток функционирования системы (Y). Этапы оценки представлены на рис. 3-10.

заявл.25.03.2020 ; опубл. 21.05.2020 / К. З. Билятдинов.

2 Свидетельство о государственной регистрации программы для ЭВМ № 2020610389 Российская Федерация. Анализ и оценка эффективности систем: № 2019667306:заявл.20.12.2019: опубл.14.01.2020 / К. З. Билятдинов. URL: https://www.elibrary.ru/item.asp?id=42497089 (дата обращения: 04.02.2022).

3 Тамже.

Л-L 18. 0Oi С. Ы022 [eOA 2H11нCHPУ oItito.cs.msu.ru

Modern Information Technologies and IT-Education

Система Количество израа[одованньв[ ресурсов Стоимость единицы измерения израсходованного ресурса в тыс. рублей Стоимость затрат ресурсов на достижение результата Количественное выражение полученного результата [у) Стоимость единицы измерения полученного результата Соотношение затрат ресурсов и результата

xl (т.р.) я2<Щ Pi рг «1/у ally

1 збг.о 0.0 1 о 362.0 11Л 3;.67757 30.67797 0.0

г 367.; 0.0 1 0 367.;' 11.1 33.06306 33.06306 0.0

3 367.5 0.0 1 0 367.5 10.7 34.34579 34,34573 0.0

4 368.5 0,0 1 о 365.0 10.2 36X7343 36,07843 0.0

Р и с. 3. Результаты расчетов F i g. 3. Calculation results

Система Количество набранный баллов п о результату Количество набранный баллов по стоимости общ Количество набранньщ баллов го расходу xl Количество набранный баллов по расходу >:2 Количество набранный баллов по общ. ст. ед. изм. результата Общее количество баллов

1 4 4 4 4 4 20

Z 3 3 3 3 3 15

3 2 2 2 2 2 10

4 1 1 1 1 1 5

:истем по наибольшему значению набранных баллов, при условии р а оных коэффициентов важности показателей оценки эффективности: : 1.1-20 2.2-15 3. 3 -10

Р и с. 4. Результаты расчетов рейтинга систем за время их функционирования F i g. 4. The results of system rating calculations for the period of their operation

1 место

2 место

3 место

4 место

fl 1

Система 1 Система 2 Система 3 Система 4

Р и с. 5. Рейтинг эффективности систем за время функционирования F i g. 5. Rating of systems efficiency during operation

Степень корреляцион между парами значений показателей

корреляция 0<|г|<0,5 корреляция 0,5 < |г| < 0,7 Средняя корреляция 0,7 < |г| < 0,8 корреляция 0,8 < [г( < 0,9 Очень высокая корреляция 0,9 < |г| <1

X1/Y HX2/Y X1 I4Y г = -0,9092988098824766

XI ИХ2 Собщ.иУ г = -0,9092988098824766

Х2 И Y

Р и с. 6. Корреляционная зависимость между бюджетом (Х^ и результатом (У) F i g. 6. Correlation between budget (X^) and result (Y)

Современные информационные технологии и ИТ-образование

Том 18, № 1.2022 ISSN 2411-1473 sititoxs.msu.ru

Р и с. 7. График зависимости между бюджетом и результатом: в системе1

меньше бюджет - больше результат F i g. 7. Dependence graph between budget and result: sysTemlless ЬиТрме-more result

Р и с. 8. Количество суток функционирования систем F i g. 8. Number of days of systems functio niog

Р и с. 9. Распределение бюджета по оцениваемым сист емам F i g. 9. Distribution of budget by Systems Evaleated

Р и с. 10. Сравнение стоимости одних суток функционирования си стем F i g. 10. Comparison of the cost of one day of system operatioe

Вывод: система 1 показала лучший результат при существенно меньшем расходе бюджетных средств. При этом в других системах наблюдалось незначительное изменение результата от потраченного бюджета (рис. 7 - 10).

3. Способы расчета комплексных показателей оценки качества систем

Для наиболее рационального применения пяти разработанных способов предусмотрены следующие правила, учитывающее условия функционирования оцениваемых систем [1]. 1 . Первые двасп особа применяютсякогда испол ьзуемые в расчетах показателикачества деляссо на ,с,весруппа1. Пеаеая ррувпа. Поквсвтели, сую лучнсам счпеается даимень-шеванаденле локазетелвоцвнки кнрвствс С^ЩО тс ссеь пока-патели колиаептвенные з^^1^(бниякрна]Э1^1^ а адеахо должны Тыоь минямелано ренуцсов), 1.1

- количвство выбаанных поквеателейтачсства систом первой аруппы.

В торая группа. Показатели, где лучшим считается наибольшее еггапеыеор показоткля яценои )[<.алеет1^£1 (Р2/), те ектппаказате-линсличественные значения которых в идеале должны быть максимальна воеможныв (нопример, врема експлувтации в неблвсоп^ктных ycлoвицxУ;Z- г- еьлиеecтвг вб1брянных по-косатслейноцестсб сиетем етдро^^ппы!. 2. вслт .сеш^лл ооказатени качества не делить на вышеизложенных груепы, тоивпоцьзуютоо третий и 1^(^твеа,вьссв1 гпособы ог-внкт- оакества нп осилен мест я оeйтунгеcистем, гце Мр.г -нлег-о-яо в ргйтинее оиотвмос г -он ][-покесьтeлш о.енки 1тачества

Сеч)-

В фтpмoрьоpaчнета используютак чпелт]иЩиeoбазнaчeния:

- Р]( о- бссоое-н /-покауетчео оцснке качество плетем, гаответ-ететна[сг, Ри( . 1 группы и СТ,е - /-яокоеарель У группы;

- т] "у нормиpoоонные се(УB[[CBт^У]Cиeн()го.] важности поназателей наче-еиз (моеут быть лассчитаны на оеноое чненнй экспертов (рит. 0-й.

Первый спосоО] (оснолнойу. Вагчат комилвксногзпоназателя осенни пачекова сиааемы и ЗГ^у2С с тчпотьгованием енткений д. р базовая форнула УрУ(

i=l.l P1if,

p

)

(8)

Вторей спогаи.Васчет комплексноте показателя оценки качества сист литы я 0QgzT ботсспольеован ртя значений норми рован-ныхкеэффициевтоввежнпсти потазаттлейкачтетва [д) - ба-зо вая формула (9):

11 Р 2k Ps (9)

i?»

а^Г1-^!/'

i=2.1

-)

i=i l

Третий способ. рксчет к о мплевеного показателя оценки каче-отва тистемы zO П .Л на ояносе ройтин га -t ^^ачений .со - базо-

вия формула (10):

i= 1

(10)

TM

Vol. 18, No. 1. 2022 ISSN 2411-1473 sitito. cs.msu.ru

Modern Informati on Techaologies

атгМТ-уН| irari on

В третьем способе с ост авление рейтинга систем осуществля-етсяпо наит ольшему значеяию>НяМг:

^еМг^х > ЗеМ-у > ■■■ > (ЗеМг^п о а

соответственно, это правило действует и в четвертом способе длязначений QMz [1,С.22].

Четвертый способ. Расчет комплексного показателя оценки качества системы г №вШ) на основе рейтинга и без использований значений 2-6 азовая формула (11):

а„ = а1+(тр-м~ н ) (14

г=1

Пятый способ. Комплексная оценка качества систем путем совместного применения четырех вышеизложенных спос(бов или их комбинаций - базовая формула (12):

Qк <?МгМ (12)

Данный способ наш.ливое применение в комслексной меро-дике оценкн качества [Ч] и оденет использоваться для сравнительного анализа результатов оценки, полученных разными способами4.

4. Методика оценки вероятности выхода из строя заданного количества элементов сложной системы в зависимости от вероятности выхода одного элемента в ее составе

Назначение (возможности) методики и программы для ЭВМ5:

1. Для расчета действительных значений вероятности (Рп(х)) одновременного отказа (неисправности) количества элементов (х) в составе системы, при одновременном отказе которых система гарантирооанно )т выполнит свои функции, и кумуля(иотоН в()аятности ^п(х)). Расчеты осуществляются в зависимости от заданной вероятности отк аза одного элемен-оа(НсСО и общего количества оцениваемых элементов (п) в с оставе системы, от которых зависит выполнение одной или нескильоих )ункций системы и (или) функционирование си-с т ем ы в целом за заданный период времени.

2. Для анализа зависимостей значений (Рп(х) и Fn(x)) друг от д руг и, а также от вероятности отказа одного элемента (Рп(1)) и лчлиоествес ценив аемыхэлемеитчо Сп)■

3. Для определения количества элементов (х и п) и требований к значениям базовых вероятностных показателей (Рп(1), Рп(х) и ОпС)- в сфоре выполнения отдельных функций (функции) системы или в сфере эффе кт и вно го функцио нировшн ия всей системы.

Рис.11.Результатырасчетовиграфикидля n=63,x=41,P(1)=0,04 F i g. 11. Calculation results and graphs for n=63, x=41, Р(1)=0,04

4 Тамже.

5 Свидетельство о государитсеенш °ргвстреции прчграмодооЭВМ № 2020615328 Российская Федерация. Оценка устойчивости систем: № 2020614034 ; заявл. 25.03.2020 ; оабл. 21.0Р.С020 р О 3. Биентеонов.

Совре минные информационные технологии и ИТ- об^зованин

Том 18, № 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru

4. Для расчета и сравнения значений х, п, Рп(1), Р (х) и Fn(x) с их базовыми показателями (требованиями) или со значениями за разные периоды функционирования системы или для сравнения со значениями данных показателей других аналогичных систем.

5. Для определения «слабого звена» при функционировании системы: при выполнении какой функции системы вероятность невыполнения функции будет наибольшей, то есть наступит тот случай, когда значение РП(х) будет наибольшим.

6. Для экономии времени и ресурсов на испытание количества оцениваемых элементов (х и п) в реальных условиях при известном значении Р(1), за счет прогнозирования вероятности в сфере устойчивого функционирования систем (путем построения таблиц значений Рп(х) и Fn(x)) [4, 11, 20, 25]. Краткая последовательность действий при выполнении методики:

1. Определение исходных данных для оценки качества систем.

1.1. Формулировка цели (назначения) применения методики и программы для ЭВМ, с помощью выбора и комбинации вышеописанных пунктов 1 - 6 назначения методики.

1.2. Определение функции (функций), на выполнения которой влияют оцениваемые элементы, или установление минимально необходимого числа систем (элементов одной системы), при котором система будет находится в требуемом состоянии.

1.3. В зависимости от цели применения методики (п. 1-6 назначения) задать исходные значения х, п, или Рп(1).

2. Выполнение расчетов и построение графиков - примеры на рисунке 11.

2.1. !

Р„ (х) = С'Р' (1 - Р)"-' =---Рх (1 - Р)"-х (1)

х!(- - х)!

где Спх - число сочетаний из п элементов по х. 2.2. " х

Fn (х) = Х Рп (к) (2)

к=0

Кумулятивная вероятность зависит от х, п, Р.

2.3. Если на практике объем п небольшой, то для расчета Р/х)

рационально использовать формулу (3):

4^1 (3)

P ( X) =

Pn (1 + x)2(1-p)

P(n-x)

3. Оформление результатов оценки.

Основной недостаток методики: для расчетов необходимо знать действительное значение вероятности отказа одного элемента системы (Р(1)).

Методика реализована в программе для ЭВМ «Расчет и анализ вероятностных характеристик системы»6, которая может применяться для моделирования и анализа вероятности отказов заданного числа элементов системы и кумулятивной вероятности.

Возможности программы: расчет вероятности отказов числа элементов системы и кумулятивной вероятности в зависимости от общего количество отказов элементов в системе. Программа выполняет построение и сравнение графиков и таблиц, а также их сохранение и экспорт в Word и (или) в Excel.

Язык программирования: Java. Объем программы: 324 кб. Пример применения программы для ЭВМ «Расчет и анализ вероятностных характеристик системы»7 при решении задачи в какой из двух систем связи, имеющих в эксплуатации разное количество средства связи (выполняющих одинаковые функции), но двух разных типов (разных производителей) вероятность потери связи, будут выше: РД9) или Р2(10). Для решения задачи даны следующие исходные данные: В первой системе связи (далее - система 1) эксплуатируется количество радиостанций n1=63. Определено, что одновременный отказ х1 =9 и более числа средств связи приведёт к потере связи. При этом вероятность отказа одного средства связи первого типа, функционирующей в системе 1, будет равна Р1(1)=0,038.

Во второй системе связи (далее - система 2) соответственно даны значения показателей n2 = 56, х2 = 10 и вероятность отказа средства связи второго типа, функционирующей во второй системе Р2(1)=0,044.

Решение: по результатам расчетов получаем для системы 1 значение P1(9) = 0,000483 (табл. 1, рис. 12, 13, 14), а для системы P2(10) = 0,000122 (табл. 2, рис. 15, 16, 17).

Т а б л и ц а 1. Результаты расчета вероятностных характеристик системы 1

T a b l e 1. Results of calculating the probabilistic characteristics of system 1

X F1(x) P1(x)

0 0.08710 0.08710

1 0.30386 0.21675

2 0.56929 0.26542

3 0.78248 0.21318

4 0.90879 0.12631

5 0.96768 0.05887

6 0.99015 0.02248

7 0.99739 0.00723

8 0.999390 0.00199

9 0.99987 0.00048

Р и с. 12. График вероятности отказа средств связи первого типа в системе 1 F i g. 12. Graph of the probability of failure of communication facilities of the first type in system 1

I I I i i—i—n

1С

Р и с. 13. Кумулятивная вероятность отказа средств связи первого типа в системе 1

F i g. 13. Cumulative probability of failure of communication means of the first type in system 1

6 Там же.

7 Там же.

Vol. 18, No. 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

0,2 - ^ 0,1 - н"""""^

О-в I I I I - I I I I I I I I - I I I I I I -1-1 I I I I I I -i-

0,087 0,1 S7 0.287 0,387 0437 0.587 0,687 0,787 0.887

FM

Р и с. 14. График зависимости P1(x) от F1(x) в системе 1 F i g. 14. Graph of P1(x) vs. F1(x) in system 1

Т а б л и ц а 2. Результаты расчета вероятностных характеристик системы 2

T a b l e 2. Results of calculating the probabilistic characteristics of system 2

X F2(x) P2(x)

0 0.08047 0.08047

1 0.28787 0.20740

2 0.55039 0.26251

3 0.76787 0.21748

4 0.90049 0.13262

5 0.96398 0.06348

6 0.98882 0.02483

7 0.99692 0.00816

8 0.99928 0.00230

9 0.99988 0.00005

10 0.99999 0.00001

X

Р и с. 15. График вероятности отказа средств связи второго типа в системе 2 F i g. 15. Graph of the probability of failure of communication facilities of the second type in system 2

Р и с. 16. Кумулятивная вероятность отказа средств связи второго типа в системе 2

F i g. 16. Cumulative probability of failure of communication facilities of the second type in system 2

fm

Р и с. 17. График зависимости P2(x) от F2(x) в системе 2 F i g. 17. Graph of P2(x) vs. F2(x) in system 2 Вывод: вероятность потери связи меньше в системе 2, чем в системе 1 на AP12 = 0,000361.

5. Применение предлагаемого методического обеспечения в рамках существующих университетских программ и специальностей ВАК России

Анализ и систематизация результатов применения предлагаемого методического обеспечения, позволили составить рекомендации по развитию и совершенствованию компетенций студентов высших технических учебных заведений в рамках существующих образовательных программ (табл. 3).

Т а б л и ц а 3. Рекомендации по применению методического обеспечения инновационной оценки качества функционирования одного класса

сложных систем в образовательных программах T a b l e 3. Recommendations for the use of methodological support for innovative assessment of the quality of functioning of one class of complex systems

in educational programs

Образовательные программы Практические занятия Лабораторные работы Производственная практика Выпускная квалификационная работа

Бакалавриат

09.03.02 Информационные системы и технологии Оценка качества программно-аппаратных средств Оценка эффективности систем и технологий Сравнение результатов применения технологий связи Обоснование выбора лучшей телекоммуникационной системы

09.03.03 Прикладная информатика Оценка качества программных систем Оценка эффективности программныхсистем Оценка эффективности функционирования программных систем Оценка качества аппаратно-программных средств

11.03.02 Инфоком-муникационные технологии и системы связи Оценка качества средств связи Экспертная оценка систем и технологий связи Оценка эффективности функционирова-ния оператора связи Оценка качества систем и средств связи

Магистратура

09.04.01 Информатика и вычислительная техника Обоснование отдельных требований технического на разработку программных систем Обоснование базовых требований к значений показателей качества программных систем Оценка эффективности функциониро-вания программных систем Разработка программного обеспечения. Оценка эффективности внедрения результатов ВКР

Современные информационные технологии и ИТ-образование

Том 18, № 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru

Образовательные программы Практические занятия Лабораторные работы Производственная практика Выпускная квалификационная работа

09.04.02 Информационные системы и технологии Оценка эффективности источников информации Моделирование состояний устойчивости систем связи Оценка эффективности функциониро-вания систем связи Оценка эффективности внедрения результатов ВКР

09.04.03 Прикладная информатика Обоснование отдельных требований технического на разработку программного обеспечения Моделирова-ние состояний устойчивости про-граммныхсистем Оценка эффективности функциониро-вания программных систем Разработка программного обеспечения. Оценка эффективности внедрения результатов ВКР

27.04.03 Системный анализ и управление Анализ корреля-ци-онной зависимости значений переменных при оценке результативности и эконо-мич-ности систем Анализ и синтез струк-турно-функциональ-ных моделей одного класса сложных систем Рациональное использование мнений экспертов в интересах повышения эффективности систем Обоснование рекомендаций по совершенство-ва-нию управления. Оценка эффективности систем.

В диссертационных исследованиях разработанное методическое обеспечение может быть применимо для разработки и совершенствования квалиметрических методов оценки качества объектов, согласно пункту 4 паспорта научной специальности 05.02.23 «Стандартизация и управление качеством продукции».

Однако, в большой степени данный инструментарий рационально применять при разработке научных результатов диссертационных исследований, предусмотренных пунктами 1, 3, 11 и 13 паспорта научной специальности 05.13.01 «Системный анализ, управление и обработка информации». Дополнительно методическое обеспечение может рационально применяться для выполнения задач анализа и синтеза архитектуры сложных систем, моделирования динамики значений показателей качества систем, для оценки эффективности внедрения научных результатов и (или) оценки качества разработанных (исследуемых) технических систем в диссертационных работах, соответствующим паспортам следующих специальностей ВАК:

05.11.16 - Информационно-измерительные и управляющие системы (по отраслям);

05.22.08 - Управление процессами перевозок; 08.00.05 - Экономика и управление народным хозяйством; 08.00.13 - Математические и инструментальные методы экономики;

05.02.11 - Методы контроля и диагностика в машиностроении;

05.02.22 - Организация производства; 05.11.15 - Метрология и метрологическое обеспечение; 05.13.06 - Автоматизация и управление технологическими процессами и производствами (по отраслям).

6. Дискуссия о перспективах применения методического обеспечения в системной инженерии

Предлагаемый математический аппарат пригоден для выполнения ряда важных практических задач в сфере реализации современных подходов, основанных на системной инженерии. В свою очередь данное утверждение основывается на работе [26], в которой представлены направления приложения и развития современной системной инженерии. В [26] обосновывается целенаправленное существенное повышение качества и безопасности, снижение или удержание на

допустимом уровне рисков и/или снижение затрат (в т.ч. непроизводительных) на создание и эксплуатацию систем различной области приложения.

В этом случае разработанный математический аппарат будет являться развитием предложенного в [26] инновационного подхода к управлению качеством функционирования одного класса сложных систем и при этом будет способствовать рациональному решению актуальных задач, изложенных в научных работах [27, 28, 29].

В научной статье [27] предложен подход к практическому осуществлению работ по прогнозированию рисков для обеспечения качества информации в сложных системах (являющихся системами высокой доступности). Показано, что в основе лежат принципы системной инженерии и апробированные вероятностные модели.

В [28] обосновывается утверждение, что перспективная системная инженерия, выходя далеко за сегодняшние рамки, должна ориентироваться на системы будущего, становящиеся более разумными, самоорганизующимися, ресурсоэффектив-ными, безопасными, устойчивыми, а также поддерживаться междисциплинарной теоретической основой. При этом в научной работе [29] изложены перспективные направления развития системной инженерии, предусматривающих для своей реализации применение риск-ориентированного подхода в жизненном цикле сложных систем.

Таким образом, опыт применения методического обеспечения инновационной оценки качества функционирования одного класса сложных систем обосновывает перспективы использования данного математического аппарата для обеспечения приоритетных направлений развития системной инженерии, актуальных и важных для устойчивого функционирования экономики Российской Федерации.

Заключение

Таким образом, сущность предлагаемых инноваций заключается в комплексном применении при оценке качества и эффективности систем (рис. 2) разработанных способов и методов, основанных на использовании действительных значений показателей качества.

Важность реализации системного подхода в исследуемой предметной области и структурно-функциональная сложность оцениваемых систем [12, 30, 31, 32] повышают значимость данных инноваций при совершенствовании процессов

Vol. 18, No. 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

управления системами.

Важно отметить, что теоретически одним из перспективных направлений рационального применения разработанных методик может являться регистрация сложных событий (в пределах видимости на горизонте событий), расчет вероятностных характеристик сценариев их развития, взаимосвязей

и оценки возможных последствий в интересах повышения эффективности исследования динамики состояний сложных систем [8, 9, 25, 32].

Представленные алгоритмы, методы и способы предусматривают возможность их рационального внедрения путем применения компьютерных программах8, что на практике позволяет существенно сократить затраты ресурсов и времени на оценку качества и эффективности систем в процессе эксплуатации.

Список использованных источников

[1] Билятдинов К. З. Комплексная методика оценки качества технических систем // Научно-технический вестник Поволжья. 2020. № 11. С. 20-23. URL: https://elibrary.ru/item.asp?id=44421366 (дата обращения: 04.02.2022).

[2] Билятдинов К. З., Меняйло В. В. Модифицированный метод DEA и методика оценки эффективности технических систем // Информационные технологии. 2020. Т. 26, № 11. С. 611-617. doi: https://doi.org/10.17587/it.26.611-617

[3] Han P., Wang L., Song P. Doubly robust and locally efficient estimation with missing outcomes // Statistica Sinica. 2016. Vol. 26, no. 2. P. 691-719. doi: http://dx.doi.org/10.5705/ss.2014.030

[4] Kalimoldayev M. N., Abdildayeva A. A., Mamyrbayev O. Zh. Information system based on the mathematical model of the EPS // Open Engineering. 2016. Vol. 6, issue 1. P. 464-469. doi: https://doi.org/10.1515/eng-2016-0053

[5] Zou G., Faber M. H., González A., Banisoleiman K. A holistic approach to risk-based decision on inspection and design of fatigue-sensitive structures // Engineering Structures. 2020. Vol. 1221. Article number: 110949. doi: https://doi.org/10.1016/j. engstruct.2020.110949

[6] Lütje A., Wohlgemuth V. Tracking Sustainability Targets with Quantitative Indicator Systems for Performance Measurement of Industrial Symbiosis in Industrial Parks // Administrative Sciences. 2020. Vol. 10, issue 1. Article number: 3. doi: https://doi. org/10.3390/admsci10010003

[7] Ratner S., Ratner P. Developing a Strategy of Environmental Management for Electric Generating Companies Using DEA-Methodology // Advances in Systems Science and Applications. 2017. Vol. 17, no. 4. P. 78-92. doi: https://doi.org/10.25728/assa.2017.17.4.521

[8] Baker J., Henderson S. The Cyber Data Science Process // The Cyber Defense Review. 2017. Vol. 2, issue 2. P. 47-68.

[9] Calabrese R., Osmetti S. A. A new approach to measure systemic risk: A bivariate copula model for dependent censored data // European Journal of Operational Research. 2019. Vol. 279, issue 3. Р. 1053-1064. doi: https://doi.org/10.1016/j.ejor.2019.06.027

[10] Farrell M. J. The Measurement of Productive Efficiency // Journal of the Royal Statistical Society, Series A (General), Part III. 1957. Vol. 120, no. 3. P. 253-281. doi: https://doi.org/10.2307/2343100

[11] Price M., Walker S., Wiley W. The Machine Beneath: Implications of Artificial Intelligence in Strategic Decision making // PRISM. 2018. Vol. 7, no. 4. P. 92-105. URL: https://www.jstor.org/stable/26542709 (дата обращения: 04.02.2022).

[12] Banker R., Kotarac K., Neralic L. Sensitivity and stability in stochastic data envelopment analysis // Journal of the Operational Research Society. 2015. Vol. 66, issue 1. P. 134-147. doi: https://doi.org/10.1057/jors.2012.182

[13] Karagiannis G. On structural and average technical efficiency // Journal of Productivity Analysis. 2015. Vol. 43, issue 3. P. 259-267. doi: https://doi.org/10.1007/s11123-015-0439-x

[14] Putz M., Wiene, T., Pierer A., Hoffmann M. A multi-sensor approach for failure identification during production enabled by parallel data monitoring // CIRP Annals. 2018. Vol. 67, issue 1. P. 491-494. doi: https://doi.org/10.1016/j.cirp.2018.04.079

[15] Синицын И. Н. Шаламов А. С. Стохастические CALS-технологии для послепродажного сопровождения систем высокой доступности // Системы высокой доступности. 2016. Т. 12, № 2. С. 13-27. URL: https://www.elibrary.ru/item.asp?id=26495574 (дата обращения: 04.02.2022).

[16] Синицын И. Н., Шаламов А. С. Методические вопросы развития российской интегрированной логистической поддержки для управления жизненным циклом наукоемкой продукции // Системы высокой доступности. 2016. Т. 12, № 3. С. 3-8. URL: https://www.elibrary.ru/item.asp?id=27706562 (дата обращения: 04.02.2022).

[17] Yang R., Zheng W. X. Output-Based Event-Triggered Predictive Control for Networked Control Systems // IEEE Transactions on Industrial Electronics. 2020. Vol. 67, no. 12. P. 10631-10640. doi: https://doi.org/10.1109/TIE.2019.2958303

[18] Dulá J. H. Computations in DEA // Pesquisa Operacional. 2002. Vol. 22, no. 2. P. 165-182. doi: https://doi.org/10.1590/S0101-74382002000200005

[19] Trevino M. Cyber Physical Systems: The Coming Singularity // PRISM. 2019. Vol. 8, no. 3. P. 2-13. URL: https://www.jstor.org/ stable/26864273 (дата обращения: 04.02.2022).

8 Свидетельство о государственной регистрации программы для ЭВМ № 2020610389 Российская Федерация. Анализ и оценка эффективности систем: № 2019667306 : заявл. 20.12.2019 : опубл. 14.01.2020 / К. З. Билятдинов. URL: https://www.elibrary.ru/item.asp?id=42497089 (дата обращения: 04.02.2022); Свидетельство о государственной регистрации программ для ЭВМ № 2020615328 Российская Федерация. Оценка устойчивости систем: № 2020614034 ; заявл. 25.03.2020 ; опубл. 21.05.2020 / К. З. Билятдинов.

Современные информационные технологии и ИТ-образование

Том 18, № 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru

[20] Gerami J. An interactive procedure to improve estimate of value efficiency in DEA // Expert Systems with Applications. 2019. Vol. 137. Р. 29-45. doi: https://doi.org/10.1016Zj.eswa.2019.06.061

[21] Синицын И. Н. Интерполяционное аналитическое моделирование распределений в сложных стохастических системах // Информатика и ее применения. 2019. Т. 13, № 1. С. 2-8. doi: https://doi.org/10.14357/19922264190101

[22] Билятдинов К. З., Меняйло В. В. Методология оценки качества систем в сфере устойчивости больших технических объектов // Век качества. 2020. № 2. С. 198-214. URL: https://www.elibrary.ru/item.asp?id=43107559 (дата обращения: 04.02.2022).

[23] Banker R. D., Charnes A., Cooper W. W. Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis // Management Science. 1984. Vol. 30, no. 9. P. 1078-1092. URL: https://www.jstor.org/stable/2631725 (дата обращения: 04.02.2022).

[24] Chen J.-X. Overall performance evaluation: new bounded DEA models against unreachability of efficiency // The Journal of the Operational Research Society. 2014. Vol. 65, no. 7. P. 1120-1132. URL: https://www.jstor.org/stable/24503167 (дата обращения: 04.02.2022).

[25] Duer S. Assessment of the operation process of wind power plant's equipment with the use of an artificial neural network // Energies. 2020. Vol. 13, issue 10. Article number: 2437. doi: https://doi.org/10.3390/en13102437

[26] Стандарты, методы и технологии системной инженерии / А. И. Костогрызов, Г. А. Нистратов, А. А. Нистратов [и др.] // Современные информационные технологии и ИТ-образование. 2013. № 9. С. 14-33. URL: https://www.elibrary.ru/item. asp?id=23020507 (дата обращения: 04.02.2022).

[27] Прогнозирование рисков для обеспечения качества информации в сложных системах / А. И. Костогрызов, П. В. Степанов, А. А. Нистратов [и др.] // Системы высокой доступности. 2016. Т. 12, № 3. С. 25-38. URL: https://www.elibrary.ru/item. asp?id=27706565 (дата обращения: 04.02.2022).

[28] Костогрызов А. И., Нистратов А. А. О приоритетных направлениях развития системной инженерии // Современные информационные технологии и ИТ-образование. 2021. Т. 17, № 2. С. 223-240. doi: https://doi.org/10.25559/ S1T1T0.17.202102.223-240

[29] Зацаринный А. А., Костогрызов А. И., Нистратов А. А. Приоритетные направления развития системной инженерии, предусматривающие применение риск-ориентированного подхода // ИТ-Стандарт. 2021. № 4(29). С. 23-37. URL: https://www. elibrary.ru/item.asp?id=48225571 (дата обращения: 04.02.2022).

[30] Shafik M. B., Chen H., Rashed G. Planning and reliability assessment to integrate distributed automation system into distribution networks utilizing binary hybrid PSO and GSA algorithms considering uncertainties // International Transactions on Electrical Energy Systems. 2020. Vol. 30, issue 11. Article number: e12594. doi: https://doi.org/10.1002/2050-7038.12594

[31] Yizhen P., Yu W., Jingsong X., Yanyang Z. Adaptive stochastic-filter-based failure prediction model for complex repairable systems under uncertainty conditions // Reliability Engineering and System Safety. 2020. Vol. 204. Article number: 107190. doi: https:// doi.org/10.1016/j.ress.2020.107190

[32] Zhang Z., David J. Structural order measure of manufacturing systems based on an information-theoretic approach // Expert Systems with Applications. 2020. Vol. 158. Article number: 113636. doi: https://doi.org/10.1016/j.eswa.2020.113636

Поступила 04.02.2022; одобрена после рецензирования 10.03.2022; принята к публикации 20.03.2022.

|об авторах:|

Билятдинов Камиль Закирович, доцент факультета инфокоммуникационных технологий, ФГАОУ ВО «Национальный исследовательский университет ИТМО» (197101, Российская Федерация, г. Санкт-Петербург, Кронверкский пр., д. 49, лит. А), кандидат военных наук, доцент, ORCID: https://orcid.org/0000-0003-4027-1449, k74b@mail.ru

Досиков Василий Станиславович, независимый исследователь (Российская Федерация, г. Москва), доктор экономических наук, доцент, ORCID: https://orcid.org/0000-0001-9017-0721, dosikov@mail.ru

Все авторы прочитали и одобрили окончательный вариант рукописи.

References

[1] Biliatdinov K.Z. Complex method of quality assessment of big technical systems. Nauchno-tehnicheskij vestnik Povolzhja = Scientific and Technical Volga region Bulletin. 2020; (11):20-23. Available at: https://elibraryru/item.asp?id=44421366 (accessed 04.02.2022). (In Russ., abstract in Eng.)

[2] Biliatdinov K.Z., Meniailo V.V. Modified method DEA and methodology of technical systems effectiveness assessment. Informacionnye Tehnologii = Information Technologies. 2020; 26(11):611-617. (In Russ., abstract in Eng.) doi: https://doi.org/10.17587/it.26.611-617

[3] Han P., Wang L., Song P.X.-K. Doubly robust and locally efficient estimation with missing outcomes. Statistica Sinica. 2016; 26(2):691-719. (In Eng.) doi: http://dx.doi.org/10.5705/ss.2014.030

Vol. 18, No. 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

[4] Kalimoldayev M.N., Abdildayeva A.A., Mamyrbayev O.Zh. Information system based on the mathematical model of the EPS. Open Engineering. 2016; 6(1):464-469. (In Eng.) doi: https://doi.org/10.1515/eng-2016-0053

[5] Zou G., Faber M.H., González A., Banisoleiman K. A holistic approach to risk-based decision on inspection and design of fatigue-sensitive structures. Engineering Structures. 2020;]221:110949. (In Eng.) doi: https://doi.org/10.1016/j.engstruct.2020.110949

[6] Lütje A., Wohlgemuth V. Tracking Sustainability Targets with Quantitative Indicator Systems for Performance Measurement of Industrial Symbiosis in Industrial Parks. Administrative Sciences. 2020; 10(1):3. (In Eng.) doi: https://doi.org/10.3390/adms-ci10010003

[7] Ratner S., Ratner P. Developing a Strategy of Environmental Management for Electric Generating Companies Using DEA-Methodol-ogy. Advances in Systems Science and Applications. 2017; 17(4):78-92. (In Eng.) doi: https://doi.org/10.25728/assa.2017.17.4.521

[8] Baker J., Henderson S. The Cyber Data Science Process. The Cyber Defense Review. 2017; 2(2):47-68. (In Eng.)

[9] Calabrese R., Osmetti S. A. A new approach to measure systemic risk: A bivariate copula model for dependent censored data. European Journal of Operational Research. 2019; 279(3):1053-1064. (In Eng.) doi: https://doi.org/10.1016/j.ejor.2019.06.027

[10] Farrell M.J. The Measurement of Productive Efficiency. Journal of the Royal Statistical Society, Series A (General), Part III. 1957; 120(3):253-281. (In Eng.) doi: https://doi.org/10.2307/2343100

[11] Price M., Walker S., Wiley W. The Machine Beneath: Implications of Artificial Intelligence in Strategic Decision making. PRISM. 2018; 7(4):92-105. Available at: https://www.jstor.org/stable/26542709 (accessed 04.02.2022). (In Eng.)

[12] Banker R., Kotarac K., Neralic L. Sensitivity and stability in stochastic data envelopment analysis. Journal of the Operational Research Society. 2015; 66(1):134-147. (In Eng.) doi: https://doi.org/10.1057/jors.2012.182

[13] Karagiannis G. On structural and average technical efficiency. Journal of Productivity Analysis. 2015; 43(3):259-267. (In Eng.) doi: https://doi.org/10.1007/s11123-015-0439-x

[14] Putz M., Wiene, T., Pierer A., Hoffmann M. A multi-sensor approach for failure identification during production enabled by parallel data monitoring. CIRP Annals. 2018; 67(1):491-494. (In Eng.) doi: https://doi.org/10.1016/j.cirp.2018.04.079

[15] Sinitsyn I.N., Shalamov A.S. Stochastic CALS-technologies for highly available aftersale product management systems. Sistemy vysokoj dostupnosti = Highly Available Systems. 2016; 12(2):13-27. Available at: https://www.elibrary.ru/item.asp?id=26495574 (accessed 04.02.2022). (In Russ., abstract in Eng.)

[16] Sinitsyn I.N., Shalamov A.S. Development of Russian integrated logistic support management system for life cycle management: methodological aspects. Sistemy vysokoj dostupnosti = Highly Available Systems. 2016; 12(3):3-8. Available at: https://www.eli-brary.ru/item.asp?id=27706562 (accessed 04.02.2022). (In Russ., abstract in Eng.)

[17] Yang R., Zheng W.X. Output-Based Event-Triggered Predictive Control for Networked Control Systems. IEEE Transactions on Industrial Electronics. 2020; 67(12):10631-10640. (In Eng.) doi: https://doi.org/10.1109/TIE.2019.2958303

[18] Dulá J.H. Computations in DEA. Pesquisa Operational. 2002; 22(2):165-182. (In Eng.) doi: https://doi.org/10.1590/S0101-74382002000200005

[19] Trevino M. Cyber Physical Systems: The Coming Singularity. PRISM. 2019; 8(3):2-13. Available at: https://www.jstor.org/sta-ble/26864273 (accessed 04.02.2022). (In Eng.)

[20] Gerami J. An interactive procedure to improve estimate of value efficiency in DEA. Expert Systems with Applications. 2019; 137:2945. (In Eng.) doi: https://doi.org/10.1016/j.eswa.2019.06.061

[21] Sinitsyn I.N. Interpolatonal analytical modeling in complex stochastic systems. Informatika i ee primenenija = Informatics and Applications. 2019; 13(1):2-8. (In Russ., abstract in Eng.) doi: https://doi.org/10.14357/19922264190101

[22] Biliatdinov K.Z., Meniailo V.V. Methodology of quality assessment of systems in the sphere of stability of big technical objects. Vek kachestva = Age of Quality. 2020; (2):198-214. Available at: https://www.elibrary.ru/item.asp?id=43107559 (accessed 04.02.2022). (In Russ., abstract in Eng.)

[23] Banker R.D., Charnes A., Cooper W.W. Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis. Management Science. 1984; 30(9):1078-1092. Available at: https://www.jstor.org/stable/2631725 (accessed 04.02.2022). (In Eng.)

[24] Chen J.-X. Overall performance evaluation: new bounded DEA models against unreachability of efficiency. The Journal of the Operational Research Society. 2014; 65(7):1120-1132. Available at: https://www.jstor.org/stable/24503167 (accessed 04.02.2022). (In Eng.)

[25] Duer S. Assessment of the operation process of wind power plant's equipment with the use of an artificial neural network. Energies. 2020; 13(10):2437. (In Eng.) doi: https://doi.org/10.3390/en13102437

[26] Kostogryzov A.I., et al. Standarty, metody i tehnologii sistemnoj inzhenerii [Standards, methods and technologies of systems engineering]. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2013; (9):14-33. Available at: https://www.elibrary.ru/item.asp?id=23020507 (accessed 04.02.2022). (In Russ.)

[27] Kostogryzov A.I. Risk prediction for providing information quality in complex systems. Sistemy vysokoj dostupnosti = Highly Available Systems. 2016; 12(3):25-38. Available at: https://www.elibrary.ru/item.asp?id=27706565 (accessed 04.02.2022). (In Russ., abstract in Eng.)

[28] Kostogryzov A.I., Nistratov A.A. About the Promising Directions of System Engineering Development. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2021; 17(2):223-240. (In Russ., abstract in Eng.) doi: https://doi.org/10.25559/SITITO.17.202102.223-240

Современные информационные технологии и ИТ-образование

Том 18, № 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru

[29] Zatsarinny A.A., Kostogryzov A.I., Nistratov A.A. Priority directions of system engineering development, providing for the use of risk-oriented approach. IT-Standart = IT Standard. 2021; (4):23-37. Available at: https://www.elibrary.ru/item.asp?id=48225571 (accessed 04.02.2022). (In Russ., abstract in Eng.)

[30] Shafik M.B., Chen H., Rashed G. Planning and reliability assessment to integrate distributed automation system into distribution networks utilizing binary hybrid PSO and GSA algorithms considering uncertainties. International Transactions on Electrical Energy Systems. 2020; 30(11):e12594. (In Eng.) doi: https://doi.org/10.1002/2050-7038.12594

[31] Yizhen P., Yu W., Jingsong X., Yanyang Z. Adaptive stochastic-filter-based failure prediction model for complex repairable systems under uncertainty conditions. Reliability Engineering and System Safety. 2020; 204:107190. (In Eng.) doi: https://doi.org/10.1016/j. ress.2020.107190

[32] Zhang Z., David J. Structural order measure of manufacturing systems based on an information-theoretic approach. Expert Systems with Applications. 2020; 158:113636. (In Eng.) doi: https://doi.org/10.1016/j.eswa.2020.113636

Submitted 04.02.2022; approved after reviewing 10.03.2022; accepted for publication 20.03.2022.

About the authors:

Kamil Z. Biliatdinov, Associate Professor of the Faculty of Infocommunication Technologies, ITMO University (49 Kronverksky Pr., bldg. A, St. Petersburg 197101, Russian Federation), Ph.D. in Military Science, Associate Professor, ORCID: https://orcid.org/0000-0003-4027-1449, k74b@mail.ru

Vasiliy S. Dosikov, Independent researcher (Moscow, Russian Federation), Dr.Sci. (Economy), Associate Professor, ORCID: https://orcid. org/0000-0001-9017-0721, dosikov@mail.ru

All authors have read and approved the final manuscript.

Vol. 18, No. 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education