УДК 621.45.017 + 004.413.4
Развитие методов оценки эффективности функционирования целенаправленных систем
Ключевые слова:
целенаправленная
система,
динамический
коридор,
трудность
достижения цели,
эффективность
функционирования,
опорный вектор.
А.В. Бочков
ООО « Газпром газнадзор», Российская Федерация, 117418, г. Москва, Новочерёмушкинская ул., д. 65 E-mail: a.bochkov@gmail.com
Тезисы. Предложен комплексный подход к построению системы мониторинга функционирования целенаправленных систем и оценки эффективности достижения ими заданных значений целевых показателей с учетом изменений окружающей среды. В качестве практической реализаций обсуждаемого подхода предложено развитие метода траекторного анализа «трудности достижения цели» И. Руссмана посредством применения метода опорных векторов в задаче оценки значимости изменений факторов риска недостижения поставленной цели (оценка ситуаций по прецедентам) и построения допустимой области эффективного функционирования целенаправленной системы (траекторный анализ).
При изучении экономических, организационных объектов важно выделять класс целенаправленных, или целеустремленных, систем [1]. В этом классе, в свою очередь, можно выделить системы, в которых цели задаются извне (обычно это имеет место в закрытых системах), и системы, в которых цели формируются внутри системы (что характерно для открытых, самоорганизующихся систем). С функционированием систем данного класса тесно связаны вопросы определения их эффективности с точки зрения использования ресурсов для достижения цели.
Сам термин «эффективность» в последние годы стал крайне популярным, вошел, что называется, в моду. Однако излишне частое употребление слов, терминов, словосочетаний и фраз имеет и негативные последствия: возникает опасность искажения их первоначального смысла, своеобразной «девальвации», отрыва от выражаемой ими сущности - реального предмета или явления. Процесс этот начался не вчера, в чем легко убедиться, изучив публикации конца прошлого века. Например, Г.Б. Петухов приводит такие определения эффективности в одной из своих работ [2]: «Эффективность - это научная категория для обозначения единства соответствий, порождаемых действием функционально-целевой детерминации объективных реальностей. ...Эффективность эффективна применимостью сравнимо измеряемого ...критериальной объективностью и ...оптимизацией». Волей-неволей согласишься с автором цитаты, что «подобному определению скорее место в фельетоне, а не в научной статье». Однако, к сожалению, это далеко не единичный пример.
Вместе с тем в упомянутой работе Г.Б. Петуховым сделано исчерпывающее обобщение понятия «эффективность». Отмечено, что бурное развитие «теории эффективности» наблюдалось в период Великой Отечественной войны и особенно послевоенных лет в связи с необходимостью создания новых видов вооружения и разработки новых способов его боевого применения. В этот период «теория эффективности» эволюционировала в основном как составляющая научного направления, предметом которого являлись анализ и оптимальная организация операций на этапе принятия организационных и управленческих решений, - так называемого «исследования операций». Наиболее выдающимся трудом того времени считается статья академика А.Н. Колмогорова «Число попаданий при нескольких выстрелах и общие принципы оценивания эффективности стрельбы», опубликованная в трудах Математического института им. В. А. Стеклова в 1945 г. В названной статье А.Н. Колмогоров предложил оценивать эффективность стрельбы не на основе частных показателей, а по степени объективной возможности выполнения той основной задачи, ради которой эта стрельба производится. С этого времени в «теорию эффективности» прочно
вошел наиболее объективный и информативный показатель эффективности применения оружия - вероятность выполнения боевой задачи (т.е. вероятность достижения цели операции). Высказанные А.Н. Колмогоровым идеи нашли плодотворное развитие в трудах Ю.Г. Мильграма, И.Я. Динера, О.В. Сосюры, Е.С. Вентцель, Ю.В. Чуева и др.
В более поздней работе [3] Г.Б. Петухов обобщил и развил существующие концепции, методологии и методы комплексного (системного) исследования эффективности целенаправленных процессов любой природы, включая методы и методики анализа и оптимального синтеза целеустремленных технических систем и процессов их целевого функционирования.
Проблема оценки эффективности функционирования целенаправленных систем заключается в том, что нет возможности поставить лабораторный эксперимент с хорошо контролируемым изменением переменных и количественно выражаемым ответом тестируемой системы без внесения в нее искусственных возмущений. ПАО «Газпром», например, -очень сложная система, и любое воздействие на нее вызывает множественный эффект, причем некоторые «ответы» сильно запаздывают во времени. Поэтому неадекватность той или иной модели не так просто выявить. Трудности возрастают еще и оттого, что при принятии управленческих решений модель, на которой они основаны, очень редко формулируется четко и в явном виде. Реконструкция такой модели со всеми ее допущениями и предположениями часто представляет собой самостоятельное исследование.
Вместе с тем организация любой деятельности невозможна без использования набора оценок, которые характеризовали бы как процесс, так и продукт деятельности. Это объясняется тем, что в любой сфере организационная деятельность является прежде всего эмпирической. Даже в тех случаях, когда говорят о «теории организации», имеется в виду теория, созданная на базе обобщения большого эмпирического материала. Эта теория, предлагая общие принципы организации и определяя тенденции ее развития, предполагает постоянное экспериментирование как обязательный аспект организационной деятельности. Даже при наличии общих теоретических представлений о процессах, которые подвергаются
управляющему воздействию в коллективах, важнейшим методом совершенствования организации является метод проб и ошибок. Но он дает тем лучшие результаты, чем более совершенным набором оценок «выхода» мы располагаем.
В тех случаях, когда существует возможность сразу оценить продукт деятельности (т.е. имеются измеримые параметры оценки и набор адекватных критериев), можно наладить эффективное управляющее воздействие на процесс с помощью обратной связи и получить близкую к истине экономическую оценку ожидаемой эффективности предлагаемого исследования. Это характерно, например, для многих процессов производства. Но даже здесь часто обнаруживается неадекватность критериев оценки.
Поэтому оценка продукта недостаточна для целей управления и должна дополняться оценкой процесса, цель которой - выявить косвенные индикаторы будущих результатов, обеспечить управляющее воздействие, не дожидаясь сигнала обратной связи из места использования продукта научно-технической деятельности.
Это положение приобретает особое значение в тех отраслях научной деятельности, где ощущается острая нехватка достоверных критериев быстрой оценки результатов этой деятельности. Даже в прикладных исследованиях разрыв во времени между получением результата и его полным использованием так велик, что отзыв «потребителя» не представляет большой ценности для управления данным исследованием. Например, продукция научно-исследовательских и опытно-конструкторских работ (НИОКР) не является, как правило, «серийной», ретроспективное изучение также не дает прямых рекомендаций (хотя необходимо для выявления косвенных индикаторов будущих результатов). В этой связи проблема поиска адекватных критериев оценки результатов научно-исследовательской (и подобной ей) деятельности и косвенных индикаторов для предсказания ее результата является центральной в трудах как российских, так и зарубежных специалистов по экономике науки.
Эффективность научно-исследовательской деятельности - показатель, который предполагает оценку потребителем реальной ценности результата. Для того чтобы судить, например, об эффективности НИОКР, необходимо
определить эффект, т.е. оценить последствия реализации результата (значит, иметь для этого шкалу измерений и критерий оценки).
Общеизвестно, с какими большими трудностями связано определение эффекта исследования. Даже если речь идет о самом наглядном компоненте эффекта - экономическом, следующие главные факторы затрудняют его определение. Результат научно-исследовательской деятельности - это «сырой материал», который реализуется лишь в ходе сложных и дорогостоящих операций (планирования, внедрения, производства, сбыта, использования, обучения, ликвидации побочных негативных явлений и т.д.). В эти операции вовлекается много ресурсов, в них участвуют многие системы (причем участие обязательно включает и творческий аспект). Невозможно определить в конечном эффекте долевое участие одного элемента - результата исследования или разработки. Это подтверждается тем известным фактом, что наиболее частая причина неудач научно-технических проектов и программ - не низкое качество результата исследований, а «нетехнические» факторы, связанные с его реализацией. Поэтому, строго говоря, в области организационных инноваций правильнее вместо «экономического эффекта научно-исследовательской деятельности» говорить об «эффекте, получение которого стало возможным благодаря данной научно-исследовательской деятельности».
Экономический эффект научно-исследовательской деятельности реализуется в течение довольно длительного времени и с достоверностью может быть определен лишь в ретроспективе. Говоря же о новых исследованиях (инновациях), можно ставить вопрос лишь о том, чтобы прогнозировать кривую «жизненного цикла» нововведения, основанную на ожидаемом результате. Кроме того, экономический эффект, получаемый ПАО «Газпром» (как заказчиком работ) в результате использования результата научно-исследовательской деятельности в области организационных инноваций, не локализуется в определенном месте. Через различные механизмы он перераспределяется между многими структурными подразделениями и дочерними обществами. Это перераспределение, в свою очередь, с трудом поддается анализу.
Эффективность - это показатель, который позволяет соотнести выгоды от применения
результата (в широком смысле слова) с затратами на его получение. Важность этого показателя очевидна, но, чтобы его использовать на практике, нужно иметь способ измерения и затрат, и выгод. Тот факт, что и те, и другие делокализованы в пространстве и времени, очень затрудняет оценку достоверности практических расчетов1.
ПАО «Газпром» как любая организационно-техническая система создано для удовлетворения определенных потребностей и служит активным средством целенаправленной деятельности. В процессе его деятельности постоянно возникают проблемы разной степени сложности. Причиной возникновения проблем является расхождение между желаемым и действительным результатами при неизвестных путях преодоления этого расхождения (несоответствия). Для решения проблем необходимо выделить и достаточно четко сформулировать цели деятельности, осуществление которых существенно снижает или устраняет различие между желаемым и действительным результатом. С учетом перечисленных особенностей научно-исследовательских работ оценивать их эффективность справедливо с точки зрения рационального (оптимального) выделения ресурсов на решение возникающих задач и подтверждения уверенности лиц, принимающих решения в ПАО «Газпром», в том, что выделенные на проведение исследований средства позволят получить максимально полный ответ на заданные вопросы.
Под эффективностью научно-технической разработки, например, при таком подходе следует понимать степень различия между реально полученным результатом и желаемым. Необходимо помнить, что возможные альтернативные пути достижения одной и той же цели в общем случае обладают разной эффективностью. Системный анализ рекомендует сравнивать эти пути между собой и выбирать из них лучший на основе эффективности, к которой приводит тот или иной путь (вариант действий). Эффективность в таком понимании вообще является важной категорией системного анализа. Исследование процесса разработки проводится всегда с точки зрения интересов основного субъекта системы, которого называют лицом,
Например, очень легко уменьшить знаменатель, не учитывая расходы на многолетние исследования, формально не связанные с данной разработкой, но послужившие для нее необходимым «сырьем».
принимающим решение (ЛПР). Цель, стоящая перед ЛПР, является той единственной целью, для достижения которой проводится разработка. Цели, стоящие перед другими субъектами системы, могут быть согласованы с основной целью разработки, способствовать ее достижению, а могут противоречить основной цели, противодействовать ее осуществлению.
Эффективность характеризует процессы и воздействия сугубо управленческого характера и отражает прежде всего степень достижения поставленных целей, поэтому эффективностью обладает лишь целенаправленное взаимодействие. В случае невозможности экономической оценки эффективности разработки на начальной стадии работ должно приниматься допущение, что оценка эффективности заключается в выработке так называемого оценочного суждения относительно решения сформулированных перед системой проблем (поставленных целей деятельности) имеющимся составом исполнителей и при условии выделения заказчиком работы достаточных для этого временных и материальных ресурсов. Оценка достаточности требуемых ресурсов, а также требования к потенциальному исполнителю (включая процедуры и методы оценки и самооценки исполнителя) должны быть строго формализованы и описаны.
Прорывными в части разработки аппарата анализа поведения целеустремленных систем можно назвать работы группы воронежских математиков под руководством И.Б. Рус-смана [4-6]. Ими введено в научный оборот понятие так называемой «трудности достижения цели» ёк, которая оценивается при существующих оценках (дк) качества ресурса и требованиях (ек) к этому качеству со стороны заказчика работы.
Из общих соображений должна обладать следующими основными свойствами [4]:
• при ^ = ек быть максимальной, т.е. равной единице (действительно, трудность получения результата максимальна при предельно низком допустимом значении качества);
• при = 1 и > ек быть минимальной, т. е. равной нулю (при предельно высоком возможном значении качества независимо от требований (при ек < 1) трудность должна быть минимальной);
• при > 0 и ек = 0 быть минимальной, т.е. равной нулю (очевидно, если к качеству компоненты ресурса не предъявляются
никаких требований, а ^ > 0, то трудность получения результата по этой компоненте должна быть минимальной).
Для этих трех условий при ек < справедлива функция вида
=
^ (1 "К)
К (1 -в,)
Полагается также, что = 0 при = ек = 0 и й?к = 1 при к = ек = 1
По своей природе понятие трудности достижения цели созвучно понятию риска. Так, за величину риска недостижения целевого значения технико-экономического показателя (ТЭП) программы (рис. 1) предложено [5, 6] принимать расстояние
г (М) = тах < 1п
1
1
где
>1п-
1 - d1 1 - d2
а _£1(1-К) ё = Б2(1-
(1)
М*1 (1 £1)
ИИ и _ ЕМ
г-1 I
М"2 (1 е2)
\т\
\Е1Е1
Е1Е3
"Ни Е еУ^ И
Идея трудности достижения цели при заданных значениях ек вытекает из соображений о том, что получить результат определенного качества тем труднее, чем ниже качество ресурса или выше требования к качеству результата. Сочетание качества ресурса и требований к результату и должно быть оценено эффективностью, или рациональностью,
Я6
о н
5
В С (5;5)
/ / / /
"4У 1 тах /
М(2,5 '
т Е У V ■ тт /
/а г^ <1 / / / /
0 1 2 3 4 5 6
Время
Рис. 1. Геометрическая интерпретация движения ТЭП к целевому значению
4
3
2
1
расходования выделенных на исследования средств, иначе говоря, риском для заказчика потратить эти средства впустую.
В данном смысле трудность достижения цели является мерой несоответствия располагаемых целеустремленной системой ресурсов требованиям к их качеству и объему со стороны заказчика. Причем сами эти требования порождены требованиями к результату функционирования самого заказчика в целом. Можно рассматривать, например, трудность по качеству, времени, затратам.
Делокализация эффекта - не единственная трудность в определении эффективности инноваций. Не менее важна делокализация затрат, которые были необходимы для получения использованного результата. Обычно оценивают эффективность одной, изолированной, разработки, соотнося эффект с затратами на эту разработку. Но постоянно возникает вопрос о правомерности такого подхода2.
Вообще, надежное достижение системой целевых значений в процессе функционирования характеризуется сохранением некоторых заданных показателей в установленных пределах. На практике полностью избежать отклонений при выполнении программы невозможно, однако необходимо стремиться к минимизации отклонений текущего состояния от некоторого заданного идеала, определенного в качестве цели. Сама возможность и области применения понятия «надежность» при определении эффективности функционирования целенаправленных систем в значительной степени обусловлены характером и особенностями
2 Например, в прошлом веке в США была подробно изучена история десяти главных нововведении в лечении сердечно-сосудистых и легочных заболеваний за 1945-1975 гг. В частности, выяснилось, что для осуществления одного из этих нововведений были абсолютно необходимыми 663 ключевых исследования. Отсутствие любого из них не позволило бы достигнуть общего результата. Из этого огромного числа проведенных в разных местах исследований 41,6 % в момент публикации результатов никак не были связаны с целью клинического нововведения. Во время одного из слушаний в конгрессе США по вопросам науки представитель крупной компании заявил, что является скорее исключением, чем правилом, когда удается четко связать радикальное улучшение технических характеристик или снижение себестоимости с конкретным исследованием или разработкой. Как показали многочисленные оценки зарубежных исследователей, радикальные улучшения являются следствием кумулятивного синергического эффекта многих нововведений; каждое же нововведение, взятое в отдельности, обычно приводит лишь к небольшому улучшению либо вообще не имеет эффекта.
организации управления ими. Большинство подобных систем отличает сложная внутренняя структура, а внутреннее состояние системы носит неопределенный характер в силу того, что основу ее составляют люди, действия которых зависят от множества факторов, в том числе неподдающихся контролю со стороны управления.
Каждая целенаправленная система вынуждена действовать к тому же в условиях стремительно меняющейся среды. Логика обстоятельств нередко оказывается сильнее логики намерений, и в итоге от системы перестают требовать оптимальных значений «выходных» параметров, удовлетворяясь допустимыми, эффективность теряет связь с оптимальностью и становится все более связанной с гарантированностью и надежностью. Надежность при этом может рассматриваться и как свойство процесса функционирования системы, определяющее его соответствие некой норме, и как свойство, характеризующее систему с точки зрения возможности достижения поставленной цели.
Применительно к мониторингу целевых показателей риск определяется как степень угрозы недостижения установленных целевых значений. Риск рассматривается как переменная величина, представляющая собой функцию текущего положения показателя: он увеличивается при приближении значения показателя к некоторым допустимым границам, за которыми достижение целевого значения невозможно.
Обозначенный подход к созданию системы мониторинга позволяет решить следующие задачи управления:
1) мониторинга «движения» показателя по траектории к поставленной цели (включая определение точек промежуточного контроля значений показателя в зависимости от эффективности выполнения основной задачи);
2) определения допустимого значения риска, превышение которого является нежелательным.
Оптимальной траекторией, которая будет характеризоваться минимальной трудностью достижения цели и, соответственно, максимальной эффективностью системы в достижении цели, является диагональ параллелограмма, соединяющая начало координат и целевое значение (С) допустимых значений показателя (см. рис. 1). Задача управления - удерживать систему на оптимальной траектории. Она
не так проста, как может показаться на первый взгляд.
Во-первых, мониторинг (и, соответственно, управление) осуществляется по значениям интегрального показателя, а, как отмечается исследователями [7-9], в настоящее время не разработано законченной и подтвержденной практикой методологии построения такого показателя для класса структурно сложных систем.
Во-вторых, метод Руссмана не позволяет своевременно отслеживать изменения внешних факторов, влияющих на достижение системой целевого значения выбранного интегрального показателя. А значит, невозможно предсказать ожидаемое отклонение показателя от оптимальной траектории движения до следующей точки контроля. И, самое главное, невозможно сказать, насколько критичным будет это отклонение. Сможет ли система все же достигнуть цели?
Для комплексного решения задачи обеспечения эффективного функционирования целенаправленной системы требуется развивать описанный подход в двух направлениях. Первое связано с идентификацией состояния объекта управления по его наблюдаемым (известным) параметрам. Для этого нужно научиться формировать на основе априорной информации обобщенные образы - классы состояний объекта. Получить необходимые знания из набора имеющихся данных можно с помощью методов добычи данных - классификации и кластеризации. Нередко вместо точного вида математической модели управляемого объекта (например, опасного производственного объекта (ОПО) дочернего общества) доступна только априорная информация о ней (оценка составляющих статей программ и мероприятий, направленных на обеспечение эффективного выполнения стоящих перед объектом задач), управляющих воздействиях на объект и результатах этих воздействий. В терминах вывода по прецедентам информация о состоянии объекта - это описание проблемы, а выдача управляющего воздействия есть решение проблемы; тогда результат управляющего воздействия необходимо рассматривать как результат применения решения.
Предлагаемый подход [7, 10] решает задачу моделирования управления такого рода объектами по прецедентам, основываясь на классах состояний (есть авария / нет аварии). По сути, это означает, что предложен
подход к интеграции методов «добычи» данных на основе прецедентов и адаптивного управления единой самообучающейся системой, позволяющей управлять объектами с плохо формализуемым поведением. Состояние объекта управления сравнивается с прецедентами из заранее накопленной базы данных. На основе некоей меры близости, в качестве которой предложено использовать расстояние Хемминга, выбирается один из похожих прецедентов. Расстояние Хэмминга - число позиций, в которых соответствующие символы двух рав-нодлинных описаний сравниваемых ситуаций различны. В более общем случае расстояние Хэмминга применяется для строк одинаковой длины и служит метрикой различия (функцией, определяющей расстояние в метрическом пространстве) объектов одинаковой размерности. Например, такими объектами могут служить описания статей расходов на улучшение промышленной безопасности в организации, дополненные индикаторами промышленной и пожарной безопасности и охраны труда (всего около 400 параметров).
В иерархической системе натуральных и экономических показателей и индикаторов, используемых в ПАО «Газпром», в качестве обобщенного показателя для указанных выше целей был предложен [11] показатель потерь используемого капитала LACE (англ. lose of average capital employed) - безразмерный параметр (измеряется в процентах), определяемый как отношение размера внеплановых потерь с учетом страховой защиты к среднему используемому капиталу:
LACE =
UPL(1 - Ins) ACE '
(2)
где UPL (англ. unplanned losses) - внеплановые потери; Ins - показатель страховой защищенности внеплановых потерь; ACE (англ. average capital employed) - средний используемый капитал.
В качестве «базы» для расчета LACE выбран3 средний используемый капитал. По своей природе показатель LACE отражает результат усилий, предпринимаемых компанией по обеспечению на эксплуатируемых ОПО требуемых законодательством уровней промышленной,
3 По аналогии с определением стратегического
целевого показателя ПАО «Газпром» 1-го уровня -рентабельности используемого капитала ROACE (англ. return on average capital employed).
пожарной безопасности и охраны труда. Положительная динамика значений показателя соответствует снижению текущей аварийности и общего числа нештатных ситуаций на ОПО, приводящих, как правило, к внеплановым потерям. Отрицательная динамика, напротив, говорит о росте таких ситуаций и, соответственно, снижении общего уровня производственной безопасности на подконтрольных объектах. Другими словами, положительные (1) и отрицательные (0) отклонения LACE в момент времени t от значения в момент времени t - 1 «оценивают» соответствующий моменту времени t уровень производственной безопасности ОПО. В качестве интегрального показателя здесь выступает не взвешенная свертка базовых индикаторов, а положительное либо отрицательное отклонение показателя, характеризующего уровень внеплановых потерь и учитывающего уровень страховой защищенности ОПО оцениваемого дочернего общества и его средний используемый капитал. Совокупность индикаторов, оцененных посредством учета отклонений интегрального показателя LACE, в данном случае и описывает так называемые прецеденты.
На практике, как говорилось ранее, полностью избежать отклонений от оптимальной траектории движения к цели невозможно, однако необходимо стремиться к минимизации отклонений текущего состояния от некоторого идеала - цели, заданной, например, в виде критериальных значений LACE [12]. Мера угрозы отрицательных отклонений LACE рассматривается в данном случае как переменная величина, представляющая собой функцию относительно текущего положения системы: она увеличивается при приближении оцениваемой текущей ситуации к некоторой допустимой границе, после достижения которой система не может выполнить свои обязательства по улучшению значений интегрального показателя.
Общая математическая постановка для описываемого случая: заданы множество X признаков текущей ситуации (например, текущие значения индикаторов, характеризующих затраты на обеспечение производственной безопасности ОПО, а также индикаторы аварийных и нештатных ситуаций на них), множество Y допустимых реализаций ситуации (например, текущее значение интегрального показателя LACE больше (или меньше) предыдущего и т.п.) и целевая функция y*: X — Y, значения которой y ¡ = y*(x,) известны только на конечном
подмножестве объектов {xj, ..., x,} сX (например, соответствующие текущему значению LACE значения индикаторов, описывающих состояние ОПО). Пары «объект - ответ» (x,, y) называют прецедентами. Совокупность пар X1 = (x,, y,)j,=1 = 1 составит при этом обучающую выборку. Требуется по выборке x1 восстановить зависимость y*, т.е. построить решающую функцию A: X —> Y, которая приближала бы целевую функцию y*(x), причем не только на объектах обучающей выборки, но и на всем множестве X.
В такой постановке индикаторы (по сути -факторы рисков) выступают в качестве признаков текущей ситуации, оцениваемой значением LACE. Признаки могут быть бинарного (1/0, красный/зеленый), номинального (множество значений), порядкового (множество упорядоченных значений) или количественного типа. В случае если текущее значение интегрального показателя LACE по сравнению с предыдущим значением улучшилось, текущая ситуация оценивается положительно (например, кодируется как «1»), в противном случае - отрицательно (например, кодируется как «0»). При наличии трех «замеров» ситуации (текущая, предыдущая и предпредыдущая) возможна более сложная (но и более точная) оценка текущего состояния через динамические характеристики скорости и ускорения изменения значения LACE за период наблюдений. Об этом будет сказано ниже.
Вообще, задачи, связанные с необходимостью классификации ситуаций, возникают достаточно часто, а именно: при диагностике заболеваний на основании набора определенных, характерных для него, факторов; при технической диагностике машин и механизмов; оценке финансовой устойчивости контрагентов, участвующих в конкурсах на выполнение тех или иных услуг, заемщиков банков; оценке качества управления; анализе факторов рисков и аварий. Как правило, описание таких ситуаций оформляется с помощью вопросников. Каждый объект классификации представляется как вектор (точка) в /»-мерном пространстве (упорядоченный набор р чисел). Хотя решения о классификации анализируемых ситуаций принимаются не только и не столько на основании ответов на вопросы вопросников (признаков), однако оцененные вопросники содержат скрытые закономерности, позволяющие при наличии достаточно представительной
статистики «повторять» ранее принятое решение для новых данных. Метод опорных векторов [13], рассматриваемый как частный случай регуляризации по Тихонову, позволяет построить границу, разделяющую множество подобных объектов на обособленные классы. Основная идея заключается в построении (на основе анализа признаков) внутренних связей между неочевидными наборами «правильных» параметров описания и классифицирующими признаками ансамбля деревьев логических формул. Это позволяет однозначно классифицировать ситуацию или исключать ее из дальнейшего рассмотрения.
За исходную информацию были взяты данные системы мониторинга изменений на объекте управления (например, ОПО), происходящих вследствие тех или иных мероприятий в области улучшения производственной безопасности, осуществляемых в эксплуатирующих организациях. Статистическая обработка форм сбора этой информации позволяет выделить направления работ, наиболее актуальные для эффективного и безаварийного функционирования и устойчивого развития ОПО. Аварийные события, происходившие в прошлом, составляют базу знаний о ранее возникавших прецедентах, проблемах, разрешение которых потребовало наибольшего сосредоточения усилий в области повышения производственной безопасности. По сути, можно говорить об анкетах ежеквартальной оценки ситуаций на ОПО как об элементе системы раннего предупреждения и диагностики нежелательных состояний ОПО, средстве выявления его «болезней» на ранних стадиях.
Оценка описания ситуации с затратами на улучшение производственной безопасности с целью нахождения устойчивых сочетаний, повторяющихся у большинства аварийных ситуаций, возникавших в прошлом на ОПО, - типичная задача классификации дискретных объектов, а именно задача теории распознавания образов.
Решатель (аудитор, классификатор, распознаватель) всегда сохраняет найденный порядок до тех пор, пока не отброшены существенные ключевые признаки, по которым строится частичный порядок. Задача построения решателя фактически сводится к необходимости построить модель «серого ящика», тестирующего входы и выходы некоторого имитатора бизнес-процессов оценки эффективности вложений в обеспечение требуемого уровня
эффективности функционирования (например, в смысле достижения требуемого уровня обеспечения безопасности). Графически результаты расчетов можно проиллюстрировать схемой, приведенной на рис. 2.
Итоговые вероятности W (l) = min W (l, n1)
n
и, соответственно, S(n) = max S(l1, n) (не показана на рис. 2) численно характеризуют значения интегрального показателя «сверху» и «снизу», т.е. то, насколько контролируемый объект может быть переоценен или недооценен с точки зрения эффективности выполнения целевой задачи.
Кроме того, модель позволяет выделить признаки (факторы), сочетания которых наиболее часто встречались при идентификации того или иного состояния системы и, соответственно, прогнозировать ожидаемое состояние и его опасность с точки зрения отклонения от оптимальной траектории.
Второе направление совершенствования метода Руссмана связано с тем, что, отработав «предельные» случаи таких отклонений, можно утверждать, что существуют некоторые границы коридора, в которых должна находиться целенаправленная система в зависимости от имеющихся у нее ресурсов и требований к качеству и эффективности ее функционирования при достижении заданного значения целевого показателя. Границы коридора несимметричны относительно «центра тяжести», поскольку равные по величине потери (последствия нештатных и кризисных ситуаций) и приобретения оцениваются по-разному. Но для «однородных» организаций, занимающихся сходными видами деятельности приблизительно в одинаковых отраслевых сегментах, различия должны быть незначительными.
Скачки в различиях могут локально проявляться по двум причинам:
1) изменения (модернизации) самой системы;
2) специфики условий функционирования системы.
То есть требуется выделить один коридор по ресурсам (энергии, вложенной в систему), а второй коридор - по оценкам достигнутых «положений» по отношению к «плановым» показателям. Вариантов интерпретации много, суть одна: для качественного мониторинга нужна модель динамического коридора
Область положительных примеров
\у((= 10; }у((= |у((=/_2.
закон изменения значенийу(/) имеет вид равномерно ускоряющегося (равномерно замедляющегося) движения:
У(() = Уо + V + а
(4)
Область отрицательных примеров
Рис. 2. Определение вероятности перехода ситуаций из штатного состояния в нештатное:
3(/, п1) - расстояние Хемминга; ИЯ - уровень границы, устанавливаемый в соответствии с принципом Парето; и(п1) - мера угрозы непопадания в область устойчивых значений для ситуаций с положительной динамикой
(а не одной траектории), в которой вложения средств рассматриваются как вложения в ускорение по пути выполнения обязательств.
Используя так называемый траекторный подход [14], представим интенсивность изменения удельного значения выбранного показателя функцией времени у(/). Ее аналогом в физике является мгновенная скорость. Тогда за любой период времени /2] значение по-
'2
казателя определится как |у (' )&.
На начальном этапе, при отсутствии полноформатной системы мониторинга, за основу можно взять значения интегралов (удельные значения показателя) за три периода измерений, а именно: 10 - ожидаемые (заявленные, но не фактические) за текущий период; 1-1 -фактические, задокументированные актами за предыдущий период; 1-2 - за два периода назад относительно текущего. Формально можем записать эти три интеграла как
где у0 - оценка удельного значения показателя в начале измерений в текущем периоде; V -средняя скорость нарастания у(0; а - среднее ускорение (скорость изменения величины V). По оценкам 10, 1-1, 1-2, удельное изменение значения целевого показателя: растет, если V > 0; падает, если, напротив, V < 0; поддерживается на одном и том же уровне в течение рассматриваемых трех периодов, если v = 0. Аналогично интерпретируется показатель ускорения: а > 0 означает, что система «на взлете», т.е. V в конце анализируемого 3-этапного периода растет быстрее, чем в среднем; а < 0 может означать, что хотя V и растет, но прирост скорости уменьшается. Формально мы можем получить соответствие между тройкой значений у0, V, а и тройкой значений 10, 1-1, 1-2. Подставляя (4) в (3) получим:
V а
11= * + V+
V а
1 1 = * " I+ б;
3v 7а
1 -2= * "Т
(5)
Решая три уравнения (5) с тремя неизвестными, определяем значенияу0, V, а:
У о =
210 + 5/_. -1_2 , 6 '
(6)
(3)
Далее для каждой сравниваемой системы (или рассматриваемых вариантов одной системы) строится траектория изменения ее «производительности» у(/). В простейшем случае
V = /о а = /0 - 21 +/ 2.
Значения у0, V, а варьируются от системы к системе и имеют смысл средних оценок показателей их траектории за три рассматриваемых периода. Так как эти показатели сглаживают сезонный и другие диффузионные факторы, желательно их нормировать. При выводе общих характеристик в первую очередь интересны групповые индикаторы, а потом уже относительное положение значений каждой системы по отношению к групповому индикатору. Введем в рассмотрение два подобных индикатора.
Первый - фактор относительного ускорения (да) - вычисляется как отношение суммы
2
изменения значения целевого показателя в текущий (/„) и предпредыдущий (/_2) периоды к изменению значения целевого показателя в предыдущий период (7^). Изменения значения целевого показателя за предыдущий период (7^) выбрана по причине того, что это самая ближайшая из оценок, которая может быть подтверждена фактами выполнения работ
10 12 а Ча = — + — = — + 2.
III
-1 1-\ -1
Ч = ^ = - +1.
I I
1-1 -1
где са - центр мишени по оси абсцисс; Ьа - размер половины стороны квадрата сечения.
Нормированный фактор - линейная комбинация факторов ускорения да и скорости д„:
р = - Са - Су) < р < !
уа ' — —
(10)
(7)
Формула (7) показывает, что да - измеритель «провала» в изменении значения целевого показателя в предыдущий (Т-1) (да >> 2) или текущий (/„) (да << 2) периоды, т.е. косвенно да есть фактор оценки нестабильности тренда при больших отклонениях да от 2 и, наоборот, показатель устойчивости тренда для значений да, близких к 2. Априорно можно считать, что нестабильность и понижающий тренд «подозрительны», так как связаны с реорганизацией системы, и требуется «выяснить», является ли система в новом своем состоянии преемницей квалификационного и других потенциалов предшественника (название может и не меняться, а вот функциональная готовность, например, из-за притока-оттока кадров - да). К тому же устойчивое «падение» (да = 2) при отрицательном тренде - это не совсем то, что нужно для развития, важно знать значение еще и второго фактора.
Второй фактор (д„) показывает относительную скорость роста изменения значения целевого показателя системы за последние два периода:
(8)
Этот индикатор естественно коррелирует с первым индикатором, являясь его частью, но его адекватность несколько слабее.
Для визуализации изменения возможного значения факторов да и ду в зависимости от изменений состояния системы полезно перейти от индикаторов да и ду через аффинные преобразования к паре связанных с ними нормированных индикаторов Еа и Еш, задающих геометрический образ, который далее будем называть «мишенью».
¥а - это просто нормированный фактор да:
где су - центр мишени по оси ординат; - половина стороны квадрата сечения.
Эффект роста скорости с ростом ускорения учитывается тем, что эта «добавка» (см. формулу 10)) вычитается с коэффициентом д >0, который определяется, как и константы са, с„, Ьа, Ьш, на основе анализа групповых данных. Геометрически положение квадратной мишени (^ах_р„а) размером [-1, +1]х[-1, +1] на плоскости факторов да (абсцисса) и ду (ордината) отобразится как параллелограмм ЛБСБ (рис. 3).
Точка А соответствует точке {Еа = -1;
= +1}, В - точке {^а = -1; = -1}, С - точке {^а = +1; ^ = -1}, Б - точке {^ = +1; ^ = +1}. Из-за того, что преобразования аффинные, очевидно, что центру мишени с координатами (са; с„) - точке пересечения диагоналей - соответствует центр квадратной мишени с координатами {Еа = 0; = 0}.
Коэффициент д > 0 равен тангенсу угла наклона стороны [БА] к оси ординат (см. рис. 3). Размеры и наклон мишени были определены по данным группового анализа модифицированным методом опорных векторов. В принципе, мишень не обязана быть параллелограммом, она, в соответствии с методом опорных векторов, может быть произвольным многоугольником.
Зная «эталонную» траекторию, проходящую через центр мишени, можно оценить в процентном отношении уровень «предельной неоптимальности» (обозначим его через у) траекторий системы в виде «перегрузки» или «недогрузки» до эталона, если бы системе в текущем периоде дали возможность реализовать «оптимальный сценарий загрузки»:
I - 10
I*
(11)
^ = ——— -1< ^ < 1
(9)
Ближе чем на эту относительную величину (в процентах) система к оптимуму не приблизится. Рассчитывая отклонение 50 траектории движения системы от оптимума в текущем периоде и оценивая оптимальное «ожидаемое» отклонение 5+ в будущем периоде
q
1v
с
C - L C C + L q
a a a a a *-a
Рис. 3. Внешний вид и параметры мишени
(из предположения, что не потребуется «сдвигать» мишень):
5„ =12 - ©*;
I -1
s;= ^ - ©*
1 п
(12)
где 0* - некоторая поправка, можно выработать индикатор «прогресса» системы £ в виде разности вышеуказанных оценок, нормированных через логистические кривые. Вид логистических кривых подбирается из тех соображений,
что оставаться «лидером» - это тоже прогресс, а незначительное улучшение у «аутсайдера» серьезным прогрессом лучше не считать.
Важно понимать, что описанная модель «мишени» рассматривает траектории показателей целенаправленной системы без учета «диффузионных» составляющих. Поэтому она является только базовым элементом для наращивания совокупностей и индикаторов для будущей разветвленной системы мониторинга поведения системы при ее движении к целевому значению. Вполне ожидаемо, что оценки текущего состояния и тем более оценки «прогресса» по разным индикаторам будут частично противоречить друг другу. В этом случае потребуется отнестись к индикаторам и показателям как к элементам логики принятия решений, провести аналогово-цифровое преобразование показателей в логические переменные, построить «новую» логику снятия противоречий. Отработка подобной методологии потребует проведения дополнительных исследований и не является целью настоящей статьи.
Предложенное сочетание методов анализа текущего состояния целенаправленной системы позволяет с системных позиций решать задачу оценки эффективности ее функционирования, направленного на достижение цели в произвольных постановках.
Список литературы
1. Черняк Ю.И. Анализ и синтез систем
в экономике / Ю.И. Черняк. - М.: Экономика, 1970.
2. Петухов Г.Б. Основы теории эффективности целенаправленных процессов. Ч. 1: Методология, методы, модели / Г.Б. Петухов. -М.: МО СССР, 1989. - 655 с.
3. Петухов Г.Б. Методологические основы внешнего проектирования целенаправленных процессов и целеустремленных систем /
Г.Б. Петухов, В.И. Якунин. - М.: ACT, 2006. -504 с.
4. Гайдай А.А. Непрерывный контроль процесса достижения цели / А.А. Гайдай, И.Б. Руссман // Управление большими системами: сб. трудов. -2004. - № 7. - С. 106-113.
5. Берколайко М.З. Трудности в смысле И.Б. Руссмана и оценка надежности управления / М.З. Берколайко, Ю.В. Долгих, К.Г. Иванова // Вестник ВГУ. Сер.: Системный анализ и информационные технологии. -2008. - № 2. - С. 5-9.
6. Берколайко М.З. Применение аппарата трудностей к оценке надежности управления организационными системами / М.З. Берколайко, Ю.В. Долгих // Сб. трудов X Международной научно-практической конференции «Системный анализ
в проектировании и управлении». - СПб., 2006. - C. 28-34.
7. Bochkov A. Problem of creation of integrated index of assessment of production safety condition at hazardous production facilities / A. Bochkov,
V. Lesnykh, M. Lukyanchikov // Proc. of the 29th European Safety and Reliability Conference / edited by M. Beer and E. Zio. - Singapore: Research Publishing, 2019. - DOI:10.3850/978-981-11-2724-3 0077-cd
8. Гумеров Р. Методологические проблемы измерения и оценки состояния национальной производственной безопасности / Р. Гумеров // Экономист. - 2016. - № 4. - С. 33-41.
9. Ландрини Г. Интегральные уровни
безопасности в соответствии со стандартами МЭК 61508 и 61511 и анализ их связи с технологическим обслуживанием / Г. Ландрини // Современные технологии автоматизации. - 2009. - № 1. - С. 72-78.
12. Барсуков A.H. Ситуационные центры.
A.H. Барсуков, AB. Бочков, В.В. Лесных. -
Мониторинг, прогнозирование и управление кризисными явлениями в газовой отрасли.
М.: КИИгазэкономика, 2015. - 528 с.
Ч. 1: Мониторинг и прогнозирование /
10. Bochkov A. The integral method of hazard and risk assessment for the production facilities operations / A. Bochkov // Advances in reliability analysis and its applications / M. Ram, H. Pham (eds.). - Basel, Switzerland [et al.]: Springer Nature, 2020. - C. 149-200. - (Springer Series in Reliability Engineering). - https://doi.org/ 10.1007/978-3-030-31375-3 4
13. Бочков А. В. О некоторых прикладных задачах безопасности и ситуационного управления Единой системой газоснабжения на основе анализа потока оцененных данных методом опорных векторов / А.В. Бочков, Н.Н. Жигирев // Вести газовой науки. -М.: Газпром ВНИИГАЗ, 2017. - № 1 (29): Повышение надежности и безопасности объектов газовой промышленности. -
11. Барсуков А.Н. Формирование системы индикаторов и показателей внештатных и кризисных ситуаций на объектах ЕСГ / А.Н. Барсуков, А.А. Быков, В.В. Лесных // Промышленная и экологическая безопасность объектов газовой промышленности: сб. науч. тр. - М.: Газпром ВНИИГАЗ, 2008. - С. 76-86.
14. Bochkov A. Some methodological aspects of multicriteria method of mecision-making on the sustainability and security of industrial objects exploitation / A. Bochkov // ICDQM-2019 (10th International conference «Life Cycle Engineering and Management», June 27-28). -Prijevor, Serbia: Research Center of Dependability and Quality Management, 2019. - C. 77-95.
С. 129-141.
Elaboration of efficacy assessment methods for target-oriented systems
A.V. Bochkov
Gazprom Gaznadzor LLC, Bld. 65, Novocheremushkinskaya street, Moscow, 117418, Russian Federation E-mail: a.bochkov@gmail.com
Abstract. The author suggests a complex design philosophy for a system aimed at monitoring of target-oriented systems operation and assesment of their performance in achievement of target variables with reference to environmental changes. To realize this approach practically he suggests an I. Russman's trajectory analysis called a "difficulty of target achievement". I. Russman's analysis is to be refined, namely a method of reference vectors should be applied to signification assesment of dynamics of the risks not to achieve a desired goal (case estimation of a situation) and fitting of an allowed area for effective operation of a target-oriented system (trajectory analysis).
Keywords: target-oriented system, dynamic corridor, difficulty of goal achievement, efficiency of operation, reference vector.
1. CHERNYAK, Yu.I. Analysis and synthesis of systems in economics [Analiz i sintez system v ekonomike]. Moscow: Ekonomika, 1970. (Russ.).
2. PETUKHOV, G.B. Fundamentals of the theory of task-oriented process effectiveness [Osnovy teorii effektivnosti tselenapravlennykh protsessov]. Pt. 1: Methodology, methods, models [Metodologiya, metody, modeli]. Moscow: MO SSSR, 1989. (Russ.).
3. PETUKHOV, G.B., V.I. YAKUNIN. Methodological principals of external design of task-oriented process and purposeful systems [Metodologicheskiye osnovy vneshnego proyektirovaniya tselenapravlennykh protsessov i tseleustremlennykh sistem]. Moscow: AST, 2006. (Russ.).
4. GAYDAY, A.A., I.B. RUSSMAN. Continuous control of a goal achievement processes [Nepreryvnyy kontrol protsessa dostizheniya tseli]. Upravleniye Bolshimi Sistemami: collected papers. 2004, no. 7, pp. 106-113. ISSN 1819-2440. (Russ.).
5. BERKOLAYKO, M.Z., Yu.V. DOLGIKH, K.G. IVANOVA. Difficulties from the viewpoint of I.B. Russman, and estimation ofmanagement reliability [Trudnosti v smysle I.B. Russmana i otsenka nadezhnosti upravleniya]. Vestnik VGU. Series: Sistemnyy Analiz i Informatsionnyye Tekhnologii. 2008, no. 2, pp. 5-9. ISSN 1995-5499. (Russ.).
References
6. BERKOLAYKO, M.Z., Yu.V. DOLGIKH. Difficulties instrumentation applied to assessing reliability of management fulfilled by institutional setups [Primeneniye apparata trudnostey k otsenke nadezhnosti upravleniya organizatsionnymi sistemami]. In: Proceedings of the 10th International scientific-practical conference "System analysis in design and management". St. Petersburg, 2006, pp. 28-34. (Russ.).
7. BOCHKOV, A., V. LESNYKH, M. LUKYANCHIKOV. Problem of creation of integrated index of assessment of production safety condition at hazardous production facilities. In: Proc. of the 29th European Safety and Reliability Conference / ed. by M. Beer and E. Zio. Singapore: Research Publishing, 2019. DOI:10.3850/978-981-11-2724-3 0077-cd
8. GUMEROV, R. Methodological issues related to measuring and estimating national industrial security [Metodologicheskiye problemy izmereniya i otsenki sostoyaniya natsionalnoy proizvodstvennoy bezopasnosti]. Ekonomist. 2016, no. 4, pp. 33-41. ISSN 0869-4672. (Russ.).
9. LANDRINI, G. Integral levels of security according to IEC 61508 and 61511 standards and analysis of their relations with technological maintenance [Integralnyye urovni bezopasnosti v sootvetstvii so standartami MEK 61508 i 61511 i analiz ikh svyazi s tekhnologicheskim obsluzhivaniyem]. Sovremennyye Tekhnologii Avtomatizatsii. 2009, no. 1, pp. 72-78. ISSN 0206-975X. (Russ.).
10. BOCHKOV. A. The integral method of hazard and risk assessment for the production facilities operations. In: RAM, M., H. PHAM (eds.). Advances in reliability analysis and its applications. Basel, Switzerland [et al.]: Springer Nature, 2020, pp. 149-200. Springer Series in Reliability Engineering. https://doi.org/10.1007/978-3-030-31375-3_4
11. BARSUKOV, A.N., A.A. BYKOV, V.V. LESNYKH. Forming a system of indicators and criteria of emergency and crisis conditions at the Unified Gas Supply System facilities [Formirovaniye sistemy indikatorov i pokazateley vneshtatnykh i krizisnykh situatsiyakh na obyektakh YeSG]. In: Industrial and environmental security of gas industry facilities [Promyshlennaya i ekologicheskaya bezopasnost obyektov gazovoy promyshlennosti]: collected bk. Moscow: Gazprom VNIIGAZ, 2008, pp. 76-86. (Russ.).
12. BARSUKOV, A.N., A.V. BOCHKOV, V.V. LESNYKH. Situation centers. Monitoring, prediction and management of crisis phenomena within the gas industry [Situatsionnyye tsentry. Monitoring, prognozirovaniye i upravleniye krizisnymi yavleniyami v gazovoy otrasli]. Pt. 1: Monitoring and prediction [Monitoring i prognozirovaniye]. Moscow: NIIgazekonomika, 2015. (Russ.).
13. BOCHKOV, A.V., N.N. ZHIGIREV. About some applied tasks in provision of safety and situation management of the Unified Gas Supply System on the basis of estimated data flow analysis by means of support vector machine [O nekotorykh prikladnykh zadachakh bezopasnosti i situatsionnogo upravleniya Yedinoy sistemoy gazosnabzheniya na osnove analiza potoka otsenennykh dannykh metodom opornykh vektorov]. Vesti Gazovoy Nauki. Moscow: Gazprom VNIIGAZ LLC, 2017, no. 1(29): Improvement of reliability and safety at gas-industry facilities, pp. 129-141. ISSN 2306-8949. (Russ.).
14. BOCHKOV, A. Some methodological aspects of multicriteria method of mecision-making on the sustainability and security of industrial objects exploitation. In: ICDQM-2019 (10th International conference «Life Cycle Engineering and Management», June 27-28). Prijevor, Serbia: Research Center of Dependability and Quality Management, 2019, pp. 77-95.