ОБ ОСНОВАХ МЕТОДОЛОГИИ ОЦЕНКИ КАЧЕСТВА БОЛЬШИХ ТЕХНИЧЕСКИХ СИСТЕМ В ПРОЦЕССЕ ЭКСПЛУАТАЦИИ

Билятдинов К.З.; Мордвинцев М.В.

Об Основах Методологии Оценки Качества Больших Технических Систем в Процессе

Эксплуатации

К.З. Билятдинов, М.В. Мордвинцев

Аннотация — Сформулирована проблема в области повышения эффективности управления эксплуатацией и технического обеспечения больших технических систем. Предлагается и обосновывается решение этой проблемы за счет снижения времени принятия управленческих решений путем создания и применения универсальной методологии оценки качества технических систем, входящих в состав больших технических систем. Представлены направления применения методологии как интеграционного резерва повышения эффективности управления, состав методологии в виде совокупности принципов, методов, способа, моделей, методик и программ для ЭВМ, а также схема разработки и взаимосвязи теоретических основ и практической части методологии в интересах решения данной проблемы.

Ключевые слова — проблема, методология, качество, большие технические системы, управление, эксплуатация, эффективность.

I. Введение

Современные требования по повышению эффективности управления больших технических систем (далее - БТС) обосновывают необходимость рассматривать подобные системы как организованную совокупность технических подсистем, объединенных единой целью. В качестве БТС можно привести объекты промышленности, транспорта, связи и другие. Сегодня повышение эффективности управления БТС невозможно без принятия своевременных и обоснованных управленческих решений по результатам оценки качества технических систем (подсистем, изделий), эксплуатируемых в их составе. Для формирования единых методологических подходов к методологии оценки качества БТС, как сложную систему, целесообразно разделить на следующие подсистемы: управления, подсистемы, выполняющие основные функции БТС, и подсистемы обеспечения. При всем функциональном многообразии современных БТС в состав их подсистем входят следующие основные технические системы: автоматизированные системы управления (АСУ), системы связи, системы жизнеобеспечения, технические системы охраны (ТСО), системы электропитания и т. д.

В свою очередь также стоит отметить, что обеспечение и повышение эффективности управления эксплуатацией и техническим обеспечением (далее -ТО) технических систем невозможно без принятия своевременных и обоснованных управленческих

решений на основе результатов оценки качества этих технических систем (далее - ТС) в процессе эксплуатации [1, 2, 3, 4].

На основе вышеизложенного можно обоснованно сформулировать, что оценка качества ТС должна заключаться в систематической проверке того, насколько применяемые ТС в процессе эксплуатации способны обеспечить выполнение современных требований к БТС, в составе которых они функционируют.

Оценка качества будет включать в себя выбор показателей, расчет их действительных значений, сравнение их с базовыми показателями (требованиями), а при необходимости и определение (уточнение) этих базовых показателей (требований) [5, 6].

С учетом важности и сложности исследуемых БТС, оценку качества ТС в их составе целесообразно проводить на основе оценки изменения количественных значений основных показателей функционирования систем после ввода в эксплуатацию оцениваемых ТС, в процессе их эксплуатации и (или) после модернизации систем.

Вышеприведенные обстоятельства не позволяют в полной мере использовать апробированные методы оценки качества, что усложняет оценку качества ТС в процессе эксплуатации [1, 2, 4, 5, 6]. При этом в большинстве случаев на практике полностью невозможно или не рационально оценить не только влияние качества ТС на БТС, но и саму систему в неблагоприятных условиях, так как это повлечет очень существенные временные и материальные затраты. Кроме того, объективная оценка качества ТС в основном возможна на этапе эксплуатации [7, 8, 9]. На этом этапе жизненного цикла особенно важно провести оценку качества систем в минимальные сроки, что позволит лицу, принимающему решения (ЛИР), принять своевременные и обоснованные управленческие решения [10, 11, 12].

Таким образом, существует объективная потребность в разработке в достаточной степени универсальной методологии оценки качества ТС, позволяющей провести оценку качества в период эксплуатации за минимальное время при заданных минимальных ресурсах. Повышение требований к системам повышает актуальность создания данной методологии как важнейшей части методологического, математического и программного обеспечения эксплуатации БТС.

II. Актуальность проблемы

ЛПР осуществляет управление эксплуатацией и ТО БТС посредством принятия управленческих решений на основе оценки качества ТС. Для этого необходимо получать и использовать большое количество информации о качестве ТС, поступающей из различных источников, так как развитие современных технологий привело к тому, что большинство ТС, входящих в состав БТС, имеют эффективные аналоги, в том числе, по условиям эксплуатации, например, на шахтах и в метрополитене, частично на объектах морского и воздушного транспорта, системах мобильной связи. Основная часть такой информации размещена на внешних информационных ресурсах, включая информационно-телекоммуникационную сеть

«Интернет». В особенности это касается систем жизнеобеспечения, ТСО, систем контроля управления доступом (СКУД), систем электропитания, различных систем сигнализации (включая системы пожарной сигнализации и пожаротушения), систем оповещения, АСУ и систем связи [13, 14, 15].

Отсюда можно сделать вывод, что создание методологии оценки качества, как внутреннего резерва повышения эффективности управления эксплуатации и ТО исследуемых систем, должно быть основано на выполнении обязательного условия по рациональному использованию больших объемов информации, полученной из различных источников. В свою очередь увеличение объемов информации и количества источников информации приведет к существенному увеличению расхода времени и ресурсов. Дополнительно потребуется повышение квалификации ЛПР и персонала, проводящего оценку качества и обеспечивающего принятие управленческих решений [10, 11, 12, 16].

Таким образом, сегодня можно обоснованно сформулировать актуальную проблему в области повышения эффективности управления эксплуатацией и ТО БТС, состоящую в необходимости разрешения противоречия между требованиями к существенному снижению расхода ресурсов и времени на принятие управленческих решений по результатам оценки качества ТС в процессе эксплуатации и выполнением обязательного условия по рациональному использованию для оценки качества ТС больших объемов разнообразной информации, получаемой в процессе эксплуатации из различных источников [17, 18, 19, 20].

Сформулированная проблема отражает

несоответствие между требуемым и существующим состоянием дел в исследуемой предметной области. Кроме того, вышеизложенный материал обосновывает наличие двух важнейших свойств проблемы:

1. Актуальность - необходимость скорейшего решения проблемы обуславливается современными требованиями в сфере совершенствования и развития различных БТС.

2. Значимость - от решения проблемы зависит совершенствование управления БТС в интересах

повышения и (или) обеспечения требуемого уровня их эффективности.

III. Условия разработки методологии

Решение вышеназванной актуальной проблемы возможно путем создания и применения методологии оценки качества ТС (далее - методология) [1]. При этом с практической точки зрения решения вышеназванной проблемы данная методология будет представлять собой организованную совокупность принципов, методов, способа, моделей, методик и программ для ЭВМ [21, 22, 23, 24], а с теоретической - учение об организации деятельности в области методологического, математического и программного обеспечения оценки качества ТС, входящих в состав исследуемых БТС. Таким образом, разрабатываемая методология должна представлять собой учение в сфере оценки качества ТС в процессе эксплуатации и предназначенное для подготовки своевременных и обоснованных управленческих решений.

Ограничения на разработку и внедрение методологии:

• Разработка и внедрение методологии не должны требовать существенных затрат ресурсов и изменения существующей системы управления оцениваемыми БТС, включая организацию контроля эксплуатации и ТО систем;

• Методология не должна нарушать режимы безопасного функционирования БТС, технологическую и информационную безопасность;

• Применение методик и программ для ЭВМ в составе методологии должно предполагать использование существующих аппаратно-программных средств (средств вычислительной техники) на оцениваемых системах [25, 26].

Допущения:

• Применение методологии предусматривает наличие информации о действительных значениях показателей качества систем и (или) их высокоэффективных аналогов, полученных в процессе эксплуатации;

• Наиболее рациональное использование методологии предполагает возможность формирования и поддержания в актуальном состоянии информационных резервов.

Методология должна включать в себя теоретическую и практическую части, а также предусматривать органичное развитие и совершенствование этих составных частей методологии. Элементы составных частей методологии должны предусматривать возможность как их самостоятельного применения, так и комплексного использования в составе методологии [9, 16, 17].

Методология должна обладать свойством универсальности и быть применимой для оценки качества различных ТС в составе БТС, с учетом специфики их эксплуатации.

Методология должна быть направлена на обеспечение и выполнение оценки качества систем в процессе эксплуатации при использовании больших объемов разнообразной информации из внутренних и внешних источников информации.

Основной положительный эффект от разработки и внедрения методологии должен заключаться в решении проблемы исследования и состоять в существенном снижении затрат времени и ресурсов на оценку качества ТС в процессе эксплуатации. Как следствие, применение методологии должно привести к существенному сокращению времени принятия своевременных и обоснованных управленческих решений. В рамках разработки данной методологии логично сформулировать следующие основные определения.

IV. Основные показатели оценки качества систем

Свойства ТС БТС проявляются в процессе эксплуатации или при нахождении систем на хранении (в резерве). Совокупность свойств ТС в составе БТС в основном проявляются при эксплуатации этих систем [1, 3].

Отсюда в исследуемой предметной области показатель качества системы - это количественное выражение свойств систем (подсистем, изделий) в составе БТС. Значение показателя качества - это результат количественного измерения свойств системы, проявляемых в процессе эксплуатации. При этом действительное значение показателя определяется его измерением в процессе эксплуатации.

В зависимости от характеризуемых свойств системы показатели делятся на два вида: единичные (выражают простые свойства) и комплексные (выражают сложные свойства).

В разрабатываемой методологии целесообразно применять понятие базового показателя, то есть принятого за основу при оценке качества. Также в методологии целесообразно предусмотреть при необходимости использование или введение ЛПР показателей, которые будут иметь решающее значение при оценке качества, то есть это будут определяющие показатели. Кроме того, в методологии логично предусмотреть применение предельных значений показателей, превышение или снижение которых недопустимо [5, 6].

Если в методологии будет использоваться информация о современных эффективных ТС, аналогичных применяемым в составе БТС, то это будет способствовать определению технического уровня качества систем в виде относительной сравнительной характеристики системы, выраженной в действительных значениях показателей, характеризующих свойства систем в процессе эксплуатации, с их базовыми (требуемыми) показателями, отражающими требования

к системе с учетом развития современных технологий [2, 5, 6].

Для усиления универсальности разрабатываемой методологии рационально определить следующие основные взаимосвязанные показатели оценки качества систем, значения которых могут быть измерены (рассчитаны) в процессе эксплуатации:

1. Время (единицы измерения времени: секунды, минуты, часы, сутки и т. д.).

2. Вероятностные характеристики.

3. Трудозатраты (единица измерения: человеко-часы).

4. Количество задействованного персонала за оцениваемый период времени.

5. Количество задействованных единиц техники по видам за оцениваемый период времени эксплуатации.

6. Ресурс эксплуатации техники (единица измерения: моточасы).

7. Расход всех видов материальных ресурсов системой за оцениваемый период времени эксплуатации, включая электроэнергию, ГСМ, комплекты ЗИП и т. д.

8. Степень (необходимость) использования внешней инфраструктуры (долговременных ресурсов).

9. Затраты денежных средств - могут выступать в качестве эквивалента количественного выражения вышеперечисленных ресурсов.

Соответственно, оценка качества тесно связана с потребляемыми ресурсами.

Ресурсы можно разделить на два вида:

1. Долговременные: персонал, элементы инфраструктуры (дороги, линии электропередач, мосты и т. д.), технические изделия, транспортные средства.

2. Расходуемые (электроэнергия, ГСМ, ЗИПы и т. д.).

Кроме того, для дальнейшего обеспечения универсальности методологии оценка качества систем в процессе эксплуатации может включать в себя следующие операции:

1. Сравнение показателей оцениваемой системы с показателями аналогичной системы, которая считается лучшей или, как вариант, с аналогичной БТС вероятного противника.

2. Сравнение улучшения или ухудшения значений выбранных показателей одной системы за разные равные периоды времени, например, сравнение показателей за 2 квартал прошлого года и за 2 квартал текущего года и т. п.

3. Сравнение достигнутых значений выбранных показателей оценки с требуемыми значениями показателей, которые могут быть определены в различных нормативно-правовых актах, приказах (распоряжениях) руководства, планах работы и т. д.

V. классификация резервов повышения качества

Вышеназванные подходы к оценке качества в основном базируются на использовании статистических данных о результатах эксплуатации систем в различных режимах, то есть на информации о действительных значениях показателей качества систем, получаемых из различных источников [19, 20, 21].

Однако, рациональное использование уже накопленной информации об эксплуатации ТС дает предпосылки формирования информационных резервов оценки качества. Соответственно, дальнейшее совершенствование и развитие современных методов оценки в исследуемой предметной области целесообразно неразрывно связывать с информационными резервами, содержащими объективную и полную информацию о действительных значениях показателей качества систем в различные периоды времени и при различных режимах и условиях эксплуатации.

Б. И. Герасимов предлагает следующую классификацию резервов повышения качества:

1. Институциональные резервы - нормы, правила, стандарты, законы.

2. Бенчмаркинговые резервы - сравнение и ориентир на те организации, которые достигли наилучших результатов в работе по качеству.

3. Кайзен резервы - вовлечение каждого работника в работу по повышению качества продукции и услуг, что предусматривает немного инвестиций и большое число мелких шагов по улучшению качества.

4. Информационные резервы - включают в себя возможность получать и пользоваться точной, объективной, достоверной, надежной, доступной, защищенной, релевантной, своевременной, полной, интерпретируемой информацией.

5. Интеграционные резервы - формируются на пересечении полей первых четырех резервов (синергетический эффект) [27].

Основным достоинством данных резервов повышения качества системы на организационном уровне является сравнительно небольшие затраты ресурсов и времени на достижение требуемого результата.

Использование информационных резервов оценки качества позволит ЛПР провести анализ зависимостей ухудшения или улучшения значений показателей и найти причины недостатков в процессе эксплуатации систем [6, 7, 8, 9].

При этом разнообразие оцениваемых систем и современное развитие технологий обосновывает необходимость комплексного использования

информации из внутренних и внешних информационных ресурсов. Развитие информационных технологий делает возможным формирование информационных резервов оценки качества систем.

VI. Сфера эффективного применения методологии

Анализ перспектив развития технологий позволяет обоснованно определить сферу эффективного применения методологии и (или) ее отдельных элементов как важнейшей части интеграционного резерва повышения эффективности управления.

1. Методология наиболее эффективна при оценке качества систем, имеющих аналоги, и информация о значениях показателей качества, которых размещена в открытом доступе.

2. Максимальное снижение времени происходит при применении методологии для подготовки отчетов, докладных записок, справок и презентаций по результатам оценки качества и эффективности систем в процессе эксплуатации за отчетные периоды: месяц, квартал, год и т. д.

3. Рекомендуется применять методологию для выбора лучшей системы (изделия) по требуемым показателям и подготовки предложений по повышению устойчивости БТС, за счет совершенствования эксплуатации и То систем.

4. Применение методологии и накопленных с ее помощью систематизированных информационных резервов снижает время вступления в должность сотрудников органов управления организации, что в значительной степени снижает негативные последствия частой смены кадров в организации и назначения на должности в сфере управления эксплуатацией и То сотрудников без требуемого уровня квалификации.

5. Методология и накопленные с ее помощью систематизированные информационные резервы рекомендуются к использованию в качестве учебных материалов на занятиях по технической подготовке персонала.

6. Полученные в результате оценки качества значения времени устойчивого функционирования БТС, времени приведения в установленные режимы эксплуатации, расхода времени и ресурсов (бюджета) по типам систем на эксплуатацию и То, минимально необходимого количества ТС заданного типа в составе БТС, необходимого для достижения цели, коэффициентов устойчивости, времени восстановления, вероятности выхода из строя систем (элемента) и вероятности достижении цели функционирования системы в неблагоприятных условиях рационально использовать по следующим направлениям:

• При определении базовых значений показателей качества для оценки устойчивости БТС и ТС в его составе;

• При подготовке и обосновании управленческих решений, принимаемых для совершенствования эксплуатации и То систем;

• При подготовке ЛПР, должностных лиц органов управления и специалистов по эксплуатации, То и ремонту систем;

• Для обоснованного выбора лучших ТС для заданных условий эксплуатации.

7. На основе результатов моделирования состояний устойчивости БТС и оценки его эффективности целесообразно разработать рекомендации по повышению устойчивости БТС исходя из специфики эксплуатации.

8. Методология может быть применима для формирования требований к системам (изделиям, ЗИПам, расходным материалам и т. д.) для оформления документации (в технических заданиях) при организации поставок в рамках государственного заказа, а также для разработки специальных технических условий, применимых при проектировании БТС.

9. Рекомендуется применение методологии при планировании эксплуатации и ТО систем, а также при планировании использования отдельных систем в учебных целях при проведении занятий.

10. Рекомендуемая схема применения методологии как важнейшей части интеграционных резервов повышения эффективности управления эксплуатацией ТС представлена на рисунке.

Рисунок 1 . Схема применения методологии как интеграционного резерва повышения эффективности эксплуатации технических систем в составе БТС.

Таким образом, сформулированные направления позволят обоснованно использовать положительный опыт внедрения методологии с целью дальнейшего усиления положительного эффекта от применения методологии в интересах обеспечения (повышения) эффективности управления эксплуатацией БТС.

VII. Заключение

В заключении стоит отметить, что методология способствует существенному снижению расхода времени и ресурсов на оценку качества систем и принятие управленческих решений по результатам этой оценки в процессе эксплуатации систем в условиях повышения объемов используемой информации из различных источников.

Таким образом, методология является важнейшим и наиболее рациональным путем решения проблемы. Внедрение методологии не требует затрат дополнительных ресурсов и существенных затрат времени на обучение персонала. Методология универсальна и применима для совершенствования

эксплуатации и ТО систем, НИОКР и для подготовки кадров. Методология является важнейшей частью интеграционных резервов повышения эффективности управления эксплуатацией технических систем.

Библиография

[1] Afriat S.N. Efficiency Estimation of Production Functions // International Economic Review. 1972. № 13. - P. 568-598.

[2] Banker R.D., Charnes A., Cooper W.W. Some models for estimating technical and scale efficiency in data envelopment analysis // Management Science. 1984. Vol. 30, № 9. - P. 1078 - 1092.

[3] Banker R.D., Morey R.C. Efficiency analysis for exogenously fixed inputs and outputs // Operations Research. 1986. N° 4. - P. 513 - 521.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

[4] Efficiency and Productivity Analysis in the 21st Century // Proceedings of International DEA Symposium (24-26 June 2002, Moscow, Russia). Moscow: International Research Institute of Management Sciences, 2002. - 178 p.

[5] Luetje A., Wohlgemuth V. Tracking Sustainability Targets with Quantitative Indicator Systems for Performance Measurement of Industrial Symbiosis in Industrial Parks // Administrative sciences. 2020. Vol. 10. № 1. Article 3.

[6] Chen J.-X. Overall performance evaluation: new bounded DEA models against unreachability of efficiency // The Journal of the Operational Research Society. 2014. Vol. 65. № 7. - P. 1120-1132.

[7] Anderson T.R. Extending Productivity Research Frontiers: DEA Resource of Datasets and Errata // Journal of Productivity Analysis. 2003. Vol. 19, № 2-3. - P. 271-275.

[8] Farrell M.J. The Measurement of Productive Efficiency // Journal of the Royal Statistical Society, Series A (General), Part III. 1957. Vol. 120. - P. 253-281.

[9] Popova L.F. The practical application of the methodology for the QMS effectiveness assessment // Quality - Access to Success. 2018. Vol. 19(167). - P. 43-47.

[10] Tran V.P., Shcherbakov M., Nguyen T.A. Yet another method for heterogeneous data fusion and preprocessing in proactive decision support systems: distributed architecture approach // International Conference on Distributed Computer and Communication Networks -DCCN 2017 : 20th International Conference (Moscow, Russia, September 25-29, 2017). Springer International Publishing AG, 2017. - Pp. 319-330. DOI: 10.1007/978-3-319-66836-9_27.

[11] Zou G., Faber M.H., Gonzalez A. A holistic approach to risk-based decision on inspection and design of fatigue-sensitive structures // Engineering structures. 2020. Vol. 221. Article 110949.

[12] Filz M., Herrmann C., Thiede S. Simulation-based Assessment of Quality Inspection Strategies on Manufacturing Systems // Procedia CIRP. 2020. Vol. 93. - P. 777-782.

[13] Banerjee D., Jagadeesh P., Rao R.P. A system dynamic approach of technical risk modelling in transportation megaprojects // International Journal of Civil Engineering and Technology. 2018. № 9(8). - P. 627-635.

[14] Skrypnik I.L., Ksenofontov Yu.G., Kaverzneva T.T., Rumyantseva N.V., Kiss V.V. Assessment of technical level of new, promising models of equipment at the stage of their development in modern engineering practice // IOP Conference Series: Materials Science and Engineering. 2020. № 862(4). Article 042031.

[15] Shafik M.B., Chen H., Rashed G. Planning and reliability assessment to integrate distributed automation system into distribution networks utilizing binary hybrid PSO and GSA algorithms considering uncertainties // International Transactions on Electrical Energy Systems. 2020. Article e12594.

[16] Liang Ya., Gao Zh., Gao J. A new method for multivariable nonlinear coupling relations analysis in complex electromechanical system // Applied soft computing. 2020. Vol. 94. Article 106457.

[17] Ratner S., Ratner P. Developing a strategy of environmental management for electric generating companies using DEA-methodology // Advances in Systems Science and Applications. 2017. Vol. 17(4). - P. 78-92.

[18] Banker R., Kotarac K., Neralic L. Sensitivity and stability in stochastic data envelopment analysis // The Journal of the Operational Research Society. 2015. Vol. 66. № 1. - P. 134-147.

[19] Banker R.D. Hypothesis Tests Using Data Envelopment Analysis // The Journal of Productivity Analysis. 1996. Vol. 7. - P. 139-159.

[20] Banker R.D. Maximum Likelihood, Consistency and Data Envelopment Analysis: A Statistical Foundation // Management Science. 1993. Vol. 39, № 10. - P. 1265 - 1273.

[21] Barr R.S. Parallel and hierarchical decomposition approaches for solving large-scale Data Envelopment Analysis models // Annals of Operations Research. 1997. Vol. 73. - P. 339 - 372.

[22] Dula J.H. Computations in DEA // Pesquisa Operacional. 2002. Vol. 22, № 2. - P. 165-182.

[23] Gerami J. An interactive procedure to improve estimate of value efficiency in DEA // Expert Systems with Applications. 2019. № 137. - P. 29-45.

[24] Golabchi A., Han S., AbouRizk S. A simulation and visualization-based framework of labor efficiency and safety analysis for prevention through design and planning // Automation in Construction. 2018. Vol. 96. - P. 310-323.

[25] Cooper W.W. Data Envelopment Analysis. Boston: Kluwer Academic Publishers, 2000. - 318 p.

[26] Kalimoldayev M., Abdildayeva A., Mamyrbayev O. Information system based on the mathematical model of the EPS // Open engineering. 2016. Vol. 6. № 1. - P. 464-469.

[27] Gerasimov B. Reserves and mechanisms for improving the quality of products and services // Mathematical and instrumental methods of

economic analysis: quality management / Tambov State Technical University. un-T. Tambov, 2004. Issue. 13. 240 p. ISBN 5-82650127-8, P. 6-27

К.З. Билятдинов

Кандидат военных наук, доцент факультета инфокоммуникационных технологий Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет ИТМО» 197101, Российская Федерация, г. Санкт-Петербург, Кронверкский проспект, д.49, литер А. Email: k74b@mail.ru

М.В. Мордвинцев

Студент 4 курса факультета инфокоммуникационных технологий Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет ИТМО» 197101, Российская Федерация, г. Санкт-Петербург, Кронверкский проспект, д.49, литер А. Email: mordvintsevmv@icloud.com

On the Basics of the Methodology for Assessing the Quality of Big Technical Systems During

Operation

K.Z. Bilyatdinov, M.V. Mordvintsev

Abstract — The article states a problem of the increase of effectiveness of management of technical systems' operation and technical maintenance of big technical systems. It is proposed to solve this problem by the decrease of time of making managerial decisions as a result of creation and application of the universal methodology of assessment of technical systems quality within contemporary big technical systems. Then, the article describes a mode of the methodology application as means of integrational reserve of the increase of management effectiveness; in addition, it presents the methodology as a combination of principles, methods, models, modes and software. Finally, the authors outline a scheme of interdependence of theoretical grounds and a practical part of the methodology in order to solve the outlined problem.

Keywords — problem, methodology, quality, big technical systems, management, operation, effectiveness

References

[1] Afriat S.N. Efficiency Estimation of Production Functions // International Economic Review. 1972. № 13. - P. 568-598.

[2] Banker R.D., Charnes A., Cooper W.W. Some models for estimating technical and scale efficiency in data envelopment analysis // Management Science. 1984. Vol. 30, № 9. - P. 1078 - 1092.

[3] Banker R.D., Morey R.C. Efficiency analysis for exogenously fixed inputs and outputs // Operations Research. 1986. № 4. - P. 513 - 521.