CC BY
109
№ 3 (45) 2013
В. М. Белый, канд. техн. наук, профессор Финансово-технологической академии, г. Королёв
Принципы квалиметрии и оценка эффективности информационных систем и технологий
При оценке эффективности информационных систем и технологий следует руководствоваться определенными принципами, позволяющими обоснованно подходить к выбору показателей и обеспечивающими единообразие при оценке эффективности различных информационных систем и технологий.
введение
Ввиду того, что информационная система (ИС) — это основной инструмент информационной технологии (ИТ) и ИТ невозможно рассматривать без ИС, в дальнейшем будем использовать только понятие ИС, понимая под ним и ИС, и ИТ [1, 2, 10, 11]. При оценке эффективности информационных систем и информационных технологий следует руководствоваться принципами, которые позволяли бы обоснованно подходить к выбору показателей эффективности, методам их оценки и обеспечивали бы однообразие при оценке эффективности различных ИС и ИТ. Глобальная конкуренция вынуждает компании сосредоточиваться больше, чем когда-либо, на использовании оценок эффективности ИС в их стратегиях. Это оправдано, так как имеется много способов, которые посредством использования информационных систем могут помочь организациям повысить качество изделий, услуг и операций.
Эффективность ИС может быть определена с позиций производителей и клиентов. Для первых эффективность рассматривается как свойство, выражающееся в соответствии техническим данным (или отсутствие отклонения от них).
Определение эффективности клиентами намного шире:
1) физические свойства используемых технических средств: легкость в использовании и установке, их безопасность;
2) обслуживание, под которым понимается точность и правдивость рекламы, гарантии и действующая поддержка программных и технических средств;
3) психологические аспекты: известность компании, любезность и внимательность разработчиков и сопровождающих сотрудников в процессе эксплуатации ИС.
Показатели эффективности в квалиметрии
Принимая во внимание, что эффективность — это оценка результативности достижения цели, которая описывается не только количественными, но и качественными показателями, в основе нижеследующего изложения используется известный материал [1], ориентированный на оценку эффективности ИС.
1. Эффективность рассматривается как некоторая совокупность свойств компонентов ИС, призванных удовлетворять определенные потребности. Поэтому сама эффективность ИС является комплексным свойством. Будем считать, что любое свойство может быть оценено некоторым абсолютным Р П или относительным qlj' численным показателем, где п — номер компоненты,} — номер свойства.
№ 3 (45) 2013
1
I
=8 €
§ и
0
1
I
и §
<и та
I £
0 =8
1
I
£
Относительный показатель q" назовем оценкой эффективности /-го свойства п-й компоненты.
Первый принцип оценки эффективности может быть сформулирован следующим образом: оценка каждого свойства любой компоненты зависит от совокупности оценок связанных с ним свойств, другой взаимосвязанной компоненты: qЛ = 1(^п±1).
2. В квалиметрии проводится различие между понятиями «измерение» и «оценка» [7, 8, 9]. В результате измерения какого-либо свойства находят численное значение Р', его единичного показателя в соответствующих единицах измерения.
Оценка же какого-либо свойства есть результат сравнения (сопоставления) абсолютного показателя Р'с соответствующим показателем Р пэт/, принятым за эталон, и представляет собой относительное (по отношению к эталону) значение показателя. Часто, например, оценку вычисляют в виде отношения абсолютного и эталонного показателей:
=
Рп
В общем же случае q" является некоторой функцией Р" и Рпэт/.
Таким образом, q" (оценка) зависит как от ИС, так и от выбранного эталона, поэтому второй принцип квалиметрии формулируется следующим образом: оценка (относительный показатель) свойства для любой компоненты представляет собой результат сопоставления абсолютного значения величины свойства Р', с выбранной величиной, т. е. с эталоном:
qnl = 1 р, р' ).
3. Каждое свойство любой компоненты характеризуется не только параметром q", но и некоторым параметром 8', определяющим относительную значимость (весомость) данного свойства для этой компоненты. Параметр 8п зависит как от л-й компоненты, так и от требований, предъявляемых к соответствующему свойству для п - 1 компоненты. Этот факт отражен в формулировке третьего
принципа квалиметрии: свойства, определяющие эффективность любой п-й компоненты, имеют не одинаковую значимость и зависят от требований, предъявляемых соответствующему свойству для любой п - 1 компоненты.
Определение параметров весомости свойств представляет собой наиболее сложную задачу, поэтому большинство методик оценки эффективности ИС различают именно по способу нахождения параметров весомости отдельных свойств [6, 7, 8].
Квалиметрия и эффективность
Сосредоточение внимания на том, что определение эффективности, разрабатываемой ИС, а затем и используемой, т. е. эксплуатируемой человеком системы, позволило ученым сформулировать следующее определение.
Эффективность ИС или ИТ — это совокупность свойств системы, обусловливающих ее пригодность удовлетворять определенные потребности пользователя в соответствии с назначением этой ИС или ИТ и характеризующих степень достижения заданной пользователем цели.
Как было отмечено, у каждой ИС есть свойства, которые в совокупности позволяют отличать одну ИС от другой. Эффективность же ИС как системы определяется только теми свойствами, которые связаны с возможностью удовлетворения потребностей пользователя, связанных с назначением данной системы. По этой причине ряд свойств, присущих данной ИС, но не обусловленных ее назначением, не входит в понятие эффективности.
Например, оценку эффективности переносного радиоприемника определяют следующие свойства: чувствительность, избирательность, диапазон частот принимаемых радиопередач, полоса усиливаемых частот (полоса пропускания), уровни регулировки тембра и громкости, громкость звучания и его направленность, экономичность, габариты и вес, внешний вид, удобство переключений и регулировок, прочность, надежность
112
п
№ 3 (45) 2013
и другие свойства, связанные непосредственно с использованием его как аппарата для приема радиопередач в стационарных и походных условиях. Кроме того, радиоприемнику присущи и многие другие свойства, например отражательная способность тепловых и видимых лучей, растворимость в щелочах и кислотах, теплоемкость и теплопроводность, устойчивость к истиранию, пластичность (мягкость), ослабление радиации и другие свойства. Однако они не связаны непосредственно с назначением данного изделия, поэтому в перечень свойств, определяющих его оценку эффективности, не входят.
Таким образом, назначение ИС определяет те потребности, которые она должна удовлетворять. Указанные потребности обусловливают свойства, которые необходимо принимать во внимание при оценке эффективности, т. е. составляющие этой оценки. Сами свойства учитываются как при разработке ИС, так и при ее эксплуатации. Чаще всего внедряется и эксплуатируется не отдельная компонента ИС, а несколько, поэтому в понятие оценки эффективности входят не только свойства, присущие одной компоненте, но и свойства их совокупности. Поскольку эффективность ИС оценивается по сочетанию некоторого количества свойств, их необходимо разделить на группы по определенным признакам.
классификация свойств эффективности
Во всех случаях, когда речь идет о конкретной оценке эффективности, возникает вопрос: какие же свойства ИС следует измерять и оценивать? Для того чтобы облегчить решение этой задачи, все свойства, учитываемые при оценке эффективности, классифицируют по определенным признакам.
По функциональной роли выделяются целевые, ограничительные и технико-экономические свойства.
Целевые свойства — это свойства, которые определяют возможность ИС удовлетворять конкретные потребности.
Ограничительные свойства — свойства, ¡а характеризующие условия эксплуатации, при которых гарантируется безопасность и дос- ^ товерность данных ИС при эксплуатации.
Технико-экономические свойства — характеризуют возможную степень удовлетворения потребностей пользователя и суммарные экономические затраты на приобретение и применение ИС.
По сфере проявления, т. е. по тому, на каких жизненных этапах ИС обнаруживаются свойства, выделяют свойства, проявляющиеся в процессе разработки и в процессе эксплуатации.
По сложности различают простые свойства, характеризующие ИС только с одной стороны, и комплексные, которые включают в себя несколько простых. Комплексные свойства различают еще по рангу: низкого, среднего, высокого ранга. Эффективность — комплексное свойство высшего ранга.
По степени универсальности различают специфичные свойства, характерные только для некоторых компонентов, и всеобщие, присущие всем компонентам.
Целевые свойства подразделяются:
• на основные, характеризующие главное назначение ИС;
• конкретизирующие, характеризующие уровень специализации ИС;
• дополнительные, характеризующие целевой диапазон использования ИС.
Ограничительные свойства делятся:
• на внешние эксплуатационные свойства;
• условия при разработке, ограничительные параметры;
• ограничительные свойства безопасности данных, характеризующие условия, при которых обеспечивается безопасность информации.
Показатели оценки эффективности
Для полного определения любого абсолютного или относительного показателя оценки эффективности необходимо указать:
№ 3 (45) 2013
1
I
=8 €
§ и
0
1
I
и §
<и
■
та
I
0 =8
1
I
£
• наименование показателя;
• формулировку показателя, содержащую данные о способе экспериментального или расчетного определения его величины;
• численное значение показателя.
Из первого принципа квалиметрии следует, что показатели оценки эффективности могут характеризовать одно или несколько свойств ИС. В связи с этим различают единичные и комплексные показатели.
Единичный показатель оценки эффективности — это показатель оценки эффективности ИС, относящейся только к одному из ее свойств.
Комплексный показатель оценки эффективности — это показатель оценки эффективности ИС, относящейся к нескольким ее свойствам.
Единичные показатели оценки эффективности получают путем измерения параметров ИС или вычисляют по результатам испытаний (эксплуатации) одной или нескольких различных ИС. Примерами таких показателей могут быть средняя наработка на отказ То, среднее время восстановления ТВ, интенсивность отказов X и др. Комплексные показатели обычно рассчитывают по определенной методике, используя при этом единичные показатели. Например, комплексный показатель оценки эффективности — коэффициент готовности Кг — вычисляется по формуле:
К =■
Тв + ХТП
Таким образом, данный показатель характеризует сразу два свойства: безотказность и восстанавливаемость.
Кроме этих показателей для оценки эффективности ИС применяются еще некоторые разновидности комплексного показателя эффективности: интегральный и обобщенный.
Интегральным показателем оценки эффективности ИС называют комплексный показатель оценки эффективности ИС, отражающий соотношение суммарного поло-
жительного эффекта от эксплуатации ИС и суммарных затрат на ее разработку.
Обобщенный показатель оценки эффективности ИС — это комплексный показатель оценки эффективности ИС, относящийся к такой совокупности ее свойств, по которой принято решение оценивать эффективность ИС.
Методы определения показателей эффективности
В зависимости от используемых средств различают следующие пять методов определения численных значений единичных показателей оценки эффективности:
• экспериментальный;
• расчетный;
• органолептический;
• социологический;
• экспертный.
Экспериментальным называют метод определения численного значения оценки эффективности посредством вычисления показателей техническими измерительными средствами или путем подсчета количества событий или объектов.
Расчетный метод определения численного значения показателя оценки эффективности — это метод, осуществляемый при помощи вычислений с использованием значений параметров, найденных другими методами. Расчет численных значений показателей производится на основе установленных теоретических или эмпирических зависимостей. Например, оценка вероятности безотказной работы Р^) рассчитывается по формуле:
!
Р^) = еТ0,
где t — время безотказной работы;
Т0 — средняя наработка невосстанавливае-
мого объекта до отказа.
При органолептическом методе оценка численного значения показателя оценки эффективности производится на основе анализа восприятий или ощущения органов
114
№ 3 (45) 2013
чувств специалистов, которые дают балльную оценку показателям оценки эффективности по установленной шкале.
Социологический метод основан на сборе и анализе мнений фактических или возможных пользователей ИС путем распространения специальных анкет-вопросников. С помощью этого метода в основном оцениваются численные значения показателей оценки эффективности ИС.
Экспертный метод базируется на учете мнений группы высококвалифицированных специалистов-разработчиков, эксплуатационников. В отличие от органолептического метода, когда показатели оценки эффективности определяет один специалист, в экспертном методе учитывают мнение нескольких профессионалов.
Общую оценку численного значения показателя оценки эффективности при экспертном методе получают расчетным способом с помощью баллов, поставленных участниками исследования. Экспертные методы применяют в тех случаях, когда невозможно или затруднительно использовать более объективные методы, например расчетный.
Перечисленные методы определения численных значений показателей оценки эффективности применимы в основном при оценке абсолютных и относительных значений единичных показателей оценки эффективности.
Более сложные показатели — комплексный, интегральный, обобщенный — определяются в основном расчетными методами по известным численным значениям единичных показателей оценки эффективности. Однако иногда для оценки обобщенного показателя оценки эффективности применяется также экспертный метод.
Методы вычисления комплексного показателя эффективности
Существуют различные методы получения комплексного показателя эффективности, из которых выделим следующий спо-
соб — нахождение функциональной зави- ¡а симости комплексного показателя оценки эффективности от единичных показателей. Этот способ используется в тех случаях, когда удается выделить некоторый главный показатель оценки эффективности, наиболее полно отражающий возможности ИС выполнять ее основное назначение, и можно найти его функциональную зависимость от единичных показателей. Тогда данный главный показатель используется как обобщенный комплексный показатель при оценке эффективности. Очень часто в таком качестве используется один из единичных показателей эффективности применения. Оценка комплексного показателя оценки эффективности может также осуществляться с помощью средневзвешенного показателя, который получается путем усреднения исходных относительных показателей с параметрами весомости, учитывающими важность улучшения каждого из исходных показателей.
Все существующие и возможные методики определения комплексного средневзвешенного показателя оценки эффективности могут быть подразделены (и для удобства закодированы) следующим образом:
1) по способу учета весомости отдельных свойств:
• методы, не учитывающие весомость (буквенный код О);
• методы, учитывающие весомость (другие буквы алфавита);
2) по способу определения весомостей отдельных свойств:
• методы, базирующиеся на стоимостном принципе определения весомостей (код А);
• методы, основанные на эвристическом (экспертном) принципе определения весо-мостей (код В);
• методы, базирующиеся на комбинированном принципе определения весомости — смешанные коды (код С);
• методы, основанные на вероятностных оценках и статическом подходе (код Д);
3) по способу сведения воедино оценок отдельных свойств:
1
1
§
Si
и
£
0
И
1 I
U §
i
<и
■S-та
!1
0
!
!
£
• методы, основанные на среднем геометрическом (код 1);
• методы, основанные на среднем арифметическом (код 2);
• методы, основанные на среднем гармоническом (код 3);
• методы,основанные на принципах теории распознавания образов (код 4);
• методы,основанные на принципах теории машинной постановки диагноза (код 5).
Классификация представлена в табл. 1, которую можно продолжать вниз и вправо.
Геометрический комплексный показатель вычисляется по формуле:
т
V = П (я )8'
Этот показатель применяется как основной при оценке эффективности. Он, как правило, является самостоятельным. Специально составленные таблицы позволяют вычислять его сравнительно просто.
Арифметический комплексный показатель рассчитывается по формуле:
Он применяется вместо геометрического комплексного показателя оценки эффективности для упрощения расчетов в тех случаях, когда исходные показатели оценки эффективности сравнительно мало отличаются друг от друга.
Максимальная ошибка, получаемая при замене геометрического комплексного показателя арифметическим, получается равной следующему значению:
ГДе Amax
e = А2 / 2,
max max ' '
x — большее по абсолютной величине относительное отклонение исходного показателя оценки эффективности от среднего взвешенного арифметического показателя:
1-P
P
А = —max_
U -1
А =■
U
Квадратичный средневзвешенный показатель вычисляется по формуле:
U = X§q,
Q = JX§qf-
Таблица 1
Методы определения комплексного средневзвешенного показателя оценки эффективности
Признаки классификации
Способ определения весомости свойств Способ сведения воедино оценок свойств
Методы, основанные на:
среднем геометрическом (1) среднем арифметическом (2) среднем гармоническом (3) принципах распознавания образов (4) принципах машинной постановки диагноза (5)
Весомость не учитывается (О) О1 О2 О3 О4 О5
Стоимостный принцип (А) А1 А2 А3 А4 А5
Экспертный принцип (В) В1 В2 В3 В4 В5
Комбинированный принцип (С) С1 С2 С3 С4 С5
Вероятностный принцип (Д) Д1 Д2 Д3 Д4 Д5
I=1
I=1
№ 3 (45) 2013
При обосновании средневзвешенного комплексного показателя оценки эффективности необходимо решить два вопроса.
1. Можно ли найти такие неотрицательные коэффициенты весомости, чтобы средневзвешенный показатель был состоятельным?
2. Если можно, то какой информацией следует пользоваться при определении параметров весомости?
Таким образом, вначале необходимо определить условия, в которых применить средневзвешенный комплексный показатель оценки эффективности для выбранной ИС, а затем уже разрабатывать параметры весомости.
интегральный показатель эффективности
Разновидностью комплексного показателя оценки эффективности ИС является интегральный показатель, отражающий соотношение суммарного полезного эффекта от эксплуатации и суммарных затрат на ее создание и эксплуатацию.
Интегральный показатель оценки эффективности вычисляется по формуле:
I =
К3 + з3
где П7 — суммарный полезный эффект от эксплуатации ИС;
К3 — суммарные капитальные затраты на разработку ИС;
Зз — суммарные затраты на эксплуатацию ИС.
Из приведенного выражения видно, что этот показатель оценки эффективности определяет величину положительного эффекта от применения ИС по назначению, приходящуюся на рубль затрат на разработку и эксплуатацию.
Иногда интегральный показатель оценки эффективности вычисляется по формуле:
г = К,- + 3з.
Например, интегральным показателем ¡а оценки эффективности автомобиля является стоимость одного тонно-километра про- ^ бега:
Ц + 3з
I' =
Д
где Ц — отпускная цена автомобиля; Зэ — эксплуатационные расходы (затраты на эксплуатацию);
Д — пробег в тонно-километрах до капитального ремонта.
Приведенные формулы, однако, нельзя использовать для вычисления интегрального показателя I ', если оцениваемая ИС эксплуатируется не один год. В формулу выражения оценки интегрального показателя входят величины неодинаковой размерности. Капитальные затраты — это единовременные затраты, а положительный эффект П7 от эксплуатации ИС и расходы на эксплуатацию разносятся на несколько лет.
Если капитальные затраты не использовать на приобретение ИС, а вложить в разработку, то они бы приносили определенный ежегодный доход, величина которого зависит от эффективности капиталовложений. То же самое относится и к годовым затратам на эксплуатацию, и к получаемому в течение года положительному эффекту. Для того чтобы учесть это при вычислении интегрального показателя, поступают следующим образом.
Если срок службы ИС больше одного года, то все затраты и суммарный полезный эффект приводят к последнему году эксплуатации t по формулам сложенных процентов:
Кзпр = Кз (+Еп )'■
где Еп— нормативный коэффициент экономической эффективности (в настоящее время для всех отраслей промышленности он принимается равным 0,12); t — срок службы (лет).
117
Соответственно:
3з = 3зГ £ (1 + Еп)'
,=1
пэ = П £ (1 + Еп)',
'=1
где Ззг — годовые затраты на эксплуатацию ИС;
П — годовой эффект от эксплуатации ИС.
Если подставить эти выражения в формулу вычисления интегрального показателя, получится:
I = ■ П
1
1
=8 €
§ и
0
1 !
и §
<и
■
та
I
£
0 =8
1
I
£
I = ■
п
-=1.
Эти приращения вычисляются по следующим формулам:
АП, = у, П16 АП; = °'П«А '
Кзф (t) + Ззг
В этом выражении ф(t) — функция приведения:
Ф(0 = (1 + Еп)' / £ (1 + Еп)'.
' -1
Для некоторых ИС затруднительно оценить Л1. В этом случае выбирают базовый образец и полагают, что для него величина интегрального показателя оценки эффективности равна единице:
АРб
где АР, — приращение показателя у-го свойства новой ИС по сравнению с базовым показателем АРГО ;
у,, ст, — некоторые коэффициенты пропорциональности, обычно определяемые экспертным путем.
Таким образом, условный годовой положительный эффект от применения новой ИС будет определяться следующим образом:
1 т а АР
п, = П,6 (1 + Х X ^).
, = 1 У АРу6
Далее для новой ИС оценивают Кз, Зэг и t и рассчитывают интегральный показатель оценки эффективности:
I = ■ П
К36ф(t) + Зз
Отсюда следует:
П16 = К36 ф(t) + Ззгб.
Будем считать, что каждый вариант ИС отличается от базового по 1 + т свойствам. Пусть 1 из них нельзя оценить экспериментально, а т можно. Тогда годовой положительный эффект от эксплуатации новой ИС можно представить в виде следующего выражения:
1 т
П1 = П16 +ХАП, +£Апу ,
,=1 у=1
где АП,, АП, — приращения годового положительного эффекта за счет отличий по свойствам.
Кз Ф(t) + Ззг Если I > 1, то новое изделие лучше базового, если же I < 1, то хуже.
Уровни оценки эффективности
Важнейшей характеристикой ИС является уровень ее эффективности.
Уровнем эффективности ИС будем называть относительную характеристику, основанную на сравнении совокупности показателей эффективности ИС с соответствующей совокупностью базовых показателей.
Базовым показателем оценки эффективности будем называть показатель, принятый за исходную величину при сравнительных оценках эффективности.
Базовые показатели могут быть единичными, комплексными и интегральными. ГОСТ-15467 рекомендует применять в качестве базовых следующие показатели:
• при оценке эффективности — номинальные и предельные значения выбранных показателей;
№ 3 (45) 2013
• при анализе изменения оценок эффективности ИС в процессе ее разработки — значения, достигнутые в предыдущем периоде;
• при государственных испытаниях — значения показателей, зафиксированные в техническом задании на разработку ИС;
• при оценке эффективности — значения, установленные для эталонных образцов ИС.
Эталонами могут быть:
• планируемая ИС, т. е. совокупность определенных показателей, которые включают значения прогнозируемого уровня эффективности;
• конкретная ИС, выбираемая из всей совокупности аналогичных по назначению и условиям эксплуатации, выпускаемых в стране или за рубежом;
• зарубежный или отечественный стандарт.
Различают технический, нормативный и технико-экономический уровень оценки эффективности. Техническим называют уровень оценки эффективности ИС, обусловленный такой совокупностью базовых показателей, в которую не входят экономические показатели. Технико-экономическим называют уровень оценки эффективности ИС, обусловленный такой совокупностью базовых показателей, в которую входят экономические показатели. Нормативным называют уровень оценки эффективности такой ИС, у которой численные значения показателей оценки эффективности находятся в области допустимых значений.
Процесс оценки уровня оценки эффективности ИС включает:
• выбор перечня свойств, которые в достаточной мере характеризуют эффективность рассматриваемой ИС;
• определение номенклатуры показателей, описывающих свойства ИС;
• определение численных значений показателей;
• выбор значений базовых показателей;
• определение относительных значений показателей;
• вычисление показателя уровня эффективности.
Оценка эффективности уровня ИС производится с целью определения наилучших способов воздействия (управления) на процессы планирования, разработки и эксплуатации ИС.
В соответствии с характером решений, которые надо принять на основе результатов оценки уровня эффективности, выбирают различные показатели и необходимую точность их оценки.
Рассмотрим основные методы оценки уровня эффективности. В зависимости от того, по каким относительным показателям оценивают его уровень, различают три метода оценки уровня эффективности ИС: дифференциальный, комплексный и смешанный.
При дифференциальном методе уровень эффективности оценивается путем сопоставления единичных показателей эффективности оцениваемой ИС с единичными показателями эффективности базового образца. При этом относительные показатели оценки эффективности вычисляют по формуле:
Я =
чв
если увеличение Р1 свидетельствует о повышении эффективности; или
I
иа
Я =
р1
если увеличение Р1 означает ухудшение эффективности.
После вычисления я1 определяют:
• достигнут ли базовый уровень в целом;
• по каким показателям он достигнут, по каким нет;
• какие показатели наиболее существенно отличаются от базовых и т. п.
Дифференциальный метод дает лишь качественную характеристику состояния дел и не позволяет строго судить об улучшении эффективности ИС. Например, весьма сложно понять, лучше ли оцениваемая ИС,
119
№ 3 (45) 2013
чем базовый (принятый за эталон) образец, если по одним показателям эффективности q1 больше единицы, а по другим — меньше.
Комплексный метод оценки применяется в тех случаях, когда для обоснования рекомендаций по принимаемым решениям целесообразно характеризовать уровень оценки эффективности показателем, который выражается одним числом. Этот показатель называется обобщенным, или комплексным, а оценка уровня оценки эффективности — комплексной.
Комплексный показатель уровня оценки эффективности может быть выражен:
• баллами или категорией эффективности (высшая, первая, вторая и т. д.);
• функциональной зависимостью главного или интегрального показателя от исходных показателей оценки эффективности;
• средними взвешенными показателями оценки эффективности ИС;
¡5 • интегральным показателем оценки эф-§ фективности.
К Во всех случаях при комплексной оценке
5 эффективности несколько показателей эф-^ фективности (Р1, Р2,..., Рп) или ^^ q2,..., qn) « объединяются в один общий показатель: | Р = Р (Р1, Р2.....Рп).
§ Комплексная оценка эффективности || производится в основном в интересах оп-
6 ределения степени повышения эффектив-1| ности, поэтому желательно, чтобы увеличе-£ ние Р соответствовало повышению оценки § эффективности. Кроме того, желательно,
чтобы оптимальному варианту управляющих .Ц решений соответствовало максимальное значение комплексного показателя оценки | эффективности. Если последний отвечает Ц этим требованиям, то он называется состоятельным.
^ Комплексные показатели оценки эффекту тивности, не являющиеся состоятельными, | невозможно использовать для выработке ки управляющих решений, поэтому приме-| нять их для оценки эффективности не стоит. || Следовательно, при введении того или иного комплексного показателя уровня оценки
эффективности надлежит предварительно обосновывать его состоятельность.
Смешанный метод объединяет дифференциальный и комплексный. Он используется в следующих случаях:
— когда совокупность единичных показателей оценки эффективности является достаточно обширной и анализ значений каждого показателя дифференциальным методом не позволяет получить обобщающих выводов. В этом случае отдельные единичные показатели объединяют в группы, и для каждой из них вычисляют комплексные показатели. Некоторые наиболее важные единичные показатели не объединяют, а используют для последующего анализа наряду с комплексными. В дальнейшем по групповым комплексным показателям экспертным методом оценивают общий уровень эффективности ИС;
— когда обобщенный показатель оценки эффективности в комплексном методе недостаточно полно учитывает все существенные свойства ИС и позволяет сделать выводы относительно некоторых определенных групп этих свойств.
Принципы обеспечения эффективности
В процессе оценки эффективности могут использоваться две группы составляющих: объекты, которыми выбраны эталонные ИС, и субъекты — организации, сопровождающие эксплуатацию ИС на разных стадиях их жизненного цикла. Соответственно, оценка эффективности ИС состоит:
• из оценки технического обеспечения, т. е. соответствия ИС, поставляемой заказчику (покупателю), предъявляемым к ней требованиям, которые заложены в типовую структуру ИС и подтверждены соответствующими проверками эталонных образцов;
• оценки организационного обеспечения, т. е. наличия на предприятии системы менеджмента качества (СМК), с помощью которой организуется управление деятельностью, направленной на создание типовой конструкции ИС по показателям, опре-
№ 3 (45) 2013
деляющим потребительские свойства, а также механизм их реализации.
Для ИС, показатели оценки эффективности которой имеют локальный характер, техническое обеспечение оценки эффективности ИС формируется исходя из характеристик, обеспечивающих возможность анализа процесса функционирования ИС, и результатов маркетингового анализа рынка сбыта. Документом, в котором сформулированы требования к такой ИС, является техническое задание (ТЗ).
Эффективность ИС определяется и учитывается на всех этапах ее жизненного цикла: проектирования, разработки и эксплуатации.
Гарантией обеспечения эффективности ИС у организации-разработчика является наличие соответствующих сертификатов, характеризующих эталонный образец.
Сертификация ИС содержит два компонента:
1. Проверку соответствия эталонного образца заданным требованиям.
2. Проверку возможностей разработчика обеспечивать соответствие изготовленных ИС требованиям по эффективности на всех этапах жизненного цикла системы.
Заключение
В представленном материале автор рассмотрел основные принципы квалиметрии по оценке качества продукции применительно к оценке эффективности информационных систем и технологий.
В статье дано определение эффективности ИС или ИТ — это совокупность свойств, обусловливающих пригодность ИС или ИТ удовлетворять определенные потребности пользователя в соответствии с назначением и заданными требованиями. Утверждается, что оценка эффективности ИС или ИТ определяется только теми свойствами, которые связаны с возможностью удовлетворения некоторых потребностей, касающихся назначения каждой конкретной ИС или ИТ.
Приведена классификация свойств эффективности, а также показатели оценки
эффективности ИС и ИТ, изложены методы определения численных значений еди- 'S ничных показателей и методы вычисления комплексного показателя эффективности.
Список литературы
1. Белый В. М., Зиновьев В. Н., Мареннико-ва И. В. Качество продукции и управление им // Менеджмент сегодня — 2009. № 4 (54). Grebennikov. Business career.
2. Белый В. М., Белый Р. В.. Теория эффективности информационных систем и информационных технологий. ООО «ПКФ «СОЮЗ-ПРЕСС». Ярославль, 2012. — 275 с.
3. ГОСТ 15467-79 Управление качеством продукции. Основные понятия. Термины и определения. М.: Изд-во стандартов, 1979.
4. Международные стандарты. «Управление качеством продукции». ИСО 9000-9004, ИСО 8402. М.: Изд-во стандартов, 1988.
5. Международный стандарт ИСО 9000:2005 (ГОСТ Р ИСО 9000:2005). Системы менеджмента качества. Основные положения и словарь.
6. Амиров Ю. Д. Квалиметрия и сертификация продукции. М.: Изд-во стандартов, 1996.
7. Всеобщее управление качеством. Total Quality Management (TQM): учебник / под ред. О. П. Глуд-кина. М.: Радио и связь, 1995.
8. Годлевский В. Е. Система менеджмента качества: учеб. пособ. Самара: Самарский научный центр РАН, 2001.
9. Азгальдов Г. Г., Райхман Э. П. Экспертные методы в оценке качества товаров. М.: Экономика, 1974. — 151 с.
10. Экономическая информатика: Введение в экономический анализ информационных систем: учебник. М.: ИНФРА-М, 2005.
11. Козырев А. А. Информационные технологии в экономике и управлении: учебник. СПб.: Изд-во Михайлова В. А., 2003.
12. Волкова В. Н., Голуб Ю. А. Информационная система: к вопросу определения понятия // Прикладная информатика. 2009. № 5 (23).
13. Шориков А. Ф., Виноградова Е. Ю. Разработка информационной системы комплексного управления предприятием // Прикладная информатика. 2007. № 5 (11).
