CC BY
329
УДК 004.413; 519.816
ОБ ИСПОЛЬЗОВАНИИ АППАРАТА ТЕОРИИ ПРИНЯТИЯ РЕШЕНИЙ В ЗАДАЧАХ ОЦЕНИВАНИЯ СОГЛАСНО МОДЕЛИ СММР
Г.И. Кожомбердиева, к.т.н., доцент; М.И. Гарина, к.т.н., доцент; Д.П. Бураков, к.т.н., доцент (Петербургский государственный университет путей сообщения,
Московский просп., 9, г. Санкт-Петербург, 190031, Россия, [email protected], [email protected], [email protected])
Статья посвящена методологическим подходам к оцениванию зрелости технологических процессов разработки программного обеспечения согласно модели CMMI® , разработанной в США в Институте программной инженерии университета Карнеги-Меллона (SEI). Предлагаются и обсуждаются методики оценивания качества объективных свидетельств и степени осуществления практик, обеспечивающих реализацию целей процессных областей CMMI®. Формирование подобных оценок необходимо для получения вывода о достигнутом уровне зрелости процессов организации-разработчика.
В условиях неопределенности и/или неполноты исходной информации о выполнении практик CMMI® с целью повышения степени доверия к принимаемым экспертами-оценщиками решениям целесообразно использовать инструментарий, применяемый для принятия решений в слабо формализованных предметных областях. В работе рассматриваются два подхода к формированию оценок: методы нечеткой логики и методы многокритериальной классификации (использующей как классы с нечеткими границами, так и решающие правила) с учетом возможности их комбинирования в зависимости от полноты информации, имеющейся у команды экспертов-оценщиков.
Ключевые слова: CMMI®, уровни зрелости, уровни возможностей, процессная область, оценивание, объективные свидетельства, теория принятия решений, нечеткая логика, многокритериальная классификация.
USING DECISION MAKING THEORY FOR APPRAISEMENT PROBLEMS ACCORDING TO THE CMMI® MODEL
Kozhomberdieva G.I., Ph.D. Tech. Sc., associate professor; Garina M.I., Ph.D. Tech. Sc., associate professor;
Burakov D.P., Ph.D. Tech. Sc., associate professor (Petersburg State Transport University, Moskovskiy Av., 9, St. Petersburg, 190031, Russian Federation, [email protected], [email protected], [email protected])
Abstract. The article is devoted to the methodological approaches to the maturity appraisement of the software development processes according to the CMMI® model developed by the Software Engineering Institute (SEI) at Carnegie Mellon University.
The article proposes and discusses the methods of quality appraisement of objective evidence and extent of implementation of practices that ensure achievement of the goals of the CMMI® process areas. Such appraisals are necessary to understand the processes maturity level of the developer.
In case of uncertainty and/or information incompleteness on the implementation of CMMI® practices, it is reasonable to use a toolkit used for decision-making in weakly formalized subject domains. It helps to increase confidence in appraisal team solutions. This article considers two approaches to appraisals formation: fuzzy logic methods and multi-criteria classification methods (using the classes with fuzzy boundaries and the decision rules) with the possibility of their combining depending on the completeness of information available for the appraisal team.
Keywords: CMMI®, capability levels, maturity levels, process area, appraisement, objective evidence, decision theory, fuzzy logic, multi-criteria classification.
Комплексная модель зрелости CMMI (Capability Maturity Model Integration) - это широко известный подход к совершенствованию технологических процессов разработки и сопровождения программных продуктов и систем, разработанный в США в Институте программной инженерии университета Карнеги-Меллона (SEI - Software Engineering Institute of Carnegie Mellon University). Модель CMMI for Development активно используется как руководство по улучшению качества процессов организаций-разработчиков ПО. Модель постоянно развивается; ее актуальной версией является CMMI-DEV V1.3 (http://www.sei.cmu.edu/ reports/10tr033 .pdf).
Модель CMMI содержит общий набор требований к процессам, основанный на проверенном временем опыте разработчиков ПО. На ее основе
организация может совершенствовать или разрабатывать процессы, может использовать модель для оценки производительности или зрелости процессов в следующих целях:
- определение своих базовых показателей, выявление сильных и слабых сторон;
- измерение результатов предпринятых ранее улучшений;
- обеспечение возможности сравнения уровня производительности или зрелости процессов с аналогичными показателями других организаций [1].
Требования к проведению оценивания сформулированы командой CMMI в документе ARC (Appraisal Requirements for CMMI) (http://www.sei. cmu.edu/reports/06tr011.pdf). Согласно ARC, любой метод оценки качества процесса, независимо
от принадлежности одному из классов A, B или C (выбор которого обусловлен целевой установкой оценивания), требует сбора и анализа проверенных свидетельств реализации, связанных с процессной областью общих и специфических практик - так называемых объективных свидетельств.
Институтом SEI для CMMI разработан стандартный метод оценки совершенствования процессов SCAMPI (Standard CMMI® Appraisal Method for Process Improvement) - метод оценки класса А (http://www.sei.cmu.edu/reports/11hb001.pdf), позволяющий определять рейтинги качества (уровни зрелости) в соответствии с моделью CMMI. Этот метод согласован с международным стандартом оценки процессов ISO/IEC 15504.
В России известен единственный сертифицированный русскоязычный инструктор и оценщик CMMI, основавший компанию, которая недавно получила официальный статус партнера SEI [2].
Авторы открыли для себя CMMI несколько лет назад благодаря интересу к возможностям использования модели в железнодорожной отрасли, проявленному А.Р. Федоровым, генеральным директором компании Digital Design, являющейся одним из ведущих IT-интеграторов России, и А.В. Илларионовым, в то время начальником Департамента информатизации и корпоративных процессов управления ОАО «РЖД» [3].
Данная работа является обобщением и продолжением работ авторов [3-5] и посвящена обсуждению методик оценивания качества объективных свидетельств и степени осуществления практик, обеспечивающих реализацию целей процессных областей CMMI. На основе подобных оценок в конечном счете делается вывод о достигнутом уровне зрелости процессов организации. В условиях неопределенности и/или неполноты исходной информации о выполнении практик CMMI с целью повышения степени доверия к принимаемым экспертами-оценщиками решениям целесообразно использовать инструментарий, применяемый для принятия решений в слабо формализованных предметных областях.
В работе предлагается использовать два подхода к формированию оценки: аппарат нечеткого вывода и аппарат многокритериальной классификации, использующей как классы с нечеткими границами, так и решающие правила.
Модель CMMI.
Краткое описание
Фундаментальным структурным элементом CMMI является процессная область (Process Area). Это группа взаимосвязанных практик области, при совместном выполнении которых достигается набор целей, признанных важными для улучшений в этой области. Под процессами в модели CMMI понимаются работы, которые рассматриваются
как выполнение практик, при этом под практикой понимается некоторая деятельность, способствующая достижению связанной с ней цели. Процессная область имеет общие (Generic Goals - GG) и специфические цели (Specific Goals - SG), а также общие (Generic Practices - GP) и специфические практики (Specific Practices - SP). Общие цели относятся ко всем процессным областям, специфические сформулированы для конкретной процессной области. Для каждой SP определяются типичные рабочие продукты (Example Work Products) - образцы результатов выполнения специфической практики.
В CMMI-DEV V1.3 определены 22 процессные области.
• Causal Analysis and Resolution (CAR) - анализ причин появления проблем и предотвращение их появления в будущем.
• Configuration Management (CM) - управление конфигурациями.
• Decision Analysis and Resolution (DAR) -анализ (оценка альтернатив) и принятие решений.
• Integrated Project Management (IPM) - комплексное управление проектом.
• Measurement and Analysis (MA) - измерения и анализ.
• Organizational Process Definition (OPD) -определение процессов организации.
• Organizational Process Focus (OPF) - фокусирование на процессах организации.
• Organization Performance Management (OPM) - управление эффективностью работы организации.
• Organizational Process Performance (OPP) -установление показателей выполнения процессов организации.
• Organizational Training (OT) - организация обучения.
• Product Integration (PI) - сборка и поставка продуктов.
• Project Monitoring and Control (PMC) - мониторинг (наблюдение за проектом) и контроль.
• Project Planning (PP) - планирование проекта.
• Process and Product Quality Assurance (PPQA) - обеспечение качества процессов и продуктов (проверка на соответствие стандартам).
• Quantitative Project Management (QPM) -управление проектом на основе количественных данных.
• Requirements Development (RD) - разработка требований.
• Requirements Management (REQM) - управление требованиями.
• Risk Management (RSKM) - управление рисками.
• Supplier Agreement Management (SAM) -управление соглашениями с поставщиками.
• Technical Solution (TS) - техническое решение.
• Validation (VAL) - проверка продуктов на соответствие предназначению (валидация).
• Verification (VER) - проверка продуктов на соответствие требованиям (верификация).
Общие и специфические цели процессной области, структура которой представлена на рисунке 1, - обязательные (required) компоненты модели CMMI. Формулировка цели представляет желаемое конечное состояние, достижение которого свидетельствует о приобретении определенной степени контроля над проектом и процессом.
Уровни зрелости и возможностей процессов. Цель совершенствования процессов на основе модели CMMI - повышение уровня способности/возможности (capability) процесса достигать запланированных результатов.
Повышение уровня возможностей процесса означает, что процесс становится предсказуемым и измеримым, при этом наиболее существенные причины невысокого качества и недостаточной эффективности контролируются или устраняются. При постоянном повышении уровня возможностей (говоря иначе, производительности) процессов организация повышает свою «зрелость» (maturity), то есть уровень зрелости своих процессов.
Представления модели CMMI. Опишем два альтернативных и взаимодополняющих представления модели - непрерывное и этапное. Непрерывное (Continuous): используются уровни возможностей (capability levels) отдельных процессных областей, совершенствуются процессы в одной или нескольких выбранных процессных областях; процессные области выбираются органи-
зацией-разработчиком самостоятельно. Этапное (Staged): используются уровни зрелости (maturity levels) процессов организации в целом; улучшение множества взаимосвязанных процессов происходит последовательно (поэтапно); для каждого этапа (уровня зрелости) процессные области предопределены.
Непрерывное представление. Уровень возможностей (Capability Level) показывает, насколько хорошо организация осуществляет работы в определенной процессной области. Уровень возможностей определяется реализацией соответствующей общей цели (GG) и связанных с ней общих практик. Шкала для измерения возможностей содержит четыре пронумерованных от 0 до 3 уровня.
Capability Level 0 - Incomplete. «Неполный процесс»: не-выполняемый или выполняемый частично. Ни одна из специфических целей процессной области не достигается. Общих целей не существует.
Capability Level 1 - Performed. «Выполняемый процесс»: обеспечивает достижение специфических целей процессной области. Общая цель (GG1 Achieve Specific Goals) - достижение специфических целей процессной области.
Capability Level 2 - Managed. «Управляемый процесс»: выполняемый, который планируется и выполняется в соответствии с принятой политикой уровня организации; контролируется; управляется; осуществляется квалифицированным персоналом, располагающим соответствующими ресурсами для получения контролируемых результатов; осуществляется с привлечением значимых для процесса заинтересованных лиц; проекты выполняются в соответствии с документированным планом и описанием процесса. Общая цель (GG2 Institutionalize a Managed Process) - институциона-лизация управляемого процесса.
Capability Level 3 - Defined. «Определенный процесс»: управляемый, который создается на основе стандартных процессов организации и настраивается в соответствии с руководством по адаптации (подгонке процесса). Общая цель (GG3 Institutionalize a Defined Process) - институциона-лизация определенного процесса.
Согласно CMMI, institutionalization (институ-ционализация) - прочно укоренившийся способ ведения дел, которому организация регулярно следует и который является частью ее корпоративной культуры [1].
Рис. 1. Структура процессной области
Рисунок 2 иллюстрирует использование непрерывного представления.
2 Process Area 1 <
sProcess Area 2 0)
Process Area 3
g
Q. ■o
■к Process Area 4
SProcess Area N
Continuous
Targeted Profie
CL1
CL2
Targeted Capability Levels
CL 3
Рис. 2. Непрерывное представление модели CMMI
• Maturity Level 5 - Optimizing (оптимизирующий). Организация постоянно улучшает свои процессы. Количественные целевые показатели пересматриваются в соответствии с изменениями целей бизнеса и используются как критерий управления улучшением процесса. Эффекты от внедрения улучшений процесса измеряются и оцениваются.
На рисунке 3 показаны иерархия уровней зрелости и пример набора процессных областей, предопределенного для уровня зрелости этапного представления модели CMMI.
Staged
Selected Maturity Level
Maturity Level S
Maturity Level 4
Maturity Level З
Maturity Level 2 SAM
REQM
PPQA PP
PMC MA
CM
Рис. 3. Этапное представление модели CMMI
При непрерывном представлении процессные области разделяют на четыре категории:
- управление процессами (Process Management) - OPD, OPF, OPM, OPP, OT;
- управление проектами (Project Management) - IPM, PMC, PP, QPM, REQM, RSKM, SAM;
- инженерные области (Engineering) - PI, RD, TS, VAL, VER;
- служебные области (Support) - CAR, CM, DAR, MA, PPQA.
Этапное представление. Уровень зрелости производственных процессов организации - это степень определенности, управляемости, измеримости, контролируемости, эффективности, стабильности процессов.
Достижение некоторого уровня зрелости (Maturity Level) обеспечивается реализацией связанных специфических и общих практик для соответствующего предопределенного набора процессных областей.
Шкала зрелости процессов организации содержит пять пронумерованных от 1 до 5 уровней.
• Maturity Level 1 - Initial (начальный). Процессы хаотические, слабо контролируемые. Нарушаются бюджет и планы.
• Maturity Level 2 - Managed (управляемый). Процессы являются контролируемыми, управляемыми и пересматриваемыми. Процессы определены на уровне проектов.
• Maturity Level 3 - Defined (определенный). Процессы определены на уровне всей организации. Стандартные процессы институционализируются и улучшаются со временем. Для проектов устанавливаются определенные процессы путем адаптации и настройки стандартных процессов.
• Maturity Level 4 - Quantitatively Managed (управляемый на основе количественных данных). Используются количественные показатели как критерий управления процессами, статистические и другие количественные методы контроля качества и производительности процессов.
Перечни процессных областей для каждого уровня зрелости приведены в таблице 1.
Таблица 1
Процессные области уровней зрелости
Уровень зрелости Фокусирование Процессные области
2 Базовое управление проектом CM, MA, PMC, PP, PPQA, REQM, SAM
3 Стандартизация процессов DAR, IPM, OPD, OPF, OT, PI, RD, RSKM, TS, VAL, VER
4 Количественное управление OPP, QPM
5 Непрерывное улучшение процессов CAR, OPM
При определении уровня зрелости процессов организации используются следующие правила:
- для достижения 2-го уровня зрелости все процессные области, приписанные уровню зрелости 2, должны достичь уровня возможностей 2 или 3;
- для достижения 3-го уровня зрелости все процессные области, приписанные уровням зрелости 2 и 3, должны достичь уровня возможностей 3;
- для достижения 4-го уровня зрелости все процессные области, приписанные уровням зрелости 2, 3 и 4, должны достичь уровня возможностей 3;
- для достижения 5-го уровня зрелости все процессные области должны достичь уровня возможностей 3.
Проведение оценки согласно CMMI. Стандартный метод оценки совершенствования процессов SCAMPI, разработанный SEI для модели CMMI, позволяет определять рейтинги качества (уровни зрелости) организации. Он отвечает всем требованиям к проведению оценивания, сформулированным командой CMMI в документе ARC (Appraisal Requirements for CMMI) для класса A.
Согласно ARC, методы проведения оценок делятся на три класса. Менее затратные методы классов B и C не ориентированы на определение рейтингов, но могут использоваться для выявления слабых мест и недостатков, нацелены на совершенствование процессов организации.
Приведем краткие формулировки наиболее показательных требований и ограничений, установленных в ARC.
1. Результаты оценивания основываются на объективных свидетельствах (objective evidence), каждое из которых должно исходить как минимум из двух различных источников.
2. Необходимым условием определения рейтинга целей является наличие проверенных свидетельств реализации всех связанных с ними практик. Заключение о том, что все цели «удовлетворены» (satisfied), выносится только в случае внедрения и выполнения всех практик.
3. В качестве объективных свидетельств используются документы, являющиеся либо прямым результатом реализации практики некоторой процессной области, либо следствием выполнения практики, а также устные или письменные заявления, подтверждающие осуществление (или невыполнение) практики, предоставляемые исполнителями практики.
4. Необходимым условием определения рейтинга процессной области является рейтинговая оценка всех ее целей. Процессная область удовлетворяет уровню зрелости, если удовлетворены все ее специфические цели, а также все общие цели данного уровня и более низких уровней зрелости.
5. Процессная область получает в качестве рейтинга уровня возможностей наивысший уровень, для которого все специфические и общие цели удовлетворены.
6. Необходимым условием при получении рейтинга уровня зрелости организации является оценивание всех процессных областей в пределах данного уровня и более низких уровней.
Применение методов теории принятия решений
Использование аппарата нечеткой логики. Для оценивания степени осуществления практик, обеспечивающих реализацию целей процессных областей CMMI, можно использовать аппарат нечеткой логики, а результирующие заключения получить, используя любой из механизмов нечеткого вывода (например механизм нечеткого вывода Мамдани [6]).
По каждому объективному свидетельству должно быть вынесено решение относительно его уровня качества (значимости). Возможные уровни, предложенные в SCAMPI и представленные в порядке убывания качества свидетельства:
- strong objective evidence - сильное объективное свидетельство;
- insufficient objective evidence - недостаточное (неполное) объективное свидетельство;
- inconsistent objective evidence - непоследовательное (несообразное) объективное свидетельство;
- conflicting objective evidence - противоречивое объективное свидетельство;
- no objective evidence - объективное свидетельство отсутствует.
Поскольку уровни значимости (качества) объективных свидетельств представлены в порядковой вербальной шкале, их естественно представить лингвистической переменной evidence, имеющей соответствующее этой шкале терм-множество:
{"strong objective evidence", "insufficient objective evidence", "inconsistent objective evidence", "conflicting objective evidence", "no objective evidence"}.
В качестве носителя значений данной лингвистической переменной предлагается использовать балльную или процентную [0, 100] шкалу оценки качества свидетельства, а точнее, документа, его представляющего.
Пример такой шкалы с графиками функций принадлежности для каждого терма приведен на рисунке 4.
mW 1.0-
0.5'
0.0
0 10 20 30 40 50 60 70
90 100 '
Objective evidence:
— No
—•Conflicting ■— Inconsistent
— - Insufficient
— Strong
Рис. 4. Пример функций принадлежности термов лингвистической переменной evidence
Предлагается использовать следующий механизм оценки свидетельства командой оценщиков:
- для каждого документа-свидетельства составляется контрольный список (checklist);
- выполняется оценка документа по сумме баллов-ответов на контрольные вопросы;
- баллы документа нормируются максимально возможной суммой;
- на основе полученной процентной оценки определяется значение лингвистической переменной (выполняется фаззификация).
На основании принятых решающих правил формируется оценка выполнения каждой из практик процессной области. Возможны следующие уровни осуществления практик, описанные в SCAMPI:
• Fully Implemented (FI) - практика полностью реализована; имеется достаточно убедительных объективных свидетельств, отсутствуют недостатки;
• Largely Implemented (LI) - практика в основном реализована; имеется достаточно убедительных объективных свидетельств, отмечены отдельные недостатки;
• Partially Implemented (PI) - практика частично реализована; предоставленные свидетельства противоречивы: некоторые данные указывают на выполнение практики, некоторые - на невыполнение; отмечены недостатки;
• Not Implemented (NI) - практика не реализована; предоставленные свидетельства не позволяют заключить, что практика осуществлена, отмечены явные недостатки;
• Not Yet (NY) - практика отсутствует; отсутствуют свидетельства, позволяющие признать практику реализованной.
Таким образом, степень выполнения каждой практики характеризуется также лингвистической переменной, имеющей терм-множество {FI, LI, PI, NI, NY}.
В соответствии с решающими правилами формируются нечеткие продукции:
- степень реализации каждой j-й практики описывается лингвистической переменной
practicej;
- для оценки степени реализации используется заранее определенное количество свидетельств N;
- принятые правила оценки реализации практики преобразуются в решающие нечеткие правила, в условиях которых используются нечеткие логические выражения, включающие оценки свидетельств evidencei, а в заключение выполняется присваивание значения выходной лингвистической переменной practicej, характеризующей степень реализации практики: IF FSNt (evidence = = "obj _ value") THEN practice j =" impl _ level", где FSi - нечеткая логическая связка (И, ИЛИ, НЕ).
Приведем в качестве примера самые простые нечеткие решающие правила, которые могут быть сформулированы для получения оценки степени реализации практики:
- если все N объективных свидетельств сильные, практика полностью реализована:
F
IF л^ evidencei = " strong " THEN practice} = " FI ";
- если все N объективных свидетельств не являются таковыми, практика отсутствует:
F
IF лN evidencej = " no objective "
THEN practicej = " NY ".
При необходимости получения приблизительных количественных оценок степени реализации практик процессных областей используется де-фаззификация значений соответствующих результирующих лингвистических переменных. Рейтинговое оценивание процессных областей и определение рейтинга уровня зрелости организации осуществляются в соответствии с правилами ARC.
Пример процессной области и контрольного списка для оценивания объективного свидетельства выполнения практики. В качестве показательного примера процессной области CMMI рассмотрим область Validation (валидация).
Назначение процессной области - продемонстрировать, что разработанный продукт или его компоненты в заданных условиях будут функционировать в соответствии со своим предназначением.
Перечислим специфические цели и практики.
SG 1 Prepare for Validation - подготовка к проведению проверки продуктов на соответствие своему предназначению:
SP 1.1 Select Products for Validation - отобрать продукты и компоненты продуктов, которые должны пройти проверку на соответствие предназначению (быть аттестованы), и для каждого выбрать методику проверки;
SP 1.2 Establish the Validation Environment -создать и поддерживать условия, необходимые для проверки отобранных продуктов;
SP 1.3 Establish Validation Procedures and Criteria - установить и поддерживать необходимые для проверки процедуры и критерии.
SG 2 Validate Product or Product Components -продукты или компонент продуктов проверяются с тем, чтобы убедиться, что они пригодны для использования в соответствующей рабочей среде:
SP 2.1 Perform Validation - выполнить проверку отобранных продуктов и компонентов;
SP 2.2 Analyze Validation Results - провести анализ результатов проверки продуктов и выявить существующие проблемы.
Одним из результатов выполнения специфической практики SP 1.1 процессной области Validation является документ типа «Методика испыта-
ний программного продукта» (validation methods for each product or product component). Любой документ данной категории может быть отобран и использован в качестве объективного свидетельства выполнения практики SP 1.1.
Для имеющегося в распоряжении авторов документа «Программа-методика приемо-сдаточных испытаний информационной системы» разработан примерный вариант контрольного списка, оценивающий качество оформления документа и самого процесса испытаний, им регламентируемого. Фрагмент контрольного списка оформлен в виде таблицы 2.
Таблица 2
Пример контрольного списка
Использование аппарата многокритериальной классификации. Для принятия решения о степени реализации практик СММ1 и, в конечном счете, о достигнутом уровне зрелости может быть применена и многокритериальная классификация (с нечеткими классами или по решающим правилам) [7]. Для классификации в качестве первичных данных в простейшем случае могут использоваться нечеткие оценки степени реализации практик, полученные посредством нечеткого вывода, рассмотренного выше.
В качестве инструмента для решения задачи многокритериальной классификации может быть использована инструментальная система СВИРЬ [8]. Модель задачи, формируемая в этой системе в виде иерархии таблиц объекты/признаки и соответствующая процессной области, может иметь вид двухуровневой иерархии: в таблице верхнего уровня перечисляются цели, каждой из которых соответствует таблица нижнего уровня, содержащая столько качественных признаков, сколько практик поддерживают цель. Значениями этих признаков являются термы лингвистической переменной practice {FI, LI, PI, NI, NY}. В качестве объектов во всех таблицах выступают организации, процессы которых классифицируются.
В таблицах, соответствующих целям, содержится описание четырех классов, упорядоченных по приоритету следующим образом: FP>LP>PP>NP, где FP - Full Provided, LP - Largely Provided, PP - Partially Provided, а NP - Not Provided. Решающие правила составляются следующим образом:
FP: Vi: y,=FI - цель полностью достигнута, если все практики полностью реализованы;
LP: Vi: (yi=FI)v(yi=LI) - цель в основном достигнута, если все практики реализованы в основном или полностью;
PP: Vi: (yi=FI)v(y,=LI)v(yi=PI) - цель частично достигнута, если все практики реализованы частично, в основном или полностью;
PP: 3i: (yi=NI)v(y,=NY) - цель не достигнута, если не реализована хотя бы одна из практик.
В корневой таблице модели формируются четыре класса, соответствующие уровням непрерывного представления модели CMMI: CL0 -Incomplete, CL1 - Performed и т.д. Решающие правила составляются следующим образом (фрагмент):
CL0: 3i: (yi=NP)v(yi=PP) - неполный процесс, ни одна из специфических целей процессной области не достигается хотя бы в основном;
CL1: Vi: (yi=LP)v(y,=FP) - выполняемый процесс, все специфические цели достигаются полностью или в основном и т. д.
В том случае, если нечеткий вывод не применялся и, следовательно, оценок степени реализации практик нет, иерархия модели задачи должна содержать на один уровень больше. Тогда каждой практике соответствует таблица, признаками которой являются вопросы контрольного списка, а их значениями - числа шкалы оценки от 0 до N.
В каждой таблице, соответствующей практике, используются пять классов, упорядоченных по приоритету: FI>LI>PI>NI>NY. Решающие правила составляются с привлечением экспертов-оценщиков: XI: Vi: (у,>п,) - практика относится к классу XI, если каждый i-й вопрос контрольного списка имеет значение, не меньшее nt. Задача эксперта состоит в определении значений nt для каж-
№ Вопрос Шкала оценки Ответ
1 Соответствует ли наименование испытываемой ИС, указанное в документе, реальному наименованию ИС 0 - не соответствует, 1 - частично соответствует, 2 -полностью соответствует 2
2 Соответствует ли область применения испытываемой ИС, указанная в документе, реальной области применения ИС 0 - не соответствует, 1 - частично соответствует, 2 -полностью соответствует 1
30 Количество контрольных заданий (всего) 0, ..., N «30
31 Количество контрольных заданий, в которых приведены цели их проведения 0, ..., N «31
32 Количество контрольных заданий, в которых указан уровень важности тестируемой функциональности 0, ..., N «32
33 Количество контрольных заданий, в которых указаны подлежащие тестированию компоненты 0, ..., N «33
46 Имеется ли лист регистрации изменений 0 - нет, 1 - да 1
дого из классов, кроме FI и NY. Правило для класса FI является самым строгим: FI: V/: (у{=Ы) -практика полностью реализована, если все объективные свидетельства сильные N - максимальное значение шкалы /-го объективного свидетельства). Класс NY в данной модели определяется как дополняющий, то есть практика относится к нему, если она не отнесена ни к одному из других классов.
При использовании в модели задачи трехуровневой иерархии таблиц применим и метод многокритериальной классификации по обобщающей функции [7]. В этом случае на нижнем уровне иерархии строятся функции принадлежности классам ^1, LI, Р1, N1, аналогичные функциям принадлежности, показанным на рисунке 4, а обобщенная принадлежность к-му классу опреде-
m
ляется по формуле т = 2 т,' W , где Дк' - значе-
]=
ние принадлежности к-му классу по '-му свидетельству; V - весовой коэффициент (важность) 'го свидетельства; т - количество свидетельств в таблице.
В таблицах второго и верхнего уровней используется эта же формула, но в качестве Д' берется значение обобщенной принадлежности классу, полученное в подтаблице. На любом уровне иерархии решение о назначаемом классе принимается по принципу максимальной обобщенной принадлежности. Для самого сильного класса FI рекомендуется установить порог классификации, близкий или равный единице.
В заключение необходимо отметить следующее. Исходя из открытости модели СММ1 и разнообразия возможных целей ее использования заинтересованными экспертами, авторы полагают, что модель может быть адаптирована к различным применениям. Возможна, например, разработка отраслевого подхода для оценивания зрелости процессов в организациях, занимающихся созданием информационных систем для железнодорожного транспорта.
На основе изложенных в статье идей может быть построена методология оценивания качества технологических процессов организации в духе модели СММ1.
Такая методология вполне может быть востребована в организациях, желающих оценить уровень своей зрелости или уровни возможностей своих процессов в соответствии с международными стандартами, но не имеющих возможности или необходимости прибегать к услугам оценщиков, сертифицированных 8Б1.
Использование математического аппарата теории принятия решений (таких подходов, как рассмотренные здесь нечеткая логика и многокритериальная классификация, а также, предположительно, байесовский подход) делает возможным
реализацию методологии оценивания качества процессов в виде некоторой информационной системы, автоматизирующей процесс оценивания. Информационная система оценивания качества может использоваться автономно или встраиваться в уже имеющуюся в организации систему управления технологическими процессами.
Литература
1. Ахен Д.М., Клауз А., Тернер Р. CMMI®: Комплексный подход к совершенствованию процессов. Практическое введение в модель; [пер. с англ.]. М.: Изд-во МФК, 2005. 330 с.
2. Kondakov Consulting. URL: http://consulting.kondakov.ru (дата обращения: 15.09.2013).
3. Хомоненко А.Д., Кожомбердиева Г.И. Управление качеством при разработке программного обеспечения на основе современных стандартов и моделей: учеб. курс с электрон. средствами поддержки дистанционного обучения // Информационные технологии на железнодорожном транспорте «Инфо-транс-2008»: докл. XIII междунар. науч.-практич. конф. СПб: ПГУПС, 2008. С. 90-96.
4. Кожомбердиева Г.И., Гарина М.И. Возможности использования методов теории принятия решений при проведении оценки согласно модели CMMI® // Интеллектуальные системы на транспорте «ИнтеллектТранс-2011»: матер. I междунар. науч.-практич. конф. СПб: ПГУПС, 2011. С. 300-311.
5. Кожомбердиева Г.И., Бураков Д.П. О применении модели нечеткого вывода для оценивания выполнения практик CMMI® // Интеллектуальные системы на транспорте «Интел-лектТранс-2012»: матер. II междунар. науч.-практич. конф. СПб: ПГУПС, 2012. С. 199-206.
6. Леоненков А.В. Нечеткое моделирование и среде MATLAB и fuzzyTECH. СПб: БХВ-Петербург, 2005. 736 с.
7. Микони С.В. Многокритериальный выбор на конечном множестве альтернатив: учеб. пособие. СПб: Лань, 2009. 272 с.
8. Микони С.В., Бураков Д.П., Гарина М.И. Инструментальная система для решения задач многокритериального выбора // Программные продукты и системы. 2009. № 4. С. 6-9.
References
1. Ahern D.M., Clouse A., Turner R. CMMI Distilled: a practical introduction to integrated process improvement, Addison-Wesley Professional, 2004, 305 p.
2. Kondakov Consulting. Available at: http://consulting.kon-dakov.ru (accessed 15 September 2013).
3. Khomonenko A.D., Kozhomberdieva G.I., Informa-tsionnye tekhnologii na zheleznodorozhnom transporte: dokl. XIII mezhdunar. nauchno-praktich. konf. "Infotrans-2008" [IT on railway transport: proc. of 13th int. sci. and pract. conf. "Infotrans-2008"]. St. Petersburg State Transport Univ. Publ., 2008, pp. 90-96 (in Russ.)
4. Kozhomberdieva G.I., Garina M.I. Intellektualnye sistemy na transporte: materialy I mezhdunar. nauchno-praktich. konf. "lntellectTrans-2011" [Intelligent systems on transport: proc. of the 1st int. sci. and pract. conf. "IntellectTrans-2011"]. St. Petersburg State Transport Univ. Publ., 2011, pp. 300-311 (in Russ.)
5. Kozhomberdieva G.I., Burakov D.P. Intellektualnye siste-my na transporte: materialy II mezhdunar. nauchno-praktich. konf. "lntellectTrans-2012" [Intelligent systems on transport: proc. of the 2nd int. sci. and pract. conf. "IntellectTrans-2012"], St. Petersburg State Transport Univ. Publ., 2012, pp. 199-206 (in Russ.).
6. Leonenkov A.V. Fuzzy modeling in MATLAB and fuzzyTECH. St. Petersburg, BHV-Petersburg Publ., 2005, 736 p. (in Russ.).
7. Mikoni S.V. Multi-criteria choice on the finite set of alternatives. St. Petersburg, Lan Publ., 2009, 272 p. (in Russ.).
8. Mikoni S.V., Burakov D.P., Garina M.I. Programmnye produkty i sistemy [Software & Systems]. 2009, no. 4. pp. 6-9.
