CC BY
12
Гибридный метод оценивания качества социально значимой
деятельности
12 11 В.М. Белов , Е.Н. Пивкин Л.А. Грищенко , А.Б. Архипова
1 Новосибирский государственный технический университет 2ПАО АКБ «Связь-Банк»
2
Аннотация: В статье рассмотрен обобщенный алгоритм оценивания качества социально значимой деятельности (далее - СЗД), предусматривающий экспертное оценивание и последующий анализ данных с использованием одной из шкал оценивания (лингвистической, балльной и интервальной). Предложены методы, которые целесообразно применять на различных этапах обобщенного алгоритма. Определены группы критериев оценивания качества СЗД: детерминированные и частично детерминированные. Оценку качества СЗД предлагается рассчитывать путем суммирования значений вычисленных детерминированных и частично детерминированных критериев, скорректированных на их вес, определенный экспертным путем. При реализации предложенных алгоритмов использовали математический аппарат нечеткой логики, который позволяет проводить вычисления с нечетко заданной входной информацией, характерной для социальных объектов. Такие алгоритмы удобно автоматизировать и применять, когда данные представлены в качественной интерпретации.
Ключевые слова: социально значимая деятельность, оценка качества, алгоритм оценивания качества, оптимизация, экспертные оценки, автоматизация, нечеткое множество, энтропийный подход, системный анализ.
В настоящее время важность СЗД трудно переоценить, поэтому специалисты, привлекаемые для решения сложных многокритериальных задач оценивания качества СЗД должны обладать необходимыми профессиональными знаниями, умениями и навыками (или на современном этапе развития образовательной среды - компетенциями) исследования СЗД. Исследовательские работы, проведенные квалифицированными кадрами, способствуют развитию новых, улучшению имеющихся подходов эффективного и качественного осуществления процесса оценивания качества
Понятие СЗД достаточно многогранно: некоторые авторы под СЗД понимают социально значимые блага, другие - определяют ее с позиций социально значимых услуг (медицинских, образовательных, жилищно-коммунальных и прочих) [1, 2]. В данной публикации СЗД - это
СЗД.
технологически организованные циклы процессов активности индивидов, направленные на удовлетворение определенных социально значимых потребностей, в рамках общественно полезного труда [1].
Таким образом, СЗД может включать следующие процессы:
• возникновение социально значимой потребности;
• создание деятельности по удовлетворению социально значимой потребности;
• получение требуемого результата по итогам деятельности;
• контроль над выполненной работой.
При оценивании качества СЗД учитывают специфику деятельности: сложность понятийного аппарата; проблемы реализации системного подхода для обеспечения и улучшения СЗД в зависимости от конкретных условий; быстроту реализации принимаемых решений; время, затрачиваемое на получение исходной информации; сложность используемых алгоритмов при получении исходной информации, алгоритмов принятия решений и т.д.
В этих условиях возникает потребность разработки новых процедур оценивания качества СЗД, которые способствовали бы разрешению ключевых проблем, с ними связанных.
Процесс оценивания качества СЗД носит комплексный характер, что возможно только при системном подходе, обеспечивающем требуемое качество, удовлетворяющее конечных потребителей [3].
Таким образом, цель оценивания качества СЗД заключается в определении степени соответствия СЗД интересам и ожиданиям людей, объединенных данной деятельностью.
Обобщенный алгоритм оценивания качества СЗД включает следующие этапы [2]:
1. выбор и подготовку экспертов к оценочной деятельности;
2. определение критериев для оценивания СЗД;
и
3. определение коэффициентов важности критериев и диапазона ответов для каждого из критериев;
4. оценивание качества СЗД согласно критериям (показателям) и обобщение полученных оценок;
5. интерпретация результатов, формирование выводов и рекомендаций.
При осуществлении оценивания качества СЗД используют математические методы формализации задачи.
Принимая во внимание вышеизложенное, на этапах 1-3 обобщенного алгоритма оценивания качества СЗД предлагается использовать методы обработки эмпирической информации и интервально-статистический метод, на этапе 4 - энтропийный подход и методы теории нечетких множеств, на этапе 5 - математические методы системного анализа.
Рассмотрим подробнее основные этапы предложенного обобщенного алгоритма оценивания качества СЗД.
В качестве экспертов выбираем компетентных юридических или физических лиц в оцениваемой СЗД.
При этом эксперты должны соответствовать следующим требованиям:
• наличие профессиональной компетентности, практического и исследовательского опыта;
• независимость суждений;
• деловитость;
• объективность;
• высокая общая эрудиция.
Минимальное число экспертов зависит от возможной ошибки результатов оценивания, которую можно рассчитать по следующей формуле [4]:
3
не _ = 0.5(— + 5), гп
где 2к - возможная ошибка результатов оценивания (0 < 2к < 1).
Таким образом, для достижения возможной ошибки результатов работы экспертов 0,27 рекомендуется выбрать количество экспертов, равное 8 человек.
Для оценивания уровня подготовленности экспертов (теоретической, практической, мотивационной и т.д.) им предлагается ответить на ряд вопросов (провести экспертизы).
Относительная ошибка ього эксперта в j-ой экспертизе равна:
1т - т\
_ т Р] 1 у |
= гр '
где Тщ - фактическое значение оценки; 7'е[1,Ы] (Ы - количество экспертиз); Ту - оценка, данная /-м экспертом; /е[1,п]; п - количество экспертов.
Тогда вес (степень компетентности) ього эксперта определяют по формуле:
(Л
И=1 к]
V
I
]=1
а =
' к]
]и
И=1
кг
где к — количество оценок, которые дал ьй эксперт; к— к оличество экспертов, выполнивших j-ую экспертизу.
После вычисления весов для каждого эксперта проводят их нормирование. Исходя из указанных характеристик, определяют уровни подготовленности экспертов к оценочной деятельности (высокий, средний и
и
низкий), которые позволяют судить о подготовленности экспертов к оценочной деятельности.
Степень формализации задачи оценивания качества СЗД определяет поиск ее решения. Выделяют детерминированные, частично-детерминированные и недетерминированные математические модели [5]. При этом четкие границы между соответствующими процессами деятельности отсутствуют, так как недетерминированную задачу можно привести к частично-детерминированной и даже детерминированной (и, наоборот).
Критерии оценивания качества СЗД будем рассматривать с позиций детерминированности и частичной детерминированности.
Общий результат оценивания качества СЗД будем рассчитывать на основе предложенных нами детерминированных и частично детерминированных критериев путем суммирования их балльных значений, скорректированных на их же коэффициенты важности:
"de ПР det
R = E B det x W. det + 2 BJP det x Wp det, i=1 j=1
где Bidet — балльное представление детерминированного критерия оценивания качества СЗД; Wdet - коэффициент важности детерминированного критерия оценивания качества СЗД; Bjpdet — балльное представление частично детерминированного критерия оценивания качества СЗД; Wjpdet — коэффициент важности частично детерминированного критерия оценивания качества СЗД; П^ — количество детерминированных критериев; npdet — количество частично детерминированных критериев.
Экспертами определяется список критериев (показателей) для оценивания качества СЗД, отражающий степень удовлетворенности субъектов СЗД самим процессом и результатами СЗД (ее содержанием, организацией и результатами) потребностям участников деятельности.
и
Диапазон критериев оценивания качества СЗД может содержать следующие обобщенные (интегральные) критерии оценивания:
• достижение целей (достигнуты все цели, достигнуты основные цели, достигнуты не все цели);
• сроки выполнения (выполнено досрочно, выполнено в установленные сроки);
• ценность результатов (очень высокая, высокая, нормальная, неизменная, средняя, низкая, очень низкая, практически отсутствует);
• значимость (очень высокая, высокая, нормальная, неизменная, средняя, низкая, очень низкая, практически отсутствует);
• масштаб внедрения результатов (государственный, отраслевой, несколько организаций, одна организация);
• технический уровень (соответствие и несоответствие применяемых технических средств современным достижениям науки и техники);
• методологический уровень (соответствие и несоответствие применяемых методов современным достижениям науки);
• методический уровень (соответствие и несоответствие применяемых методик современным достижениям науки);
• результативность (очень высокая, высокая, нормальная, неизменная, средняя, низкая, очень низкая, практически отсутствует);
• эффективность (очень высокая, высокая, не высокая, неэффективная).
В зависимости от вида СЗД наполнение критериев может варьироваться. Лингвистическим элементам из диапазонов критериев назначают в соответствие значения балльных оценок (список критериев не является исчерпывающим).
и
Коэффициенты важности для критериев предлагается определять экспертным методом попарного сравнения [6].
При рассмотрении матриц парных сравнений, полученных экспертами, для определения степени согласованности оценок экспертов вычисляют индекс согласованности (С1) по следующей формуле:
С1= Лшх ~ п п -1 '
где Атах - максимальное собственное значение матрицы, П -размерность матрицы.
Отношение согласованности находят как:
С1
СК = —.
ы
Случайный индекс Ш определяют в зависимости от порядка матрицы по соответствующим таблицам.
При CR меньше или равном 0,1 будем считать CR приемлемым.
Для оценки меры согласованности мнений экспертов, рассчитывают коэффициент конкордации, используя выражение:
Н +Г
Ж = - '==
122 ЕА -к
V 9
V1=1 2
к \Н3 - Н)
где Н - количество критериев, по которым оценивают качество СЗД; А - матрица рангов, определенных экспертами для каждого из критериев; К -количество экспертов.
Коэффициент конкордации может быть в интервале 0<W<L При W=0 согласованность мнений экспертов отсутствует, а при W=1 согласованность полная. Согласованность вполне достаточна при W>0,5.
Взвешивают полученную величину коэффициента конкордации по критерию Пирсона X2- Расчетную величину Х г определяют по формуле:
X? = ЖК (Н -1).
и
Мнения экспертов с определенной вероятностью признают
2 2
согласованными при х >Х ь где Хгнаходят по справочным таблицам.
Детерминированные критерии - критерии, которые поддаются количественному оцениванию тем или иным способом.
Детерминированные критерии стремятся к росту или уменьшению и балльные значения для них рассчитывают по формуле:
В = т1-^,
где Вг - балльное значение /-го детерминированного критерия; X -фактическое
значение /-го детерминированного критерия; X^ - худшее значение /-го детерминированного критерия; Хь - наилучшее значение /-го детерминированного критерия; Т - значение балльной шкалы (Т=1).
Бинарные критерии измеряют ответами «Да» или «Нет», поэтому индикатору присваивают либо максимальное количество баллов (7=1), либо минимальное (7=0).
К частично детерминированным (своевременность, качество, результативность, значимость и т.д.) относят критерии, которые не поддаются анализу и измерению со сколь угодно большой точностью.
Для определения балльного представления частично детерминированных критериев при проведении оценивания качества СЗД предлагается использовать нечеткие модели с балльной или лингвистической шкалами [7, 8].
Рассмотрим примеры оценивания качества СЗД на основе частично детерминированного критерия «уровень качества» с использованием нечеткой модели с балльной и лингвистической шкалами.
В нечеткой модели с балльной шкалой формируют кортеж «Уровень качества» (ОЦ <0Ь, Тсц, Хсц> и задают базовое терм-множество лингвистической переменной QL, например, семью нечеткими термами:
ТQ)L = { Т1, Т2, Т3, Т4, Т5, Т6, Т7} = {«очень низкая оценка качества», «низкая оценка качества», «средняя оценка качества», «неизменная оценка качества», «нормальная оценка качества», «высокая оценка качества», «очень высокая оценка качества»}, которые отображают на универсальное множество Ххе{ 0, тахо[}.
Затем с помощью одного из методов построения функций принадлежности выполняют построение эталонных нечетких чисел.
Формализация и интеграция нечетких данных и знаний, сформированных в процессе оценивания качества СЗД, является целью построения функций принадлежности.
Выбор метода построения функций принадлежности зависит от вида оценивания, сложности получения оцениваемой информации, ее достоверности и трудоемкости алгоритма обработки информации (в нашем случае предлагается использовать квадратичную функцию принадлежности).
Оценку качества СЗД определяют по следующему логическому выражению:
п Ь
»=п и ^
*=1 3 =1
где Уц - степень принадлежности нечеткого терма, ]=[1, L] — номер терма из базового терм-множества Тх; /=[1, п] - номер компонента экспертного запроса, п - число показателей; L — число эталонов.
При применении нечеткой модели с лингвистической шкалой по результатам опроса экспертов критерии (показатели) оценивания предварительно ранжируют путем определения коэффициентов важности: КУ (/=[1, п], п - число критериев). Метод ранжирования предлагаем использовать на основе преобразованной матрицы, полученной с помощью матрицы парных сравнений.
Кроме ранжирования критериев (показателей) по степени важности эксперты выполняют построение нечетких эталонов.
Далее формируют суммарную оценку качества с учетом коэффициентов важности критериев оценки:
п
= 2 ктг * ц,
г=1
где X - нечеткое сложение, выполненное по одному из методов реализации операций нечеткой арифметики; ц - значения нечетких чисел,
соответствующих оценке показателей всех экспертов на 1-й критерий (показатель); ¿=[1, п]; - нормализованные коэффициенты важности.
Образованное Ь8 сравнивают с эталонными нечеткими числами с
использованием а-уровневого расстояния.
Критерием соответствия суммарной оценки качества с учетом коэффициентов важности критериев оценивания одному из эталонных термов считают минимальное а-уровневое расстояние, которое и определяет качество СЗД.
После получения итоговых оценок качества СЗД (итоговых и по критериям) выполняют анализ результатов.
Следует отметить, что при наличии любой критической оценки по любому критерию дальнейшее рассмотрение критериев оценивания качества СЗД является нецелесообразным.
Рекомендуется проводить сравнение результатов оценивания качества СЗД, полученных при проведении самооценки и экспертной оценки в результате внешнего аудита различных периодов времени.
Предлагаемый алгоритм предусматривает обработку огромных объемов данных. Современный уровень информатизации позволяет без особых сложностей автоматизировать описанный выше процесс, так как
используемые инструменты нечеткой математики легко программируемы и не требуют специализированных аппаратных средств. Разработанная на основе алгоритмов нечеткой логики «Автоматизированная система оценивания качества социально значимой деятельности» (АС ОК СЗД) позволяет не только определять важность критериев и анализировать в соответствии с ними экспертные данные, но и интерпретировать полученные вычисления в виде рекомендаций по устранению выявленных недостатков. Также предлагаемая информационная система позволяет осуществлять подбор экспертов для участия в экспертизе качества оцениваемой СЗД в соответствии с критериями квалификации эксперта в рассматриваемой области, используя нечеткие математические алгоритмы [9].
Информационная система на данный момент находится в опытной эксплуатации. Подробное описание функций и возможностей АС ОК СЗД достаточно объемно, не является предметом данной статьи и будет представлено после получения на нее свидетельства о государственной регистрации программного обеспечения.
Таким образом, наличие оценок качества СЗД будет полезно при осуществлении последовательной, взаимосвязанной системы действий экспертов, направленных на достижение целей и результатов оценочной деятельности на каждом из этапов обобщенного алгоритма.
При оценивании качества СЗД принцип комплексного подхода отражает необходимость учета всех критериев оценки, а также возникающих социально значимых потребностей и результатов деятельности на всех циклах активности индивидов.
Одним из способов решения задачи оценивания качества СЗД, согласно приведенному обобщенному алгоритму, может являться внедрение автоматизированных систем, позволяющих упростить и оптимизировать проведение расчетов в ходе оценивания качества [10].
Исходя из вышеизложенного, оценивание качества СЗД будет результативным при использовании комплексного подхода в следующих случаях:
• раскрыта сущность СЗД, выявлены содержание, формы, продукты этой деятельности, соответствующие современным условиям;
• определены критерии и компоненты оценивания СЗД;
• выявлены специфика и особенности оценивания качества, принципы осуществления оценочной деятельности;
• автоматизирован обобщенный алгоритм оценивания качества
СЗД.
Литература
1. Реброва Н.В. Сущность понятия «социально значимая деятельность» и ее роль в современном обществе // Научный альманах. 2016. № 3-2(17). с. 273-275.
2. Белов В.М., Пивкин Е.Н. Оценка качества социально значимой деятельности в области инфокоммуникаций, как условие осуществления комплексной безопасности Российской Федерации // Сборник материалов научно-практической конференции «Информационная безопасность в современном обществе». 2016. С. 58-60.
3. Корченко А.Г. Построение систем защиты информации на нечетких множествах. Теория и практические решения. К.: МК-Пресс, 2006. 320 с.
4. Кравцов Ю.А. Случайность, детерминированность, предсказуемость. Успехи физич. наук, 1989, Т.158, № 1. С. 93-122.
5. Мишин В.М. Исследование систем управления: Учебник для вузов, 2-изд., стереотип M.: ЮНИТИ-ДАНА, 2007. 527 с.
6. Новак В. Перфильева И.Г., Мочкорж И. Математические принципы нечеткой логики. Пер с англ.; Под ред. Аверкина А.Н. - М.: ФИЗМАТЛИТ, 2006. 352 с.
7. Белов, В.М, Пивкин Е.Н, Косов В.Д. К вопросу об автоматизации процессов качественной оценки нормативных правовых актов // Вестник Алт. Акад. Экономики и Права. 2014. Вып. 1(33). С. 17-22.
8. Song Q., Chissom B.S. Fuzzy time series and its models // Fuzzy Sets and Systems, 1993, №54. pp. 1-9.
9. Novak, V. and Perfilieva, I. (1997). «On Model Theory in Fuzzy Logic in Broader Sense», Proc. Int. Conference EUFIT'97, Verlag Mainz, Aachen 143-147.
10. Zyryanova E.V., Belov V.M. Assessment of the quality of legal regulations to ensure integrated security of info communication // «Актуальные проблемы электронного приборостроения АПЭП-2018». Proceedings XIV International scientifictecnical conference. In 8 Volumes. 2018. pp. 231-233.
References
1. Rebrova N.V. Nauchnyy al'manakh. 2016. № 3-2(17). Pp.273-275.
2. Belov V.M., Pivkin E.N. Sbornik materialov nauch-no-prakticheskoy konferentsii «Informatsionnaya bezopasnost' v sovremen-nom obshchestve». 2016. Pp. 58-60.
3. Korchenko A.G. Postroyeniye sistem zashchity informatsii na nechetkikh mnozhestvakh. Teoriya i prakticheskiye resheniya [Building information security systems on fuzzy sets. Theory and practical solutions]. K.: MK-Press, 2006. 320 s.
4. Kravtsov Yu.A. Sluchaynost', determinirovannost', predskazuyemost' [Randomness, determinism, predictability]. Uspekhi fizich. nauk, 1989, T.158, № 1. Pp. 93-122.
5. Mishin V.M. Issledovaniye sistem upravleniya: Uchebnik dlya vuzov [Research of control systems: Textbook for universities], 2-izd., stereotip M.: YuNITI-DANA, 2007. 527 p.
6. Novak V. Perfil'yeva I.G., Mochkorzh I. Matematicheskiye printsipy nechetkoy logiki [Mathematical principles of fuzzy logic]. Per s angl.; Pod red. Averkina A.N. M.: FIZMATLIT, 2006. 352 p.
7. Belov, V.M, Pivkin E.N, Kosov V.D. Vestnik Alt. Akad. Ekonomiki i Prava. 2014. Vyp. 1(33). Pp. 17-22.
8. Song Q., Chissom B.S. Fuzzy time series and its models. Fuzzy Sets and Systems, 1993, №54. Pp. 1-9.
9. Novak, V. and Perfilieva, I. (1997). «On Model Theory in Fuzzy Logic in Broader Sense», Proc. Int. Conference EUFIT'97, Verlag Mainz, Aachen 143-147.
10. Zyryanova E.V., Belov V.M. «Aktual'nye problemy jelektronnogo priborostroenija APJeP-2018». Proceedings XIV International scientifictecnical conference. In 8 Volumes. 2018. Pp. 231-233.
