CC BY
76
ОСОБЕННОСТИ ИСПОЛЬЗОВАНИЯ ПОРЯДКОВЫХ ШКАЛ ДЛЯ ЗАДАНИЯ ОЦЕНОК ПРЕДПОЧТЕНИЯ ЭКСПЕРТОВ В ПРОЦЕССЕ ПРИНЯТИЯ ЭКОНОМИЧЕСКИХ РЕШЕНИЙ
© Кравченко Т.К.*, Периков Ю.А.*, Щербинин О.П.*
Национальный исследовательский университет «Высшая школа экономики»,
г. Москва
Порядковые шкалы являются наиболее предпочтительными в практике принятия экономических решений в силу того, что эксперту легче выставить относительную оценку какому-либо объекту или явлению, чем дать точную количественную оценку объектов сравнения между собой. В статье вводится понятие экспертных оценок. Определяется их роль в процессе принятия экономических решений. Приводятся виды шкал измерений, используемые при оценке объектов по качественным признакам; методы получения экспертных оценок в порядковой шкале: экспертная классификация, метод парных сравнений, ранжирование, метод векторов предпочтений, дискретные экспертные кривые.
В процессе принятия решения большая роль принадлежит экспертным оценкам - количественным или порядковым оценкам объектов, процессов или явлений, не поддающихся непосредственному измерению [1].
Экспертные оценки используются для нахождения вероятностей появления проблемных ситуаций, оценок значимости признаков (с позиций которых оцениваются варианты решения), коэффициентов компетентности экспертов, оценок альтернатив по различным признакам.
Большинство экономических решений принимается в условиях неопределенности, т.е. неполноты и недостоверности используемой информации. Однако на практике нередко ситуацию неопределенности переводят в ситуацию риска, когда специалист пытается предсказать вероятность появления проблемных ситуаций или последствий различных вариантов решения и, как правило, экспертным путем. Данный подход отвечает способу мышления человека, который часто вынужден снижать неопределенность своими рассуждениями и оценками.
Оценки полезности или качества альтернатив, как правило, также задаются экспертным путем. Нередко интегрально, без выделения признаков оценки альтернатив. Обычно такая оценка основывается не только на объективном анализе (опыт, проведение расчетов и экспериментов), но и на
* Профессор, доктор экономических наук, профессор.
* Преподаватель.
* Преподаватель
субъективном понимании ценности, эффективности решений, отражающем психологические особенности мышления людей.
Признаки, по которым оценивается качество альтернативы, могут быть заданы и явно. В качестве таких признаков, прежде всего, выступает степень достижения поставленных целей, величина затрат, вызванных действиями по достижению целей, и др.
При принятии решения по нескольким признакам необходимо учитывать, что относительная значимость (важность) отдельных признаков может быть неодинакова. Чаще всего используют веса, или оценки относительной значимости признаков определяемые экспертным путем.
Веса признаков обычно задаются в шкале от 0 до 1 так, что их сумма равна 1. Если же веса признаков представлены в другой количественной шкале, например 100-балльной, то применяют процедуру нормирования.
Значимость отдельных признаков может быть выражена и в порядковой шкале, когда на первое место ставится наиболее значимый признак по сравнению со всеми остальными, на второе - следующий за ним по значимости и т.д.
Подбор экспертов является ключевым этапом в процессе принятия групповых решений, поскольку именно на данном этапе проводится определение списка экспертов, которые будут входить в экспертную группу. Совершенно очевидно, что в качестве экспертов должны выступать квалифицированные специалисты, компетентные в рассматриваемом вопросе, которые могут принять адекватное решение. Но, к сожалению, найти таких людей зачастую бывает непросто, как и оценить их компетентность.
Для решения задачи подбора экспертов многие исследователи предлагают разбить задачу на две подзадачи.
Первая из этих подзадач заключается в выявлении специалистов, которые впоследствии могут быть приглашены в качестве экспертов. Практика показывает, что для решения этой подзадачи необходимо задуматься над тем, были ли проведены подобные экспертизы ранее. Так, при неоднократном проведении экспертизы, как правило, ведутся реестры экспертов, в которых по определенным критериям можно найти нужных специалистов.
В случае, если подобных экспертиз не было проведено, можно либо воспользоваться специально разработанными для этих целей методами, такими как метод «снежного кома», метод назначения, социометрический метод и так далее, либо выявить кандидатов в экспертную группу самостоятельно, используя Интернет, знакомство, работу, посещая различные социальные сети.
Вторая подзадача заключается в том, чтобы дать количественную оценку способностям специалистов, на основании которой далее принимается решение о целесообразности приглашения их в экспертную группу. Такая оценка называется коэффициентом компетентности экспертов. Под «компетентностью» экспертов понимается «степень квалификации экспертов в определенной области».
Компетентность эксперта может определяться с учетом множества факторов: на основе анализа деятельности эксперта, знакомства эксперта с достижениями науки и техники, понимания экспертом рассматриваемых вопросов и путей их достижения и, как правило, непосредственно связана с той задачей, которая ставится перед экспертами.
В настоящее время существует достаточно много методов для оценки компетентности экспертов. Все их можно классифицировать по ниже перечисленным признакам.
Подход к оценке компетентности экспертов: априорный, апостериорный или тестовый. Априорный подход состоит в оценке компетентности экспертов до начала экспертизы и нацелен, собственно, на отбор экспертов и формирование из них экспертной группы.
Апостериорный подход основан на оценивании компетентности экспертов по результатам экспертизы и нацелен, прежде всего, на отбор экспертов для будущих экспертиз.
Тестовый подход основывается на выполнении испытуемыми экспертами заранее подготовленного задания, по результатам которого далее производится отбор экспертов.
Характер информации, которая используется при оценке компетентности экспертов:
а) объективные данные: стаж работы, образование, количество публикаций, информация из вторичных источников;
б) субъективные данные: экспертные мнения или суждения, мнение лица, принимающего решение (ЛПР), или рабочей группы.
Источник информации:
а) рассматриваемый эксперт;
б) участники экспертизы: ЛПР, рабочая группа (РГ), другие эксперты;
в) данные экспертизы;
г) вторичные источники.
Наличие итераций при оценке компетентности.
Использование результатов прошлых экспертиз, в которых участвовал специалист.
Любое измерение производится в определенной шкале. Для корректного исследования должен соблюдаться ряд условий.
Во-первых, характер произведенных экспертных измерений необходимо принимать во внимание при проведении процедур экспертного оценивания, принятии управленческих решений, выборе коллективных решений.
Во-вторых, несмотря на разнообразие оценок, должно соблюдаться правило неизменности выводов при преобразовании шкал.
Проблемы принятия экономических решений чаще всего характеризуются неопределенностью в условиях и последствиях выбора различных вариантов решения, отсутствием постановки задачи принятия решения и
наличием преимущественно качественных оценок альтернатив, основанных на личном опыте экспертов. Также неизбежны случаи противоречивости, неточности и ошибочности получаемой информации в силу субъективности суждений экспертов. Знание особенностей поведения экспертов существенно влияет на выбор методов оценки альтернатив.
1. Виды шкал, используемые при оценке объектов по качественным признакам.
В теории принятия решения теория измерений применяется для экспертного оценивания коэффициентов относительной значимости признаков и компетентности экспертов, построения обобщенных показателей и рейтингов альтернатив.
В соответствии с теорией измерений при математическом моделировании реального явления или процесса следует, прежде всего, установить типы шкал, в которых измерены те или иные переменные.
Порядковая шкала и шкала наименований - основные шкалы, используемые при оценке объектов по качественным признакам. Шкалы, в которых оценка объектов осуществляется по количественным признакам - это шкалы интервалов, отношений, разностей, абсолютная.
В номинальной шкале допустимыми являются все взаимно-однозначные преобразования. В этой шкале числа используются лишь как метки.
В порядковой шкале числа используются не только для различения объектов, но и для установления порядка между объектами.
Как показали многочисленные опыты, человек более правильно и с меньшими затруднениями отвечает на вопросы качественного, например, сравнительного, характера, чем количественного. Эксперт может сказать и обосновать, что один показатель качества продукции более важен, чем другой, первый технологический объект более опасен, чем второй, и так далее. Но он не в состоянии сказать, во сколько раз или на сколько объект более важен, соответственно, более опасен по сравнению с другим.
Экспертов часто просят ранжировать объекты экспертизы, иначе. расположить их в порядке возрастания (или убывания) интенсивности интересующей организаторов экспертизы характеристики.
Ранг - это номер в упорядоченном ряду значений характеристики у различных объектов. Формально ранги выражаются числами 1, 2, 3, ..., но с этими числами нельзя делать привычные арифметические операции.
Основное требование к алгоритмам анализа данных формулируется в теории измерений так: выводы, сделанные на основе данных, измеренных в шкале определенного типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных. Другими словами, выводы должны быть инвариантны по отношению к допустимым преобразованиям шкалы [2].
Таким образом, одна из основных целей теории измерений - борьба с субъективизмом исследователя при приписывании численных значений реальным объектам.
2. Порядковая шкала.
Порядковая шкала - это шкала, в которой числа присваиваются объектам для обозначения относительной степени, в которой определенные характеристики присущи тому или иному объекту. Она позволяет узнать, в какой мере выражена конкретная характеристика данного объекта, но не дает представления о степени ее выраженности.
Таким образом, порядковая шкала отображает относительную позицию, но не значимость разницы между объектами. Объект, находящийся по рангу на первом месте, имеет более сильно выраженную характеристику по сравнению с объектом, который находится на втором месте, но при этом не известно, насколько значительно различие между ними. Примерами порядковых шкал служат, например, ранги команд в турнирах. В маркетинговых исследованиях порядковые шкалы используются для измерения отношений к конкурентам, предпочтений по отношению к партнерам в бизнесе. Измерительные инструменты подобного типа включают такие суждения респондентов, как «более чем» или «менее чем».
Довольно часто в ходе экспертизы возникает необходимость измерения показателей, оценки которых носят заведомо субъективный характер. Так, например, на знаниях и опыте специалистов основаны оценки степени риска при реализации того или иного инвестиционного проекта, конкурентоспособности определенного вида продукции, уровня компетентности кандидата на вакантную должность и т.п. В этих случаях используют особый тип порядковых шкал - вербально-числовые шкалы.
Их особенность состоит в том, что они позволяют измерить степень интенсивности какого-либо свойства, имеющего субъективный характер. В состав вербально-числовой шкалы входит содержательное (словесное) описание выделенных градаций и соответствующие числовые значения [4].
3. Методы получения экспертных оценок в порядковой шкале.
3.1. Экспертная классификация.
Этот метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых объектов к установленным или принятым к использованию классам, категориям, уровням, сортам и т.д. (далее - классы).
Он может быть использован и тогда, когда конкретные классы, к которым должны быть отнесены оцениваемые объекты, заранее не определены. Может быть заранее неизвестно и число классов, на которое производится разбиение оцениваемых объектов. Оно может быть установлено лишь после завершения процедуры классификации.
Если эксперту необходимо отнести каждый из альтернативных вариантов к одному из заранее установленных классов, то наиболее распространена процедура последовательного предъявления эксперту альтернативных вариантов.
В соответствии с имеющейся у него информацией об оцениваемом объекте и используемой им оценочной системе эксперт определяет, к какому из классов оцениваемый объект принадлежит.
После завершения процедуры последовательного предъявления оцениваемых альтернативных вариантов эксперту может быть представлен результат его оценки в виде распределения всех оцененных им альтернативных вариантов по классам. На этом этапе эксперту, как правило, предоставляется возможность, исходя из общего результата классификации, внести коррективы в данные им оценки.
Если проводится коллективная экспертиза, то результаты экспертной классификации, указанные каждым из экспертов, обрабатываются с целью получения результирующей коллективной экспертной оценки.
В зависимости от целей экспертизы может возникнуть необходимость отнесения альтернативных вариантов к упорядоченным классам.
Скажем, необходимо отнести оцениваемые объекты к соответствующим категориям, причем так, чтобы более предпочтительные объекты были отнесены к более предпочтительным категориям.
Естественно, это отражается на процедуре экспертной классификации. Но главное, чтобы эксперт однозначно понимал поставленную перед ним задачу.
Если число классов, на которое должны быть разбиты альтернативные варианты, заранее не оговаривается, то целесообразно использование следующей процедуры.
Эксперту предъявляется пара альтернативных вариантов и предлагается определить, относятся ли они к одному или к разным классам.
После этого эксперту последовательно предлагаются оцениваемые альтернативные варианты решения и выясняется, может ли каждый из них быть отнесен к одному из образовавшихся к тому времени классов или необходимо для данного варианта образовать новый класс.
Процедура завершается после того, как экспертом будут рассмотрены все альтернативные варианты решения.
3.2. Метод парных сравнений.
Метод парных сравнений является одним из наиболее распространенных методов оценки относительной предпочтительности признаков, компетентности экспертов, оценки альтернативных вариантов решения.
При методе парных сравнений эксперту последовательно предлагаются сравниваемые пары, из которых он должен указать более предпочтительный.
Если эксперт относительно какой-либо пары объектов затрудняется это сделать, он вправе считать альтернативные варианты решения несравнимыми.
В результате парных сравнений, если эксперт оказался последовательным в своих предпочтениях, все оцениваемые объекты можно проранжи-ровать по тому или иному признаку (критерию).
Если эксперт признал некоторые объекты несравнимыми, то в результате будет получено лишь их частичное упорядочение.
В практике использования метода парных сравнений нередко приходится сталкиваться с непоследовательностью и даже противоречивостью оценок экспертов.
В этих случаях необходимо проведение специального анализа результатов экспертизы.
Отметим также, что при достаточно большом числе оцениваемых объектов, процедура парного сравнения всех возможных пар становится трудоемкой для эксперта.
В этом случае целесообразно применение соответствующих модификаций метода парных сравнений.
3.3. Ранжирование.
Достаточно распространенной процедурой является также непосредственное ранжирование объектов по предпочтительности.
В этом случае эксперту предъявляются отобранные для сравнительной оценки объекты, но желательно не более 20-30 для их упорядочения по предпочтительности.
Если объектов больше, то целесообразно использование соответствующих модификаций метода ранжирования.
Например, ранжированию объектов может предшествовать их разбиение на упорядоченные по предпочтению классы с помощью метода экспертной классификации.
Ранжирование сравниваемых объектов эксперт может осуществлять различными способами. Приведем два из них.
В соответствии с первым способом эксперту предъявляется весь набор объектов, и он указывает среди них наиболее предпочтительный.
При втором способе эксперту первоначально предъявляются всего несколько объектов, которые ему предлагается упорядочить по предпочтениям.
На этом этапе можно воспользоваться первым способом. После проведения первоначального ранжирования эксперту последовательно предлагаются новые, еще не оцененные им объекты. Эксперт должен указать место вновь предъявленного объекта среди упорядоченных ранее.
Процедура завершается после предъявления и оценки последнего объекта.
3.4. Метод векторов предпочтений.
Этот метод чаще используется при необходимости получения коллективного экспертного ранжирования. Информация представляется в виде вектора, первый элемент включает в себя число объектов, которые превосходят первый объект, вторая компонента - число объектов, которые превосходят второй, и т.д.
Если оценивается 10 объектов, то вектор предпочтений может выглядеть так: (3, 7, 0, 4, 8, 6, 1, 9, 5, 2).
Если в векторе предпочтений каждое число встречается ровно один раз, то возможно строгое ранжирование объектов по предпочтениям.
В противном случае, полученный результат не является строгим ранжированием и отражает затруднения эксперта при оценке сравнительной предпочтительности отдельных объектов.
Этот метод может быть применен и в случае, когда у эксперта имеются затруднения при использовании других методов оценки сравнительной предпочтительности объектов.
При коллективной экспертизе, проводимой с использованием метода векторов предпочтений, целесообразно рассчитать результирующее коллективное ранжирование, отражающее коллективную точку зрения всех экспертов.
3.5. Дискретные экспертные кривые.
Если целью исследования является разработка прогнозов или анализ динамики изменения показателей, характеризующих объект принятия управленческого решения, то целесообразно воспользоваться дискретными экспертными кривыми.
При построении дискретной экспертной кривой определяется набор характерных точек, в которых наблюдается или ожидается смена тенденции изменения значений показателя от рассматриваемого параметра, а также значения показателя в характерных точках.
На участках между характерными точками предполагается, что значения показателя изменяются линейно, т.е. две соседние характерные точки кривой могут быть соединены отрезками прямой линии.
Если есть достаточно веские основания для того, чтобы определить нелинейные изменения значений показателя на участках кривой между соседними характерными точками, имеет смысл перейти к экспертным кривым.
Заметим, однако, что далеко не всегда мы располагаем информацией, позволяющей надежно судить о поведении кривой на участках между характерными точками.
К тому же обработка результатов экспертных оценок, и в частности определение результирующей коллективной экспертной оценки, более надежна для дискретных экспертных кривых [3].
4. Средние величины в порядковой шкале.
Для анализа оценок, выставленных экспертами в порядковой шкале, можно вычислить средние значения по каждому объекту сравнения.
В качестве среднего значения для данных, измеренных в порядковой шкале, можно использовать, в частности, медиану (при нечетном объеме выборки). При четном же объеме целесообразно применять один из двух центральных членов вариационного ряда - левую медиану или правую медиану.
Моду, максимум, минимум, квартили также можно использовать - они всегда являются членами вариационного ряда. Но никогда нельзя сравнивать объекты на основе среднего арифметического или среднего геометрического.
* * *
В статье рассмотрены особенности работы экспертов с порядковыми шкалами, которые являются наиболее предпочтительными по сравнению с другими шкалами измерений. Эксперту гораздо легче выставить относительную оценку предпочтительности объектов, чем определить, во сколько раз один объект предпочтительнее другого.
Таким образом, в порядковой шкале числа присваиваются объектам для отражения их относительной значимости.
Особую роль играют порядковые шкалы при оценке альтернатив по качественным признакам, например, эстетичность, степень доверия, по которым нет объективных измерителей.
Список литературы:
1. Кравченко Т.К. Процесс принятия плановых решений (информационные модели). - М.: Экономика, 1974.
2. Орлов А.И. Теория принятия решений: учебное пособие / А.И. Орлов. - М.: Издательство «Экзамен», 2005.
3. Литвак Б.Г. Разработка управленческого решения: учеб. - 3-е изд. -М.: Дело, 2002.
