CC BY
23ТЕХНИЧЕСКИЕ НА УКИ / TECHNICAL SCIENCES
УДК 330+004
МЕТОДЫ ФОРМИРОВАНИЯ СОГЛАСОВАННОГО КОЛЛЕКТИВНОГО ВЫБОРА В ПРОЦЕССЕ ЭКСПЕРТИЗЫ (на примере ранжирования способов решения сложных проблем)
METHODS OF FORMING THE AGREED COLLECTIVE CHOICE IN THE EXPERTISE PROCESS (on an example of ranking methods of solving complex problems)
©Хубаев Г. Н.
д-р экон. наук
Ростовский государственный экономический
университет (РИНХ) г. Ростов-на-Дону, Россия, gkhubaev@mail.ru
©Khubaev G.
Dr. habil., Rostov State University of Economics (RINH) Rostov-on-Don, Russia, gkhubaev@mail.ru
Аннотация. Предложены методы формирования согласованного коллективного выбора в процессе экспертного упорядочения способов решения сложной проблемы. Показано, что использование методов повышает достоверность оценки. При этом эксперты: не знают, кто участвует в опросе; не знают, кто какое принял решение; не знают, кто и какое дал обоснование решению, и могут не знать об истинных целях организаторов экспертного опроса. Одновременно эксперты могут обосновывать свои ответы и получать в результате имитационного моделирования статистические характеристики искомого показателя.
Abstract. The methods of forming a collective choice in the ordering of expert solutions to complex problems. It is shown that the use of methods increases the reliability of the evaluation. Experts: don't know who participated in the survey; do not know who decided which; don't know who and what gave the rationale for the decision and may not know about the true purpose of the organizers of the expert survey. At the same time experts can justify their answers and receive as a result of simulation of the statistical characteristics of the search target.
Ключевые слова: экспертиза, согласованный выбор, способы решения, расстояние и медиана Кемени, имитационное моделирование, статистические характеристики.
Keywords: expertise, a consistent choice of solution methods, the distance and the Kemeny median, simulation modeling, statistical characteristics.
Постановка задачи. Предположим, что управленческие структуры различных социально-экономических систем — правительство страны, орган управления административно-территориальным образованием (губернатор и его команда, муниципалитет), совет директоров крупной компании и др. — заказали известным специалистам разработку проекта, направленного на решение сложной проблемы, актуальной для больших групп населения. Во исполнение заказа n групп специалистов
представили свои проекты (способы, методы, алгоритмы) решения конкретной проблемы (экономической, технической, военной, экологической и др.).
[Примеры таких, перманентно требующих решения сложных социально-экономических проблем: какими способами (оперативно и с минимальными затратами трудовых, материальных, энергетических и финансовых ресурсов) *повысить уровень жизни населения; *доходы бюджета, *добиться более высокого прироста ВВП, налоговых поступлений; *ограничения роста тарифов на услуги в сфере ЖКХ или *улучшить конкурентные рыночные позиции одного из крупнейших (в стране, мире) банков и др.]
Спрашивается, какой из n представленных способов решения актуальной проблемы является оптимальным по установленному критерию в конкретных условиях реализации? И как это правильно, объективно, обоснованно установить? Ведь проекты готовились разными группами специалистов, с разной профессиональной компетентностью, разными творческими способностями, с разными амбициями и разной степенью заинтересованности в результатах объективного решения этой сложной проблемы. И при этом каждая из n групп убеждена в том, что именно ею подготовленный проект является самым лучшим, самым эффективным.
Теперь системе верхнего уровня — правительству, министерству, совету директоров и т. д. — необходимо выбрать из n способов решения актуальной проблемы лучший по установленным критериям. Но сделать это совсем не просто.
Какие же трудности возникают при реализации процедуры выбора?
Во-первых, при выборе любого из n конкурирующих способов решения проблемы среди разработчиков отвергнутых проектов и их сторонников будут недовольные результатом выбора экспертов — по известной пословице: «А судьи кто?!», т. е. первая трудность — это подбор состава экспертов для сравнительной оценки конкурирующих проектов по критерию, установленному заказчиком проекта. Ведь экспертизу-рецензирование проектов должны выполнять компетентные, талантливые, ответственные, заинтересованные в оптимальном решении анализируемой проблемы люди. Но таких людей необходимо еще найти!
Во-вторых, сегодня нет однозначного понимания того, какой должна быть сама процедура оценки правильности, объективности, эффективности того или иного способа решения сложных проблем. Поэтому вторая трудность — это поиск процедуры формирования коллективного выбора в процессе экспертизы. И с трудностями такого рода органам управления всех уровней приходится сталкиваться регулярно. При этом ошибка в выборе, как правило, связана с весьма существенными потерями вложенных в реализацию проекта ресурсов: с возможным снижением уровня жизни населения, банкротством фирмы, ростом безработицы, бесполезной тратой ресурсов и др.
Представим задачу сравнительной оценки и выбора способа решения сложной проблемы в виде совокупности отдельных задач.
Задача 1. — Формирование состава экспертов-рецензентов способов решения проблемы.
Задача 2. — Анализ и ранжирование факторов, влияющих на процессы реализации и эффективность каждого из представленных проектов (способов) решения рассматриваемой проблемы.
Задача 3. — Количественная оценка по каждому проекту (способу решения проблемы): *затрат трудовых, материальных, энергетических и финансовых ресурсов на реализацию и
внедрение проектов; *времени от момента вложения средств до получения отдачи (временного лага, запаздывания); *экономической эффективности проектов.
Задача 4. — Анализ результатов сравнительной количественной оценки показателей, характеризующих эффективность представленных способов решения проблемы (результатов решения Задач 2 и 3) и реализация процедуры выбора лучшего способа.
В статье предлагаются методы формирования согласованного коллективного выбора при сравнительной экспертной оценке эффективности предложенных различными группами специалистов способов решения сложной проблемы. Процесс выбора лучшего способа предполагает реализацию двух этапов: на первом этапе осуществляется подбор экспертов, обладающих профессиональной компетентностью и творческими способностями, а на втором — формирование согласованного коллективного выбора в процессе экспертизы.
Предварительные замечания
1. С развитием научно-технического прогресса (НТП) все меньшую часть актуальной информации может освоить даже очень ответственный и способный человек. Так, в современных условиях из-за непрерывного ускорения НТП, уменьшения периода удвоения знаний, лавинообразного роста числа публикаций по большинству направлений науки и техники мало кому удается достаточно долго удерживать передовые позиции даже в одной, узкой области знания. Как отмечается в литературе, читая по 8 часов в сутки по 50 страниц в час, можно прочесть лишь ничтожно малую долю издаваемой в мире периодики по физике, математике, информатике, экономике и другим базовым наукам; и в то же время, чтобы разобраться с новой теорией и применить ее на практике даже хорошо подготовленному профессионалу зачастую нужны годы упорного труда. Соответственно, интенсивность использования экспертных методов в обозримом будущем будет только возрастать. Причем, с увеличением количества привлеченных экспертов может возрасти и объем знаний вновь созданной команды экспертов (правда, не всегда, а в зависимости от состава участвующих в экспертизе).
2. Известно, что люди очень существенно различаются и по уровню профессиональных знаний, и по способностям, которыми их одарила природа. Так, из сотен миллионов игроков в шахматы лишь 3-5 человек смогут сыграть 20 партий «вслепую» и только один человек в мире (А. А. Алехин) сыграл «вслепую» 32 партии. Очевидно поэтому, что тот, кто «видит» на 4 хода вперед (или в состоянии мысленно представить 4 шага алгоритма решения задачи), не сможет убедить в правильности, обоснованности своего решения того, кто способен видеть лишь на 2 хода вперед (если речь идет, например, о выборе путей развития экономики. При игре в шахматы все обстоит гораздо проще: правоту легко доказать реальной игрой, а ошибка в расчетах не окажет негативного влияния на жизнь других людей). Причем в зависимости от природных способностей индивида разными будут и затраты времени на освоение нового материала, на получение знаний. Так, в экспериментах (см. [1]) в очередной раз подтверждено очень существенное влияние индивидуальных способностей на скорость осознания возможностей практического применения полученных знаний и реальной реализации этих возможностей. Оказалось, что при одинаковых внешних условиях и одинаковом исходном уровне знаний теоретических положений, время, достаточное для практического освоения нового учебного материала, имеет существенный разброс, значительную величину правосторонней асимметрии и, зачастую, может быть аппроксимировано альфа-распределением (см. [2]). Позднее подтвердилось, что при одинаковом уровне начальной подготовки и условиях эксперимента с увеличением сложности работы возрастает и величина правосторонней асимметрии распределения затрат времени на выполнение работы.
О том, какова разница в качестве знаний у отдельных индивидов, можно также узнать, опросив школьных и вузовских педагогов или протестировав учащихся одного класса, одной
№7 2017 г.
студенческой группы, одной специальности. И можно только строить догадки о том, насколько мала, например, доля физиков, сумевших разобраться в тонкостях теории относительности, квантовой механики, статистической радиотехники и т. д. Поэтому представляется вполне реальным, правдоподобным тезис о том, что из каждой тысячи физиков, медиков, экономистов, представителей других областей знания едва ли наберется несколько десятков таких, кто а) стоит на передовых рубежах конкретной науки и б) потенциально, в принципе способен понять и правильно оценить новую теорию, результаты, идеи или предложения другого члена этой небольшой группы профессионалов (Подчеркнем, что мы говорим лишь о тех, кто обладает способностями и необходимыми профессиональными знаниями. Но это еще не означает, что данный профессионал, во-первых, захочет, разбираться с теорией или идеями коллеги-конкурента, а, во-вторых, разобравшись, будет объективен и честен в своих оценках).
А разница в производительности труда программистов, зависящей, в первую очередь, от уровня их профессиональных знаний и способностей (при прочих равных условиях), отличается в десятки раз [3]. И вряд ли в таком случае можно надеяться, что разница в уровне профессиональных знаний и творческих способностей у лиц, участвующих в экспертизе — рецензировании и сравнительной оценке способов решения проблемы, будет заметно меньше.
3. Современные информационные технологии (ИТ) позволяют хранить и оперативно предоставлять подробную информацию о каждом жителе планеты Земля, в т. ч. о любом кандидате в состав экспертов, о качестве его прогнозов, советов, о его поступках (благовидных и не очень), С появлением новых технологий, более производительных технических и программных средств сокращается лаг (запаздывание) — время от момента вложения средств до получения отдачи, т. е. период времени между реализацией действия и проявлением эффекта от этого действия.
4. Выявить эксперта, обладающего максимальными знаниями в конкретной предметной области, совсем не просто. И это легко показать. На Рисунке1 представлены в виде диаграммы Венна объемы знаний, которыми обладают общающиеся между собой индивиды A-E. Легко увидеть, что индивид А вряд ли сомневается в том, что индивид C, с которым у A много общего, умнее индивида B. В свою очередь B. по тем же причинам будет считать D более умным, чем A. Однако все они будут убеждены в том, что E — весьма ограниченная личность, хотя в действительности последний обладает гораздо большим объемом знаний, чем A, B, C и D вместе взятые.
При таких условиях индивиду E невозможно доказать индивидам A или B большую эффективность, (продуктивность, полезность) своего предложения, если для доказательства он будет использовать те знания, по которым у него нет пересечения с A и B. Правда, в отличие от случая, связанного с врожденными способностями, здесь непонимание позиции E обусловлено различиями в объеме знаний у отдельных индивидов.
)
Рисунок 1. Объемы знаний, которыми обладают индивиды A-E
Предлагаемые методы решения выделенных четырех задач
1. Формирование состава экспертов (Задача 1). Задачи, связанные с подбором экспертов для сравнительной оценки эффективности и обоснованности предложенных способов решения сложных проблем, возникают достаточно регулярно. Поэтому представляется целесообразным создание (централизованно) единой базы данных (БД), содержащей информацию о потенциальных участниках экспертиз такого рода. В состав информации, представленной в БД, могут входить открытые сведения о публикациях по определенной тематике, количество цитирований работ эксперта, опыт успешного участия в экспертизах и др. Причем, при создании такой базы данных могут использоваться алгоритмы, описанные в [4-5].
Допустим, что необходимое подмножество потенциальных экспертов сформировано. Перечислим последующие действия:
1.1. Созданное подмножество участников экспертизы (рецензентов конкурирующих проектов) разделяется на две группы: первая подгруппа Г1 вырабатывает количественные оценки характеристик качества по каждому из проектов — решает Задачи 2 и 3, а вторая Г2
— выполняет анализ результатов экспертизы и выбор лучшего проекта, т. е. решает Задачу 4.
1.2. Подгруппа Г1 расширяется для проведения коллективной количественной экспертизы проектов за счет присоединения n групп специалистов, представивших свои проекты (способы решения рассматриваемой проблемы).
Перечислим преимущества, возникающие при включении в состав подгруппы Г1 всех разработчиков конкурирующих проектов. Во-первых, каждый из разработчиков, как правило, достаточно хорошо знает особенности своего проекта и поэтому сможет обоснованно дополнять состав влияющих на эффективность проекта факторов, указывать преимущества и опровергать отмеченные недостатки своего проекта, т. е. сможет активно, зачастую, неосознанно участвовать в решении Задач 2 и 3. Так, на Рисунке 2 показан граф А, отражающий взаимосвязь (определенную согласованность) ответов экспертов. Основной состав группы А — это эксперты подгруппы Г1, но эксперты 1 и 4, тоже оказавшиеся в А, являются разработчиками конкурирующих проектов. Во-вторых, поскольку разработчики, участвуя в экспертизе, знают и все обоснования экспертов, представленные в защиту сильно отличающихся ответов, и результаты обработки ответов после каждого тура опросов, то существенно уменьшается вероятность критики результатов экспертизы.
1.3. Всем N участникам экспертизы (сформированным из состава n, Г1 и Г2 групп) присваивают идентификаторы с использованием таблицы (или датчика) случайных чисел и обеспечивают свободный доступ в интернет.
2. Выявление и ранжирование определяющих факторов (Задача 2). На первом этапе экспертизы необходимо выявить и упорядочить факторы, влияющие на процессы реализации и эффективность каждого из n проектов. Но как это сделать? Какую из известных методик проведения экспертиз следует применять?
Нам представляется, что вполне оправдано использование метода ПУРО [6-7] — пошагового уточнения ранжирований объектов (факторов, признаков, субъектов, показателей и т. д.), основанного на интеграции дельфийской процедуры прогнозирования будущего [8-9] с предложенной Дж. Кемени (J. G. Kemeny) оценкой расстояния и медианы между ранжированиями факторов-объектов [10-11].
[Как отмечают разработчики метода Дельфи, «даже когда имеется формальная математическая модель, например, модель развития различных сторон экономики, исходные предположения, область применимости модели, интерпретация выходных данных
— все это в значительной степени зависит от интуиции соответствующего специалиста. При отсутствии строгих и общепринятых теоретических обоснований и вытекающей из этого неизбежной необходимости полагаться на интуитивные заключения специалистов
научный журнал (scientific journal) №7 2017 г.
http://www. bulletennauki. com
существует лишь два выхода: первый — в отчаянии «воздеть руки к небу» и отложить принятие решений...; второй — сделать все возможное... и попытаться получить приемлемые по качеству обобщенные суждения специалистов, а затем рационально их использовать» (выделено мною — Г. Х.).]
2.1. Описание метода ПУРО. Если т экспертам необходимо проранжировать к факторов по степени влияния на эффективность щ проекта, то проводится несколько туров опросов. После обработки результатов очередного тура в опросных анкетах проставляется средний, минимальный и максимальный ранги по всем к факторам, а также пояснения экспертов, сделанные в защиту сильно отличающихся ответов. Каждое ранжирование представляется в виде матрицы упорядочения в канонической форме, а затем рассчитываются меры близости (расстояния) Кемени между всеми ранжированиями. Расстояние Кемени ёу численно характеризует степень рассогласования между ранжированиями двух экспертов (ётах=п(п-1)). В матрице Б={ёу}, (i,jem) будут представлены все (т-1)т/2 расстояний между ранжированиями. Б — симметричная положительная матрица с нулевыми диагональными элементами. Сумма элементов i-й строки матрицы Б соответствует величине рассогласования i-го эксперта с остальными. Сопоставляя суммы всех элементов матриц Б, получаемых после каждого тура опросов, можно оценить скорость сходимости мнений экспертов, определить наиболее (наименее) согласованные со всеми ранжирование и выделить согласованные группы экспертов (выбирая различные пороговые значения меры близости ёу<,е¿). Если мнения экспертов относительно рангов факторов полностью совпадают, Л0у=О, если противоположны — Л0у=1.
2.2. Процедура классификации (группировки) участников экспертного опроса. Предположим теперь, что процедура пошагового упорядочения множества факторов успешно завершена. Получена матрица расстояний Кемени между всеми ранжированиями экспертов. Спрашивается, как, по возможности, корректно выделить согласованные группы ответов экспертов?
Рассмотрим процедуру поиска согласованных групп ответов экспертов (классов экспертов) и выбора для этой выделенной группы согласованного упорядочения ответов.
Пусть в результате пошагового упорядочения множества из восьми факторов (т=8) девятью экспертами (п=9) получены представленные в Таблице 1 расстояния Кемени между ранжированиями {Лу}.
РАССТОЯНИЯ КЕМЕНИ МЕЖДУ РАНЖИ
Таблица 1.
РОВАНИЯМИ (ОТВЕТАМИ) ЭКСПЕРТОВ
{dj}. Э1 Э2 Э3 Э4 Э5 Э6 Э7 Э8 Э9
Э1 0 2 28 4 4 18 4 2 2
Э2 2 0 42 4 2 35 2 4 4
Э3 28 42 0 24 36 14 42 36 24
Э4 4 4 24 0 4 48 2 2 2
Э5 4 2 36 4 0 48 2 4 2
Э6 18 35 14 48 48 0 28 42 32
Э7 4 2 42 2 2 28 0 2 4
Э8 2 4 36 2 4 42 2 0 4
Э9 2 4 24 2 2 32 4 4 0
Для выделения согласованных групп экспертов выполняют следующие шаги: Шаг 1. Перевести элементы матрицы расстояний в относительные единицы по формуле Максимальное расстояние между представленными в Таблице 1 ранжированиями факторов равно Лтсх=т(т-1)=8*7=56. Получим Таблицу 2 расстояний Кемени в относительных единицах {Л0 у}.
d ij dij/dmax
научный журнал (scientific journal) №7 2017 г.
http://www. bulletennauki. com
Таблица 2.
РАССТОЯНИЯ КЕМЕНИ МЕЖДУ РАНЖИРОВАНИЯМИ В ОТНОСИТЕЛЬНЫХ
ЕДИН ИЦАХ
{d0} Э1 Э2 Э3 Э4 Э5 Э6 Э7 Э8 Э9
Э1 0 0,04 0,50 0,07 0,07 0,30 0,07 0,04 0,04
Э2 0,04 0 0,75 0,07 0,04 0,60 0,04 0,07 0,07
Э3 0,50 0,75 0 0,4 0,60 0,25 0,75 0,60 0,40
Э4 0,07 0,07 0,40 0 0,07 0,86 0,04 0,04 0,04
Э5 0,07 0,04 0,60 0,07 0 0,86 0,04 0,07 0,04
Э6 0,30 0,60 0,25 0,86 0,86 0 0,50 0,75 0,57
Э7 0,07 0,04 0,75 0,04 0,04 0,50 0 0,04 0,07
Э8 0,04 0,07 0,60 0,04 0,07 0,75 0,04 0 0,07
Э9 0,04 0,07 0,40 0,04 0,04 0,57 0,07 0,07 0
Шаг 2. Выбрать, исходя из реальной степени согласованности ответов экспертов, пороговое значение расстояния dпoр. Анализ содержания Таблицы 2 с относительными значениями расстояния Кемени между ранжированиями показывает, что максимальная степень согласованности между ответами экспертов незначительно превышает 96%. Поэтому в качестве порогового значения dпoр можно выбрать величины 0,05 или 0,1, т. е. в этом случае будут сгруппированы ответы, степень согласованности которых будет не ниже 95 или 90 процентов. Примем dпoр равным 0,1.
Шаг 3. Преобразуем матрицу относительных значений расстояния Кемени 00у} в соответствии с выбранным пороговым значением dn0р. В процессе такого преобразования каждое значение ^у сопоставляется с dпoр и если O<d0*у^пор, то ставится 1, в противном случае — 0. В результате получаем Таблицу 3.
Таблица 3.
МАТРИЦА ВЗАИМОСВЯЗИ МЕЖДУ РАНЖИРОВАНИЯМИ (ОТВЕТАМИ) ЭКСПЕРТОВ ПРИ ВЫБРАННОМ ПОРОГОВОМ ЗНАЧЕНИИ ^=0,1
{d} Э1 Э2 Э3 Э4 Э5 Э6 Э7 Э8 Э9
Э1 0 1 0 1 1 0 1 1 1
Э2 1 0 0 1 1 0 1 1 1
Э3 0 0 0 0 0 0 0 0
Э4 1 1 0 0 1 0 1 1 1
Э5 1 1 0 1 0 0 1 1 1
Э6 0 0 0 0 0 0 0 0
Э7 1 1 0 1 1 0 0 1 1
Э8 1 1 0 1 1 0 1 0 1
Э9 1 1 0 1 1 0 1 1 0
Оказалось, что при уровнях согласованности 95 и 90 процентов явно выделяется группа из семи взаимосвязанных ответов экспертов: 1, 2, 4, 5, 7, 8, 9. Ответы экспертов 3 и 6 не согласуются с остальными.
Шаг 4. Выполняется поиск ранжирования, максимально согласованного с выделенной группой взаимосвязанных ответов. Причем, согласованное ранжирование должно быть точкой, наиболее согласующейся со множеством возможных упорядочений. Однако при достаточно большом числе экспертов расчеты можно существенно упростить, если ориентироваться только на ответы участников экспертизы. Ведь если выборка достаточно велика, то вероятность получить искомое согласованное упорядочение очень близка к единице. С этой целью Таблица 1 преобразуется в Таблицу 4 и рассчитываются величины
Edj и Ed21J. Ранжирование эксперта, у которого величина Ed2j. минимальна, считается максимально согласованным с выделенной группой ответов.
Таблица 4.
РАССТОЯНИЯ КЕМЕНИ с Iii МЕЖДУ РАНЖИРОВАНИЯ] МИ 1, 2, 4, 5, 7-9
{d} Э1 Э2 Э4 Э5 Э7 Э8 Э9 Edj Ed2 j
Э1 0 2 4 4 4 2 2 18 60
Э2 2 0 4 2 2 4 4 18 60
Э3 28 42 24 36 42 36 24 232 8056
Э4 4 4 0 4 2 2 2 18 60
Э5 4 2 4 0 2 4 2 18 60
Э6 18 35 48 48 28 42 32 251 9729
Э7 4 2 2 2 0 2 4 16 48
Э8 2 4 2 4 2 0 4 18 60
Э9 2 4 2 2 4 4 0 18 60
Как следует из данных Таблицы 4, наиболее согласованным с выделенной группой взаимосвязанных ответов является ранжирование эксперта 7. Ответы экспертов 3 и 6 не согласуются с ответами выделенной группы. На Рисунке 2 это достаточно четко прослеживается.
1
Рисунок 2. Граф взаимосвязей между ранжированиями экспертов подгруппы Г1
(построен по данным Таблицы 4)
2.3. Оценка новизны и перспективной полезности метода. Новизна метода:
1) Дельфийская процедура используется при ранжировании объектов — факторов, признаков, явлений и т. д. (а не для прогнозирования будущего).
2) Для количественного анализа степени сходимости мнений экспертов после каждого тура опросов, выявления согласованных групп экспертов и оценки целесообразности завершения экспертизы используется расстояние Кемени (мера близости на отношениях линейного порядка), а в качестве результирующего ранжирования — медиана Кемени.
3) Для группировки экспертов (участников экспертизы), у которых могут оказаться схожими взгляды относительно вариантов ранжирования рассматриваемых объектов, устанавливаются пороговые значения расстояния Кемени между ответами экспертов, исходя из вероятности совпадения мнений экспертов, например, близкой к 0,80; 0,90; 0,95; 0,99.
4) Для поиска в каждой из образовавшихся групп экспертов наиболее согласованного с членами группы ранжирования (упорядочения) объектов рассчитывается медиана Кемени.
научный журнал (scientific journal) №7 2017 г.
http://www. bulletennauki. com
Преимущества метода:
1) Корректность метода (теорема о корректности доказана в 1978 году — «медиана Кемени — единственное результирующее строгое ранжирование, являющееся нейтральным, согласованным и кондорсетовым»);
2) Повышение точности результатов экспертизы за счет наличия обратной связи при реализации каждого последующего тура;
3) При использовании пошагового уточнения ранжирований объектов сохраняются известные преимущества дельфийской процедуры (анонимность и возможность ознакомления с объяснениями, представленными в защиту сильно отличающихся ответов) и алгоритма поиска согласованного упорядочения объектов — корректный расчет медианы и расстояния Кемени;
4) Совместное использование и дельфийской процедуры, и предложенного Кемени подхода к упорядочению объектов позволило:
*получить содержательно приемлемый количественный критерий для обоснованного завершения экспертизы — устанавливается определенная величина относительного (например, 5%) изменения суммарного расстояния Кемени.
*формировать группы экспертов, ориентируясь на выбранные (в зависимости от степени согласованности мнений) пороговые значения расстояния Кемени и исследовать причины взаимосвязи экспертных оценок. Действительно, предположим, что на Рисунке 3 приведены графы взаимосвязи между ранжированиями экспертов подгруппы Г1 расширенного состава (с включением разработчиков п конкурирующих проектов). При этом в подгруппу A, помимо экспертов подгруппы Г1 исходного состава, попали двое из п групп разработчиков проектов — идентификаторы 1 и 4. Графы B и C объединили других разработчиков способов решения проблемы. Теперь можно провести анализ причин формирования таких подгрупп.
*находить наиболее согласованное с членами каждой группы экспертов упорядочение объектов, рассчитав точно или приближенно медиану Кемени;
5) Метод пошагового уточнения ранжирований объектов, будучи простым и корректным, не имеет ограничений на количество участников экспертизы.
Рисунок 3. Графы взаимосвязей между ранжированиями экспертов подгруппы Г1 (расширенный состав)
Апробация и использование метода. Метод успешно апробирован *при решении различных прикладных задач; при выполнении научных исследований, в т. ч. для ранжирования объектов в любой предметной области, для выделения определяющих факторов, признаков, показателей; при сравнении и выборе варианта дизайна, при
сравнении программных средств по критерию «Удобство обслуживания и сопровождения» и
др.
2.4. Последовательность шагов формирования согласованного коллективного выбора (при использовании алгоритма ПУРО):
*Перевод элементов матрицы расстояний Кемени в относительные единицы. Выбор пороговых значений расстояния и оценка степени согласованности ответов в пределах 80, 90 и 95 процентов.
преобразование матрицы относительных значений расстояния Кемени в соответствии с выбранным пороговым значением.
*Группировка участников опроса с учетом выбранной степени согласованности мнений экспертов.
*Поиск с использованием медианы Кемени ранжирования, максимально согласованного с выделенной группой взаимосвязанных ответов.
3. Количественная оценка затрат и эффективности (Задача 3). Для сравнительной оценки значений показателей, характеризующих полезность и эффективность анализируемых способов решения проблемы предлагается использовать метод пошагового уточнения значений различных показателей с оценкой характеристик распределения ПУЗ-ОХР [12-13].
3.1. Описание метода. Метод ориентирован, во-первых, на использование многошаговой процедуры, на каждом шаге которой осуществляется имитационное моделирование, и, во-вторых, на интеграцию метода Дельфи (разработан О. Хелмером, Н. Долки, Т. Дж. Гордоном для прогнозирования будущего) с экспертизой, направленной на получение обобщенного мнения группы экспертов о возможном диапазоне значений искомого показателя.
Предположим, что интеграция с методом Дельфи реализована. Но, спрашивается, как определить, что коллективное мнение стабилизировалось и пора прекращать дальнейшие опросы? С какой вероятностью, например, не будет превышено определенное значение искомого показателя? Какова вероятность того, что значение показателя будет находиться в заданных доверительных границах? Перечень подобных вопросов может быть продолжен.
Для ответа на поставленные вопросы реализуются следующие операции: Оценки каждого i-го эксперта на j-м шаге аппроксимируются равномерным (если эксперт указал два значения показателя) или треугольным (если указано три значения) распределениями (см.: [12-14]). Обобщенное коллективное мнение n экспертов об искомом значении показателя определяется как среднее n случайных величин, имеющих равномерное или треугольное распределения путем реализации на каждом k-ом шаге имитационного моделирования функции Э^ об=(ЕЭ^ )/n, (i€n). В качестве инструментальных средств реализации имитационного моделирования используется программный продукт [15-16], позволяющий с минимальными трудозатратами (в автоматизированном режиме) строить имитационную модель. В результате имитационного моделирования на каждом k-ом шаге получают статистические характеристики (математическое ожидание, дисперсию, коэффициент вариации, эксцесс, асимметрию) и распределение (таблицу и гистограмму) значений показателя — функции \,6=f(^k). После каждого шага (цикла экспертизы) участников экспертной группы знакомят с объяснениями, представленными в защиту сильно отличающихся оценок значений показателя, и предлагают при желании изменить свои предыдущие ответы. На каждом очередном j-ом шаге оценивают изменение значений коэффициента вариации K(jvar функции Э(->об. При отклонении коэффициента вариации от предыдущего значения, например, на 5% и менее можно считать, что оценки экспертов
научный журнал (scientific journal) №7 2017 г.
http://www. bulletennauki. com
стабилизировались и целесообразно завершать экспертизу. На основании результатов имитационного моделирования на последнем шаге оценивают доверительные границы значений показателя и вероятность того, что его значения окажутся больше или меньше определенного числа.
Автоматизированный синтез имитационных моделей в процессе реализации алгоритма позволяет многократно снизить затраты трудовых ресурсов на получение искомых значений показателей.
3.2. Процедура классификации (группировки) участников экспертного опроса. При использовании алгоритма ПУЗ-ОХР можно определить, как взаимосвязаны ответы участников экспертной группы, какова степень этой взаимосвязи, и влиянием каких факторов объясняется наличие такой взаимосвязи (влияет ли уровень образования, место работы, специальность, стаж работы, особенности объекта анализа и т. д.).
Предположим, что после реализации нескольких шагов опроса экспертов относительно значений анализируемого показателя, ответы участников экспертизы на последнем шаге стабилизировались (относительное изменение коэффициента вариации не превысило установленного организаторами экспертизы значения, например, 5-ти процентов).
При этом окончательная Таблица с ответами экспертов относительно значений искомого показателя имеет вид, например, Таблицы 5.
Таблица 5.
РЕЗУЛЬТАТЫ ЧЕТЫРЕХ ШАГОВ (ЦИКЛОВ) ЭКСПЕРТИЗЫ
ШАГ 1 ШАГ 2 ШАГ 3 ШАГ 4
Экс- Мин Опт Макс Мин Опт Макс Мин. Опт Макс. Мин Опт Макс.
перт
Э1 3 5 9 5 6 9 6 7 9 6 7 9
Э2 30 33 65 15 20 30 15 20 30 15 20 30
Эз 2 5 9 4 5 8 4 5 8 4 5 8
Э4 8 11 15 8 11 15 8 11 15 8 11 15
Э5 3 5 8 3 5 8 3 5 8 3 5 8
Эб 14 17 22 14 17 22 14 17 22 12 14 20
Э7 11 15 19 11 15 18 11 15 18 11 15 18
Э8 20 25 55 15 20 35 10 12 22 10 12 21
Э9 12 15 35 10 15 25 8 11 15 8 11 15
*Жирным шрифтом выделены значения показателя, измененные экспертом на очередном
шаге.
Задача теперь состоит в том, чтобы выявить группы экспертов, мнения которых о значениях искомого показателя являются достаточно близкими, согласованными.
Пример классификации (группировки) экспертов. В Таблице 6 представлены результаты имитационного моделирования после каждого из четырех шагов экспертизы (см. результаты экспертизы в Таблице 5).
[Замечание. Столь незначительное количество экспертов в рассматриваемом примере является вполне достаточным для пояснения особенностей группировки. Очевидно, что в условиях интернет количество привлеченных к участию в экспертизе специалистов может исчисляться сотнями и тысячами.]
научный журнал (scientific journal) №7 2017 г.
http://www. bulletennauki. com
Таблица 6.
РЕЗУЛЬТАТЫ МОДЕЛИРОВАНИЯ НА ШАГАХ 1-4_
Параметр ШАГ 1 ШАГ 2 ШАГ 3 ШАГ 4
Переменная Э(01) Э(02) Э(03) Э(04)
Число итераций 1000 1000 1000 1000
Среднее 17,51 13,7 12,24 11,98
Дисперсия 2,02 0,61 0,37 0,36
Среднеквадратическое 1,42 0,78 0,6 0,6
отклонение
Коэффициент вариации, К(01)таг 0,08 0,057 0,049 0,05
Асимметрия 0,3 0,08 0,08 0,15
Эксцесс -0,22 -0,12 -0,24 -0,35
Минимум 14,2 11,4 10,36 10,38
Максимум 22,4 15,88 14,15 13,85
Модальный интервал 17,18 : 17,93 13,44 : 13,84 12,08 : 12,43 11,64 : 11,95
Как следует из данных Таблицы 6, экспертиза может быть завершена, т. к. величина
=2,08%<5%. В Таблице 7 представлены значения искомого показателя, полученные с вероятностями 0,8; 0,9 и 0,95 в результате имитационного моделирования высказываний каждого из экспертов.
Таблица 7.
ЗНАЧЕНИЯ ИСКОМОГО ПОКАЗАТЕЛЯ ПРИ ВЕРОЯТНОСТЯХ 0,8; 0,9; 0,95_
Эксперт Вероятность
0,8 0,9 0,95
Значения искомого показателя
Э1 7,9 8,2 8,55
Э2 23 25,5 27,2
Э3 6,5 6,9 7,3
Э4 6,4 6,9 7,25
Э5 6,25 6,75 7,2
Э6 17 18 18,6
Э7 15,8 16,3 17,1
Э8 16,6 17,65 19,1
Э9 12,55 13,4 14
Результаты группировки экспертов, по мнению которых значения искомого показателя попали в обобщенной (окончательной) таблице распределения в диапазон с вероятностью, не превышающей, соответственно, 0,15; 0,3; 0,5; 0,7; 0,85; 0,95, содержит Таблица 8.
Таблица 8.
ВЗАИМОСВЯЗАННЫЕ ГРУППЫ ЭКСПЕРТОВ
Вероятность
0,15 0,30 0,50 0,70 0,85 0,95
Согласованное значение искомого показателя
11,1 11,3 11,6 12,0 12,3 12,6
Взаимосвязанные группы экспертов при выбранной ве роятности 0,80
1, 3, 4, 5 — — — — 2, 6, 7, 8, 9
Взаимосвязанные группы экспертов при выбранной ве роятности 0,90
1, 3, 4, 5 — — — — 2, 6, 7, 8, 9
Взаимосвязанные группы экспертов при выбранной ве роятности 0,95
1, 3, 4, 5 — — — — 2, 6, 7, 8, 9
3.3. Оценка новизны и перспективной полезности метода:
Новизна метода
1. Интеграция дельфийской процедуры, обычно используемой для прогнозирования будущего, с экспертизой, направленной на получение значения искомого показателя;
2. Реализация обратной связи в процессе экспертизы путем информирования специалистов-экспертов о результатах предыдущего шага;
3. Использование программы последовательных шагов, на каждом из которых реализуется полный цикл экспертизы;
4. Аппроксимация оценок каждого эксперта, представленных тремя значениями искомого показателя (минимальное, максимальное и наиболее вероятное значение) треугольным распределением, а представленных двумя значениями (минимальное и максимальное) — равномерным распределением;
5. Использование имитационного моделирования для определения обобщенного коллективного мнения n экспертов как среднего n случайных величин, имеющих треугольное или равномерное распределения (мнений n участников экспертной группы);
6. Получение оценок статистических характеристик (математического ожидания, дисперсии, коэффициента вариации, эксцесса, асимметрии) и распределения значений искомого показателя (в виде таблицы и гистограммы);
7. Возможность определения вероятности того, что значения показателя не превысят конкретную величину или попадут в заданный диапазон значений.
Преимущества метода:
1. Повышение точности результатов экспертизы за счет
*наличия обратной связи при реализации каждого последующего тура;
*обеспечения эксперту возможности указывать три или два значения искомого показателя;
*определения по результатам имитационного моделирования вероятности попадания величины показателя в заданный диапазон значений.
2. Уменьшение психологической нагрузки на эксперта и негативного влияния на результаты экспертизы присутствия начальников и амбициозных личностей, поскольку сохраняется анонимность и эксперты не общаются друг с другом и не знают, кто дал конкретное обоснование в защиту сильно отличающихся значений показателя.
3. Представление суммарного распределения как среднего (математического ожидания) суммы равномерных или треугольных распределений оценок отдельных экспертов позволяет получить результирующее распределение значений показателя даже при условии, что эксперты указывают два или три значения и большой дисперсии оценок.
4. Выявление самопроизвольных группировок экспертов, оценки которых относительно искомых значений показателя близки, дает возможность исследовать причины образования таких групп. Формирование групп экспертов осуществляется, исходя из заданной пороговой величины вероятности конкретного диапазона значений прогнозируемого показателя.
Использование метода
Метод достаточно широко используется и при выполнении научных исследований, и в учебном процессе. Так, показана экономическая обоснованность применения метода для оценки значений спроса на конкретный товар, времени выполнения конкретной операции делового процесса, убытков от возможных недружественных санкций конкурентов, времени, затраченного на взлом информационной системы, прогнозируемого времени решения задачи, оценки совокупной стоимости владения объектами длительного пользования, для оценки экономического ущерба от реализации угроз безопасности предприятия и т. д.
3.4. Последовательность шагов формирования согласованного коллективного выбора (при использовании алгоритма ПУЗ-ОХР):
*Реализация имитационного моделирования высказываний каждого эксперта (аппроксимация треугольным или равномерным распределениями). В результате имитационного моделирования получают по каждому эксперту распределение значений искомого показателя в виде гистограммы и таблицы;
*Из таблиц распределения выбирают значения показателя, которые, например, не будут превышены с вероятностями 0,80; 0,90; 0,95.
*Определение обобщенного распределения значений показателя как суммы мнений всех участников экспертизы путем имитационного моделирования.
*Построение таблицы, в которой перечислены номера экспертов, мнение которых о значении искомого показателя в обобщенном согласованном распределении значений (у всех экспертов) оказалось в диапазоне с выбранной вероятностью.
4. Анализ результатов количественной оценки показателей и реализация процедуры выбора (Задача 4). Для решения задачи 4 можно использовать метод ПУРО. Рассмотрим одну из его модификаций.
Предположим, что необходимо осуществить сравнение нескольких способов (проектов) решения конкретной проблемы M. Пусть A=(ai} (iCn) — сравниваемые способы; B={bj} (j€m) — множество экспертов, участвующих в экспертизе.
4.1. Процедура упорядочения способов решения проблемы. Для сравнения выбраны проекты A, B, Си D. Эти проекты необходимо упорядочить с целью выбора проекта с лучшим сочетанием полезных характеристик (свойств).
Последовательность шагов алгоритма:
Шаг 1. Каждому эксперту с использованием таблицы (или датчика) случайных чисел предлагаются для сравнения последовательно пары проектов решения проблемы M. Можно предположить, например, что эксперт 3j, получив пару B и С, делает выбор в пользу B. На следующем этапе этому эксперту предлагается сравнить B и A (вариант A выбран также случайно). Эксперт выбирает A. И, наконец, при сравнении A и D выбирает D. Этапы сравнения можно представить в виде цепочки: (В^С) ^ B; (B^A) ^ A; (A^D) ^ D. В свою очередь эксперт 3j+k выполняет сравнение вариантов в такой последовательности: (C^A) ^ С; (C^D) ^ С; (С^В) ^ С; (D^A) ^ A; (A^B) ^ В.
Шаг 2. По результатам экспертных оценок проектов строятся матрицы доминирования, отражающие отношения доминирования между способами решения проблемы M. Элементы матриц равны либо 0, либо 1. Элемент 1, стоящий в i-й строке и j-м столбце, означает, что i-й вариант доминирует над j-м. Соответственно 0 служит для указания отсутствия явного доминирования.
Матрицы доминирования Ц 3j || и || 3j+k || для ранжирований экспертов 3j, и 3j+k имеют вид:
3j
3f A B С D
A 0 1 0 0
B 0 0 1 0
С 0 0 0 0
D 1 0 0 0
3
'j+k
3j+k A B С D
A 0 0 0 1
B 1 0 0 0
С 1 1 0 1
D 0 0 0 0
научный журнал (scientific journal) №7 2017 г.
http://www. bulletennauki. com
Шаг 3. Выполняется построение матриц доминирования II Эj
и
Э
b+k
для
ранжирований всех экспертов и оценивается степень доминирования способов решения проблемы у каждого из экспертов. Для эксперта Э]: || Э] ||+Г]| Э] ||)2, а для Э^+к : Sj+k= ||
Выполнив расчеты, можно получить представленные в Таблице 8
j Н+И1 j
результаты:
Таблица 8.
РЕЗУЛЬТАТЫ ДОМИНИРОВАНИЯ СПОСОБОВ (ПРОЕКТОВ) РЕШЕНИЯ ПРОБЛЕМЫ M
Варианты дизайна Э, Эj+k
A 2 1
B 1 2
C 0 5
D 3 0
Шаг 4. Обработка полученных результатов экспертизы осуществляется с ориентацией на аксиоматический подход к упорядочению по предпочтениям, предложенный Дж. Кемени [10-11], и предложенные в [6-7] процедуры. Каждое экспертное ранжирование представляется в виде матрицы упорядочения в канонической форме. Элементы этих матриц соответственно равны: 1, если i предпочтительнееу, —1, если j предпочтительнее /; 0, если i и j равноценны.
Шаг 5. Определяются расстояния Кемени {ёу} между всеми ранжированиями. Выбирается, исходя из реальной степени согласованности ответов экспертов, пороговое значение расстояния ёпор. Выполняется преобразование значений расстояния Кемени {ёу} в относительные единицы {ё°у} в соответствии с выбранным пороговым значением ёпор: Затем выбирают пороговое значение £пор. В качестве порогового значения ёо'пор целесообразно выбирать величины 0,05 или 0,1, то есть в этом случае будут сгруппированы ответы, степень согласованности которых будет не ниже 95 или 90 процентов. В процессе такого преобразования каждое значение d0j сопоставляется с ё0пор и если 0<d0j<d0r¡ор, то ставится 1, в противном случае — 0. В результате формируется матрица взаимосвязи между ранжированиями экспертов.
Шаг 6. Рассчитываются значения медианы Кемени для взаимосвязанных ранжирований (для каждой группы). С этой целью выполняется поиск ранжирования, максимально согласованного с выделенной группой взаимосвязанных ответов. Согласованное ранжирование должно быть точкой, наиболее связанной с множеством возможных упорядочений. Однако при достаточно большом числе экспертов расчеты можно существенно упростить, если ориентироваться только на ответы участников экспертизы. Ведь если выборка достаточно велика, то вероятность получить искомое согласованное упорядочение очень близка к единице. Поэтому представляется содержательно оправданным выбор в качестве медианы Кемени такого ранжирования, у которого величина Иё'2j. минимальна.
Шаг 7. Анализируются возможные причины наличия взаимосвязи между подмножествами согласованных ранжирований экспертов и т. д.
Замечание
В экспериментах с интернет-опросами обычно образуется несколько групп, участники каждой из которых выполняют ранжирование проектов и выбирают конкретный способ
научный журнал (scientific journal) №7 2017 г.
http://www. bulletennauki. com
решения проблемы (графы, представленные на Рисунках 3 и 4 или построенные по матрицам вида Таблицы 4, дают наглядное представление о возникших группировках).
Если же в опросе участвуют только эксперты группы Г2, то при проведении экспертизы целесообразно реализовать пошаговую процедуру опросов, чтобы обеспечить возможность информирования всех участников с содержанием объяснений, представляемых в защиту выбранного способа (ведь вполне возможно, что кто-нибудь из экспертов осведомлен о новых исследованиях, результаты которых могут оказать решающее влияние на выбор того или иного способа).
Сравнительные преимущества использования методов ПУРО и ПУЗ-ОХР для формирования согласованного коллективного выбора в процессе реализации экспертиз:
1. Активизация интеллектуальной деятельности экспертов за счет предоставления специалистам, участвующим в экспертизе, возможности рассматривать возражения и предложения других членов экспертной группы в атмосфере, свободной от влияния личных качеств участников. Поэтому здесь нет негативного влияния на результат реализации алгоритмов присутствия в составе экспертной группы начальников и подчиненных, друзей и врагов, лиц с разной скоростью реакции, с разными культурными и религиозными традициями и т.д., поскольку эксперты: *не знают, как правило, кто участвует в опросе; *не знают, кто и как ответил, кто какое принял решение; *не знают, кто и какое дал обоснование своему решению, своей позиции; *и могут не знать об истинных целях организаторов экспертного опроса; *но видят на каждом шаге все обоснования решений участников опроса и согласованное мнение всех экспертов
Рисунок 4. Один из возможных вариантов группировки экспертов
Заключение
2. Формирование групп экспертов, оценивающих проекты, происходит самопроизвольно, без давления извне, без участия сторонних направляющих субъектов.
3. Возможность использовать так называемое «информированное интуитивное суждение» специалиста-эксперта путем создания условий для активного взаимодействия с другими специалистами в областях, касающихся различных аспектов изучаемой проблемы. При этом непосредственное общение специалистов друг с другом заменяется последовательностью шагов, на каждом из которых реализуется полный цикл экспертизы, включая информирование специалистов-экспертов о результатах предыдущего шага.
4. В условиях интернет количество экспертов, участвующих в оценке полезности проектов, может достигать сотен и тысяч. Поэтому в составе таких специалистов могут оказаться талантливые, одаренные природой лица, компетентные в предметных областях, не связанных с решаемой задачей. И, как показывает практика, именно эти люди чаще всего становятся авторами оригинальных предложений, или дают наиболее убедительные обоснования при выборе конкретного проекта.
5. При использовании методов предусмотрено корректное количественное определение момента (номера шага) завершения экспертного опроса (по величине изменения коэффициента вариации или расстояния Кемени).
6. Повышается достоверность результатов оценки за счет предоставления участникам возможности обосновывать и конкретизировать свои ответы, например, указывать диапазон значений показателя, характеризующего потребительское качество проекта, и получать в результате последующего имитационного моделирования и пошаговой процедуры уточнения значений статистические характеристики и распределение оцениваемого показателя.
7. Методы корректны, многократно апробированы, подтвердили свою прикладную полезность в процессе использования в различных предметных областях.
Список литературы:
1. Khubaev G. Assessment of the time required for the acquisition of knowledge // 5th International Scientific Conference "Applied Sciences and technologies in the United States and Europe: common challenges and scientific findings" (New York, USA; February 12, 2014). Section 6. Pedagogy. New York, 2014. P. 86-90.
2. Хубаев Г. Н. О законе распределения времени освоения нового учебного материала // Труды 6-ой Международной науч.-практ. конференции «Системный анализ в проектировании и управлении» (СПб., 28 июня — 5 июля 2002 г.). СПб.: СПбГПУ, 2002, С. 431-434.
3. Шнейдерман Бен. Психология программирования: Человеческие факторы в вычислительных и информационных системах / пер. с англ. А. И. Горлина, Ю. Б. Котова. М.: Радио и связь, 1984. 304 с.
4. Khubaev G. Management personnel classification by skill level and creativity // European science review. Section 14. Economics and management. 2016. №5-6. P. 223-228.
5. Хубаев Г. Н. Алгоритмы классификации лиц, принимающих решения, по уровню профессиональных знаний и творческим способностям // Наука и мир. 2016. №5 (33). Ч. 2. С. 168-176.
6. Хубаев Г. Н. Об одном методе получения и формализации априорной информации при отборе значимых факторов // Сб. докладов итоговой науч. конф. Рост. ин-та народн. хоз-ва. Вып. 1. Ростов-на-Дону, 1973. С. 238-244.
7. Хубаев Г. Н. Эффективность использования техники. Ростов-на-Дону: РГУ, 1978.
223 с.
8. Хелмер О. Анализ будущего: метод Дельфи // Научно-техническое прогнозирование для промышленности и правительственных учреждений / пер. с англ. Под ред. Г. М. Доброва. М.: Прогресс, 1972. С. 77-83.
9. Helmer O. Social Technology. New York, Basic Books, Inc., Publishers, 1966.
10. Kemeny J. G. Generalized random variables // Pacific Journal of Mathematics. 1959. V. 9. P. 1179-1189.
11. Кемени Дж., Снелл Дж. Кибернетическое моделирование. Некоторые приложения. Нью-Йорк, 1963-1970. Пер. с англ. Б. Г. Миркина. Под ред. И. Б. Гутчина. М., 1972.
12. Хубаев Г. Н. Имитационное моделирование для получения групповой экспертной оценки значений различных показателей // Автоматизация. Современные технологии. 2011. №11. С. 19-23.
13. Khubaev G. N. Stepwise determination of damage from realization of security hazards of a company // European Sciences review. Section 13. Economics and management. 2014. №11-12. P.111-113.
14. Хубаев Г., Родина О. Модели, методы и программный инструментарий оценки совокупной стоимости владения объектами длительного пользования (на примере программных систем). Saarbrucken: LAP LAMBERT Academic Publishing, 2012. 370 с.
15. Хубаев Г. Н., Щербаков С. М., Рванцов Ю. А. Система автоматизированного синтеза имитационных моделей на основе языка UML «СИМ-UML» // CeBIT 2015 (Ганновер, 2015). Каталог разработок российских компаний. Ministry of Education and Science of the Russian Federation; МСП ИТТ, 2015.
16. Хубаев Г. Н., Щербаков С. М. Система автоматизированного синтеза имитационных моделей на основе языка UML 2.0 (СИМ-UML 2.0) // Свидетельство о государственной регистрации программы для ЭВМ. №2016661676. М.: Роспатент, 2016.
References:
1. Khubaev, G. (2014). Assessment of the time required for the acquisition of knowledge. 5th International Scientific Conference "Applied Sciences and technologies in the United States and Europe: common challenges and scientific findings" (New York, USA; February 12, 2014). Section 6. Pedagogy, New York, 86-90
2. Khubaev, G. N. (2002). O zakone raspredeleniya vremeni osvoeniya novogo uchebnogo materiala. Trudy 6-oi Mezhdunarodnoi nauch.-prakt. konferentsii "Sistemnyi analiz v proektirovanii i upravlenii" (SPb., 28 iyunya — 5 iyulya 2002g.). St. Petersburg, SPbGPU, 431434
3. Shneiderman, B. (1984). Psikhologiya programmirovaniya: Chelovecheskie faktory v vychislitelnykh i informatsionnykh sistemakh. Perevod s angl. A. I. Gorlina, Yu. B. Kotova. Moscow, Radio i svyaz, 304
4. Khubaev, G. (2016). Management personnel classification by skill level and creativity. European science review. Section 14. Economics and management, (5-6), 223-228
5. Khubaev, G. N. (2016). Algoritmy klassifikatsii lits, prinimayushchikh resheniya, po urovnyu professionalnykh znanii i tvorcheskim sposobnostyam. Nauka i mir, (5-2), 168-176
6. Khubaev, G. N. (1973). Ob odnom metode polucheniya i formalizatsii apriornoi informatsii pri otbore znachimykh faktorov. Sb. dokladov itogovoi nauch. konf. Rost. in-ta narodn. khoz-va, (1), Rostov-on-Don, 238-244
7. Khubaev, G. N. (1978). Effektivnost ispolzovaniya tekhniki. Rostov-on-Don, RGU, 223
8. Helmer, O. (1972). Analiz budushchego: metod Delfi. Nauchno-tekhnicheskoe prognozirovanie dlya promyshlennosti i pravitelstvennykh uchrezhdenii. Per. s angl. Pod red. G. M. Dobrova. Moscow, Progress, 77-83
9. Helmer, O. (1966). Social Technology, New York, Basic Books, Inc., Publishers
10. Kemeny, J. G. (1959). Generalized random variables. Pacific Journal of Mathematics, 9, 1179-1189
11. Kemeni, Dzh., Snell, Dzh. (1972). Kiberneticheskoe modelirovanie. Nekotorye prilozheniya. New York, 1963-1970. Per. s angl. B. G. Mirkina. Pod red. I. B. Gutchina. Moscow
12. Khubaev, G. N. (2011). Imitatsionnoe modelirovanie dlya polucheniya gruppovoi ekspertnoi otsenki znachenii razlichnykh pokazatelei. Avtomatizatsiya. Sovremennye tekhnologii, (11), 19-23
13. Khubaev, G. N. (2014). Stepwise determination of damage from realization of security hazards of a company. European Sciences review. Section 13. Economics and management, (1112), 111-113
14. Khubaev, G., & Rodina, O. (2012). Modeli, metody i programmnyi instrumentarii otsenki sovokupnoi stoimosti vladeniya obektami dlitelnogo polzovaniya (na primere programmnykh sistem). Saarbrucken, LAP LAMBERT Academic Publishing, 370
15. Khubaev, G. N., Shcherbakov, S. M., & Rvantsov, Yu. A. (2015). Sistema avtomatizirovannogo sinteza imitatsionnykh modelei na osnove yazyka UML "SIM-UML". CeBIT 2015 (Gannover, 2015). Katalog razrabotok rossiiskikh kompanii. Ministry of Education and Science of the Russian Federation; MSP ITT
16. Khubaev, G. N., & Shcherbakov, S. M. (2016). Sistema avtomatizirovannogo sinteza imitatsionnykh modelei na osnove yazyka UML 2.0 (SIM-UML 2.0). Svidetelstvo o gosudarstvennoi registratsii programmy dlya EVM. No. 2016661676. Moscow, Rospatent
Работа поступила Принята к публикации
в редакцию 19.06.2017 г. 22.06.2017 г.
Ссылка для цитирования:
Хубаев Г. Н. Методы формирования согласованного коллективного выбора в процессе экспертизы (на примере ранжирования способов решения сложных проблем) // Бюллетень науки и практики. Электрон. журн. 2017. №7 (20). С. 59-77. Режим доступа: http://www.bulletennauki.com/khubaev-1 (дата обращения 15.07.2017).
Cite as (APA):
Khubaev, G. (2017). Methods of forming the agreed collective choice in the expertise process (on an example of ranking methods of solving complex problems). Bulletin of Science and Practice, (7), 59-77
