CC BY
9Бюллетень науки и практики /Bulletin of Science and Practice Т. 7. №5. 2021
https://www.bulletennauki.com https://doi.org/10.33619/2414-2948/66
UDC 338.242+004.94 https://doi.org/10.33619/2414-2948/66/34
JEL classification: B41; C15; L10
ITERATIVE OBJECT RANKING VERIFICATION METHOD: PROGRAMMING IMPLEMENTATION, FIELDS OF APPLICATION
©Khubaev G., Dr. habil., Rostov State Economic University (RINH), Rostov-on-Don, Russia, gkhubaev@mail.ru ©Shcherbakova K., Spetsvuzavtomatika Research Institute, Rostov-on-Don, Russia, kapitolinashcherbakova@gmail.com ©Petrenko E., Rostov State Economic University (RINH), Rostov-on-Don, Russia, egor_petrenko_2002@mail.ru
Abstract. This paper provides an overview of the originality and advantages of the Iterative Object Ranking Verification method, analyzes an example of the Python programming implementation, describes possible fields to apply the method.
Keywords: object ranking, Python programming language, programming implementation, fields of application.
Introduction
Expert ranking (ranging) of objects is widely used in human practical activities. They rank athletes (tennis players, chess players), experts, enterprises, administrative areas, variants of external look of an object while designing, etc. Science and technologies are getting more and more progressive and Artificial intelligence has intruded almost everywhere, still expert methods are unlikely to be used less intensively. As choosing a goal and criteria to assess a degree of probability to reach it (or a degree of approximating to it) is going to stay human-centered for a long time.
The paper explores details, originality and advantages of the Iterative Object Ranking Verification method, analyzes the Python programming implementation, describes possible fields to apply the method.
1. Description, details, originality and advantages of the method
The Iterative Object Ranking Verification method (IORV/Puro), which was proposed and described in [1], is supposed to be used for expertizing. At the first stage the organizers of an expertise form an expert group. For that purpose, from a previously set database (DB), which contains data on attributes (competences) of experts, who participated in expertise-survey procedures in some specific fields, the organizers choose (by using random number tables or a random number generator) a group of experts to participate in the procedure of ranking particular objects, chosen by the organizers of an expertise. All the experts of a newly set group get identification marks, again by using random number tables or a random number generator.
1.1. Description of the IORV/Puro method. If experts are proposed to rank m new attributes of an object according to the degree of importance and usefulness for a consumer, then there are several survey iterations. After processing the results of a survey iteration, in the questionnaires all m attributes are identified by the average, minimal and maximum ranking and some are marked by the experts' notes to support the replies that vary significantly. Every ranking is presented as a canonical sequence matrix, and then the Kemeny distances between all the rankings are computed. The Kemeny distance dij numerically characterizes the degree of discoordination between the rankings of two experts (dmax=m(m-1)). In the D={dj}, (ijen) matrix there will be presented all the
Бюллетень науки и практики /Bulletin of Science and Practice Т. 7. №5. 2021
https://www.bulletennauki.com https://doi.org/10.33619/2414-2948/66
(n-1)n/2 distances between the rankings. D is a symmetric positive matrix with zero diagonal elements. The sum of elements of the i line in the D matrix correlates to the ratio of i-expert's discoordination to the others. Comparing the sums of all the elements of the D matrix, which appear after each iteration of the survey, it is possible to assess the speed of convergence of the experts' opinions, to find out the most (the least) coordinated ones according to all the rankings and to define coordinated groups of experts (by choosing various threshold of convergence dij<sd). If the experts' opinions on the ranking of attributes fully coincide, that is d0ij=0, if they are opposite, it is d0j=1.
1.2. Classifying (grouping) participants of an expertise. Suppose, the procedure of the iterative verification of multiple attributes has been successfully finished. We have got the matrix of the Kemeny distances for all the experts' rankings. Now it is necessary to define correctly coordinated groups of the experts' replies, i.e. to implement the procedure of seeking out a coordinated group of the experts' replies (classes of experts) and choosing coordinated verification of replies for the defined group.
Suppose, as a result of an iterative sequencing of multiple attributes, done by a group of n experts, we have got the Kemeny distances between the rankings - {dij}.
Step 1. Transform the elements of the distance matrix into the relative ratio following the d0j=dij/dnwx formula. The maximum distance between the rankings is dmax=m(m-1). Then we get the table of the Kemeny distances presented in the relative ratios {d0ij}.
Step 2. Choose, taking into account the real degree of the coordination of experts' replies, the threshold of the distance dnop.
Step 3. Transform the matrix of the relative ratios of the Kemeny distances {d0ij} due to the pre-set threshold dnop. In the process of transforming each d0ij ratio is compared to dnop, and if 0<d0ij<dnop , then we get 1, otherwise - 0.
Step 4. Seek out the ranking, which is maximally coordinated to the defined group of interrelated replies. And, the coordinated ranking should be the point, maximally coordinated to the set of possible sequencing. But if there are quite many experts, the calculation can be significantly simplified, taking into account only the replies of the expertise participants. As in case the sample size is wide enough, the probability to get the coordinated sequencing we are seeking out is close to 1.0. For that purpose we compute 'Ldij and T,d2ij. The expert ranking, whose T,d2ij is minimal, is considered to be maximally coordinated to the defined group of replies.
1.3. Analysis of details and perspective usefulness of the method. Distinctions of the method:
1) The Delphy technique is used to rank the attributes of an object (not to forecast the future).
2) To analyze quantitatively the degree of convergence of experts' opinions after each iteration of the survey, to find out coordinated groups of experts and to assess the viability of completing the expertise, the Kemeny distance is used (measurement of proximity for linear relations), and for the final ranking, Kemeny's median is used.
3) To group the members of an expertise, who may have similar views on ranking the attributes under consideration, we set the Kemeny distance threshold between the experts' replies, based on the probability of the coincidence of their opinions, e.g., close to 0.8; 0.9; 0.95; 0.99.
4) For seeking out the ranking of attributes, that is coordinated with the group members, within each group, Kemeny's median is computed.
The advantages of the method: 1) The correctness of the method (the correctness theorem was proved in 1978 - «Kemeny's median is the only resulting strict ranking, which is neutral, coordinated and Condorcet relevant»; clarification of G. Khubaev, based on Jean A. N. Condorcet's ideas: «Condorcet» means sensible, due to «the common sense»).
2) Increasing accuracy of the results of an expertise due to the feedback, done after
Бюллетень науки и практики /Bulletin of Science and Practice Т. 7. №5. 2021
https://www.bulletennauki.com https://doi.org/10.33619/2414-2948/66
implementing every other survey iteration.
3) When implementing the iterative verification for ranking attributes we keep some well-known advantages of both the Delphy technique (anonymity and possibility to get aware of the explanations, given to defend the replies that differ significantly), and the algorithm of seeking out a coordinated object ranking - a verified calculation of Kemeny's median and the Kemeny distance.
4) Conjoint usage of both the Delphy technique and Kemeny's approach to sequencing the functions allowed:
*to get a content-acceptable quantity criterium for a justified completion of the expertise, a relative change value (e.g., 5%) for the total Kemeny distance is set;
*to form groups of experts, taking into account the chosen (depending on the degree of coordination of opinions) threshold of the Kemeny distance, and to research the reasons for interconnection of experts' assessment;
*to seek out ranking of attributes, coordinated by the members of each expert group, on calculating Kemeny's median in a precise or approximate way.
For instance, suppose, Figure 1 shows the results of intuitive consensus, when different groups of experts are choosing a variant of widening the set, e.g., 1) functions of peculiar goods, or 2) competences, every specialist in a specific area is to have, and so on, then every graph can be defined as one of the experts' groups with a coordinated opinion on widening the pool of attributes of the object under consideration. Furthermore, the ranking of attributes, due to the level of their usefulness, significance, importance, is done by different experts' groups — A, B, C graphs. Here, every graph is a group (cluster, class) of experts with a minimal Kemeny's distance between the sequencing of the object's attributes, done by the experts of the group).
5) Iterative Object Ranking Verification method, with its simplicity and correctness, has no restrictions on the quantity of expertise participants.
Figure 1: Groups of experts with a similar opinion on the usefulness of peculiar attributes within a specific set of objects - A, B, C graphs
2. Example of programming implementation. After another iteration the change of the total discoordination (the total Kemeny distance of all the rankings) did not exceed the threshold (normally, 3^10%). The final results of experts' replies are presented in Table 1.
Table 1.
RESULTS OF THE EXPERTISE AT THE FINAL STAGE
EI E2 E3 E4 E5 E6 E7
a b b q h h c b
b c q b d d b a
c a h h q q a c
d d a a b a d d
q h d c a b h h
h q c d c c q q
Kemeny's distances between all rankings of experts are formed in the form of Table 2.
Table 2.
RESULTING CALCULATION WITH ASSESSING THE KEMENY DISTANCE OF ALL EXPERTS' RANKINGS
Dij EI E2 E3 E4 E5 E6 E7 Sum of distfnces per line Sum of squares of distfnces per line
Ei 0 18 18 22 24 2 2 86 1716
E2 18 0 4 12 14 20 16 84 1336
E3 18 4 0 12 14 20 16 84 1336
E4 22 12 12 0 2 24 20 92 1752
E5 24 14 14 2 0 26 22 102 2132
E6 2 20 20 24 26 0 4 96 2072
E7 2 16 16 20 22 4 0 80 1416
Algorithm Puro
Алгоритм Пуро
Data file МШ< Result file BSHli
Paсочетать
Browse Browse
Figure 2. Application window
Figure 3: Available tables to observe the results
When the relative ratio of the Kemeny distance threshold is dn0=0,15 (ties probability is >0,85), ranking ties look as follows: E1 ^ E6 ^ E7; E2 ^ E3; E4 ^ E5.
Бюллетень науки и практики /Bulletin of Science and Practice Т. 7. №5. 2021
https://www.bulletennauki.com https://doi.org/10.33619/2414-2948/66
Figure 4. Graphs of E1-E7 experts' ranking ties
3. Fields to apply the software. The method of iterative verification for ranking any objects of the same kind can be used:
*for academic purposes, e.g., while teaching-learning such disciplines as Theory of Systems and System Analysis;
*for intuitive consensus when choosing a shared solution to complex problems [2, 3]; *for counting the total cost of ownership (TCO) of an object or product (see [4]; here, the Puro method is vital for ranking the main expenses - labour, material, finance, time).
Additionally, for comparing: *variants of external look of objects (goods that are being designed and/or sold: software, web sites, cars and others) [5, 6];
*variants of ranking functions of objects by different groups of consumers (objects, that are being designed, and/or consumer goods and services: software, cars, web sites, medical, education, law and other services and goods) - for example, when the marketing department is choosing a market's segment for retail software, which is being designed; *variants of object ranking while expertizing;
*variants of object ranking — complex devices (cars, software, computers, aircraft and others) due to the attributes of their convenience for utilizing and servicing;
* variants of object ranking — decision-making personalities (DMP), participants of various competitions and so on, due to the range of their competences and other attributes, etc.
Conclusion
1. We have described the originality and advantages of the Iterative Object Ranking Verification method and analyzed an example of the Python programming implementation.
2. We have shown the fields to apply the method, including the usage for academic purposes, for counting the total cost of ownership, for comparing *variants of external look of an object (consumer goods that are being designed or sold: software, cars, web sites and so on), *variants of solution to complex problems; *while ranking decision-making personalities (DMP), participants of various competitions, etc., due to the range of their competences and other attributes, and so on.
Бюллетень науки и практики /Bulletin of Science and Practice Т. 7. №5. 2021
https://www.bulletennauki.com https://doi.org/10.33619/2414-2948/66
МЕТОД ПОШАГОВОГО УТОЧНЕНИЯ РАНЖИРОВАНИЯ ОБЪЕКТОВ: ПРОГРАММНАЯ РЕАЛИЗАЦИЯ, ОБЛАСТЬ ПРИМЕНЕНИЯ
©Хубаев Г. Н., д-р экон. наук, Ростовский государственный экономический университет (РИНХ), г. Ростов-на-Дону, Россия, gkhubaev@mail.ru
©Щербакова К. Н., Научно-исследовательский институт «Спецвузавтоматика», г. Ростов-на-Дону, Россия, kapitolinashcherbakova@gmail.com ©Петренко Е. А., Ростовский государственный экономический университет (РИНХ), г. Ростов-на-Дону, Россия, egor_petrenko_2002@mail.ru
Аннотация. Описаны новизна и преимущества метода пошагового уточнения ранжирования объектов, рассмотрен пример программной реализации метода на алгоритмическом языке Python, указаны возможные области применения метода.
Ключевые слова: ранжирования объектов, алгоритмический язык Python, программная реализация, область применения.
Введение
Экспертное упорядочение (ранжирование) объектов широко используется в практике человеческой деятельности. Ранжируют спортсменов (теннисистов, шахматистов), экспертов, предприятия, административно-территориальные образования, варианты внешнего вида объекта в процессе проектирования и т. д. С развитием научно-технического прогресса, с повсеместным внедрением искусственного интеллекта интенсивность использования экспертных методов вряд ли уменьшится. Ведь выбор цели и критериев для оценки вероятности ее достижения (или степени приближения к цели) еще долгое время будет оставаться в ведении человека.
В статье описаны особенности, новизна и преимущества метода пошагового уточнения ранжирования объектов, представлен пример программной реализации на алгоритмическом языке Python, указаны возможные области применения метода.
1. Описание, особенности, новизна и преимущества метода
Метод пошагового уточнения ранжирования объектов (ПУРО), предложенный и описанный в [1], предназначен для использования в процессе экспертизы. На первом этапе организаторы экспертизы формируют состав экспертной группы. Для этого из ранее созданной базы данных (БД), содержащей сведения о характеристиках (компетенциях) экспертов-участников экспертиз-опросов в конкретных предметных областях, осуществляется (с использованием таблицы или датчика случайных чисел) отбор группы экспертов для участия в реализации процедуры ранжирования конкретных объектов, выбранных организаторами экспертизы. Всем экспертам вновь созданной группы присваивают идентификаторы также с использованием таблицы или датчика случайных чисел.
1.1. Описание метода ПУРО. Если экспертам предлагают выполнить упорядочение m новых характеристик анализируемых объектов по степени их значимости и полезности для потребителя, то проводится несколько туров опросов. После обработки результатов очередного тура в опросных анкетах проставляется средний, минимальный и максимальный ранги по всем m характеристикам, а также пояснения экспертов, сделанные в защиту сильно отличающихся ответов. Каждое ранжирование представляется в виде матрицы упорядочения
Бюллетень науки и практики /Bulletin of Science and Practice Т. 7. №5. 2021
https://www.bulletennauki.com https://doi.org/10.33619/2414-2948/66
в канонической форме, а затем рассчитываются меры близости (расстояния) Кемени между всеми ранжированиями. Расстояние Кемени ёу численно характеризует степень рассогласования между ранжированиями двух экспертов (ёшах=ш(ш-1)). В матрице Б={ёу}, (у еп) будут представлены все (п-1)п/2 расстояний между ранжированиями. Б -симметричная положительная матрица с нулевыми диагональными элементами. Сумма элементов 1-й строки матрицы Б соответствует величине рассогласования 1-го эксперта с остальными. Сопоставляя суммы всех элементов матриц Б, получаемых после каждого тура опросов, можно оценить скорость сходимости мнений экспертов, определить наиболее (наименее) согласованные со всеми ранжирование и выделить согласованные группы экспертов (выбирая различные пороговые значения меры близости ёу<её). Если мнения экспертов относительно рангов характеристик полностью совпадают, ё0у=0, если противоположны — ё0у=1.
1.2. Процедура классификации (группировки) участников экспертного опроса. Предположим теперь, что процедура пошагового упорядочения множества характеристик успешно завершена. Получена матрица расстояний Кемени между всеми ранжированиями экспертов. Теперь необходимо корректно выделить согласованные группы ответов экспертов, т. е. реализовать процедуру поиска согласованных групп ответов экспертов (классов экспертов) и выбора для этой выделенной группы согласованного упорядочения ответов.
Пусть в результате пошагового упорядочения множества характеристик группой из п экспертов получены расстояния Кемени между ранжированиями {ёу}.
Шаг 1. Перевести элементы матрицы расстояний в относительные единицы по формуле ё0у=ёу/ёшах. Максимальное расстояние между ранжированиями характеристик равно ёшах=ш(ш-1). Получим таблицу расстояний Кемени в относительных единицах {ё0у}.
Шаг 2. Выбрать, исходя из реальной степени согласованности ответов экспертов, пороговое значение расстояния ёпор.
Шаг 3. Преобразовать матрицу относительных значений расстояния Кемени {ё0у} в соответствии с выбранным пороговым значением ёпор. В процессе такого преобразования каждое значение ё0у сопоставляется с ёпор и если 0<ё0у<ёпор , то ставится 1, в противном случае — 0.
Шаг 4. Выполняется поиск ранжирования, максимально согласованного с выделенной группой взаимосвязанных ответов. Причем, согласованное ранжирование должно быть точкой, наиболее согласующейся со множеством возможных упорядочений. Однако при достаточно большом числе экспертов расчеты можно существенно упростить, если ориентироваться только на ответы участников экспертизы. Ведь если выборка достаточно велика, то вероятность получить искомое согласованное упорядочение близка к единице. С этой целью рассчитываются величины ^у и ^2у. Ранжирование эксперта, у которого величина ^2у. минимальна, считается максимально согласованным с выделенной группой ответов.
1.3. Анализ особенностей и перспективной полезности метода. Отличия метода:
1) Дельфийская процедура используется при ранжировании экспертами характеристик объектов (а не для прогнозирования будущего)
2) Для количественного анализа степени сходимости мнений экспертов после каждого тура опросов, выявления согласованных групп экспертов и оценки целесообразности завершения экспертизы используется расстояние Кемени (мера близости на отношениях линейного порядка), а в качестве результирующего ранжирования — медиана Кемени.
3) Для группировки участников экспертного опроса, у которых могут оказаться
Бюллетень науки и практики /Bulletin of Science and Practice Т. 7. №5. 2021
https://www.bulletennauki.com https://doi.org/10.33619/2414-2948/66
схожими взгляды относительно вариантов ранжирования рассматриваемых характеристик, устанавливаются пороговые значения расстояния Кемени между ответами экспертов, исходя из вероятности совпадения их мнений, например, близкой к 0.8; 0.9; 0.95; 0.99.
4) Для поиска в каждой из образовавшихся групп экспертов согласованного с членами группы ранжирования (упорядочения) характеристик рассчитывается медиана Кемени.
Преимущества метода:
1) Корректность метода (теорема о корректности доказана в 1978 г. — «медиана Кемени — единственное результирующее строгое ранжирование, являющееся нейтральным, согласованным и кондорсетовым»; пояснение Г. Н. Хубаева с ориентацией на концепцию Жана А.Н. Кондорсе: «кондорсетовым» — разумным, соответствующим «здравому смыслу»).
2) Повышение точности результатов экспертизы за счет наличия обратной связи при реализации каждого последующего тура.
3) При использовании пошагового уточнения ранжирования характеристик сохраняются известные преимущества и дельфийской процедуры (анонимность и возможность ознакомления с объяснениями, представленными в защиту сильно отличающихся ответов), и алгоритма поиска согласованного упорядочения объектов -корректный расчет медианы и расстояния Кемени.
4) Совместное использование и дельфийской процедуры, и предложенного Кемени корректного подхода к упорядочению функций позволило:
*получить содержательно приемлемый количественный критерий для обоснованного завершения экспертизы — устанавливается определенная величина относительного (например, 5%) изменения суммарного расстояния Кемени;
*формировать группы экспертов, ориентируясь на выбранные (в зависимости от степени согласованности мнений) пороговые значения расстояния Кемени и исследовать причины взаимосвязи оценок экспертов;
*находить согласованное с членами каждой группы экспертов упорядочение характеристик, рассчитав точно или приближенно медиану Кемени.
Например, если предположить, что на Рисунке 1 представлены результаты интуитивно согласованного коллективного выбора разными группами экспертов варианта расширения состава, например, 1) функций товара конкретного назначения или 2) компетенций, которыми должен обладать специалист в определенной предметной области и т.д., то каждый граф можно интерпретировать как одну из групп экспертов с согласованным мнением относительно варианта расширения состава характеристик рассматриваемого объекта. Причем ранжирование характеристик осуществляется, исходя из уровня их полезности, значимости, важности, разными группами экспертов — графы А, В, С. Здесь каждый граф -это группа (кластер, класс) экспертов с минимальным расстоянием Кемени между упорядочениями характеристик объекта экспертами этой группы).
5) Метод пошагового уточнения ранжирования характеристик объектов, будучи простым и корректным, не имеет ограничений на количество участников экспертного опроса.
Бюллетень науки и практики /Bulletin of Science and Practice Т. 7. №5. 2021
https://www.bulletennauki.com https://doi.org/10.33619/2414-2948/66
определенных характеристик у конкретного множества объектов - графы А, В, С
2. Пример программной реализации.
После очередного шага изменение суммарного рассогласования (суммарного расстояния Кемени между всеми ранжированиями) не превысило установленную пороговую величину (обычно в диапазоне 3^10%). Окончательный результат ответов экспертов представлен в Таблице 1.
Таблица 1.
РЕЗУЛЬТАТЫ ЭКСПЕРТИЗЫ НА ПОСЛЕДНЕМ ШАГЕ
E1 E2 E3 E4 E5 E6 E7
a b b q h h c b
b c q b d d b a
c a h h q q a c
d d a a b a d d
q h d c a b h h
h q c d c c q q
Расстояния Кемени между всеми ранжированиями экспертов сформированы в виде Таблицы 2.
Таблица 2.
ОКОНЧАТЕЛЬНЫЕ РЕЗУЛЬТАТЫ РАСЧЕТОВ С ОЦЕНКОЙ РАССТОЯНИЙ КЕМЕНИ МЕЖДУ
ВСЕМИ РАНЖИРОВАНИЯМИ ЭКСПЕРТОВ
Dij E1 E2 E3 E4 E5 E6 E7 Сумма расстояний по строкам Сумма квадратов растояний по строкам
E1 0 18 18 22 24 2 2 86 1716
E2 18 0 4 12 14 20 16 84 1336
E3 18 4 0 12 14 20 16 84 1336
E4 22 12 12 0 2 24 20 92 1752
E5 24 14 14 2 0 26 22 102 2132
E6 2 20 20 24 26 0 4 96 2072
E7 2 16 16 20 22 4 0 80 1416
? Algorithm Puro
Алгоритм Пуро Data file Efeffl
Resufífile
Рассчитать,
Browse
Browse
Рисунок 2. Окно приложения
Рисунок 3. Доступные таблицы для просмотра результатов
При относительной величине порогового значения расстояния Кемени ёп0=0,15 (вероятность взаимосвязи >0,85) взаимосвязь между ранжированиями имеет вид: Е1 ^ Е6 ^ Е7; Е2 ~ Е3; Е4 ~ Е5.
Рисунок 4. Графы взаимосвязи между ранжированием экспертов Е1-Е7
3. Область применения созданного программного продукта. Метод пошагового уточнения ранжирования любых объектов одного назначения может использоваться:
*в учебном процессе, например, при изучении предмета «Теория систем и системный анализ»;
*при интуитивно согласованном коллективном выборе варианта решения сложных проблем [2, 3];
*для расчета совокупной стоимости владения (ССВ) объектом-товаром (см. [4]; с этой целью на первом этапе необходимо с использованием метода ПУРО выделить упорядоченный перечень основных затрат ресурсов - трудовых, материальных, финансовых, времени).
А также при сравнении: *вариантов внешнего вида объектов (проектируемых и/или продаваемых товаров: программных продуктов, сайтов, автомобилей и др.) [5, 6];
*вариантов ранжирования различными группами потребителей функций объектов (проектируемых и/или рыночных товаров и услуг: программных продуктов, автомобилей, сайтов, медицинских, образовательных, юридических и др. услуг и товаров) — при выборе, например, службой маркетинга рыночного сегмента для проектируемого коробочного программного продукта;
Бюллетень науки и практики /Bulletin of Science and Practice Т. 7. №5. 2021
https://www.bulletennauki.com https://doi.org/10.33619/2414-2948/66
*вариантов ранжирования объектов при проведении всех видов экспертиз;
*вариантов ранжирования объектов — сложных технических устройств (автомобилей, программных продуктов, компьютеров, самолетов и др.) по характеристикам удобства сопровождения и обслуживания;
*вариантов ранжирования объектов — лиц, принимающих решения (ЛПР), участников различных конкурсов и др. по составу компетенций и др. характеристик и т.д.
Выводы
1. Описаны новизна и преимущества метода пошагового уточнения ранжирования объектов, рассмотрен пример программной реализации метода на алгоритмическом языке Python.
2. Указаны области применения метода, включая использование в учебном процессе, при расчетах совокупной стоимости владения товаром, при сравнении *вариантов внешнего вида объектов (проектируемых и/или продаваемых товаров: программных продуктов, сайтов, автомобилей и др.), *вариантов решения сложных проблем; *при ранжировании лиц, принимающих решения (ЛПР), участников различных конкурсов и др. по составу компетенций и др. характеристик и т.д.
Список литературы:
1. Хубаев Г. Н. Об одном методе получения и формализации априорной информации при отборе значимых факторов // Сб. докладов итоговой научной конференции Ростовского института народного хозяйства. 1973. Вып. 1. Ростов-на- Дону, С. 238-244.
2. Khubaev G. Expert review: method of intuitively agreed choice // Economy modernization: new challenges and innovative practice. 2017. P. 65-80.
3. Хубаев Г. Н. Методы формирования согласованного коллективного выбора в процессе экспертизы (на примере ранжирования способов решения сложных проблем) // Бюллетень науки и практики. 2017. №7(20). С. 59-77.
4. Хубаев Г., Родина О. Модели, методы и программный инструментарий оценки совокупной стоимости владения объектами длительного пользования (на примере программных систем). Saarbrucken: LAP LAMBERT Academic Publishing, 2012. 370 с.
5. Хубаев Г. Н. Сравнение вариантов дизайна объекта: модели и алгоритмы // Вестник Ростовского государственного экономического университета (РИНХ). 2011. №3. С. 167-173.
6. Хубаев Г. Н. Проектирование объектов различного назначения: сравнительная оценка вариантов внешнего вида // Содружество (Научный российско-китайский журнал). 2016. №8 (7). С. 76-80.
References:
1. Khubaev, G. N. (1973). Ob odnom metode polucheniya i formalizatsii apriornoi informatsii pri otbore znachimykh faktorov. In Sbornik dokladov itogovoi nauchnoi konferentsii Rostovskogo instituta narodnogo khozyaistva (No. 1, pp. 238-244). (in Russian).
2. Khubaev, G. (2017). Expert review: method of intuitively agreed choice. In Economy modernization: new challenges and innovative practice (pp. 65-80). (in Russian).
3. Khubaev, G. (2017). Methods of forming the agreed collective choice in the expertise process (on an example of ranking methods of solving complex problems). Bulletin of Science and Practice, (7), 59-77. (in Russian).
4. Khubaev, G., & Rodina, O. (2012). Modeli, metody i programmnyi instrumentarii otsenki
sovokupnoi stoimosti vladeniya ob"ektami dlitel'nogo pol'zovaniya (na primere programmnykh sistem). Saarbrucken: LAP LAMBERT Academic Publishing, 370 s. (in Russian).
5. Khubaev, G. N. (2011). Sravnenie variantov dizaina ob"ekta: modeli i algoritmy. Vestnik Rostovskogogosudarstvennogo ekonomicheskogo universiteta (RINKh), (3). 167-173. (in Russian).
6. Khubaev, G. N. (2016). Proektirovanie ob"ektov razlichnogo naznacheniya: sravnitel'naya otsenka variantov vneshnego vida. Sodruzhestvo (Nauchnyi rossiisko-kitaiskii zhurnal), 8 (7). 7680. (in Russian).
Работа поступила в редакцию 14.04.2021 г.
Принята к публикации 19.04.2021 г.
Ссылка для цитирования:
Хубаев Г. Н., Щербакова К. Н., Петренко Е. А. Метод пошагового уточнения ранжирования объектов: программная реализация, область применения // Бюллетень науки и практики. 2021. Т. 7. №5. С. 344-355. https://doi.org/10.33619/2414-2948/66/34
Cite as (APA):
Khubaev, G., Shcherbakova, K., & Petrenko, E. (2021). Iterative Object Ranking Verification Method: Programming Implementation, Fields of Application. Bulletin of Science and Practice, 7(5), 344-355. https://doi.org/10.33619/2414-2948/66/34
