Научная статья на тему 'Обработка результатов экспертиз в реестре научно-технических разработок'

Обработка результатов экспертиз в реестре научно-технических разработок Текст научной статьи по специальности «Математика»

CC BY
272
36
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
БИНАРНЫЕ ОТНОШЕНИЯ / РАНЖИРОВАНИЕ / МНОГОКРИТЕРИАЛЬНАЯ ОПТИМИЗАЦИЯ / BINARY RELATIONS / RANKING / MULTICRITERIA OPTIMIZATION

Аннотация научной статьи по математике, автор научной работы — Гехман Александр Вениаминович, Якунин Юрий Юрьевич, Даничев Алексей Александрович, Володин Алексей Александрович

Описаны алгоритмы получения результирующего ранжирования научно-технических разработок с использованием математического аппарата бинарных отношений.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по математике , автор научной работы — Гехман Александр Вениаминович, Якунин Юрий Юрьевич, Даничев Алексей Александрович, Володин Алексей Александрович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

PROCESSING OF EXPERT REPORTS RESULTS IN REGISTER OF SCIENTIFICAND TECHNOLOGICALDEVELOPMENTS

The paper describes algorithms for result ranking of scientific and technological developments with the use of mathematical tools of binary relations.

Текст научной работы на тему «Обработка результатов экспертиз в реестре научно-технических разработок»

рабочего вещества в качестве рабочего тела магнитометра; создание программного обеспечения; синхронизация результатов измерений по абсолютному времени и координате. Разработанный вариант магнитометра может найти применение в геологии, геофизике, археологии, научных исследованиях, военных приложениях, космических исследованиях.

Библиографические ссылки

1. Семевский Р. Б., Аверкиев В. В., Яроцкий В. А. Специальная магнитометрия. СПб.: Наука, 2002.

2. Измерение статической магнитной восприимчивости с помощью электронного парамагнитного резонанса/ Ф. Г Черкасов, И. В. Овчинников, А. Н. Туранов и др. // Физика низких температур. 1997. Т. 23(2). С. 236-239.

3. Получение фторида лития для термолюминесцентных детекторов ионизирующего излучения / С. Н. Мироненко, А. И. Непомнящих, Д. Д. Икрамиидр.//Известия АН СССР. Сер. Неорганич. материалы. 1985. №21. С. 504-506.

N. V. Volkov, S. A. Trofimov, V. S. Tsikalov, E. V. Eremin, O. A. Maslennikov

HIGH-SENSITIVE ESR MAGNETOMETER FOR MEASURING OF THE EARTH GEOMAGNETIC FIELD: NOVEL SOLUTIONS

A compact high-sensitive magnetometer was designedfor measuring of the Earth geomagnetic field and its variations. Novel technical solution was applied for the magnetometer that improved the device characteristics as compared with the early designed devices. The paper contains description of the magnitometer construction, of the main electronic blocks, of the software. A model of the magnetometer was created and tested. Results of test and main device characteristic are presented in the paper.

Keywords: ESR magnetometer, measurement ofweak magnetic field.

© Волков Н. В., Трофимов С. А., Цикалов В. С., Еремин Е. В., Масленников О. А., 2010

УДК 519.858,519.816

А. В. Гехман, Ю. Ю. Якунин, А. А. Даничев, А. А. Володин

ОБРАБОТКА РЕЗУЛЬТАТОВ ЭКСПЕРТИЗ В РЕЕСТРЕ НАУЧНО-ТЕХНИЧЕСКИХ РАЗРАБОТОК*

Описаны алгоритмы получения результирующего ранжирования научно-технических разработок с использованием математического аппарата бинарных отношений.

Ключевые слова: бинарные отношения, ранжирование, многокритериальная оптимизация.

Для эффективного проведения научных исследований и создания инновационной наукоемкой продукции краевого уровня необходима организационная и технологическая поддержка всех этапов ее жизненного цикла, отсутствие которой сопровождается рядом проблем, связанных с трудностями потенциальных инвесторов при поиске инновационных разработок, трудностями исследователей при поиске потенциальных инвесторов; со сложностью анализа и оценки передовых достижений в области научной и инновационной деятельности; с формированием больших коллективов при решении крупных научных и производственных задач. Описанные проблемы предлагается решить с помощью механизма сбора и обработки научно-инновационной информации в рам-

ках автоматизированной системы управления реестром научно-технических разработок (НТР). При этом должны осуществляться сбор и ранжирование информации в распределенных системах, в том числе с применением Интернета. В качестве ключевых пользователей данной системы выступают исследователи, инвесторы и прочие заинтересованные лица. Все это позволит создать механизм продвижения наукоемкой продукции края на российский и международный рынок, а также позволит развивать наукоемкое производство.

Предлагается решение одной из задач сбора и ранжирования информации: задачи обработки результатов экспертиз в реестре научно-технических разработок для получения итогового рейтинга НТР в соответствии с пред-

*Работа выполнена при финансовой поддержке КГАУ «Красноярский краевой фонд поддержки научной и научно-технической деятельности».

почтениями экспертов. Решение данной частной задачи позволит получать рейтинги НТР на основе общественного мнения, что предоставит инвесторам и другим заинтересованным лицам дополнительную информацию, используемую при принятии решений.

Алгоритмы обработки экспертной информации непосредственно зависят от метода получения экспертных оценок. Так, для количественных данных существуют разнообразные системы поддержки принятия решений, например, система Expert choice, основанная на методе анализа иерархий (МАИ) Саати [1]. Основная трудность использования этого метода и подобных ему систем состоит в необходимости количественной оценки предпочтений для выбора между объектами [2; 3]. При получении экспертных данных в порядковых шкалах объекты либо непосредственно ранжируются экспертом, либо производятся парные сравнения объектов друг с другом. Такая форма суждений наиболее естественна для человека, однако требует дополнительных разъяснений при проведении экспертизы. В данной работе описывается процедура проведения экспертизы, в которой каждый эксперт может оценивать НТР в баллах по многим критериям. Балльные оценки выбраны как наиболее простая форма выражения мнения эксперта.

Используемые в большинстве случаях подходы нахождения итогового рейтинга объектов на основе оценок по средним баллам имеют ряд недостатков. Во-первых, выполнять арифметические операции с бальными оценками некорректно; во-вторых, игнорируется неравнозначность баллов разных экспертов; в-третьих, не учитывается возможная вариация средних оценок (особенно если эксперт оценивает не все объекты). В данной работе предлагается подход к получению результирующего ранжирования НТР с использованием математического аппарата бинарных отношений [4; 5], который обеспечит переход от балльных оценок к ранжированиям, что позволит устранить указанные недостатки.

Экспертная информация и измерения. При использовании метода экспертных оценок основным источником информации является эксперт (в нашем случае -представитель общественности) - его суждения, качественные и количественные оценки. Характер информации, получаемой от эксперта, различен, а, следовательно, различны и методы ее анализа и обработки.

Одним из основных математических понятий, используемых при анализе и обработке экспертной информации, является отношение. Пусть задано множество альтернатив A = (я1,..., am}. Множество всех пар вида (a,, aj) с элементами a. є А и a' є А образует декартово произведение А х А. Любое подмножество Р декартова произведения А х А называется бинарным отношением на множестве элементов А. Типы отношений определяются свойствами, которыми они обладают.

Информация об отношениях может быть представлена различными способами. Отношение можно задать непосредственно перечислением пар элементов множества А. Более распространен матричный способ представления информации об отношениях. Строки и столбцы матрицы ||t.|| отношения Р соответствуют элементам множества А. Для представления отношений линейного порядка используется матрица ||t.|| с элементами

1, если (а, ар) е р, а, а) £ Р

(эксперт предпочитает объект а объекту а}.),

0, если (а,., а}.) е Р, (ар, а 1) е Р

и = <! (эксперт считает объекты

а, и а}. равноценными),

-1, если (а,,а]) £ Р, (а],а1) е Р

(эксперт предпочитает

объект а}. объекту а1).

Ранжирование принято изображать набором объектов в скобках в порядке убывания предпочтительности, используя при необходимости знак «=» для равноценных объектов: Р = (а1, а3, а2= а4). В алгоритмах поискарезуль-тирующего ранжирования используются вектора ран-говЯ = (1, 3,2, 3).

Рассмотрим исходные данные, полученные при экспертизе НТР. Каждый к-й эксперт оценивает объекты (научно-технические разработки) в баллах по Ь критериям. Проранжировав объекты согласно полученным баллам, получим матрицы отношений Ти. Так как эксперт оценивает не все объекты (например, 5 из 1 000), то многие элементы t¡] = «-», т. е. не существуют.

Наряду с матрицами отношений в алгоритмах поиска используют суммарные матрицы, которые позволяют избежать многократно повторяющихся расчетов в алгоритмах поиска результирующего ранжирования, что для многих методов на порядок сокращает количество вычислений. В работах некоторых авторов использовалась суммарная матрица отношений N = N , где N„

_ II ] \\mxm ^

равно числу случаев, когда объект а предпочтительней объекта а]. Для учета весов ранжирований элемент N ] вычисляется по формуле

N¡j=1Ь™к.

Чем выше компетентность эксперта, тем больше вес е [0,1]. По умолчанию все веса равны единице.

В матрице N содержится лишь небольшая часть исходной информации, поэтому предлагается ввести еще несколько суммарных матриц. Для ряда методов поиска результирующего ранжирования важна информация о равноценных объектах, для чего вводится матрица

№ = №„

k=1,

І =0

Так же используется матрица N = ,

Щ = (Nj -NJ¡), Щ = -Щ1. тхт

Для случая исходных данных, представленных неполными парными сравнениями, подчитывается число сравнений объектов

N+=Ywi. = N.. + № + N.. N+ = N+

I] Аи к ц ц ]1 5 1У j 1У ],

к=1,

Э‘кп

и величина пж = ^ ™к . Если веса равны единице и в мат-

рицах отношений нет пропусков, то Nj = n , i, j = 1...m

k=1

& =1

k=1

Одним из основных инструментов, используемых при анализе и обработке экспертной информации, являются меры близости. Меры близости позволяют определить, насколько близки или далеки точки зрения экспертов. Мера близости на отношениях линейного порядка (ранжированиях) вводится аксиоматически [5]. Расстояние между ранжированиями Я и Як, которым соответствуют матрицы отношений л и к , определяются

А II Итхт II Итхт ' А

по известной формуле

л (я, К) = 3

Алгоритмы поиска итогового рейтинга НТР. Для нахождения итогового рейтинга НТР использовались как модификации известных алгоритмов, так и новые, разработанные авторами. Нами рассмотрены следующие алгоритмы: нахождение медианы Кемени, эвристический алгоритм, полный перебор строгих ранжирований, поиск результирующих ранжирований для данных с пропусками, метод Чеботарева, метод пополнения матриц. Далее рассмотрим каждый из методов более подробно.

Медиана Кемени. Медиана Кемени представляет собой аддитивную свертку без весовых коэффициентов:

f (R) = £ dt (R)

Медиане равно, если существует, упорядочение Кон-дорсе. Кондорсе предложил следующий принцип определения наилучшего объекта. Для каждой пары объектов а, а' подсчитывается s . - число экспертов, считающих а. более предпочтительным, чем а . Если s¡J > sJ¡, то объект а. признается более предпочтительным, чем а .

Вычисление медианы через суммарные матрицы позволяет учитывать различные заложенные в них параметры и значительно сократить время вычислений. Пусть матрица отношений к соответствует искомому упо-

А II Чтхт ^ ^ ^

рядочиванию Я , представленному вектором индексов объектов (р1, р2,..., рт). Таким образом, матрица отношений к соответствует строгому ранжированию и

II Итхт * А А А

Кр,,р = 1 для всех г < у . Исходные данные представлены матрицами отношений , соответствующими ран-

II Нтхт

жированиям Як . Расстояние от произвольного ранжирования до всех ранжирований, указанных экспертами, определяется по формуле

¿X (Я) = 3>(Я,як) =3- гк | =

к=1 i< j

=¿¿It - tk

\ PiPj PiPj

i<j к=1

Далее,

¿¿к (R ) = Z(0 • (

к=1 i<j

=!(( +2 (N;+i

i < j к=1

1 - tl

-1 • N + 2 • N

p,p, p,p,

- N° - N

p,pj pip,

откуда получим задачу оптимизации

Z n'p,p, ^ max ’ где Nj=Ns+05Ni

(1)

Задача вычисления медианы Кемени может быть сформулирована как задача отыскания такого упорядочения объектов, а, следовательно, строк и столбцов матрицы N', чтобы сумма ее элементов, расположенных

над диагональю, была максимальна (что соответствует упорядочению согласно принципу Кондорсе). Действительно, если Р = (p1,p2,..., pm) - вектор индексов упорядочения объектов по принципу Кондорсе, то Nppj > Npp для i < j и сумма ^ Npp максимальна.

Использование Nj = Ntj + 0,5Nj 1можно назвать обобщением принципа Кондорсе для случая нестрогих ранжирований.

Алгоритмы поиска медианы приведены только для строгого результирующего ранжирования, так как эвристические алгоритмы для связанных рангов неизвестны, а перебор всех возможных нестрогих ранжирований неприемлемо ресурсоемок.

Эвристический алгоритм. В [5] приводится эвристический алгоритм вычисления альтернативы Кондорсе. Приведенный ниже алгоритм отличается тем, что вместо матрицы потерь используется матрица N'. Вычисляется строгое ранжирование. Алгоритм применяется только для транзитивной матрицы N'. Матрицу N' называют транзитивной, если Nj> Nj , как только Nj > Nj и Nj > N'jk.

1. Проверка матрицы N' на транзитивность.

2. Вычисление вспомогательного упорядочения р1.

2.1. Рассчитываем

si=ZNj,..., sm=tKj.

j=i j=i

Находим St1 = max s1. Объект ай ставим на первое место в искомом ранжировании. Вычеркивая в N' строку и столбец с номером i1 , получаем новую матрицу N' 1, множество индексов строк и столбцов которой соответственно I1 = J1 = {1,...,m} \i1.

2.2. В матрице N'k-1 вычисляем

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

sj = Nj , i е I(k-1).

j=1

Находим Sik = max sj .Объект aik ставим на k-емес-то в искомом ранжировании. Вычеркивая в N'k-1 строку и столбец с номером ik, получаем матрицу N'k , множество индексов строк и столбцов которой соответственно Ik = Jk ={1,..., m}\ {г!,..., ik }.

2.3. Алгоритм завершается после m-й итерации Im = jm =0 . Получено упорядочение P = (ал,..., аш).

Последовательно проверяем справедливость соотношений N1

ik+1 > NL+1 , k = m -1, m - 2,...1. Как только для

некоторого k оно нарушено, объекты aik и aik+1 вранжи-ровании меняем местами, а соотношение N'k ik+1 > N'k+1 ik проверяем, начиная с объекта, непосредственно предшествующего объекту, подвергшемуся перестановке.

После конечного числа шагов будет получено итоговое упорядочение Ри, для которого условие оптимальности по Кондорсе выполнено. Если требование транзитивности не выполняется, то применение эвристического алгоритма недопустимо.

Полный перебор строгих ранжирований. Строгое ранжирование можно представить перестановкой множества индексов объектов. В [6] приводятся три алгоритма генерирования всех m! перестановок множества из m элементов. Для вычисления медианы Кемени выберем алгоритм, в котором каждая последующая перестановка образуется в результате выполнения однократной

к=1

транспозиции соседних элементов, что позволяет избежать вычисления суммы (1) для каждой перестановки. Для новой перестановки достаточно вычислить вит = вит - ^+1Л + ^ А+1, где к и к +1 - индексы объектов, инверсией которых получена перестановка р . В результате на порядок уменьшается время расчетов. Так как т! растет весьма быстро с ростом т , перестановки 10-элементного множества можно получить в течение доли секунды, 11-элементного - за 3 секунды, 12-элементного - за 30 секунд, 15-элементного - более чем за сутки [7].

Полный перебор может привести к нескольким решениям, поэтому предлагается выбрать ближайшую медиану к решению, полученному методом строчных сумм.

Поиск результирующих ранжирований для данных с пропусками. Так как при оценивании альтернатив (НТР), возможны пропуски, т. е. респонденты будут оценивать не все альтернативы, а только те, которые их интересуют, то целесообразно использовать метод Чеботарева [8], описанный ниже, для нахождения результирующих ранжирований по каждому частному критерию. После чего выполняется нахождение обобщенного результирующего ранжирования НТР при помощи медианы Кемени. Если частных критериев больше 12 и матрица N нетран-зитивна, то нахождение обобщенного результирующего ранжирования НТР выполняется при помощи метода строчных сумм. ____

Для матриц отношений Т, = , к = 1...п с эле-

к тхт

ментами

1, если а > а,-,

г к =

ч

0, если а і = ач,

—1, если а < ач,

"—", если объекты не сравнивались,

вводится понятие неполных строчных сумм ^ .:

*=! ‘к

у,к З‘к

и обобщенных строчных сумм Xг :

= % + % , % = Е Ет (г*) ,где

ч ,к гЧнеЗ

Ет(гк) є [—1; 1] ). Учитывая, что

тах|хі — хч | = 2п*(ш — 1), получаем ограничения для є :

0 <є<------1---.

2п(ш — 1)

Таким образом, получаем систему линейных уравнений:

х = % +

3є(Х — хч), і = 1...ш

1 ,к гЧнеЗ

с ограничениями:

—п(ш — 1) < хі < п(ш — 1) , 1

0<є<

х1 2п(т -1)

При £ = 0 обобщенные строчные суммы совпадают с неполными строчными суммами, которые, очевидно, дают неправильное итоговое упорядочение. Рекомендуется устанавливать для £ наибольшее значение.

используем для оптимизации суми М :

Вместо матриц ||гч-марные матрицы N

%=Е N,

ч=1

ш

Е є(хі — хч) = єЕ(х — хч )(п* — NІ), п* = ЕП]1

Ч,к

¿неЗ

ч=1 і &

Система принимает вид

х = ЕЛ? + єЕ(хі — хч)(п* — Щ), і =

ч=1 і &

ч=1 ч &

Преобразуем уравнение к матричному виду:

Ъ = Е^ , ач = п* — ,

ч=1

ч &

аи=—Е(п*—^), і, ч=1...ш,ч & і .

к=1 к&і

Получим линейную систему уравнений с неизвестными х :

X + єАХ = В ,

—п* (ш — 1) < х і < п* (ш — 1) ,

1

ЕТ (‘ц) - математическое ожидание неопределенного элемента г, . Выполняются следующие ограничения:

-1 < Ет (‘к) < 1 (так как -1 < ‘к < 1),

-п(т -1) < х < п(т -1) и 3х. = 0 (свойствастрочных сумм). =1

В случае, когда матрицы отношений не имеют пропусков, обобщенные строчные суммы совпадают с обычными строчными суммами. Если имеют место пропуски, то х задаются математическим ожиданием Ет .

В [8] П. Ю. Чеботарев предлагает обобщение метода строчных сумм, основанное на предположении, что математическое ожидание пропорционально разности оценок сравниваемых объектов:

ЕТ (‘к ) = £(X -ху ),

где £ - неотрицательная постоянная. Заметим, что для £ должно выполнятся условие £ X - х\< 1 (так как

Ех = o, є = -

г=1 2пк (т -1)

Данная система не всегда имеет решение, ищется решение, дающее наименьшую ошибку.

В проведенных численных экспериментах данный метод приводит к более корректным результатам. Он менее ресурсоемок, чем известный метод Цермело-Бред-ли-Тири [5]. Однако наличие многих пропусков делает ответ слабо обоснованным и непредсказуемым (несколько раз упорядочение, согласно суммам х1, было противоположно истинному). Поэтому рекомендуется проверять полученное упорядочение с помощью модели Цер-мело.

Пополнениематриц. В статистических моделях объекты следует ранжировать в порядке убывания величин х1. Однако если согласно полученным параметрам х1 рассчитать суммарные матрицы отношений, то они, как правило, будут сильно отличаться от исходных матриц. Дей-

к=1

х

ствительно, получая упорядочение согласно параметрам х, мы учитываем исходную информацию через «призму» статистической модели. Известно, что в случае матриц без пропусков данное упорядочение совпадает с упорядочением по методу строчных сумм. Предлагается согласно полученным величинам х1 заполнить пропуски в исходных матрицах отношений, после чего применить к ним метод строчных сумм. Таким образом, исходная информация будет учтена максимально полно.

Пополним суммарные матрицы отношений Ж-

»0 || -. II - Птхт

Ж следующимобразом:

- Нтхт

= Ж +( - Ж+) ( > а-) * -;

Ж Ж+( - Ж+ ) ( = а-) - = !...т.

Вероятности Р( > а- ) и Р( = а-) соответствуют той статистической модели, по которой получены параметры х .

Рассмотрим пример. Из матрицы N (см. таблицу), применив метод Цермело-Бредли-Тири, получим параметры х1 = 17,5; х2 = 21; х3 = 1 и результирующее ранжирование (Ь > а > с); Жх - матрица отношений, соответствующая параметрам х . Пополнив суммарную матрицу отношений N, получим матрицу N.

Применив метод строчных сумм, найдем строчные суммы ^ = 9,2, s2 = 7,8, =-17 и результирующее

ранжирование (а > Ь > с).

Предложенные алгоритмы пополнения суммарных матриц отношений позволяют более точно находить результирующее ранжирование, причем не только методом строчных сумм, но и многими известными методами для данных без пропусков.

Разреженность матриц отношений. Введем коэффициенты для оценки разреженности матриц парных сравнений: Кг - оценка пропусков, обусловленных тем, что объекты сравнивались не всеми экспертами; Кг0 -оценка пропусков, обусловленных тем, что объекты ни разу не сравнивались:

2Е щ 2

к =—-—, К о =——- Е1.

m(m -1)

i> ] К *о

пжт(т -1)

При низких значениях коэффициентов необходимо применять метод зависимостей или исключить из рас-

Пример пополнения неполных парных сравнений

смотрения объекты с малым числом сравнений. Компьютерное моделирование показывает, что приемлемые нижние значения коэффициентов -К2 е[0,4;0,5], К20 е [0,86; 0,92]. При меньших значениях коэффициентов необходимо исключить часть объектов из анализа.

Полученные результаты исследования модифицированных и новых алгоритмов нахождения результирующего ранжирования НТР позволили выявить наиболее оптимальный алгоритм, показывающий достоверные результаты на исходных данных с пропусками, которые обязательно присутствуют, если оценки получают путем общественного опроса большого количества объектов. Предложенный подход к обработке результатов экспертиз позволяет находить результирующее ранжирование НТР с использованием математического аппарата бинарных отношений, рассматривая в качестве исходных данных балльные оценки по нескольким критериям.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Библиографические ссылки

1. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993.

2. Ларичев О. И., Мошкович Е. М. Качественные методы принятия решений. М.: Физматлит, 1996.

3. Подиновский В. В. Количественная важность критериев // Автоматика и телемеханика. 2000. № 5. С. 110-123.

4. Литвак Б. Г. Экспертная информация: Методы получения и анализа. М.: Радио и связь, 1982.

5. Экспертные оценки в социологических исследованиях / С. Б. Крымский, Б. Б. Жилин, В. И. Паниотто и др. ; отв. ред. С. Б. Крымский. Киев : Наукова думка, 1990.

6. Липский В. Комбинаторика для программистов. М. : Мир, 1988.

7. Даничев А. А. Воловик М. А., Даничев А. М. Программная система поддержки принятия решений: обработка информации в порядковых шкалах // бюллетень CAD/CAM/CAE/CALS / Краснояр. гос. техн. ун-т; науч.-образовательный центр интегрир. компьютер. технологий. Красноярск, 2004. С. 32-46.

8. Чеботарев П. Ю. Обобщение метода строчных сумм для неполных парных сравнений // Автоматика и телемеханика. 1989. №8. С. 125-137.

N = a b c Nx = a b c N = a b c

a 0 1 - a 0 4,5 9,5 a 0 5,1 9,5

b 0 0 9 b 5,5 0 9,5 b 4,9 0 9

c - 1 0 c 0,5 0,5 0 c 0,5 1 0

A. V. Gekhman, Yu. Yu. Yakunin, A. A. Danichev, A. A. Volodin

PROCESSING OF EXPERT REPORTS RESULTS IN REGISTER OF SCIENTIFIC AND TECHNOLOGICAL DEVELOPMENTS

The paper describes algorithms for result ranking of scientific and technological developments with the use of mathematical tools of binary relations.

Keywords: binary relations, ranking, multicriteria optimization.

© Гехман А. В., Якунин Ю. Ю., Даничев А. А., Володин А. А., 2010 34

i Надоели баннеры? Вы всегда можете отключить рекламу.