Расчет и анализ рейтинга научных периодических изданий Текст научной статьи по специальности «Математика»

BernnuxßTyWT/Proceedmgs of VSUET, Т. 79, № 4, 2017-

Оригинальная статья/Original article_

УДК 519.852

DOI: http://doi.org/10.20914/2310-1202-2017-4-97-103

Расчет и анализ рейтинга научных периодических изданий

Борис Е. Никитин 1 Максим Н. Ивлиев 1 max1m@mail.ru Людмила А. Коробова 1 lyudmila_korobova@mail.ru

1 Воронежский государственный университет инженерных технологий, пр-т Революции, 19, г. Воронеж, 394036, Россия Реферат. В статье рассматривается задача построения агрегированных рейтингов журналов по пищевой промышленности. В качестве исходных данных использовались упорядочения семнадцати журналов по четырем библиометрическим показателям (SCIENCEINDEX, пятилетний импакт-фактор РИНЦ с учетом переводной версии без самоцитирования, индекс Хирша за 10 лет и индекс Херфиндаля), которые используются в научной электронной библиотеке еНЬгагу.ги.Рассматриваемая постановка задачи относится к многокритериальным задачам принятия решений. Так как библиометрические показатели учитывают различные аспекты журналов, то упорядочения (ранжирования) журналов по этим показателям отличаются друг от друга.Классическим подходомк решениюзадач подобного типа является подход, основанный на построении тем или иным способом обобщенного критерия в виде аддитивной свертки. Однако применение данного подхода требует соблюдение ряда регулярных условий, которые не всегда могут выполняться при решении практических задач. Показана возможность сведения рассматриваемой постановки в виде многокритериальной задачи принятия решений к задаче коллективного выбора. Агрегированные рейтинги рассматриваемых журналов рассчитывались с помощью трех правил правил коллективного выбора - процедуры Борда, процедуры Коупленда и эвристической процедуры построения медианы Кемени. На основе коэффициента ранговой корреляции Спирмена определены количественные оценки степени близости построенных в работе ранжирований журналов. В частности, рассчитанные на основе процедуры Борда и на основе медианы Кемени агрегированные рейтинги рассматриваемых в работе журналов полностью совпали. Полученные результаты показали, что построенные агрегированные упорядочения журналов на основе правил коллективного выбора хорошо согласуются с используемыми в научной электронной библиотеке eLIBRARY библиометрическими показателями.

Scientific periodical publications rating's calculation and analysis

Boris E. Nikitin 1

Maksim N. Ivliev 1 max1m@mail.ru

Lyudmila A. Korobova 1 lyudmila_korobova@mail.ru

1 Voronezh state university of engineering technologies, Revolution Av., 19 Voronezh, 394036, Russia Summary. The article considers the constructing problem of the food industry journals aggregate ratings. The streamlines of the seventeen magazines on four bibliometric indexes (SCIENCE INDEX, five-year impact factor RISC given the translated version without self-citations, h-index over 10 years and Herfindahl index), which are used in the scientific electronic library elibrary.ru was used as initial data. The statement of the problem refers to multi-criteria decision-making problems. Ranking the journals in these indexes are different from each other because bibliometric indicators account different aspects of the journals. The classical approach to thisproblems solution is based on generalized criterion building in the form of an additive convolution. However, this approach requires adherence to a number of regular conditions that may not always be performed when the practical problems solution. The reductionspossibility of the considered formulation in the form of multi-criteria decision-making tasks to the problem of collective choice. The aggregated ratings of the reporting journals are calculated by using the three social choice rules - Board procedure, Copeland procedures and Kemeny median heuristic procedures. On the basis of Spearman's rank correlation determined the quantitative evaluation of the degree of intimacy built in magazines. In particular, calculated on the basis of procedure, Board and Kemeny median aggregate ratings reporting in the logs coincided. The results showed that the constructed ordering of journals on the basis of social choice rules are in good agreement with the scientific electronic library (eLIBRARY) bibliometric indicators. Keywords: rule of collective choice, degree of proximity of rankings, rank correlation

Введение

При построении рейтингов научных журналов может использоваться система библиомет-рических показателей. В частности, в научной электронной библиотеке еЫВКАЯУ.Яи для оценки качества журналов применяется более двадцати таких показателей, например: число цитирований журнала за год без самоцитирования, двухлетний импакт-фактор РИНЦ без самоцитирования, двухлетний импакт-фактор РИНЦ с учетом переводной версии, пятилетний им-пакт-фактор РИНЦ с учетом переводной версии без самоцитирования, индекс Херфиндаля по

Для цитирования

Никитин Б.Е., Ивлиев М.Н., Коробова Л.А. Расчет и анализ рейтинга научных периодических изданий // Вестник ВГУИТ. 2017. Т. 79. № 4. С. 97-103. ао1:10.20914/2310-1202-2017-4-97-103

организациям авторов, среднее число ссылок у статьи в журнале, индекс Хирша за 10 лет и др. С учетом того, что библиометрические показатели учитывают различные аспекты журналов, упорядочения (ранжирования) журналов по этим показателям существенно будут отличаться друг от друга. В данной работе при построении агрегированных рейтингов научных журналов по пищевой промышленности предлагается использовать подход, основанный на методах теории коллективного выбора [1], при этом исследуется массив из семнадцати журналов по четырем библиометрическим показателям -SCIENCE INDEX, пятилетний импакт-фактор

For citation

Nikitin B.E., Ivliev M.N., Korobova L.A. Scientific periodical publications rating's calculation and analysis. Vestnik VGUIT [Proceedings of VSUET]. 2017. vol. 79. no. 4. pp. 97-103. (in Russian). doi: 10.20914/2310-1202-2017-4-97-103

РИНЦ с учетом переводной версии без самоцитирования, индекс Хирша за 10 лет и индекс Херфиндаля (в качестве источника исходных данных была взята НЭБ еLЮRАRY.RU в 2016 году).

Постановка задачи. При оценке качества научных журналов возникает многокритериальная задача принятия решений, которую можно сформулировать следующим образом. Задано множество альтернатив А = {х, X, •.., хп }, п - количество

альтернатив. Имеется набор К показателей, по которым оценивается качество альтернатив,

К = {к, к2, • • кт }, т - количество показателей.

Требуется провести оценку альтернатив на основании всего набора К .

Классическим методом решения задач подобного типа является определение взвешенной суммы ^^ значений Ц для каждой >ой

т

альтернативы (например, в виде ^^ = ^/-¡к )

j=l

с последующим ранжированием альтернатив относительно 0об . Однако применение такого метода должно иметь предварительное теоретическое обоснование возможности суммирования значений показателей из рассматриваемого набора К (см., например, [1]), что не всегда может выполняться при решении практических задач. Исходя из этого, в рамках данной работы при построении рейтингов научных журналов по пищевой промышленности предлагается использовать подход, в основе которого лежат методы и модели теории коллективного выбора.

Сформулируем задачу коллективного выбора следующим образом. Будем рассматривать коллективный выбор как работу некоторой процедуры коллективного выбора (некоторого оператора Б), на вход которого поступает набор индивидуальных функций выбора экспертов, j е ], J = {1,2,•.т}, где т - количество экспертов, т > 2 (функциональный профиль {С (А)}), а на выходе порождается функция

С* (А), т. е. Б({С (А)} = С* (А) [2]. По известному функциональному профилю {С (А)} требуется сформировать функцию коллективного выбора C (А) на множестве А, А = 2А\ {0},

A - заданное множество альтернатив.

Применительно к нашей задаче, под А будем понимать множество рассматриваемых журналов, под K - набор библиометрических

показателей. Оценка Ц библиометрического показателя Ц для журнала 1 рассматривается

как мнение j -го эксперта. В этом случае набор упорядочений журналов по каждому библио-метрическому показателю можно интерпретировать как заданный функциональный профиль

{Cj (A )} на множестве A.

Тогда, при построении рейтингов (агрегированных оценок качества) журналов можно использовать результат работы некоторого правила коллективного выбора на рассматриваемом

множестве A по заданному профилю {C (A)} .

В работе рассматривается позиционное правило коллективного выбора Борда, правило, использующее вспомогательную числовую шкалу -правило Коупленда и эвристическая процедура построения медианы Кемени [3, 4].

Правила коллективного выбора. Согласно позиционному правилу Борда, каждому варианту x е A ставится в соответствие число r- (x), равное мощности нижнего среза L- (x) альтернативы x в бинарном отношении R, которое наводится на рассматриваемом множестве A системой предпочтений j -го эксперта, т. е.

Г (x) = card (L (x)). Оценкой Борда для варианта x называется сумма этих чисел по всем j; при этом выбирается вариант с максимальной оценкой Борда [3].

Построение агрегированных рейтингов на основе правила Борда рассмотрим на следующем примере. Пусть множество A состоит из следующих научных журналов: «Все о мясе», «Сахар», «Пиво и напитки», «Кондитерские изделия», «Вестник ВГУИТ».

В таблице 1 приведены ранжирования этих журналов по четырем библиометрическим показателям - SCIENCEINDEX, пятилетний им-пакт-фактор РИНЦ с учетом переводной версии без самоцитирования, индекс Хирша за 10 лет и индекс Херфиндаля. Наименования рассматриваемых журналов «Все о мясе», «Сахар», «Пиво и напитки», «Кондитерские изделия», «Вестник ВГУИТ» обозначены номерами 9, 12, 5, 11, 16 соответственно. Например, по показателю пятилетний импакт-фактор РИНЦ с учетом переводной версии без самоцитирования на первом месте -журнал «Пиво и напитки», далее, в порядке убывания значений по этому показателю, идут журналы «Все о мясе», «Сахар», «Кондитерские изделия», «Вестник ВГУИТ».

Заметим, что этими же номерами обозначены приведенные в примере журналы и в массиве журналов по пищевой промышленности, исследуемого в данной работе.

Примечание (здесь и далее): 1- журнал "Пиво и напитки", 2 - журнал "Все о мясе", 3 - журнал "Сахар", 4 - журнал "Кондитерские изделия", 5 - журнал "Вестник ВГУИТ"; A - показатель ScienceIndex, B - импакт-фактор РИНЦ, C - индекс Хирша за 10 лет,D - индекс Херфиндаля

Note (here and further): 1- "Beer and drinks" magazine, 2 - "All about meat" magazine, 3 - "Sugar" magazine, 4 - "Confectionery products" magazine, 5 - "Proceedings VSUET" magazine;A - Science Index value, B - RSCI impact factor, C - H-index over 10 years, D - Herfndahl index

Таблица 2.

Мощности нижних срезов L-(i), i е{5,9,11,12,16}.

Table 2.

Power lower sections L-(i), i e{5,9,11,12,16}.

В таблице 2 для каждого журнала приведены значения мощностей нижних срезов четырех бинарных отношений, построенных по четырем

библиометрическим показателям. Например, для журнала «Кондитерские изделия» (номер 11)

Г (11) = 2, Г2(11)= 1, Гз(11)= 0 и r4(11)= 3 .

Упорядочения журналов по библиометрическим показателям The ordering of journals by bibliometric indicators

Таблица 1 . Table 1.

Показатель | Indicator A B C D

Журнал | Magazine

1 5 5 5 5

2 9 9 12 11

3 11 12 9 12

4 12 11 16 16

5 16 16 11 9

Показатель | Indicator Журнал | Magazine A B C D

1 4 4 4 4

2 3 3 2 0

3 2 1 0 3

4 1 2 3 2

5 0 0 1 1

Далее для рассматриваемых журналов определяется оценки Борда:

г (5) = 4 + 4 + 4 + 4 = 16 ,

г (9) = 3 + 3 + 2 + 0 = 8,

г (11) = 2 +1 + 0 + 3 = 6,

г (12) = 1 + 2 + 3 + 2 = 8,

г (16) = 0 + 0 + 1 +1 = 2.

Итоговое упорядочение относительно оценок Борда рассматриваемых пяти журналов выглядит следующим образом. На первом месте -журнал «Пиво и напитки»; далее идут два журнала, получившие одинаковые оценки Борда -«Все о мясе» и «Сахар»; следующим идет журнал «Кондитерские изделия» и, наконец, последним в рассматриваемом массиве из пяти журналов располагается «Вестник ВГУИТ».

Следующим этапом работы было построение рейтинга журналов при помощи правила Коупленда. Согласно этому правилу, чем больше количество альтернатив, которые хуже при попарном сравнении, чем данная альтернатива x, тем лучше альтернатива x в целом. В работе применялось

второе правило Коупленда. Схема применения этого правила коллективного выбора имеет следующий вид [3]. На первом этапе на рассматриваемом множестве альтернатив А по заданному

функциональному профилю {С (А)} строится

мажоритарное отношение ц:

х^уосагс!({]еК|х^ у})>сакВДеК|у^ х}). (1)

Далее для каждой альтернативы подсчиты-вается значение количественной функции и (х) ,

которая характеризует мощность нижнего среза в построенном мажоритарном отношении ц; при этом лучшей признается альтернатива с наибольшим значением и (х) .

Опишем процесс построения агрегированных рейтингов научных журналов на основе правила Коупленда, используя исходные данные предыдущего примера (таблица 1). На рассматриваемом множестве журналов получим мажоритарное бинарное отношение ц ; матрица М , соответствующая данному мажоритарному отношению, приведена в таблице 3.

Таблица 3. Матрица мажоритарного отношения

Table 3.

The matrix of majority relations

Журнал 1 2 3 4 5

Magazine

1 0 1 1 1 1

2 0 0 1 0 1

3 0 0 0 0 1

4 0 0 0 0 1

5 0 0 0 0 0

Построение матрицы M поясним на примере пары журналов «Все о мясе» (9) и «Кондитерские изделия» (11): исходя из того факта, что журнал «Все о мясе» лучше журнала «Кондитерские изделия» по трем библиометриче-ским показателям из четырех, то, согласно (1), альтернатива 9 мажорирует альтернативу 11 (элемент M[2,3] = 1, а элемент M[3,2] = 0).

В построенном мажоритарном отношении ц определяется мощность нижнего среза для каждого журнала при помощи следующей формулы (2):

5

card(L(i)) = £M(k,l), k,l = 1,2,...,5

1=1 , (2)

i e {5,9,11,12,16}

Для рассматриваемого примера: card (L (5)) = 0 +1 +1 +1 +1 = 4,

card (L (9)) = 0 + 0 +1 + 0 +1 = 2,

card (L (11)) = 0 + 0 + 0 + 0 +1 = 1

card (L (12)) = 0 + 0 + 0 + 0 +1 = 1

card (L (16)) = 0 + 0 + 0 + 0 + 0 = 0.

Упорядочив относительно оценок Ко-упленда журналы, получаем результирующее ранжирование: 1 -е место - журнал «Пиво и напитки» (5), 2-е - журнал «Все о мясе» (9), на третьем месте - имеющие одинаковые оценки журналы «Сахар» (12) и «Кондитерские изделия» (11) и на последнем месте находится журнал «Вестник ВГУИТ» (16).

Далее рассмотрим третий способ получения агрегированных оценок рейтинга журналов -путем построения медианы Кемени. Следует отметить тот факт, что при исследовании массива журналов в данной работе был применен упрощенный алгоритм построения медианы Ке-мени [4], поэтому будем считать, что в качестве итогового ранжирования журналов выступает оценка медианы Кемени.

Согласно алгоритму Кемени, сначала, на основе заданного функционального профиля (таблица 1 ) для каждого журнала формируется

вектор предпочтений v = ( v, v2 v3, v4), где компонента v-, (j = 1,2,3,4) представляет собой мощность верхнего среза бинарного отношения R, которое получено на рассматриваемом

множестве A путем ранжирования журналов по j -му библиометрическому показателю.

Таким образом, расчетная формула для v

имеет следующий вид:

vj= card (Dj(i)) = m - Lj (i)- ^

i e {5,9,11,12,16} , ,

где - количество журналов, , - соответственно нижний и верхний срезы бинарного отношения для -го журнала.

Для рассматриваемого случая вектора предпочтений приведены в таблице 4.

Таблица 4. Вектора предпочтений

Table 4.

Vector preferences

Вектора v1

Vectors v1 / V1 V2 V3 V4

Журнал

Magazine

1 0 0 0 0

2 1 1 2 4

3 2 3 4 1

4 2 3 4 1

5 4 4 3 3

Далее, согласно упрощенному алгоритму поиска оценки медианы Кемени, для каждого журнала определяется сумма компонент соответствующего вектора предпочтений

V1 = (у;, V1-,, у;, у;):

4

8 (; ) = !у;(;). (4)

н

Для рассматриваемого списка журналов имеем:

б (5) = 0 + 0 + 0 + 0 = 0, Б (9) = 1 +1 + 2 + 4 = 8, б (11) = 2 + 3 + 4 +1 = 10, Б (12) = 2 + 3 + 4 + 1 = 10, б (16) = 4 + 4 + 3 + 3 = 14.

&етнщ&ТУМТ/Фгосее^^ о/Т. 79, № 4, 2017-

Упорядочим журналы относительно полученных оценок Б (1) с учетом того факта, что чем

меньше оценка Б (1), тем выше рейтинг соответ-

ствующего журнала. В результате получим следующий рейтинг журналов: на первом месте - журнал «Пиво и напитки», на втором - журнал «Все о мясе», на третьем месте находятся два журнала -«Сахар» и «Кондитерские изделия», на последнем месте находится журнал «Вестник ВГУИТ».

Таким образом, для рассматриваемого примера итоговые упорядочения, построенные

на основе трех правил (Борда, Коупленда и Кемени), полностью совпадают. Однако следует иметь ввиду, что в общем случае такая ситуация может наблюдаться не всегда; для подтверждают этого факта были проведены исследования на массиве научных журналов по пищевой промышленности.

Результаты и обсуждение В таблице 5 представлен исследуемый в данной работе массив 17 научных журналов по пищевой промышленности.

Рейтинги журналов по пищевой промышленности

Таблица 5. Table 5.

Ratings of journals for the food inc ustry

Показатель / Indicator/ Журнал / Magazine A B C D E F G

Пищевая промышленность 1 1 1 1 1 1 1

Птица и птицепродукты 2 2 4 3 2 2 2

Молочная промышленность 3 7 3 1 3 3 5

Комбикорма 4 10 4 2 6 6 3

Пиво и напитки 5 5 2 5 4 4 6

Хлебопечение России 6 3 5 7 5 5 8

Масложировая промышленность 7 8 4 6 8 8 4

Виноделие и виноградство 8 4 3 10 7 7 9

Все о мясе 9 6 4 14 9 9 7

Известия высших учебных заведений. Пищевая технология 10 11 4 11 10 10 10

Кондитерское производство 11 13 6 9 12 12 12

Сахар 12 12 3 12 11 11 13

Производство спирта и ликероводочных изделий 13 9 4 16 14 14 11

Хлебопродукты 14 15 4 8 13 13 14

Сыроделие и маслоделие 15 15 6 15 16 16 16

Вестник ВГУИТ 16 14 5 13 15 15 15

Научный журнал НИУ ИТМО. Серия: Процессы и аппараты пищевых производств 17 17 7 17 17 17 17

Примечание: E- рейтинг на основе процедуры Борда; F- рейтинг на основе процедуры Кемени; G- рейтинг на основе процедуры Коупленда

Note:E - Board procedures rating; F - Kemeny procedures rating; G - Copeland procedures rating

В ходе работы были определены количественные оценки степени близости указанных ранжировок (таблица 6). В качестве коэффициента ранговой корреляции использовался коэффициент Спирмена гс . Например, для пары упорядочений журналов по пятилетнему импакт-фактору РИНЦ и индексу Хирша значение тс = 0,66; если же сравнивать эти два упорядочения с ранжированием журналов по интегральному показателю 8С1ЕКСЕГ1ЧОЕХ, то пятилетний импакт-фактор более согласован с интегральным показателем, чем индекс Хирша (значения коэффициента Спирмена в этих случаях равны 0,86 и 0,67 соответственно). Агрегированные рейтинги журналов, построенные на основе процедуры Борда и на основе медианы Кемени, полностью совпали. Наибольшая оценка Борда - у журнала «Пищевая промышленность» (г( х) = 48). Вторая

и третья позиции в рейтинге по оценке Борда, соответственно, у журналов «Птица и птице-продукты» и «Молочная промышленность». Для журнала «Вестник Воронежского государственного университета инженерных технологий» оценка г (х) = 8 (15 позиция). Первые две позиции в агрегированном рейтинге на основе правила Коупленда совпадают с рейтингами на основе правил Борда и Кемени. Значение коэффициента ранговой корреляции Спирмена на паре ранжирований журналов, построенных на основе процедуры Борда и процедуры Коупленда, равно 0,92. Наиболее близок к интегрированному рейтингу 8С1ЕКСЕЕЧБЕХ рейтинг по медиане Кемени (значение коэффициента Спирмена равно 0,98). Медиана Кемени также хорошо согласуется с рейтингами по пятилетнему импакт-фактору РИНЦ (тс = 0,88), по индексу Хирша (г = 0,72)

и по индексу Херфиндаля (г = 0,86).

Таблица 6.

Значения коэффициента Спирмена

Table 6.

Coefficient values coefficient

A B C D E F G

A i G,86 G,67 G,87 G,98 G,98 G,96

B i G,66 G,56 G,88 G,88 G,79

C i G,54 G,72 G,72 G,67

D i G,86 G,86 G,87

E i i G,92

F i G,92

G i

Заключение

Проведенные в ходе работы исследования показывают, что построенные агрегированнные ранжирования журналов на основе правил коллективного выбора хорошо согласуются с используемыми в НЭБ еLIВRАRY.ru библио-метрическими показателями (SCIENCEINDEX,

ЛИТЕРАТУРА

1 Алескеров Ф.Т., Писляков В.В., Субочев А.Н., Чистяков А.Г. Построение рейтингов журналов с помощью методов теории коллективного выбора: препринт WP7/2001/04. М.: Изд. дом Высшей школы экономики, 2011.

2 Алескеров Ф.Т., Шварц Д.А.^Хабина Э.Л. Бинарные отношения, графы и коллективные решения. М.: Изд. дом ГУ-ВШЭ, 2006, 400 с.

3 Aleskerov F. Т., Ivanov A., Karabekyan D„ Ya-kuba V. I. Manipulability of majority relation-based collective decision rules, in: 9th KES International Conference on Intelligent Decision Technologies, KES-IDT 2017; Vilamoura; Portugal; 21 June 2017 до 23 June 2017, Smart Innovation, Systems and Technologies. SpringerVerlag, 2018.

4 Литвак Б.Г. Разработка управленческого решения: Учебник. 3-еизд., испр. М.: Дело, 2002. 392 с.

5 Никитин Б. Е., Болек Б. Расчет рейтингов журналов по пищевой промышленности // Математические методы в технике и технологиях - ММТТ. 2016. №8 (90). С. 159-161.

Никитин Б. Е., Болек Б. Расчет рейтингов журналов по пищевой промышленности // Материалы LIV отчетной научной конференции преподавателей и научных сотрудников ВГУИТ за 2015 шд. 2016. С. 110.

7 Сайт научной электронной библиотеки. URL: www.elibrary.ru

8 Ивлиев М.Н., Черняева С.Н., Мельников А.В. Разработка информационной системы анализа финансового состояния предприятий на основе экс-пертно-статистического подхода // Вестник Воронежского государственного университета инженерных технологий. 2016. №4 (70). С. 416-421.

9 Aleskerov F. T., Ivanov А. А., Karabekyan D., Ya-kuba V. I. On manipulability of aggregation procedures by coalitions with the same first-ranked alternative, in: VIIi Moscow International Conference on Operations Research (0RM2016) Moscow, October 17-22, 2016. pp. 193-194.

пятилетний импакт-фактор РИНЦ с учетом переводной версии без самоцитирования, индекс Хирша за 10 лет, индекс Херфиндаля). В дальнейшем предполагается применение предлагаемых в работе методов построения и оценки агрегированных рейтингов научных журналов для большей совокупности библиометрических показателей.

lOAleskerov F. T., Mitichkin Y. O., Chistyakov V., Shvydun S. V. et al. Method for selecting valid variants in search and recommendation systems (variants) // World Intellectual Property Organization. 2014. No. WO/2014/148948.

REFERENCES

1 Aleskerov F.T., Pislyakov V.V., Subochev A.N., Chistyakov A.G. Postroenie reitingov zhurnalov [The construction of ratings of journals using methods of the theory of collective choice: preprint WP7 / 2001/04] Moscow, Vysshaya shkola ekonomiki. 2011. (in Russian)

2 Aleskerov F.T., Schwartz D.A., Habina E.L. Binarnye otnosheniya [Binary Relations, Graphs, and Collective Solutions] Moscow, Vysshaya shkola ekonomiki, 2006, 400 p. (in Russian)

3 Aleskerov F. T., Ivanov A., Karabekyan D., Ya-kuba V. I. Manipulability of majority relation-based collective decision rules, in: 9th KES International Conference on Intelligent Decision Technologies, KES-IDT 2017; Vilamoura; Portugal; 21 June 2017 до 23 June 2017, Smart Innovation, Systems and Technologies. SpringerVerlag, 2018.

4 Litvak B.G. Razrabotka upravlencheskogo resheniya [Development of management solutions: Textbook] Moscow, Delo, 2002. 392 p. (in Russian)

5 Nikitin B.E, Bolek B. Calculation of ratings of magazines on food industry. MMTT [Mathematical methods in engineering and technology - MMTT] 2016. no. 8 (90). pp. 159-161. (in Russian)

6 Nikitin B.E, Bolek B. Calculation of ratings of magazines on food industry. Materialy LIV otchetnoi nauchnoi konferentsii [Materials of the LIV report of scientific conference of teachers and researchers of VSUET for 2015] 2016. pp. 110. (in Russian)

7 Sait nauchnoi elektronnoi biblioteki [Scientific electronic library web site] Available at: www.eli-brary.ru (in Russian)

8 Ivliev M. N., Chernyaeva S. N., Melnikov A. V. Development of information system of analysis of financial state of enterprises on the basis of expert-statistical approach. Vestnik VGUIT [Proceedings of the Voronezh State University of Engineering Technologies] 2016. no. 4 (70). pp. 416-421. (in Russian)

9 Aleskerov F. T., Ivanov A.A., Karabekyan D., Yakuba V. I. On mampulability of aggregation procedures by

СВЕДЕНИЯ ОБ АВТОРАХ Борис Е. Никитин к.ф-м.н., доцент, кафедра информационных технологий моделирования и управления, Воронежский государственный университет инженерных технологий, пр-т Революции, 19, г. Воронеж, 394036, Россия Максим Н. Ивлиев к.т.н. , кафедра информационных технологий моделирования и управления, Воронежский государственный университет инженерных технологий, пр-т Революции, 19, г. Воронеж, 394036, Россия max1m@mail.ru

Людмила А. Коробова к.т.н., доцент, кафедра информационных технологий моделирования и управления, Воронежский государственный университет инженерных технологий, пр-т Революции, 19, г. Воронеж, 394036, Россия, lyudmila_korobova@mail.ru

КРИТЕРИЙ АВТОРСТВА

Все авторы в равной степени принимали участие в написании рукописи и несут ответственность за плагиат КОНФЛИКТ ИНТЕРЕСОВ Авторы заявляют об отсутствии конфликта интересов.

ПОСТУПИЛА 08.09.2017 ПРИНЯТА В ПЕЧАТЬ 01.11.2017

coalitions with the same first-ranked alternative, in: VIII Moscow International Conference on Operations Research (ORM2016) Moscow, October 17-22, 2016. 2016. pp. 193-194.

10 Aleskerov F. T., Mitichkin Y. O., Chistyakov V., Shvydun S. V. et al. World Intellectual Property Organization. 2014. no. WO/2014/148948..

INFORMATION ABOUT AUTHORS Boris E. Nikitin candidate of physico-mathematical sciences, assistant professor, informational technologies of modeling and control department, Voronezh state university of engineering technologies, Revolution Av., 19 Voronezh, 394036, Russia Maksim N. Ivliev candidate of technical sciences, informational technologies of modeling and control department, Voronezh state university of engineering technologies, Revolution Av., 19 Voronezh, 394036, Russia max1m@mail.ru

Lyudmila A. Korobova candidate of technical sciences, assistant professor, informational technologies of modeling and control department, Voronezh state university of engineering technologies, Revolution Av., 19 Voronezh, 394036, Russia, lyudmila_korobova@mail.ru

CONTRIBUTION

All authors equally participated in writing the manuscript and responsible for the plagiarism

CONFLICT OF INTEREST The authors declare no conflict of interest.

RECEIVED 9.8.2017 ACCEPTED 11.1.2017