CC BY
224
Научный журнал КубГАУ, №114(10), 2015 года
1
УДК 519.2:303.732.4
01.00.00 Физико-математические науки
МАТЕМАТИЧЕСКАЯ ТЕОРИЯ РЕЙТИНГОВ
Лындина Марина Игоревна кандидат технических наук РИНЦ SPIN-код: 8278-5335
ГНУ НИИ пищеконцентратной промышленности и специальных пищевых технологий; Россия, 142718, Московская область, Ленинский район, поселок Измайлово, д. 22, lyndina58@mail. ru
Орлов Александр Иванович
д.э.н., д.т.н., к.ф.-м.н., профессор
РИНЦ SPIN-код: 4342-4994
Московский государственный технический
университет им. Н.Э. Баумана, Россия, 105005,
Москва, 2-я Бауманская ул., 5, _prof-orlov@mail. ru
При разработке управленческих решений с целью совместного учета и соизмерении различных факторов, частичного снятия неопределенности широко используются рейтинги. В теории принятия решений практически в том же смысле используются термины "обобщенный показатель" или "интегральный показатель". Статья посвящена математической теории рейтингов - инструментов изучения социально-экономических систем. Рассмотрены, прежде всего, линейные рейтинги -линейные функции от единичных (частных) показателей (факторов, критериев), построенные с помощью коэффициентов важности (весомости, значимости). Обсуждаются причины, влияющие на величины рейтингов. На величину линейного рейтинга влияют три группы причин: способы измерения единичных показателей; выбор набора показателей; значения коэффициентов важности. Подробнее рассмотрены бинарные рейтинги, когда рейтинговая оценка принимает два значения. Для сравнения рейтингов предлагаем использовать новый показатель качества диагностики -прогностическую силу. Существенно, что во многих управленческих ситуациях значительные различия между объектами выявляются при использовании любого рейтинга. Согласно фундаментальным результатам теории устойчивости одни и те же исходные данные целесообразно обрабатывать несколькими способами. Совпадающие выводы, полученные при применении нескольких методов, скорее всего, отражают свойства реальности. Различие -следствие субъективного выбора метода. При использовании результатов сравнения объектов по нескольким показателям (критериям, рейтингам), в том числе в динамике, полезным является выделение множества Парето. Обсуждаются примеры применения теории принятия решений, экспертных оценок и рейтингов при разработке
UDC 519.2:303.732.4
Physics and mathematical sciences
MATHEMATICAL THEORY OF RATINGS
Lyndina Marina Igorevna Cand. Tech.Sci.
Research Institute of Food Concentrates Industry and special food technology,
Moscow region, Russia
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
Bauman Moscow State Technical University, Moscow, Russia
When developing management solutions with the aim of joint consideration and comparison of various factors, partial removal of uncertainty is widely used ratings. In the theory of decisionmaking in almost the same sense, we use the terms "composite index" or "integrated indicator". The article is devoted to the mathematical theory of ratings as tools for studying socio-economic systems. We considered, primarily, linear ratings which is a linear function from a single (private) indicators (factors, criteria), constructed using the coefficients of importance (weightiness, importance). The study discusses the factors affecting the magnitude of the ratings. Three groups of causes affect the value of a line ranking: the ways of measurement of individual indicators, the choice of the set of indicators; the values of the coefficients of importance. We considered binary ratings when the rating takes two values. To compare the proposed rankings we use a new indicator of the quality of diagnostics and prognostic power. Significantly, in many managerial situations, significant differences between objects are identified using any rating. According to the fundamental results of stability theory, the same source data should be processed in several ways. Matching findings, obtained using multiple methods, likely reflect the properties of reality. The difference is the result of a subjective selection method. When using the results of the comparison of objects according to several indicators (criteria ratings), including in dynamics, very useful is the selection of the Pareto set. We discuss the examples of the application of the decision theory, expert evaluations and rankings when developing complex technical systems
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
2
сложных технических систем
Ключевые слова: МАТЕМАТИЧЕСКИЕ Keywords: MATHEMATICAL METHODS,
МЕТОДЫ, ЛИНЕЙНЫЕ РЕЙТИНГИ, LINEAR RATINGS, GENERALIZED
ОБОБЩЕННЫЕ ПОКАЗАТЕЛИ, УСПЕШНОСТЬ, INDICATORS, SUCCESSFUL ACTIVITY, СОЦИАЛЬНЫЕ СИСТЕМЫ, SOCIAL SYSTEMS, PREDICTIVE POWER,
ПРОГНОСТИЧЕСКАЯ СИЛА, ПРИНЯТИЕ DECISION-MAKING, EXPERT ESTIMATIONS
РЕШЕНИЙ, ЭКСПЕРТНЫЕ ОЦЕНКИ
1. Введение
Термин "рейтинг" (англ. rating) широко встречается в современных информационных источниках. Под этим термином понимают измеренный в числовой или порядковой шкале показатель, отображающий (с точки зрения автора соответствующего текста) важность или значимость определенного объекта или явления. В теории принятия решений [1 - 3] практически в том же смысле используются термины "обобщенный показатель" или "интегральный показатель".
Настоящая статья написана на основе пленарного доклада на Всероссийской научно-общественной конференции "Успешность развития социальных систем и государственная политика и управление [4]", поэтому в изложении значительное внимание уделяется указанной тематике.
Разрабатываемое научным коллективом Центра научной политической мысли и идеологии под руководством проф. С.С. Сулакшина направление исследований, посвященное успешности развития социальных систем (см., например, [5]), имеет большой познавательный потенциал. Основные подходы и интеллектуальные инструменты могут быть применены не только при обсуждении проблем государственной политики и управления. Так, является перспективным их использование в составе организационно-экономического обеспечения решения задач управления в аэрокосмической отрасли [6]. Креативная (эвристическая) сила критерия успешности в духе подхода С.С. Сулакшина позволяет объяснить, почему проект создания сверхтяжелого грузового самолета
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
3
"Руслан" оказался успешным, а аналогичный проект "Мрия" - нет. Методология С.С. Сулакшина полезна для анализа проектов разработки изделий ракетно-космической техники, в частности, реализуемости [7] и рисков [8] таких проектов. Основание прорывной силы подхода С.С. Сулакшина в том, что хотя хорошо известно, что при принятии управленческих решений (например, о реализации инвестиционных проектов) необходимо учитывать весь комплекс социальных,
технологических, экологических, экономических, политических факторов (СТЭЭП-факторов), нельзя опираться лишь на чисто экономические расчеты [9, с.190 - 191], в практической деятельности используют лишь экономические характеристики инвестиционных проектов, такие, как чистая текущая стоимость NPV, внутренняя норма доходности IRR, дисконтированный срок окупаемости и т.п. Это происходит по двум причинам. Во-первых, из-за отсутствия общепринятых технологий агрегирования СТЭЭП-факторов при анализе инвестиционных проектов. Во-вторых, из-за разобщенности различных областей знаний, в которых рассматриваются СТЭЭП-факторов. Обе причины снимаются в подходе С.С. Сулакшина. Технология агрегирования СТЭЭП-факторов разработана при конструировании критерия (рейтинга) успешности. Для его конструирования необходимо взаимодействие специалистов из различных областей знаний, для организации такого взаимодействия созданы соответствующие технологии.
Статья посвящена обсуждению одного из инструментов подхода С.С. Сулакшина и аналогичных (в том или ином смысле) подходов других исследователей - математической теории рейтингов.
2. Об определении понятия «рейтинг»
Термин «рейтинг» происходит от английского «to rate» (оценивать) и «rating» (оценка, оценивание) [10]. Рейтинги строят обычно на основе
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
4
синтеза многих показателей, как объективных, так и оцениваемых экспертно. Технологии объединения оценок единичных показателей в групповые и обобщенные также обычно бывают экспертными. Примером достаточно сложного рейтинга является оценка вероятности успешного выполнения инновационного проекта, например, на основе аддитивномультипликативной модели [11]. Рейтинги используются в различных процедурах принятия решений, прежде всего для оценивания, выбора, планирования. В частности, рейтинги целесообразно использовать при целеполагании (для соизмерения частных целей).
Термин «рейтинг» - синоним термина «интегральный (единый, обобщенный, системный) критерий (оценка, показатель)», позволяющий сравнивать объекты (субъекты) с интересующей пользователя (этим термином) точки зрения. Для оценивания могут использоваться объекты различной математической природы - числа (действительные или натуральные), градации качественного признака (например, в России оценивание знаний студентов проводят в порядковой шкале с помощью градаций "неудовлетворительно", "удовлетворительно", "хорошо",
"отлично"), реже - упорядочения (ранжировки) [9, с.410] или
математические объекты иной природы.
Рейтинги активно применяют на всех этапах принятия решений при управлении социально-экономическими системами (цикла управления с обратной связью) - при целеполагании, планировании, выполнении планов, анализе результатов (часто ведущему к корректировке целей).
3. Линейные рейтинги
Популярны [9, c.287 - 292] линейные рейтинги
fx 1, Х2, ..., Хщ) = ^1^1 + ^2х2 + • • • + amxm
в виде линейной функции от единичных (частных) показателей (факторов, критериев) x1, х2, ..., xm. Коэффициенты ab a2, ..., am называют
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
5
коэффициентами важности (весомости, значимости). Их определяют либо экспертным путем, либо по статистическим данным, используя обучающие выборки. Используют и другие виды рейтингов, например, взвешенные степенные средние значений единичных показателей и взвешенные медианы [9, с.405].
Однако при применении рейтингов необходимо учитывать влияние на выводы возможных отклонений исходных данных и предпосылок модели. Проблеме устойчивости выводов посвящены монографии [12, 13]. Так, на величину линейного рейтинга влияют три группы причин:
- способы измерения единичных показателей;
- выбор набора показателей;
- значения коэффициентов важности.
Обсудим последовательно, насколько значительными могут быть эти влияния. Очевидно, разброс возможных значений рейтингов необходимо учитывать при формулировке теоретических выводов и разработке практических рекомендаций при подготовке управленческих решений.
4. Влияние на выводы способа измерения единичного показателя
В экономических рассуждениях часто используется валовой внутренний продукт (ВВП). Оказывается, в зависимости от способа измерения ВВП его значение может меняться в разы. Так, "в 2014 году ВВП Китая по паритету покупательной способности (ППС) составит $17,6 трлн., а ВВП США впервые окажется меньше - $17,4 трлн. Китайский ВВП в текущих ценах в долларах к концу 2014 года составит $10,4 трлн., а ВВП США - $16,8 трлн." [14]. Таким образом, ВВП по ППС может существенно отличаться от ВВП в текущих ценах (в долларах США) - для Китая в 17,4 / 10,4 = 1,67 раза.
Второй пример. Согласно [15], по данным Пограничной службы число въехавших в Россию превышает число выехавших примерно на 1,5
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
6
млн. человек (за год), а по данным Росстата - на 200 - 300 тысяч. Расхождение не менее чем в 5 раз. "Миграционный прирост за 1992-2013 гг. составил примерно 45 млн. По официальной версии Росстата - не более
7,5 млн. Отсюда скрытый миграционный прирост, не отражённый сводками Росстата, составляет примерно 37,5 млн." [15]. Ясно, что при расчете разного рода индексов замена численности населения РФ с 143 млн. человек на 180 млн. человек может привести к значительному изменению значений этих индексов.
5. Влияние на выводы набора показателей
В качестве примера рассмотрим индекс инфляции (рейтинг цен). Распространенный подход к измерению роста цен основан на выборе и фиксации инструмента экономиста и управленца - потребительской корзины (Q1(t), Q2(t), ■ ■■, Qn(t)), не меняющейся со временем, т.е. (Q1(t), Q2(t), ■■■, Qn(t)) = (Q1, Q2, ■■■, Qn). Здесь Qt - заданный объем потребления i-го товара или услуги из n включенных в корзину. Пустьpi(t), i = 1, 2, ■■■, n, -цена i-го товара (услуги) в момент t. Стоимость S(t) потребительской корзины в момент времени t такова:
S(t) = P1(t)Q1 + P2(t)Q2 + ... + Pn(t)Qn.
Индексом инфляции (индексом роста цен) называется отношение
I(t1, t2) = S(t2)/S(t1).
С 1993 г. мы занимаемся изучением роста цен, используя минимальную потребительскую корзину продовольственных товаров (полученным результатам посвящена глава 4 в четвертом издании нашего учебника "Эконометрика" [16, с. 198 - 274]), а также аналогичные главы у первых трех изданиях. Индексы роста потребительских цен, рассчитанные по этой корзине, за периоды после 2007 г. примерно в 3 раза больше, чем соответствующие индексы инфляции Росстата [17]. Это различие
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
7
объясняется различием потребительских корзин - нашей и Росстата. Итоги нашего изучения инфляции в России подведены в статье [18].
6. Влияние на выводы значений коэффициентов важности
В Указе Президента Российской Федерации от 21 августа 2012 года № 1199 «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации» вместо множества критериев эффективности в управленческий обиход введены 11 интегральных показателей деятельности органов исполнительной власти субъектов Российской Федерации, в том числе "реальные располагаемые денежные доходы населения". Для расчета значений этого показателя необходимо использовать соответствующие индексы инфляции [19].
По нашим расчетам реальная средняя заработная плата в России в конце 2015 г. примерно в 2 раза меньше, чем в конце 1990 г., если исходить из используемого нами индекса инфляции, рассчитанного по минимальной потребительской корзине продовольственных товаров. Если же исходить из индекса инфляции, рассчитанного по потребительской корзине из одного товара - бутылки водки, то реальная средняя заработная плата в России в конце 2015 г. примерно в 3 раза больше, чем в конце 1990
г. Различие в 6 раз. Во столько же раз различаются "реальные располагаемые денежные доходы населения" - в зависимости от выбора коэффициентов важности (весомости, значимости) ab a2, ..., am.
Как уже отмечалось, используемый нами индекс инфляции, рассчитанный по минимальной потребительской корзине продовольственных товаров [16, 18], примерно в 3 раза больше, чем индекс инфляции Росстата за соответствующий период. Это объясняется не только различием наборов товаров и услуг, включенных в индексы, но и различием коэффициентов важности (весомости, значимости). С математической точки зрения невозможно разделить влияние набора
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
8
товаров и услуг и коэффициентов важности (весомости, значимости), поскольку эти коэффициенты могут принимать нулевые значения (если угодно, бесконечно малые значения). Эти два источника разброса значений линейных рейтингов целесообразно рассматривать совместно.
Вопросам обоснованного выбора коэффициентов важности посвящен ряд работ проф. В.В. Подиновского (см., например, [20]).
7. Во многих управленческих ситуациях значительные различия между объектами выявляются при использовании любого рейтинга
Рассмотрим для определенности задачу сравнения объектов. Отмеченные ранее сложности построения обоснованного рейтинга во многих ситуациях принятия управленческих решений снимаются тем, что значительно отличающиеся объекты, как показывает практика реальных расчетов, хорошо различаются с помощью многих рейтингов.
Так, упорядочения с помощью линейного рейтинга часто совпадают (или близки) с упорядочениями в случае равных весовых коэффициентов. Однако установить это удается лишь после того, как соответствующие рассматриваемой задаче весовые коэффициенты оценены, обычно с помощью экспертных технологий.
Согласно фундаментальным результатам теории устойчивости [12,
13] одни и те же исходные данные целесообразно обрабатывать несколькими способами. Совпадающие выводы, полученные при применении нескольких методов, скорее всего, отражают свойства реальности. Различие - следствие субъективного выбора метода.
Отметим, что опыт продвинутых областей прикладной математики показывает, что искать оптимальный метод (оптимальный вид рейтинга) бесполезно, поскольку каждый метод оптимален в соответствующем для него смысле. Например, в хорошо изученной в математической статистике задаче проверки статистической гипотезы однородности двух независимых
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
9
выборок каждый из обычно используемых критериев является оптимальным при подходящем распределении вероятностей на множестве альтернативных гипотез [21]. В статистике нечисловых данных для каждого из применяемых расстояний между объектами нечисловой природы предложена система аксиом, из которой вытекает необходимость использования именно этого расстояния - это утверждение убедительно обосновано в обзоре [22] (см. также [23]).
8. Целесообразно анализировать множество Парето
При использовании результатов сравнения объектов по нескольким показателям (критериям, рейтингам), в том числе в динамике, полезным является выделение множества Парето.
Приведем определение этого понятия. Множество Парето (подмножество множества сравниваемых объектов) обладает следующим свойством: любой из объектов, входящих в это множество, хотя бы по одному показателю (фактору, критерию) лучше любого другого объекта, входящего в это множество [24].
В качестве примера использования подходов многокритериальной оптимизации (типа построения множества Парето) рассмотрим российский индекс научного цитирования (РИНЦ), который в настоящее время административными методами внедряется для оценки научной активности отдельных исследователей, их объединений (например, научных лабораторий), научно-исследовательских организаций и высших учебных заведений. В этом индексе используются три основных показателя научной активности определенного автора - число публикаций автора, число цитирований его работ, индекс Хирша. Выделим три группы исследователей: первая - все три показателя научной активности меньше, чем у автора Х; вторая - все три показателя научной активности больше, чем у Х; третья (промежуточная) - все остальные. Напрашивается
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
10
интерпретация: члены первой группы внести в науку меньший вклад, чем Х, члены второй - больший, чем Х, члены третьей сравнимы с Х по вкладу в науку. В [25] проанализированы данные по 235 исследователям (по состоянию на 01.11.2014). Любопытно, что если в качестве Х взять автора настоящей статьи, то в первую группу входят 206 исследователей, т.е. 87,66%, в том числе все кандидаты наук, 141 из 149 докторов наук (94,64%), 18 из 23 членов-корреспондентов РАН (78,26%), 24 из 40 академиков РАН (60%). Во вторую группу входят 4 исследователя (1,70%), в том числе 1 доктор наук из 149 (0,67%), 1 член-корреспондент РАН из 23 (4,35%) и 2 академика РАН из 40 (5,0%). Таким образом можно строить своеобразный рейтинг научной активности (успешности научной деятельности) в виде вектора долей численности описанных выше трех групп (с разделениям по группам, выделенным по наличию той или иной "ученой степени" - от кандидата наук до академика РАН).
9. Какой рейтинг лучше?
Один из подходов к определению качества рейтингов основан на простой мысли - из двух рейтингов тот лучше, который сильнее выявляет различия между изучаемыми группами. Например, при изучении дифференциации доходов для лучшего разделения групп населения надо из номинальной зарплаты (доходов) вычитать прожиточный минимум, поскольку расходы на его обеспечение для всех групп населения обязательны и одинаковы.
Рассмотрим простейший, но важный для практики частный случай -бинарные рейтинги, для которых рейтинговая оценка принимает два значения. Объект оценки с помощью бинарного рейтинга относится к одному из двух классов. Следовательно, теория бинарных рейтингов -часть математической теории классификации [26, 27], а именно, часть
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
11
дискриминантного анализа (теории диагностики, распознавания образов с учителем).
Результаты анализа данных с помощью алгоритма диагностики в случае двух классов описываются долями:
а -правильной диагностики в первом классе и
b - правильной диагностики во втором классе.
Как оценить качество этого бинарного рейтинга?
10. Прогностическая сила бинарного рейтинга
Для сравнения бинарных рейтингов (алгоритмов диагностики) предлагаем [28] использовать (эмпирическую) прогностическую силу c* = 0(d*/2), где d* = F(a) + F(b). Здесь Ф(х) - функция стандартного нормального распределения вероятностей с математическим ожиданием 0 и дисперсией 1, а F(y) - обратная ей функция. Методами математической статистики найдено асимптотическое распределение прогностической силы, на основе которой указаны методы точечного и интервального (путем построения доверительного интервала) оценивания для
рассматриваемого показателя качества бинарного рейтинга, а также разработан метод проверки адекватности его применения (т.е. проверки возможности использования линейного рейтинга для анализа конкретных данных). Обоснование методов и расчетные формулы приведены в статье [28], имеющейся в РИНЦ и выложенной на сайте журнала.
11. Необходимо развивать математический инструментарий
По нашему мнению, математическая теория рейтингов -эффективный инструмент изучения успешности социальных систем. Развитие и интенсивное применение этого инструмента весьма полезны для научных исследований и прикладных разработок в области, которой посвящена конференция "Успешность развития социальных систем и
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
12
государственная политика и управление", а также и в смежных областях. Некоторые предварительные соображения приведены в работе [29].
Отметим, что математическая теория рейтингов - лишь часть математического инструментария, который может использоваться членами неформального (в смысле, раскрытом в классической монографии В.В. Налимова и З.М. Мульченко [30]) научного коллектива, сплотившегося вокруг Центра научной политической мысли и идеологии, а также любыми исследователями, занимающимися построением рейтингов (обобщенных критериев). В рамках этого коллектива целесообразно вести исследования, в частности, по проблемам развития и адекватного использования математического инструментария, некоторые из которых кратко обозначены в настоящей статье.
12. Теория принятия решений и ее применения при разработке сложных технических систем
Вопросам теории принятия решений, прежде всего применения экспертных оценок для оценки технического уровня сложных технических систем посвящена книга С. С. Семенова [31]. Рассмотрим ее в соответствии с [32], обращая особое внимание на построение и применение рейтингов (обобщенных показателей, оценочных показателей и т.п.).
Книга С.С. Семенова содержит массу полезной информации, интересна с различных точек зрения. Одни читатели обратят внимание на тщательный разбор формирования оценочных показателей разнообразных сложных технических систем - летательных аппаратов, судов, танков, управляемых авиационных бомб, радиотехнических систем, стрелкового оружия, металлорежущих станков и т.д. - не будем повторять содержание книги. Для других читателей основное - интеллектуальные инструменты, которые применяет автор для определения технического уровня сложных технических систем. Совокупность этих интеллектуальных инструментов
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
13
автор кратко обозначает "метод экспертных оценок". Этот метод заслуживает подробного рассмотрения. Обсудим его место в науке и практике.
Подготовка и принятие управленческих решений сопровождает все этапы жизненного цикла сложных технических систем. В рамках современного направления организационно-экономической науки под названием "менеджмент высоких технологий" (см., например, [33, 34]) разработаны математические модели и методы проектирования и управления производством и эксплуатацией сложных технических систем, оценки их эффективности и устойчивости к внешним воздействиям. Менеджмент высоких технологий применяется для организации и управления наукоемкими производствами, прежде всего при выпуске специальной техники (вооружений и военной техники).
Сердцевина менеджмента высоких технологий - теория принятия решений [1 - 3] позволяет с единой точки зрения рассмотреть процессы подготовки, принятия и реализации управленческих решений в различных областях деятельности. В ее рамках разработаны различные оптимизационные, статистические, экспертные методы. К
оптимизационным относятся, например, методы математического
программирования (линейного, целочисленного и др.). Статистические методы - это методы современной прикладной математической статистики [35], другими словами, методы анализа данных. Данные - элементы выборок - могут иметь различную природу. Это могут быть числа, вектора, функции, объекты нечисловой природы. Первые три типа данных (числа, вектора, функции) являются элементами линейных пространств, их можно складывать и умножать на числа. С объектами нечисловой природы (значениями качественных признаков, упорядочениями и другими видами бинарных отношений, графами, обычными и нечеткими множествами и т.д.) так поступать нельзя. Математический аппарат анализа нечисловых
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
14
данных основан на использовании метрик (показателей различия) и решений оптимизационных задач, а не сумм чисел, векторов, функций, как в классических областях прикладной математической статистики. В конце 1970-х годов выделена самостоятельная область - статистика объектов нечисловой природы, известная также как статистика нечисловых данных или, короче, нечисловая статистика [36].
В последние годы получил распространение термин "Организационно-экономическое моделирование". Именно так называется годовой учебный курс, который читается в Московском государственном техническом университете им. Н.Э. Баумана для студентов факультета "Инженерный бизнес и менеджмент", выпускающего специалистов по менеджменту высоких технологий. Организационно-экономическое
моделирование - это научная, практическая и учебная дисциплина, посвященная разработке, изучению и применению математических и статистических методов и моделей в экономике и управлении народным хозяйством, прежде всего промышленными предприятиями и их объединениями. Основное содержание организационно-экономического моделирования - статистические методы анализа данных [37], теория и практика экспертных оценок [38] как неотъемлемые составные части теории принятия решений. В этих двух областях различны источники данных, а потому и методы их сбора (получения). Статистические методы анализа данных обычно связывают с обработкой результатов измерений, наблюдений, испытаний, анализов, опытов. Экспертные оценки - это мнения высококвалифицированных специалистов. Однако нет оснований разделять математические методы анализа статистических и экспертных данных. Так, нечисловая статистика была разработана нами как ответ на запросы теории и практики экспертных оценок.
Экспертное оценивание часто является незаменимым инструментом, позволяющим разрабатывать обоснованные управленческие решения при
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
15
отсутствии достаточного объема результатов наблюдений. Например, при разработке АСППАП - автоматизированной системы прогнозирования и предотвращения авиационных происшествий (проект выполнялся совместно Группой компаний "Волга-Днепр", Ульяновским государственным университетом и МГТУ им. Н.Э. Баумана) возникла необходимость применения экспертных оценок при решении многих конкретных задач. В 2011-2012 гг. проведено несколько сот экспертиз. В частности, экспертами оценивались передаточные параметры для дерева событий при развитии авиационного события (происшествия) на основе логико-вероятностной модели (представляющие собой в первом приближении условные вероятности) в условиях почти полного отсутствия статистических данных. Отсутствие данных связано с несколькими причинами. Во-первых, для сбора части данных требовались большие человеческие и временные затраты, и к моменту проведения экспертного опроса они не были готовы. Во-вторых, часть данных для оценки условных вероятностей невозможно получить в принципе, поскольку промежуточные события из дерева событий, не приведшие к авиационному происшествию, часто никак и нигде не анализируются, не записываются и не сохраняются. Здесь можно привести простую аналогию: затруднительно статистически оценить, с какой вероятностью превышение скорости приведет к автомобильной аварии, поскольку большинство превышений скорости не приводят к авариям и остаются вне поля зрения исследователей.
Большинство алгоритмов сбора и анализа экспертных оценок в проекте АСППАП основано на предположении, что экспертные оценки измерены в порядковых шкалах, поскольку экспертам (летному составу) легче сказать, какое событие встречается чаще, а какое реже, чем оценить число осуществлений событий на 1000 полетов. Оценивать вероятности событий эксперты почти не берутся, в то время как задачи сравнения
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
16
событий по частоте встречаемости или оценки их по встречаемости условными баллами не вызывают сложностей. Этот факт, обнаруженный при работе с летным составом Группы компаний "Волга-Днепр", соответствует теории экспертных оценок.
Как правило, экспертные оценки используются в тех случаях, когда статистические данные недостаточны, отсутствуют или в настоящее время недоступны. По мере проведения дополнительных исследований по сбору и анализу данных результаты экспертных процедур будут заменяться объективными данными. Однако при разработке АСППАП нередко встречаются ситуации, когда за все время наблюдений определенное событие не произошло вообще, произошло 1, 2 или небольшое число раз. В таких ситуациях статистические методы дают весьма широкие доверительные границы для вероятности события, в то время как экспертные технологии позволяют получить достаточно точные оценки.
В нашей стране основные результаты в области теории экспертных оценок получены научным коллективом, сплотившемся вокруг действующего с 1973 г. научного семинара с символичным названием "Экспертные оценки и анализ данных" [39, 40].
В книге С.С. Семенова [31] подробно рассмотрена роль экспертов при проведении оценки технического уровня сложных технических систем. Описана процедура проведения экспертной оценки и согласования оценок экспертов при проведении сравнительного анализа. Надо отметить, что ряд вопросов статистического анализа экспертных данных, как и данных иного происхождения, требует дальнейшего развития.
Хорошо известно, что распределения почти всех видов реальных данных не являются нормальными и не входят в какие-либо иные параметрические семейства распределений. Современная парадигма прикладной статистики основана на непараметрических и нечисловых моделях [41]. Однако продолжают кочевать из учебника в учебник, из
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
17
одной методики в другую методы начала ХХ в., основанные на нереалистическом предположении нормальности. Иногда это
предположение приводит к серьезным ошибкам, например, при отбраковке резко выделяющихся элементов выборки (выбросов). Иногда ошибки имеют другую природу. Так, двухвыборочный критерий Стьюдента нельзя применять для проверки однородности двух независимых выборок не потому, что он предполагает нормальность распределений элементов выборок (влияние отклонений от нормальности сглаживается с ростом объемов выборок), а по другой причине - этот критерий исходит из равенства дисперсий элементов двух выборок, а это выполняется весьма редко [42].
Методы проверки согласованности ответов экспертов требуют дальнейшего развития. Поскольку число экспертов обычно не превышает 20 - 30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации (т.е. - в переводе на русский язык - согласия) на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно теории математической статистики положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы по
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
18
дурной традиции толкуется как согласованность ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно
ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нашу научную группу к разработке нового математико-статистического аппарата для проверки согласованности -непараметрических методов, основанных на т.н. люсианах и входящих в нечисловую статистику [43]). Группы экспертов с близкими взглядами можно выделить методами кластер-анализа.
В книге С.С. Семенова [31] подробно рассмотрены методы формирования оценочных показателей и на их основе - оценок качества и технического уровня сложных технических систем. Необходимо использовать иерархическую систему показателей - единичные, групповые, обобщенные, интегральные. Как для оценивания многих единичных оценочных показателей, так и для их агрегирования (объединения) в показатели, стоящие выше в иерархической системе, необходимо применение процедур экспертного оценивания. При проведении процедур агрегирования итогом экспертного оценивания являются коэффициенты весомости (важности, значимости). Отметим, что и в этой области необходимы дальнейшие исследования. Так, недавно установлена некорректность метода анализа иерархий [44, 45].
Новизна подхода С.С. Семенова состоит, во-первых, в разработке методов проведения оценки технического уровня сложных технических систем на основе современной теории принятия решений с широким применением экспертных технологий, во-вторых, в применении этих методов для решения многочисленных весьма важных прикладных задач. Большую ценность представляет проведенный им анализ технического
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
19
уровня многочисленных конкретных сложных технических систем. Анализ эффективности применения таких систем обычно проводят на основе трехфакторной модели "Человек-Машина-Среда". В книге [31] рассмотрен фактор "Машина", который можно оценить техническим уровнем. Влиянию на эффективность применения сложной технической системы личностных свойств и подготовленности персонала, работающего с этой системой, и окружающей среды (часто противоборствующей), в которой действует система, должны быть посвящены самостоятельные
исследования.
Высокий научный уровень работы [31] объясняется как квалифицированным применением современных организационно-
экономических и экономико-математических методов, так и огромным опытом решения конкретных прикладных задач, связанных с оценкой технического уровня разнообразных сложных технических систем. Нельзя не согласиться с тем, что следование в форматере чужих разработок чревато еще большим отставанием [46] в создании сложных технических систем, необходимых для обеспечения независимости территориальной целостности нашей страны. Для обеспечения технологического рывка, обгона геополитических соперников путем применения принципиально новых подходов необходимы соответствующие интеллектуальные инструменты, выполненные на современном научном уровне. Их разработке и широкой апробации посвящена работа С.С. Семенова [31], развивающая и продолжающая его предыдущие публикации, в частности, книгу "Оценка технического уровня образцов вооружения и военной техники" [47]. Опыт научного признания новых методических подходов к оценке технического уровня образцов вооружения и военной техники на примере управляемых авиационных бомб подробно рассмотрен в составленном С.С. Семеновым сборнике [48].
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
20
Книга [31] интересна широкому кругу специалистов, связанных с задачами оценки технического уровня на основе экспертных и аналитических методов принятия решений, в том числе оценки и выбора альтернатив, занимающихся прикладными научными исследованиями в области разработки военной техники, а также в гражданских высокотехнологичных отраслях, выпускающих наукоемкую продукцию, в частности, в космической и атомной промышленности, авиастроении, судостроении и др. Книга является фундаментальной, но при этом изложение новых теоретических и прикладных идей в ней доступно широким массам читателей. Ее могут использовать преподаватели, аспиранты и студенты многочисленных высших учебных заведений, а также специалисты, повышающие квалификацию самостоятельно или в соответствующих образовательных структурах, соискатели научных степеней в рассматриваемых областях.
Книга [31] - важный вклад в разработку и применение методов оценки технического уровня сложных технических систем на основе использования экспертных технологий, вклад как в теорию, так и прежде всего в практику.
В последние годы выпущен ряд изданий, посвященных практическим вопросам практического применения методов принятия решений для оценки качества и технического уровня сложных технических систем. Так, формирование научно-технического задела в судостроении рассмотрено в монографии А.В. Дутова и И.М. Калинина [49]. Одиннадцать конкретных производственных ситуаций. требующих инженерно-экономической оценки создания корпоративных структур и производственных стратегий, надежности, газотранспортных систем, внедрения информационных систем и мониторинга производства, оптимизации управления обеспечением нефтепродуктами, использования альтернативных источников энергии обсуждаются в [50]. Методы
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
21
принятия решений в задачах оценки качества и технического уровня сложных технических систем рассмотрены в [51]. Оценка технического уровня систем наведения управляемых авиационных бомб посвящена книга [52]. Опыт практического использования методов теории принятия решений, отраженный в перечисленных изданиях, после соответствующей адаптации может быть с успехом применен, например, в ракетнокосмической промышленности при реализации проектов создания ракетнокосмической техники.
Литература
1. Орлов А.И. Принятие решений. Теория и методы разработки
управленческих решений. — М.: ИКЦ «МарТ»; Ростов н/д: Издательский центр «МарТ», 2005. — 496 с.
2. Орлов А.И. Теория принятия решений. — М.: Экзамен, 2006. — 574 с.
3. Орлов А.И. Организационно-экономическое моделирование: теория
принятия решений. — М. : КноРус, 2011. — 568 с.
4. Орлов А. И. Математическая теория рейтингов - инструмент изучения
успешности социальных систем // Успешность развития социальных систем и
государственная политика и управление. Материалы Всероссийской научнообщественной конференции. — Москва, 28 ноября 2014 г. М.: Наука и политика, 2015. — С. 94 - 102.
5. Сулакшин С.С. Теория и феноменология успешности сложной
социальной системы. — М.: Научный эксперт, 2013. — 232 с.
6. Орлов А.И. О подходах к разработке организационно-экономического
обеспечения решения задач управления в аэрокосмической отрасли //
Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 99. С. 884-896.
7. Волков В.А., Орлов А.И. Организационно-экономические подходы к
оценке реализуемости проектов по созданию ракетно-космической техники //
Экономический анализ: теория и практика. 2014. № 11. С.41-47.
8. Орлов А.И., Цисарский А.Д. Особенности оценки рисков при создании ракетно-космической техники // Национальные интересы: приоритеты и безопасность.
2013. №43. С.37 - 46.
9. Орлов А.И. Менеджмент: организационно-экономическое
моделирование. — Ростов-на-Дону: Феникс, 2009. — 475 с.
10. Карминский А.М., Пересецкий А.А., Петров А.Е. Рейтинги в экономике: методология и практика. — М.: Финансы и статистика, 2005. — 240 с.
11. Орлов А.И. Аддитивно-мультипликативная модель оценки рисков при создании ракетно-космической техники // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 102. С. 78-111.
12. Орлов А. И. Устойчивость в социально-экономических моделях. — М.: Наука, 1979. — 296 с.
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
22
13. Орлов А.И. Устойчивые экономико-математические методы и модели. — Saarbrucken, Lambert Academic Publishing, 2011. — 436 с.
14. Сухаревская А. Китайская экономика официально стала крупнейшей в
мире. [Электронный ресурс]. URL:
http://top.rbc.ru/economics/08/10/2014/5434f48dcbb20faeeafe2a0a (дата обращения
06.10.2015) .
15. Пшеницын А.Ю. Круг восьмой. [Электронный ресурс]. URL: http://www.za-nauku.ru//index.php?option=com content&task=view&id=8255&Itemid=35 (дата обращения 06.10.2015).
16. Орлов А.И. Эконометрика. Изд. 4-е, доп. и перераб. Учебник для вузов. — Ростов-на-Дону: Феникс, 2009. — 572 с.
17. Рост цен в России. [Электронный ресурс] URL:
http://forum.orlovs.pp.ru/viewtopic.php?f=2&t=660&p=7770#p7770 (дата обращения
06.10.2015) .
18. Орлов А.И. Оценка инфляции по независимой информации //
Политематический сетевой электронный научный журнал Кубанского
государственного аграрного университета. 2015. № 108. С. 259-287.
19. Куликова С.Ю., Муравьева В.С., Орлов А.И. Контроллинг уровня потребительских цен и прожиточного минимума // Стратегическое управление и контроллинг в некоммерческих и публичных организациях: фонды, университеты, муниципалитеты, ассоциации и партнерства. Материалы II Международной научнопрактической конференции по контроллингу. / Под науч. ред. С.Г. Фалько. — М.: НП «Объединение контроллеров», 2012. — С. 37 - 47.
20. Подиновский В.В. Введение в теорию важности критериев в
многокритериальных задачах принятия решений. — М.: Физматлит, 2007. — 64 с.
21. Никитин Я.Ю. Асимптотическая эффективность непараметрических
критериев. — М.: Наука, 1995. — 240 с.
22. Раушенбах Г.В. Меры близости и сходства // Анализ нечисловой
информации в социологических исследованиях. — М.: Наука, 1986. — С.169-203.
23. Орлов А.И. Расстояния в пространствах статистических данных // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета, 2014. № 101. С. 227 - 252.
24. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. — М.: Физматлит, 2007. — 256 с.
25. Показатели РИНЦ у А.И. Орлова выше, чем у 60% академиков РАН. [Электронный ресурс]. URL: http://forum.orlovs.pp.ru/viewtopic.php?f=1&t=1839 (дата обращения 06.10.2015).
26. Орлов А.И. О развитии математических методов теории классификации // Заводская лаборатория. Диагностика материалов. 2009. Т.75. №7. С.51-63.
27. Орлов А.И. Математические методы теории классификации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 95. С. 23 - 45.
28. Орлов А.И. Прогностическая сила - наилучший показатель качества алгоритма диагностики // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 99. С. 33--49.
29. Математические теории рейтингов [Электронный ресурс]. URL: http://ibm.bmstu.ru/nil/biblio.html#stats-05-reit (дата обращения 06.10.2015).
30. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. — М.: Наука, 1969. — 192 с.
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
23
31. Семенов С.С. Оценка качества и технического уровня сложных систем: Практика применения метода экспертных оценок. - М.: ЛЕНАНД, 2015. - 352 с.
32. Орлов А.И. Теория принятия решений, экспертные оценки и технический уровень сложных технических систем // Семенов С.С. Оценка качества и технического уровня сложных систем: Практика применения метода экспертных оценок. - М.: ЛЕНАНД, 2015. - С.18 - 24.
33. Проектирование интегрированных производственно-корпоративных
структур: эффективность, организация, управление / Колобов А. А., Омельченко И.Н., Орлов А.И. и др. / Под ред. А. А. Колобова, А.И. Орлова. Научное издание. — М.: Изд-во МГТУ им. Н. Э. Баумана, 2006. — 728 с.
34. Колобов А.А., Омельченко И.Н., Орлов А.И. Менеджмент высоких
технологий. Интегрированные производственно-корпоративные структуры:
организация, экономика, управление, проектирование, эффективность, устойчивость. -М.: Экзамен, 2008. - 621 с.
35. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.
36. Орлов А.И. Организационно-экономическое моделирование. Ч. 1:
Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. - 2009. - 541 с.
37. Орлов А.И. Организационно-экономическое моделирование. Ч.3.
Статистические методы анализа данных. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2012. -624 с.
38. Орлов А.И. Организационно-экономическое моделирование. Ч.2.
Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.
39. Орлов А. И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. Диагностика материалов. 2010. Т.76. № 11. С. 64-70.
40. Орлов А. И. Теория экспертных оценок в нашей стране //
Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. № 93. С. 1-11.
41. Орлов А.И. Новая парадигма прикладной статистики // Заводская лаборатория. Диагностика материалов. 2012. Том 78. № 1, часть I. С. 87-93.
42. Орлов А.И. Проверка статистической гипотезы однородности
математических ожиданий двух независимых выборок: критерий Крамера-Уэлча вместо критерия Стьюдента // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 110. С. 197218.
43. Орлов А.И. Теория люсианов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 101. С. 275 - 304.
44. Подиновский В.В., Подиновская О.В. О некорректности метода анализа иерархий // Проблемы управления. 2011. № 1. С. 8-13.
45. Подиновский В.В., Подиновская О.В. Еще раз о некорректности метода анализа иерархий // Проблемы управления. 2012. № 4. С. 75-78.
46. Семенов С., Балахонов Л. Следование в фарватере чужих разработок // Военно-промышленный курьер. № 24 (441) за 20-26 июня 2012 г. и № 25 (442) за 27 июня - 3 июля 2012 г.
47. Семенов С.С., Харчев В.Н., Иоффин А.И. Оценка технического уровня образцов вооружения и военной техники. - М.: Радио и связь, 2004. - 552 с.
48. Научно-технический сборник "Боеприпасы" № 5-6 за 2007 год.
49. Дутов А.В., Калинин И.М. Формирование научно-технического задела в судостроении. - СПб.: ФГУП "Крыловский государственный научный центр", 2013. -308 с.
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
24
50. Захаров М.Н., Омельченко И.Н., Саркисов А.С. Ситуации инженерноэкономического анализа. - М.: Издательство МГТУ им. Н.Э. Баумана, 2014. - 430 с.
51. Семенов С.С., Воронов Е.М., Полтавский А.В., Крянев А.В. Методы принятия решений в задачах оценки качества и технического уровня сложных технических систем. - М.: ЛЕНАНД, 2016. - 520 с.
52. Семенов С.С., Щербинин В.В. Оценка технического уровня систем наведения управляемых авиационных бомб. - М.: Машиностроение, 2015. - 326 с.
References
1. Orlov A.I. Prinjatie reshenij. Teorija i metody razrabotki upravlencheskih reshenij. — M.: IKC «MarT»; Rostov n/d: Izdatel'skij centr «MarT», 2005. — 496 s.
2. Orlov A.I. Teorija prinjatija reshenij. — M.: Jekzamen, 2006. — 574 s.
3. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie: teorija prinjatija reshenij. — M. : KnoRus, 2011. — 568 s.
4. Orlov A.I. Matematicheskaja teorija rejtingov - instrument izuchenija uspeshnosti social'nyh sistem // Uspeshnost' razvitija social'nyh sistem i gosudarstvennaja politika i upravlenie. Materialy Vserossijskoj nauchno-obshhestvennoj konferencii. — Moskva, 28 nojabrja 2014 g. M.: Nauka i politika, 2015. — S. 94 - 102.
5. Sulakshin S.S. Teorija i fenomenologija uspeshnosti slozhnoj social'noj sistemy. — M.: Nauchnyj jekspert, 2013. — 232 s.
6. Orlov A.I. O podhodah k razrabotke organizacionno-jekonomicheskogo obespechenija reshenija zadach upravlenija v ajerokosmicheskoj otrasli // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta.
2014. № 99. S. 884-896.
7. Volkov V.A., Orlov A.I. Organizacionno-jekonomicheskie podhody k ocenke realizuemosti proektov po sozdaniju raketno-kosmicheskoj tehniki // Jekonomicheskij analiz: teorija i praktika. 2014. № 11. S.41-47.
8. Orlov A.I., Cisarskij A.D. Osobennosti ocenki riskov pri sozdanii raketno-kosmicheskoj tehniki // Nacional'nye interesy: prioritety i bezopasnost'. 2013. №43. S.37 -46.
9. Orlov A.I. Menedzhment: organizacionno-jekonomicheskoe modelirovanie. — Rostov-na-Donu: Feniks, 2009. — 475 s.
10. Karminskij A.M., Pereseckij A.A., Petrov A.E. Rejtingi v jekonomike: metodologija i praktika. — M.: Finansy i statistika, 2005. — 240 s.
11. Orlov A.I. Additivno-mul'tiplikativnaja model' ocenki riskov pri sozdanii raketno-kosmicheskoj tehniki // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 102. S. 78-111.
12. Orlov A.I. Ustojchivost' v social'no-jekonomicheskih modeljah. — M.: Nauka, 1979. — 296 s.
13. Orlov A.I. Ustojchivye jekonomiko-matematicheskie metody i modeli. — Saarbrucken, Lambert Academic Publishing, 2011. — 436 s.
14. Suharevskaja A. Kitajskaja jekonomika oficial'no stala krupnejshej v mire.
[Jelektronnyj resurs]. URL:
http://top.rbc.ru/economics/08/10/2014/5434f48dcbb20faeeafe2a0a (data obrashhenija
06.10.2015).
15. Pshenicyn A.Ju. Krug vos'moj. [Jelektronnyj resurs]. URL: http://www.za-
nauku.ru//index.php?option=com_content&task=view&id=8255&Itemid=35 (data
obrashhenija 06.10.2015).
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
25
16. Orlov A.I. Jekonometrika. Izd. 4-e, dop. i pererab. Uchebnik dlja vuzov. — Rostov-na-Donu: Feniks, 2009. — 572 s.
17. Rost cen v Rossii. [Jelektronnyj resurs] URL: http://forum.orlovs.pp.ru/viewtopic.php?f=2&t=660&p=7770#p7770 (data obrashhenija
06.10.2015).
18. Orlov A.I. Ocenka infljacii po nezavisimoj informacii // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta.
2015. № 108. S. 259-287.
19. Kulikova S.Ju., Murav'eva V.S., Orlov A.I. Kontrolling urovnja potrebitel'skih cen i prozhitochnogo minimuma // Strategicheskoe upravlenie i kontrolling v nekommercheskih i publichnyh organizacijah: fondy, universitety, municipalitety, associacii i partnerstva. Materialy II Mezhdunarodnoj nauchno-prakticheskoj konferencii po kontrollingu. / Pod nauch. red. S.G. Fal'ko. — M.: NP «Ob#edinenie kontrollerov», 2012. — S. 37 - 47.
20. Podinovskij V.V. Vvedenie v teoriju vazhnosti kriteriev v mnogokriterial'nyh zadachah prinjatija reshenij. — M.: Fizmatlit, 2007. — 64 s.
21. Nikitin Ja.Ju. Asimptoticheskaja jeffektivnost' neparametricheskih kriteriev. — M.: Nauka, 1995. — 240 s.
22. Raushenbah G.V. Mery blizosti i shodstva // Analiz nechislovoj informacii v sociologicheskih issledovanijah. — M.: Nauka, 1986. — S.169-203.
23. Orlov A.I. Rasstojanija v prostranstvah statisticheskih dannyh // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta, 2014. № 101. S. 227 - 252.
24. Podinovskij V.V., Nogin V.D. Pareto-optimal'nye reshenija mnogokriterial'nyh zadach. — M.: Fizmatlit, 2007. — 256 s.
25. Pokazateli RINC u A.I. Orlova vyshe, chem u 60% akademikov RAN.
[Jelektronnyj resurs]. URL: http://forum.orlovs.pp.ru/viewtopic.php?f=1&t=1839 (data
obrashhenija 06.10.2015).
26. Orlov A.I. O razvitii matematicheskih metodov teorii klassifikacii // Zavodskaja laboratorija. Diagnostika materialov. 2009. T.75. №7. S.51-63.
27. Orlov A.I. Matematicheskie metody teorii klassifikacii // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 95. S. 23 - 45.
28. Orlov A.I. Prognosticheskaja sila - nailuchshij pokazatel' kachestva algoritma diagnostiki // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 99. S. 33--49.
29. Matematicheskie teorii rejtingov [Jelektronnyj resurs]. URL: http://ibm.bmstu.ru/nil/biblio.html#stats-05-reit (data obrashhenija 06.10.2015).
30. Nalimov V.V., Mul'chenko Z.M. Naukometrija. Izuchenie razvitija nauki kak informacionnogo processa. — M.: Nauka, 1969. — 192 s.
31. Semenov S.S. Ocenka kachestva i tehnicheskogo urovnja slozhnyh sistem: Praktika primenenija metoda jekspertnyh ocenok. - M.: LENAND, 2015. - 352 s.
32. Orlov A.I. Teorija prinjatija reshenij, jekspertnye ocenki i tehnicheskij uroven' slozhnyh tehnicheskih sistem // Semenov S.S. Ocenka kachestva i tehnicheskogo urovnja slozhnyh sistem: Praktika primenenija metoda jekspertnyh ocenok. - M.: LENAND, 2015. -S.18 - 24.
33. Proektirovanie integrirovannyh proizvodstvenno-korporativnyh struktur: jeffektivnost', organizacija, upravlenie / Kolobov A.A., Omel'chenko I.N., Orlov A.I. i dr. / Pod red. A.A. Kolobova, A.I. Orlova. Nauchnoe izdanie. — M.: Izd-vo MGTU im. N. Je. Baumana, 2006. — 728 s.
http://ej.kubagro.ru/2015/10/pdf/01.pdf
Научный журнал КубГАУ, №114(10), 2015 года
26
34. Kolobov A.A., Omel'chenko I.N., Orlov A.I. Menedzhment vysokih tehnologij.
Integrirovannye proizvodstvenno-korporativnye struktury: organizacija, jekonomika,
upravlenie, proektirovanie, jeffektivnost', ustojchivost'. - M.: Jekzamen, 2008. - 621 s.
35. Orlov A.I. Prikladnaja statistika. - M.: Jekzamen, 2006. - 671 s.
36. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie. Ch. 1: Nechislovaja statistika. - M.: Izd-vo MGTU im. N.Je. Baumana. - 2009. - 541 s.
37. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie. Ch.3. Statisticheskie metody analiza dannyh. - M.: Izd-vo MGTU im. N.Je. Baumana, 2012. - 624 s.
38. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie. Ch.2. Jekspertnye ocenki. - M.: Izd-vo MGTU im. N.Je. Baumana, 2011. - 486 s.
39. Orlov A.I. O razvitii jekspertnyh tehnologij v nashej strane // Zavodskaja laboratorija. Diagnostika materialov. 2010. T.76. № 11. S. 64-70.
40. Orlov A.I. Teorija jekspertnyh ocenok v nashej strane // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2013. № 93. S. 1-11.
41. Orlov A.I. Novaja paradigma prikladnoj statistiki // Zavodskaja laboratorija. Diagnostika materialov. 2012. Tom 78. № 1, chast' I. S. 87-93.
42. Orlov A.I. Proverka statisticheskoj gipotezy odnorodnosti matematicheskih ozhidanij dvuh nezavisimyh vyborok: kriterij Kramera-Ujelcha vmesto kriterija St'judenta // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2015. № 110. S. 197-218.
43. Orlov A.I. Teorija ljusianov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 101. S. 275 - 304.
44. Podinovskij V.V., Podinovskaja O.V. O nekorrektnosti metoda analiza ierarhij // Problemy upravlenija. 2011. № 1. S. 8-13.
45. Podinovskij V.V., Podinovskaja O.V. Eshhe raz o nekorrektnosti metoda analiza ierarhij // Problemy upravlenija. 2012. № 4. S. 75-78.
46. Semenov S., Balahonov L. Sledovanie v farvatere chuzhih razrabotok // Voenno-promyshlennyj kur'er. № 24 (441) za 20-26 ijunja 2012 g. i № 25 (442) za 27 ijunja -3 ijulja 2012 g.
47. Semenov S.S., Harchev V.N., Ioffin A.I. Ocenka tehnicheskogo urovnja obrazcov vooruzhenija i voennoj tehniki. - M.: Radio i svjaz', 2004. - 552 s.
48. Nauchno-tehnicheskij sbornik "Boepripasy" № 5-6 za 2007 god.
49. Dutov A.V., Kalinin I.M. Formirovanie nauchno-tehnicheskogo zadela v sudostroenii. - SPb.: FGUP "Krylovskij gosudarstvennyj nauchnyj centr", 2013. - 308 s.
50. Zaharov M.N., Omel'chenko I.N., Sarkisov A.S. Situacii inzhenerno-jekonomicheskogo analiza. - M.: Izdatel'stvo MGTU im. N.Je. Baumana, 2014. - 430 s.
51. Semenov S.S., Voronov E.M., Poltavskij A.V., Krjanev A.V. Metody prinjatija reshenij v zadachah ocenki kachestva i tehnicheskogo urovnja slozhnyh tehnicheskih sistem. -M.: LENAND, 2016. - 520 s.
52. Semenov S.S., Shherbinin V.V. Ocenka tehnicheskogo urovnja sistem navedenija upravljaemyh aviacionnyh bomb. - M.: Mashinostroenie, 2015. - 326 s.
http://ej.kubagro.ru/2015/10/pdf/01.pdf
