Совершенствование процедуры оценки деятельности научных школ отраслевых вузов Текст научной статьи по специальности «Науки об образовании»

Совершенствование процедуры оценки деятельности научных школ отраслевых вузов

А. Ю. Панычев,

к. э. н., доцент, ректор ФГБОУВО «Петербургский государственный университет путей сообщения Императора Александра I» (ПГУПС)

Т. С. Титова,

д. т. н., профессор, проректор по научной работе ПГУПС

В. А. Ходаковский,

д. т. н., профессор, зав. кафедрой «Математика и моделирование» ПГУПС

Предложена методика расчета рейтинга научных школ для сравнения и классификации (лидеры, удовлетворительные, деградирующие) вузов, факультетов, кафедр, групп. Представленная методика дает возможность управлять развитием научных школ организаций, в частности с помощью дополнительного финансирования, для приоритетного решения задач отрасли.

Учитывая важную роль научных школ в инновационном развитии экономики страны при переходе к пятому и шестому технологическим укладам, для всех федеральных органов исполнительной власти и государственных академий наук Постановлением Правительства РФ № 312 от 08.04.2009 сформулированы правила оценки результативности деятельности подведомственных им научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения [1, 2]. Не вызывает сомнений актуальность задачи не только для органов исполнительной власти и научных организаций, но и для вузов, в частности отраслевых [3]. Результаты оценки, проведенной в установленном порядке, необходимо учитывать в следующих случаях:

• при формировании перечня научно-исследовательских, опытно-конструкторских и технологических работ научных организаций;

• при определении объемов бюджетных ассигнований для подведомственных научных учреждений на выполнение указанных работ;

• при сравнительной оценке деятельности соответствующих организаций;

• при оптимизации сети (структуры и параметров) научных организаций (как реакции на результаты проведенной оценки).

Периодичность проведения оценки результативности деятельности научных организаций составляет пять лет. Для получения необходимой (своевременной, достоверной и репрезентативной) инфор-

мации предлагается вести постоянный мониторинг состояния и тенденций изменения результатов деятельности научных школ (НШ) организаций транспортной отрасли. Это позволит своевременно предпринять меры по коррекции их научной деятельности.

Необходимо отметить, что согласно Федеральному закону от 23.08.1996 № 127-ФЗ «О науке и государственной научно-технической политике» вузы не относятся к научным организациям. Тем не менее мониторинг деятельности вузов по научным исследованиям ведется как Минобрнауки, так и учредителями. Например, применительно к подведомственным железнодорожным университетам Федеральное агентство железнодорожного транспорта (Росжелдор) издало приказ от 10.05.2011 № 207 «Об утверждении методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, подведомственных федеральному агентству железнодорожного транспорта» и провело соответствующую оценку. Министерство транспорта РФ (Минтранс) издало аналогичный приказ от 05.02.2018 № 45 «Об утверждении методики оценки результативности деятельности научных организаций, подведомственных Министерству транспорта Российской Федерации, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения».

Вслед за [4] будем различать фазы индикативного и репрезентативного мониторинга. Индикаторами могут служить показатели, доступные для наблюдения и измерения (из состава утвержденных

показателей [5] или коррелированные с ними). Для оценки деятельности вузов целесообразно использовать данные мониторинга их эффективности [6]. Если величины индикаторов находятся в зоне допустимых значений, текущая фаза индикативного мониторинга продолжается. Если величины одного или нескольких индикаторов развития научной школы вышли за рамки допустимых значений, то для руководства организации это служит сигналом о начале фазы репрезентативного мониторинга. При этом анализируются величины всех установленных показателей и причины их негативного изменения.

Таким образом, предлагается реализовать идею сочетанного использования фаз репрезентативного и индикативного мониторинга. Это позволит отслеживать развитие НШ и вносить необходимые коррективы в ее деятельность, не дожидаясь отчетного срока, т. е. оперативно решать проблему, если она возникла. Отметим, что в качестве показателей целесообразно рассматривать те, в которых максимально отражается соответствие государственной научно-технической политике, а также учтены особенности и приоритеты отрасли.

Согласно типовой методике [2] итог оценки — отнесение научной организации по результатам мониторинга в соответствии с [1] к одной из трех категорий:

• научные организации — лидеры (первая категория);

• стабильные научные организации, демонстрирующие удовлетворительную результативность (вторая категория);

• организации, утратившие научную работу в качестве основного вида деятельности и перспективы развития (третья категория).

Такой подход позволяет формализовать процесс классификации организаций средствами теории распознавания образов (ТРО), при этом показатели деятельности НШ образуют так называемое признаковое пространство (ПП), где каждая организация представляется точкой [4]. Координаты указанной точки — значения показателей состояния и развития соответствующей НШ.

В ПП каждой категории организаций (каждому классу, по терминологии ТРО) соответствует определенная область. Задача классификации сводится к построению решающего правила, например разделяющей границы между классами и/или определения эталонов классов. Типовая методика [2] рекомендует про-

Таблица 1. Весовые доли участников экспертизы в экспертной оценке

Участник экспертизы Весовая

доля,%

ОАО «РЖД» 30

Субъект РФ 30

Минтранс или Росжелдор 40

водить оценку на основе анализа и сопоставления показателей оценки результативности деятельности научных организаций, перечень которых приведен в [5].

В качестве индикаторов деятельности НШ можно рассматривать следующие показатели: х1 — публикационная активность (число публикаций определенного типа на одного сотрудника), х2 — участие в международном научно-техническом сотрудничестве (число международных проектов, в которых участвует НШ), х3 и х4 — доходы и расходы организации (миллионы рублей на одного человека) и пр. Значения этих показателей априори известны (по результатам иных обследований организации).

Такие показатели, как интеграция науки и образования, взаимодействие с реальным сектором экономики, обеспеченность научным оборудованием и необходимыми условиями работы, требуют дополнительного развития системы оценки обследуемой организации: создания специальной системы мониторинга и разработки соответствующего математического аппарата анализа и принятия решений.

Так, в первом случае определяется степень взаимного соответствия показателей интеграции науки и образования (по составу, глубине и широте охвата направлений исследований). Во втором случае оценивается эффективность внедрения научных разработок в экономику страны, отрасли, региона. Очевидно, что причины неудовлетворительного их соответствия могут находиться вне компетенций и возможностей научной организации и не должны влиять на оценку деятельности НШ организации.

В третьем случае следует учесть, что обеспеченность оборудованием и необходимыми условиями работы не сводится только к наличию технических средств и программных продуктов. Они должны иметь более глубокую взаимную связь, обеспечивая положительный синергети-ческий эффект взаимного использования.

Действующая методика [2] позволяет оценивать научную деятельность высших учебных заведений только в общих чертах. В большинстве железнодорожных вузов работа осуществляется в интересах

конкретных заказчиков, поэтому оценка деятельности научных школ вузов железнодорожного транспорта по направлениям научных исследований складывается из двух составляющих [3]:

1) на основании названных критериев оценки деятельности научных школ

2) по результатам экспертного заключения представителей главного заказчика отрасли (ОАО «РЖД»), субъекта РФ, в котором находится образовательная организация, и учредителя в лице Росжелдора или Минтранса о значении научной школы для отрасли (^^нгу). Весовые доли участников экспертизы в экспертной оценке распределяются в соответствии с табл. 1.

Общий суммарный показатель эффективности НШ определяется как сумма расчетной и экспертной оценок по формуле

*.общ _ » р . э ИН17 "" ИНГ] Линг/ (1)

Показатели k%mj и оцени-

ваются по критериям с установленной весовой долей каждого из них а. Сумма весовых долей по всем критериям оценки деятельности научных школ равна единице:

2«,=1, (2)

¡-1

где I — порядковый номер критерия оценки деятельности научных школ; п — количество критериев оценки деятельности научных школ.

Оценки деятельности научной школы ^шп-у и ^-инг./ определяются по аддитивным формулам. Например,

^•итггу- 2 ау ■ к у ) 1=1

(3)

где к.— приведенное значение ¡-го показателя оценки деятельности научных школ для /-й научной школы.

Ведущей научной школой согласно [3] принимается та, у которой значение общего суммарного показателя максимально.

Недостатки рассмотренного подхода: • общее состояние науки в отрасли может быть неудовлетворительным, но лидер — организация с максимальным значением оценки НШ — будет выделен;

Государство и транспорт

Таблица 2. Рейтинговые показатели деятельности вузов

Показатель (индикатор)

3

4

5

6

7

8

9

10 11 12

13

14

15

16

Количество цитирований публикаций, изданных за последние 5 лет,

индексируемых в информационно-аналитической системе научного цитирования Web of Sciencе, в расчете на 100 НПР Количество цитирований публикаций, изданных за последние 5 лет,

индексируемых в информационно-аналитической системе научного цитирования Scopus, в расчете на 100 НПР Количество цитирований публикаций, изданных за последние 5 лет,

индексируемых в информационно-аналитической системе научного цитирования РИНЦ, в расчете на 100 НПР

Число публикаций организации, индексируемых в информационно-аналитической системе научного цитирования Web of Sciencе, в расчете на 100 НПР

Число публикаций организации, индексируемых в информационно-аналитической системе научного цитирования Scopus, в расчете на 100 НПР

Число публикаций организации, индексируемых в информационно-аналитической системе научного цитирования РИНЦ, в расчете на 100 НПР

Доходы от НИОКР в расчете на 1 НПР

Удельный вес средств, полученных образовательной организацией от использования результатов интеллектуальной деятельности, в общих доходах образовательной организации

Удельный вес численности НПР без ученой степени до 30 лет, кандидатов наук до 35 лет, докторов наук до 40 лет в общей численности НПР

Количество научных журналов, в том числе электронных, издаваемых образовательной организацией

Количество полученных грантов за отчетный год в расчете на 100 НПР

Удельный вес численности иностранных граждан из числа НПР в общей численности НПР

Удельный вес численности иностранных граждан (кроме стран СНГ) из числа аспирантов (адъюнктов), ординаторов, интернов, ассистентов-стажеров образовательной организации в общей численности аспирантов (адъюнктов), ординаторов, интернов, ассистентов-стажеров

Удельный вес численности иностранных граждан из стран СНГ из числа аспирантов (адъюнктов), ординаторов, интернов, ассистентов-стажеров образовательной организации в общей численности аспирантов (адъюнктов), ординаторов, интернов, ассистентов-стажеров

Удельный вес НПР, имеющих ученую степень кандидата и доктора наук, в общей численности НПР образовательной организации (без совместителей и работающих по договорам гражданско-правового характера)

Число диссертационных советов

• субъективность оценок экспертов: нет механизма, «заставляющего» эксперта быть добросовестным в своих высказываниях и квалифицированным в заданной сфере деятельности;

• не разработан механизм назначения весов факторов, способствующих ускоренному развитию организации (очевидно, что на разных этапах жизненного цикла и в различных средах функционирования организаций коэффициенты не могут быть равными);

• аддитивность влияния факторов на интегральный результат не обоснована.

Для усовершенствования процедуры оценки НШ вузов предлагается выполнить ряд этапов.

1. Обосновываются и выбираются показатели деятельности вузов; можно использовать показатели, приведенные в [5] или [6].

2. Обосновывается и выбирается правило приведения показателей к единой шкале; обычно все показатели приводятся к шкале [0-1] согласно формуле

Х,= -

Х-тт{Х) max(X)— min(X)

i' = l,..., п,

(4)

где X — исходное значение показателя; X— нормированное значение показателя; п — количество показателей деятельности.

3. Вводится понятие эталона для каждой категории организаций; эталон задается соответствующим вектором в заданном ПП:

^ _ y'l у-Ч

■;Хт.

(5)

Обычно эталон — это типичный представитель группы объектов [4]. Для средней группы НШ это представление сохраняется: Э2 — типичный представитель, а для группы лидеров Э1 — наилучший представитель группы или представление о таковом вышестоящей организации. Соответственно Э3 — это не типичный представитель деградирующей в научном плане группы организаций, а худшее возможное состояние НШ, в котором она еще может считаться таковой.

4. Задается или рассчитывается по обучающей выборке мера близости между двумя точками А и В признакового пространства. Например, обобщенная евклидова мера имеет вид [4]

d(A,B)=¡2ial.(xf-x?)

(6)

Различают два способа оценки параметров коэффициентов а модели (6): экспертное задание и расчет по статистическим данным. Эти коэффициенты одновременно выравнивают размерность величин, с которыми оперирует соотношение (6).

При задании коэффициентов а меры (6) эксперты руководствуются сравнительной важностью факторов. К группе экспертов при этом предъявляются требования компетентности и отсутствия ангажированности.

Высказывания экспертов должны влиять на их статус и величину материального вознаграждения за выполненную работу. В [4, 7] описаны механизмы расчета весов экспертов, с которыми их мнение учитывается при задании а.. Если

N

1

2

Таблица 3. Данные мониторинга эффективности деятельности железнодорожных вузов по рейтинговым показателям

1 Единица Университеты

N

измерения МИИТ ПГУПС РГУПС УрГУПС ОмГУПС СГУПС ДВГУПС СамГУПС ИрГУПС

1 ед. 0,00 13,10 33,63 29,07 11.37 4.46 83.06 0.82 52.74

2 0.00 22.86 37.74 5.49 18.04 6.32 2.38 1.37 83.10

3 398.66 717.86 513.92 1697.61 770.98 415.79 268.40 291.62 1431.44

4 2.35 4.49 6.35 3.66 3.21 2.79 15.66 0.27 3.86

5 5.19 7.71 12.52 2.06 3.96 3.53 6.13 2.19 5.92

6 112.28 178.25 224.17 122.01 359.66 136.00 131.90 194.96 206.59

7 тыс. руб. 432.82 711.14 280.89 144.10 162.55 424.98 83.00 81.68 533.88

8 % 0.00 2.95 0.05 0.00 0.00 0.01 0.00 0.00 0.00

9 « 15.47 10.79 19.58 19.56 17.90 11.44 14.85 12.22 18.48

10 ед. 5 7 2 3 4 2 2 2 3

11 « 0.07 0.39 3.18 0.69 0.74 1 0.68 0.27 0.00

12 % 0.40 0.34 0.60 0.00 0.00 0.33 0.00 0.00 0.00

13 « 1.30 0.66 0.00 0.79 0.66 0.00 2.11 0.00 7.97

14 « 3.12 6.60 0.00 0.00 3.95 1.03 0.00 4.05 0.00

15 « 67.80 67.49 74.53 62.49 80.94 65.62 63.30 67.70 66.87

16 ед. 7 4 0 3 2 2 3 0 1

вследствие ангажированности или некомпетентности эксперт «ошибся», то его балл снижается и он теряет возможность в дальнейшем влиять на результат оценки.

При использовании статистических данных за основу принимается матрица Б, столбцы которой — сравниваемые НШ или вузы, а строки — параметры оценки их деятельности. По сути, данный подход — это факторный анализ вклада использованных параметров деятельности и учета их взаимной корреляции [7]: чем меньше связь параметра с другими, тем больше он несет информации, а значит, больше его вклад, т. е. весовой коэффициент в формуле (6).

Таким образом, первоначально рассчитывается ковариационная матрица М нормированных параметров деятельности вузов:

Для наибольшего собственного числа рассчитывается собственный вектор

Э = а^шт (й(С, Э))

(11)

М = Б • БТ,

(7)

где верхний индекс Т означает транспонирование матрицы Б.

Все элементы ковариационной матрицы нормируются ее диагональными элементами, что приводит ее к корреляционной матрице.

Для корреляционной матрицы находятся ее собственные числа

V = eigenvek (М, тах (!)).

(9)

2 = eigenvals (М).

(8)

Значения элементов собственного вектора используются в качестве весовых коэффициентов а параметров деятельности вузов.

5. Формируется матрица эталонных значений параметров деятельности для выбранного числа категорий. Эталонные значения могут обосновываться экспертами либо задаваться по некоторому правилу. Например, если используется линейный подход, в случае трех категорий при единичном диапазоне изменения параметров деятельности нижней границей высшей категории будет значение каждого параметра, равное 2/3, или 0,67, а верхней границей низщей категории — значение параметра, равное 1/3, или 0,33. Между этими границами будут располагаться значения параметров, относящиеся к средней категории сравниваемых НШ.

Этапы 1-5 подготовительные. Они определяют систему принятия решений о результативности НШ организации.

6. Для произвольной организации С с неизвестной принадлежностью к категории Э определяются расстояния

а(с, э^, а(с, Э2), а(с, Э3). (10)

7. По формуле

определяется категория, расстояние до эталона которой минимально. Это и есть категория, отражающая реальное состояние организации в научной сфере.

В качестве примера используем приведенную методику для расчета показателей деятельности девяти железнодорожных вузов по 16 параметрам на основании официальных данных мониторинга эффективности, проводимого в 2017 г. Показатели деятельности приведены в табл. 2, значения этих показателей — в табл. 3, а значения показателей, нормированные по формуле (4), — в табл. 4.

Анализ табл. 4 можно провести, сравнивая вузы по следующим показателям (см. табл. 5):

а) отношение суммы первых мест к сумме последних мест;

б) среднее по всем показателям;

в) отношение среднего по показателям к стандартному отклонению.

Распределение мест вузов по приведенным трем показателям представлено в табл. 6.

В соответствии с приведенной методикой (формулы 4-11) из анализа табл. 4 следует, что по первому показателю оценки деятельности наибольшее значение имеет ДвГУПС (83,06), а наименьшее — МИИТ (0,00). Если не учитывать веса первого показателя, то к низшей категории

Государство и транспорт Таблица 4. Нормированные показатели деятельности железнодорожных вузов

Университеты

МИИТ ПГУПС РГУПС УрГУПС ОмГУПС СГУПС ДВГУПС СамГУПС ИрГУПС

1 0 0,16 0.40 0.35 0.14 0.05 1 0.01 0.63

2 0 0.28 0.45 0.07 0.22 0.08 0.03 0.02 1

3 0.09 0.31 0.17 1 0.35 0.10 0 0.02 0.81

4 0.14 0.27 0.40 0.22 0.19 0.16 1 0 0.23

5 0.30 0.54 1 0 0.18 0.14 0.39 0.01 0.37

6 0 0.27 0.45 0.04 1 0.10 0.08 0.33 0.38

7 0.56 1 0.32 0.10 0.13 0.55 0 0 0.72

8 0 1 0.02 0 0 0 0 0 0

9 0.53 0 1 1 0.81 0.07 0.46 0.16 0.87

10 0.60 1 0 0.20 0.40 0 0 0 0.20

11 0.02 0.12 1 0.22 0.23 0.29 0.21 0.08 0

12 0.67 0.57 1 0 0 0.55 0 0 0

13 0.16 0.08 0 0.10 0.08 0 0.26 0 1

14 0.47 1 0 0 0.60 0.16 0 0.61 0

15 0.29 0.27 0.65 0 1 0.17 0.04 0.28 0.24

16 1 0.57 0 0.43 0.29 0.29 0.43 0 0.14

Таблица 5. Сравнение вузов по различным показателям

Показатели Университеты

МИИТ ПГУПС РГУПС УрГУПС ОмГУПС СГУПС ДвГУПС СамГУПС ИрГУПС

а 0,06 1,0 1,0 0,05 0,25 0,0 0,1 0,0 0,13

б 0,3 0,47 0,43 0,23 0,35 0,17 0,24 0,1 0,41

в 0,991 1,301 1,086 0,712 1,068 0,987 0,723 0,55 1,11

Таблица 6. Распределение мест вузов по трем показателям

Показатели Занимаемое место

1 2 3 4 5 6 7 8 9

а ПГУПС РГУПС ОмГУПС ИрГУПС ДвГУПС МИИТ УрГУПС СГУПС СамГУПС

б ПГУПС РГУПС ИрГУПС ОмГУПС МИИТ ДвГУПС УрГУПС СГУПС СамГУПС

в ПГУПС ИрГУПС РГУПС ОмГУПС МИИТ СГУПС ДвГУПС УрГУПС СамГУПС

будут отнесены: МИИТ, ПГУПС, ОмГУПС, СГУПС и СамГУПС, а в среднюю категорию войдут РГУПС, УрГУПС и ИрГУПС.

Расчеты осуществлены в среде Mathcad, реализующей алгоритм вычисления расстояний до эталонных категорий.

В табл. 7 приведены значения весовых коэффициентов а, рассчитанные для 16 показателей деятельности НШ.

С использованием программы в среде Mathcad получены результаты оценки расстояний железнодорожных вузов до трех эталонных категорий (табл. 8).

Из анализа результатов расчетов следует, что наименьшее расстояние ^ = 0,484 до эталона высшей категории имеет ПГУПС; минимальное расстояние

^ = 0,313 до эталона второй категории — МИИТ; наименьшее расстояние = 0,169 до эталона низшей категории — СГУПС.

На рисунке приведены результаты оценки вузов методом факторного анализа. Выбраны два фактора, соответствующие наибольшим собственным числам корреляционной матрицы параметров оценивания. Для этих двух собственных чисел найдены собственные векторы, использованные в программе как нагрузки к параметрам.

В двумерном факторном пространстве каждый вуз представлен точкой. Рейтинг вуза тем выше, чем выше и правее располагается его символ. Видно, что ПГУПС имеет высшие значения показателей и образует первый кластер; МИИТ,

ОмГУПС, ИрГУПС и РГУПС образуют второй кластер со средними значениями показателей и, наконец, УрГУПС, СГУПС, ДвГУПС и СамГУПС образуют третий кластер с низкими значениями показателей.

В статье предложена методика расчета рейтинга научных школ. Данная методика может быть использована как для расчета рейтинга вузов, так и для расчета других рейтинговых оценок показателей деятельности: научных школ, факультетов, кафедр, групп и т. д. Кроме того, методика позволяет сравнивать научные школы различных вузов между собой, классифицировать их по категориям (лидеры, удовлетворительные НШ, деградирующие НШ), управлять развитием

Таблица 7. Расчетные значения весовых коэффициентов показателей

Номер показателя 1 2 3 4 5 6 7 8

Вес показателя 0,057 0,064 0,074 0,069 0,064 0,060 0,047 0,072

Номер показателя 9 10 11 12 13 14 15 16

Вес показателя 0,047 0,072 0,067 0,058 0,057 0,058 0,069 0,065

0.2

Таблица 8. Результаты расчетов

Университет Категория Расчетная

высшая средняя низшая категория

МИИТ 0,543 0,313 0,349 Средняя

ПГУПС 0,484 0,372 0,514 Высшая

РГУПС 0,583 0,423 0,489

УрГУПС 0,672 0,418 0,346

ОмГУПС 0,543 0,341 0,400

СГУПС 0,688 0,374 0,169 Низшая

ДвГУПС 0,688 0,405 0,274

СамГУПС 0,752 0,433 0,179

ИрГУПС 0,581 0,360 0,378

НШ организаций, в том числе за счет дополнительного финансирования для приоритетного решения задач отрасли.

В качестве направления для дальнейших исследований авторы предлагают использовать меру Махаланобиса [8] и далее метод кластерного анализа; для обоснования разбиения признаков по категориям можно использовать метод анализа иерархий (МАИ), предложенный Т. Саати, или метод нечетких оценок. □

Литература:

1. Постановление Правительства РФ от 8 апреля 2009 г. № 312 «Об оценке и мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения».

2. Приказ Министерства образования и науки Российской Федерации № 161 от 5 марта 2014 г. «Об утверждении типового положения о комиссии по

оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения».

3. Галиев И. И., Панычев А. Ю., Череми-син В. Т. Методика оценки деятельности научных школ вузов железнодорожного транспорта // Омск. научн. вестн. Сер. Общество. История. Современность. 2010. № 3 (88).

4. Лябах Н. Н., Шабельников А. Н. Техническая кибернетика на железнодорожном транспорте: учебник. Ростов-на-Дону: РГУПС: СКНЦ ВШ, 2002. - 283 с.

5. Приказ Министерства образования и науки РФ № 162 от 5.03.2014 «Об утверждении порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности и порядка подтверждения указанных сведений федеральными органами исполнительной власти в целях мониторинга, порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности в целях оценки, а также состава сведений о результатах деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, предоставляемых в целях мониторинга и оценки».

6. URL: http://miccedu.ru/monitoring.

7. Хаблак К. А. Совершенствование работы комплекса «Станция порт» на основе развития системы управления: автореф. дис. ... к. т. н. Ростов-на-Дону: РГУПС, 2004. - 22 с.

8. Калинина В. Н., Соловьев В. Н. Введение в многомерный статистический анализ: учеб. пособие / М. : ГУУ, 2003. - 66 с.