CC BY
38
УДК 303.732.4 DOI: 10.17213/0321-2653-2017-1-24-31
СИСТЕМНЫЙ АНАЛИЗ МЕЖДУНАРОДНОЙ ДЕЯТЕЛЬНОСТИ ВУЗОВ НА ОСНОВЕ КОГНИТИВНОГО МОДЕЛИРОВАНИЯ
SYSTEM ANALYSIS OF THE INTERNATIONAL ACTIVITY OF HIGHER EDUCATION INSTITUTIONS ON THE BASIS OF COGNITIVE MODELLING
© 2017 г. Д.В. Гринченков, А.В. Коломиец
Гринченков Дмитрий Валерьевич - канд. техн. наук, доцент, зав. кафедрой «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: grindv@yandex.ru
Коломиец Анастасия Витальевна - инженер, аспирант, кафедра «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: anastasia.srstu@gmail.com
Grinchenkov Dmitriy Valerievich - Candidate of Technical Sciences, assistant professor, head of department «Software Computer Engineering», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: grindv@yandex.ru
Kolomiets Anastasiya Vitalevna - engineer, post-graduate student, department Software Computer Engineering», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: anastasia.srstu@gmail.com
Рассмотрены основные методы анализа слабоструктурированных систем: аксиоматический, эвристический, системный анализ, «мягкий» системный анализ и когнитивная теория выбора. Делается вывод о целесообразности использования когнитивного моделирования для системного анализа международной деятельности вузов. Приведен набор первичных данных, характеризующих международную деятельность. Также построена когнитивная карта и функциональный граф международной деятельности вузов. Рассмотрены вопросы оптимизации модели с целью динамического когнитивного моделирования.
Ключевые слова: системный анализ; международная деятельность; когнитивное моделирование; когнитивная карта; функциональный граф.
In this work the main methods of the analysis of semistructured systems are considered. There is axiomatic, heuristic, system analysis, «soft» systems analysis and cognitive theory of choice. It is concluded that the using of cognitive modeling is more suitable for system analysis of international activities of Universities. Offer the array of initial data which characterizes the international activity. Also, the cognitive map and the functional graph of the international activity of higher education institutions is constructed. Optimization issues of the model for dynamic cognitive modeling are considered.
Keywords: ystem analysis; international activity; cognitive modeling; cognitive map; functional graph.
Введение
В условиях возрастающей конкуренции среди высших учебных заведений (вузов) и субъектов предоставления образовательных услуг, все более актуальным становится направление институциональных исследований. Данные исследования позволяют на научно обоснованном уровне решать вопросы стратегического планирования и информационного обеспечения про-
цессов принятия управленческих решений, таких как выбор тренда развития, институциональный дизайн, стратегический менеджмент и управление международной деятельностью (МД). Владение информацией о наиболее вероятных сценариях развития событий позволяет заблаговременно принять соответствующие управленческие решения, улучшающее ситуацию в вузе и вокруг него, скоординировать деятельность руководства вуза и предотвратить возникновение кризисных
ситуаций благодаря возможности заранее обратить внимание на слабые места.
Международные отношения и международный обмен являются составной неотъемлемой частью функционирования современных вузов. Направленность на международный характер отношений в настоящее время играет ключевую роль почти во всех вузах, а также в общем контексте политики высшего образования. Международное научно-исследовательское сотрудничество приобретает все большее и большее значение. До настоящего времени эта область была представлена как едва исследованная при помощи научно обоснованных и сопоставимых показателей. С другой стороны, существует сложность анализа МД и принятия управленческих решений в этой области в связи с многоаспект-ностью происходящих в МД процессов и их взаимосвязанностью, из-за сложности исследования отдельных явлений, отсутствием достаточной количественной информации о динамике процессов. В силу указанных особенностей, систему МД вуза можно отнести к слабоструктурированным системам. Под структуризацией понимается возможность количественного выражения зависимостей между элементами ситуации. Слабоструктурированными (смешанными) являются проблемы, как правило, сложные, отличающиеся, в первую очередь, качественными зависимостями между элементами ситуации. При этом сами элементы могут быть как качественными, так и количественными. Для слабоструктурированных систем невозможно создание формальных традиционных количественных моделей, так как для них характерны неопределённость, описание на качественном уровне, неоднозначность оценки и т.п. [1].
Анализ методов для слабоструктурированных систем
Для решения слабоструктурированных и неструктурированных проблем используется ряд классических и когнитивных подходов принятия решений, такие как аксиоматический, эвристический, системный анализ, «мягкий» системный анализ, когнитивная теория выбора.
Аксиоматические подходы. Относятся к классическим методам анализа и основаны на аксиоматике теории полезности. Научной базой ряда методов принятия решений является теория полезности, имеющая аксиоматический характер. На базе аксиом доказывается базовая для принятия решений теорема о существовании числовой
функции полезности и, определенной на множестве альтернатив А, такой, что отношение слабого порядка R между альтернативами х и у (хRу) существует тогда и только тогда, когда функции полезности х и у удовлетворяют соотношению
и(х) > и(у) [2].
Модели субъективной ожидаемой полезности (СОП). Эти модели являются развитием теории полезности и позволяют определить полезность и субъективную вероятность свершения того или иного события. Распространенным методом СОП является метод деревьев решений [3]. В этом методе проблема представляется в виде дерева (иерархии) подпроблем, решение которых, в той или иной степени, решает корневую проблему. Под корневой проблемой здесь понимается проблема, расположенная на самом верхнем уровне иерархии проблем, т.е. в корне дерева решений. Считается, что решение подпроблем нижнего уровня иерархии позволяет решить проблему (подпроблему) вышестоящего уровня. Тогда решение получается сворачиванием дерева от конца к началу перемножением СОП на ветвях дерева. Далее выбирается путь с максимальной субъективной полезностью.
Многокритериальная теория полезности. Эта теория является развитием теории полезности, когда альтернативы оцениваются по многим критериям. В многокритериальной теории к аксиомам теории полезности добавлены аксиомы независимости. При выполнении условия строгой условной независимости по полезности, функция полезности имеет либо аддитивный, либо мультипликативный вид:
N N
и(Х) = X™!и! (Х1) пРи XМ1 = 1
1=1 1=1
N N
или и (х) = П (1+км I и (х1)) при X М ф 1,
1=1 1=1
где и, и — функции полезности, изменяющиеся от 0 до 1; м — коэффициенты важности (веса) критериев, причем 0 < < 1; коэффициент
к >—1.
Таким образом, многокритериальную функцию полезности можно определить, если известны значения коэффициентов м,, к, а также однокритериальные функции полезности Ц(х)
[4].
Общим недостатком методов принятия решений, основанных на аксиоматических теориях, является непроверяемый характер аксиом, что заставляет принимать на веру правила рацио-
нального поведения, вытекающие из той или иной аксиоматической теории. Аксиоматические методы предполагают упорядочивание заданных альтернатив, на основе упорядочивания их функций полезности по одному или нескольким критериям. Эти методы применимы для принятия решений в стационарных социально-экономических системах, когда задан набор допустимых альтернатив или эти альтернативы могут быть легко получены экстраполяцией опыта эксперта на текущую ситуацию.
Эвристические методы. Эти методы просты и удобны, но не имеют научного обоснования. В их основе лежат непроверяемые допущения, такие как возможность количественных измерений отдельных качеств и другие.
Метод аналитической иерархии. В этом методе используется дерево критериев, в котором более общие критерии делятся на критерии частного характера. Для каждой группы критериев определяются коэффициенты важности. Альтернативы сравниваются между собой по отдельным критериям. В качестве метода сравнения используется метод попарных сравнений. На основе сравнений альтернатив и коэффициентов важности критериев вычисляется взвешенная сумма оценок критериев (обобщенный критерий), на основе которого осуществляется выбор наилучшей альтернативы [5].
Метод взвешенной суммы оценок критериев. При этом методе альтернативам присваивается балльная оценка по каждому из критериев. Определяются коэффициенты важности критериев. Ценность альтернативы определяется как сумма произведений оценки альтернатив и коэффициентов важности критериев. Далее выбирается альтернатива с наибольшим показателем ценности.
Метод компенсации. Данный метод является еще одним не менее распространенным эвристическим методом, используемым при попарном сравнении альтернатив. В этом методе достоинства и недостатки каждой альтернативы выписываются рядом. Затем компенсируются оценки одной альтернативы оценками другой и, таким образом, можно выбрать предпочтительную альтернативу [6].
Вышеперечисленные методы применимы для принятия решений в стационарных социально-экономических системах, когда задан набор допустимых альтернатив. Недостаток этих методов - это отсутствие их научного обоснования.
Системный анализ. В отличие от исследования операций, системный анализ позволяет решать слабоструктурированные задачи. Системный анализ имеет общие черты с исследованием операций. При системном анализе строится логическая модель зависимостей между целями, вариантами решений, ресурсами и окружающей средой. Системный анализ включает ряд последовательных этапов изучения проблемы и принятия решений:
1. Выделение цели или нескольких целей.
2. Определение вариантов решения проблемы.
3. Определение необходимых ресурсов.
4. Построение логической модели зависимостей между целями, вариантами решений, ресурсами и окружающей средой.
5. Определение критериев выбора лучшего варианта решения.
6. Выбор лучшего варианта решения.
Отсутствие объективной информации не
позволяет объединить некоторые параметры системы в единую модель оценки качества альтернатив. Эти параметры становятся критериями оценки качества альтернатив, а сама оценка -многокритериальной. Таким образом, системный анализ можно определить как объединение общей схемы системного подхода и методов оценки и сравнения многокритериальных альтернатив на основе субъективных суждений [7].
Анализ политики. Этот подход является современным вариантом системного анализа и направлен на решение более широкого класса проблем принятия решений: коллективного выбора, достижения консенсуса, учета мнений многих активных групп, начальной структуризации проблемы. В методологии анализа политики основной упор делается на предварительный анализ, сбор сведений о различных вариантах решений, подробный анализ вариантов решений. При этом этап сравнения и выбора альтернатив остается за рамками этой методологии [8].
Общий недостаток всех перечисленных методов (аксиоматических, эвристических, методов системного анализа) заключается в том, что мнения экспертов непосредственно включаются в функцию полезности или целевую функцию. В этом случае значение функции, на основании которой происходит упорядочивание альтернатив, включает систематические ошибки, связанные с психологическими аспектами экспертных оценок.
Другим общим недостатком описанных выше методов принятия решений является их направленность на выбор одной альтернативы из предложенного множества. Дело в том, что предложенное множество альтернатив может вообще не содержать лучшей альтернативы.
Рассмотренные выше методы принятия решений имеют общий недостаток - они не стимулируют у экспертов и аналитиков процессы генерации новых не очевидных и, возможно, лучших альтернатив, поскольку функции полезности или целевые функции не имеют прямой связи со структурными особенностями рассматриваемой проблемы или ситуации.
От описанных недостатков свободен следующий подход к принятию решений. «Мягкий» системный анализ включает ряд логически связанных этапов, выполнение которых направлено на изучение «корней» проблемы. Основой «мягкого» системного подхода является концептуальное моделирование проблемы, и его преимущества заключаются в том, что основные усилия эксперта в последних двух методах принятия решений направлены на изучение сути проблемы (корней проблемы или доминантной структуры) [9], причем процесс изучения проблемы имеет многошаговый, повторяющийся характер. Изучение проблемы осуществляется с использованием когнитивного моделирования проблемы. Идеальная цель такого глубокого изучения проблемы заключается в нахождении такой альтернативы, что ее предпочтительность становится очевидной без применения дополнительных процедур выбора. Когнитивное моделирование позволяет оценить возможные последствия решений и определить, могут ли эти решения дестабилизировать систему и какие качественные изменения произойдут в факторах после того, как эти решения будут выполнены. Когнитивный анализ иногда именуется исследователями «когнитивной структуризацией» [10].
Сегодня когнитивный анализ рассматривается как один из наиболее мощных инструментов исследования нестабильной и слабоструктурированной среды. Он способствует лучшему пониманию существующих в среде проблем, выявлению противоречий и качественному анализу протекающих процессов. Суть когнитивного (познавательного) моделирования - ключевого момента когнитивного анализа — состоит в том, чтобы сложнейшие проблемы и тенденции развития системы отразить в упрощенном виде в модели, исследовать возможные сценарии воз-
никновения кризисных ситуаций, найти пути и условия их разрешения в модельной ситуации. Использование когнитивных моделей качественно повышает обоснованность принятия управленческих решений в сложной и быстроизме-няющейся обстановке, избавляет эксперта от «интуитивного блуждания», экономит время на осмысление и интерпретацию происходящих в системе событий [11].
Когнитивное моделирование способствует лучшему пониманию проблемной ситуации, выявлению противоречий и качественному анализу системы. Цель моделирования состоит в формировании и уточнении гипотезы о функционировании исследуемого объекта, рассматриваемого как сложная система, которая состоит из отдельных, но все же связанных между собой элементов и подсистем.
Исходя из вышеизложенного, можно сделать вывод, что для анализа МД вузов, как для слабоструктурированной системы, целесообразно использовать когнитивный анализ. Ключевым элементом когнитивного анализа является построение когнитивной модели.
Разработка когнитивной модели МД вузов начинается с построения когнитивной карты, имеющей следующий общий вид:
G = V,Е),
где V, 1 = 1, 2, ..., к - вершины; Е, 1 = 1, 2, ..., к -дуги, отражающие взаимосвязь между этими вершинами.
Построение подобной модели представляет собой процесс формализации знаний, полученных на этапе когнитивной структуризации.
Оно предполагает решение следующих задач:
1. Выделение основных факторов, воздействующих на развитие ситуации.
2. Определение взаимосвязи между факторами путем рассмотрения причинно-следственных связей (построение когнитивной карты в виде ориентированного графа).
3. Изучение степени взаимовлияния разных факторов. Для этого используются как математические модели, описывающие точно выявленные количественные зависимости между факторами, так и субъективные представления эксперта относительно неформализуемых качественных взаимоотношений факторов.
Ситуационный анализ мировых рейтинговых систем оценки международной деятельности вузов, данных методики расчета показателей
мониторинга эффективности организаций высшего образования в РФ позволил сформировать первичный набор факторов, характеризующих МД вуза. Основным индикатором при оценке МД является доля иностранных студентов. Этот индикатор измеряет процентную долю иностранных студентов в общем количестве студентов на ступени высшего образования в принимающей стране. Для представления МД в университете будет использован набор первичных данных Vi (/ = 1,22), структура и описание которых приведены в табл. 1.
Следующим этапом когнитивного моделирования МД является определение взаимосвязи между факторами путем рассмотрения причинно-следственных связей (построение когнитивной карты в виде ориентированного графа).
На этом этапе выдвигается гипотеза о функциональной структуре ситуаций на основе имеющихся данных. На множество выделенных факторов выдвигается гипотеза о существовании и силе причинно-следственного отношения между любой парой факторов ситуаций. Когнитивная карта международной деятельности вузов представлена на рис. 1.
Когнитивная карта отображает лишь факт наличия влияний факторов друг на друга. В ней не отражается ни детальный характер этих влияний, ни динамика изменения влияний в зависимости от изменения ситуации, ни временные изменения самих факторов.
Учет всех этих обстоятельств требует перехода на следующий уровень структуризации информации, т. е. к когнитивной модели.
Таблица 1
Перечень факторов, характеризующих МД вузов
№ Описание данных
Vi Совокупный чистый доход
V2 Обменный курс валют
V3 Уровень ВВП в стране
V4 Уровень ВВП на душу населения
V5 Количество трудозанятого населения в образовательной деятельности
V6 Уровень безработицы в стране
V7 Численность населения страны по полу
V8 Численность населения страны по возрасту от 18 до 24 лет
V9 Средняя стоимость обучения в регионе
V10 Средние расходы на проживание в регионе
V11 Численность иностранных студентов из стран СНГ
V12 Численность иностранных студентов из стран дальнего зарубежья
V13 Численность иностранных студентов из стран СНГ, обучающихся по направлению МО РФ (квота)
V14 Численность иностранных студентов из стран дальнего зарубежья, обучающихся по направлению МО РФ (квота)
V15 Численность иностранных студентов из стран СНГ, обучающихся на контрактной основе
Vi6 Численность иностранных студентов из стран дальнего зарубежья, обучающихся на контрактной основе
V17 Численность студентов ведущих иностранных ВУЗов, привлеченных в ВУЗ на срок не менее 1 месяца
Vi8 Численность зарубежных ведущих профессоров, преподавателей и исследователей, работающих в образовательной организации не менее 1 семестра
V19 Численность иностранных аспирантов из стран СНГ
V20 Численность иностранных аспирантов из стран дальнего зарубежья
V21 Количество образовательных программ, разработанных и реализуемых в партнерстве с ведущими иностранными вузами
V22 Численность НПР вуза, принявших участие в программах академической мобильности
На этом уровне каждая связь между факторами когнитивной карты раскрывается соответствующими зависимостями, каждая из которых может содержать как количественные (измеряемые) переменные, так и качественные (не измеряемые) переменные. При этом количественные переменные представляются естественным образом в виде их численных значений. Каждой же качественной переменной ставится в соответствие совокупность лингвистических переменных, отображающих различные состояния этой качественной переменной.
Формально когнитивная модель ситуации, как и когнитивная карта, может быть представлена графом, однако каждая дуга в этом графе представляет уже некую функциональную зависимость между соответствующими факторами; т.е. когнитивная модель ситуации представляется функциональным графом. Функциональный граф МД вузов представлен на рис. 2.
Для выявления связей и отображения характера взаимодействия факторов применялся нормативный подход. Он основывается на субъективном, оценочном восприятии взаимодействия факторов и его использование также позволяет приписать дугам веса, т. е. отразить степень (интенсивность) взаимодействия факторов. Выяснение влияний факторов друг на друга и оценки этих влияний опираются на знания эксперта и выражаются в количественном виде с помощью шкалы [-1, 1]. При положительной причинной связи (знак «плюс») считается, что увеличение значения фактора-причины приводит к увеличению значения фактора-следствия. При отрицательной причинной связи (знак «минус») считается, что увеличение значения фактора-причины приводит к уменьшению значения фактора-следствия. Значения влияния факторов международной деятельности вуза друг на друга представлены в табл. 2.
Рис. 1. Когнитивная карта международной деятельности вузов
VI8 717
Рис. 2. Функциональный граф международной деятельности вуза
Таблица 2
Значения влияния факторов международной деятельности Internationalization I
Density Hierarchy Index Total Nr. Factors Total Nr. Connections Nr. Transmitter Nr. Receiver Nr. Ordinary Nr. NoConnectio
0,115702479 deactivated by author 22 56 0 0 22 0
1
Concepts Outdegree Indegree Centrality Transmitter ¡Receiver ¡Ordinary ¡no connection |
VI V2 V3 V4 V5 V6 V7 V3 V9 V10
VII V12 V13 V14 V15 V16 V17 V18 V19 V20 V21 V22
2,50 2,00 9,00 2,50 2,50 1,00 1,00 1,00 2,00 6,00 1,00 1,00 1,00 2,50 1,00 2,00 1,50 2,00 3,00 5,00 1,00 2,00
3,00 3,00 6,00 1,00 4,00 2,00 1,00 1,00 0,50 6,00 3,00 3,00 2,50 2,00 1,00 1,00 2,00 2,50 1,50 3,50 1,00 2,00
Для анализа структуры когнитивной карты международной деятельности вузов использовалась некоммерческая система моделирования когнитивных карт FCMapper [12]. Такие системы моделирования ориентированы в большей степени на анализ структуры когнитивных карт, а не на анализ динамики развития ситуаций, моделируемых когнитивными картами.
Для построения динамической когнитивной модели международной деятельности вуза необходимо последовательно выполнить следующие шаги:
- определить, какие переменные имеют существенное значение в каждом конкретном случае: осуществляется с помощью статистического анализа для переменных с достаточным объемом подходящих данных. Актуальность остальных переменных оценивается экспертными заключениями и проведением более масштабного моделирования;
- формализовать количественные зависимости факторов, которые описываются разными формулами (закономерностями), зависящими от предмета исследования, т. е. от самих факторов. Этот один из наиболее сложных этапов требует проверки целого ряда различных альтернатив;
- проверить адекватность когнитивной модели (верификация когнитивной модели);
- получить прогноз развития ситуации и определить механизмы влияния на ее развитие.
5,50 5,00 15,00 3,50 6,50 3,00 2,00 2,00 2,50 12,00 4,00 4,00 3,50 4,50 2,00 3,00 3,50 4,50 4,50 8,50 2,00 4,00
Реализация вышеописанной модели позволит проводить качественный анализ международной деятельности вузов и обеспечивать принятие эффективных и обоснованных управленческих решений.
Литература
1. Ансофф И. Стратегическое управление: монография. М.: Экономика, 1989. 520 с.
2. Ларичев О.П. Наука и искусство принятия решений. М.: Наука, 1979. 200 с.
3. Брет Ланц. Программирование на R. Бирмингем - Мум-бай: изд. дом Пакт, 2013. 153 с.
4. Бурков В.Н., Новиков Д.А. Теория активных систем: состояние и перспективы. М.: СИНТЕГ, 1999. 128 с.
5. Кульба В.В., Кононов Д.А., Косяченко С.А., Шубин А.Н. Методы формирования сценариев развития социально-экономических систем. М.: СИНТЕГ, 2004. 296 с.
6. ГринченковД.В., Кущий Д.Н. Принципы построения программного продукта для поддержки процесса принятия решений на основе интегрированных экспертных оценок // Изв. вузов. Электромеханика. 2012. № 5. С. 69 - 73.
7. Гринченков Д.В., Кущий Д.Н. Актуальность и принципы построения интеллектуальной информационной системы формирования методического обеспечения учебных дисциплин на основе ресурсов сети Интернет // Изв. вузов. Сев.-Кавк. регион. Техн. науки. 2014. № 3. С. 114 - 119.
8. Грин М. Измерение интернационализации в исследовательских университетах. Нью-Йорк: Американский Совет по Образованию, 2008. С. 76.
9. Методика расчета показателей мониторинга эффективности образовательных организаций высшего образова-
ния 2015 г. (на основе данных формы «Мониторинг по основным направлениям деятельности образовательных организаций высшего образования за 2014 г. (форма № 1-Мониторинг). URL: http://www.garant.ru/products/ ipo/prime/doc/71273326 (дата обращения: 15.08.2016).
10. Ткачев А.Н., Сучков Г.В., Иванченко А.Н., Гринчен-ков Д.В., Зайцев Р.Г., Лобова Т.В., Овчинников П.В., Крассовский М.Ю. Организация подготовки конкурентоспособных специалистов в сетевой межвузовской обра-
зовательной среде: монография; Юж.-Рос. техн. ун-т. Новочеркасск: ЮРГТУ (НПИ), 2009. 236 с.
11. Брандербург У., Федеркели Г. Как измерять международную деятельность и интернационализацию образовательных учреждений. Индикаторы и ключевые показатели. Вып. № 92. Берлин: Центр по развитию высшего образования. 2007. 42 c.
12. Официальный сайт ПО FCMapper. URL: http://www. fcmappers.net/ (дата обращения: 15.08.2016).
References
1. Ansoff I. Strategicheskoe upravlenie [Strategic management]. Moscow, Ekonomika Publ., 1989. 520 p.
2. Larichev O.P. Nauka i iskusstvoprinyatiya reshenii [Science and art of decision making]. Moscow, Nauka Publ., 1979, 200 p.
3. Bret Lants. Programmirovanie na R [Machine Learning with R]. Birmingham. Mumbai, Izdatel'skii Dom Pakt, 2013.
4. Burkov V.N., Novikov D.A. Teoriya aktivnykh sistem: sostoyanie i perspektivy [Theory of active systems: condition and prospects]. Moscow, SINTEG Publ., 1999, 128 p.
5. Kul'ba V.V., Kononov D.A., Kosyachenko S.A., Shubin A.N. Metody formirovaniya stsenariev razvitiya sotsial'no-ekonomicheskikh system [Methods of forming of scenarios of development of social and economic systems]. SINTEG Publ., 2004, 296 p.
6. Grinchenkov D.V., Kushchii D.N. Printsipypostroeniyaprogrammnogoprodukta dlyapodderzhkiprotsessaprinyatiya reshenii na osnove integrirovannykh ekspertnykh otsenok [The principles of creation of the software product for support of decision making process on the basis of the integrated expert evaluations]. Izv. vuzov. Elektromekhanika= Russian Electromechanics, 2012, no. 5, pp. 97. [In Russ.]
7. Grinchenkov D.V., Kushchii D.N. Aktual'nost' i printsipy postroeniya intellektual'noi informatsionnoi sistemy formirovaniya metodicheskogo obespecheniya uchebnykh distsiplin na osnove resursov seti Internet [Relevance and the principles of creation of an intellectual information system of forming of methodical providing subject matters on the basis of Internet resources]. Izv. vuzov. Sev.-Kavk. region. Tekhn. nauki, 2014, no. 3 (178), pp. 114-119. [In Russ.]
8. Grin M. Izmerenie internatsionalizatsii v issledovatel'skikh universitetakh [Measurement of internationalization at research universities]. New York, Amerikanskii Sovet po Obrazovaniyu, 2008, 76 p.
9. Metodika rascheta pokazatelei monitoringa effektivnosti obrazovatel'nykh organizatsii vysshego obrazovaniya 2015 g. (na osnove dannykh formy «Monitoring po osnovnym napravleniyam deyatel'nosti obrazovatel'nykh organizatsii vysshego obrazovaniya za 2014 g. (forma № 1-Monitoring). [Method of calculation of indicators of monitoring of efficiency of the educational organizations of the higher education of 2015 (on the basis of this form "Monitoring on the main activities of the educational organizations of the higher education for 2014 (Monitoring form No. 1).]. Available at: http://www.garant.ru/products/ ipo/prime/doc/71273326. (accessed 15.08.2016).
10. Tkachev A.N., Suchkov G.V., Ivanchenko A.N., Grinchenkov D.V., Zaitsev R.G., Lobova T.V., Ovchinnikov P.V., Krassovskii M.Yu. Organizatsiya podgotovki konkurentosposobnykh spetsialistov v setevoi mezhvuzovskoi obrazovatel'noi srede [The organization of training of competitive specialists in the network interuniversity educational environment]. Novocherkassk, YuRGTU (NPI) Publ., 2009. 236 p.
11. Branderburg U., Federkeli G. Kak izmeryat' mezhdunarodnuyu deyatel'nost' i internatsionalizatsiyu obrazovatel'nykh uchrezhdenii. Indikatory i klyuchevye pokazateli [How to measure the international activities and internationalization of educational institutions. Indicators and key indicators]. Berlin, Tsentr po razvitiyu vysshego obrazovaniya, vyp. 92, 2007, 42 p.
12. Ofitsial'nyi sait PO FCMapper [The official site of FCMapper]. Available at: http://www.fcmappers.net/ (accessed 15.08.2016).
Поступила в редакцию 18 января 2017 г.
