CC BY
6
УДК 378.1; 378.4
DOI: 10.25559/SITITO.14.201802.462-471
FUZZY-MULTIPLE EFFICIENCY RATING OF UNIVERSITIES BASED ON A COMPLEX OF ADDITIONAL INDICATOR
Galina E. Karataeva
Surgut State University, Surgut, Russia
НЕЧЕТКО-МНОЖЕСТВЕННЫЙ РЕЙТИНГ ЭФФЕКТИВНОСТИ ВУЗОВ НА ОСНОВЕ КОМПЛЕКСА ДОПОЛНИТЕЛЬНЫХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ
Г.Е. Каратаева
Сургутский государственный университет, г. Сургут, Россия
© Karataeva G.E., 2018
Keywords
Abstract
Rating of universities; complex evaluation; aggregated indicator; term-sets.
The article is devoted to the development and testing of ranking methods of universities depending on the quality of their educational services and other targets set by the governing government agencies. Known methods of such ranking do not allow to correctly take into account the currently available quantitative and qual-itative information. The problems are primarily related to the heterogeneity of the studied indicators, the pres-ence of both absolute and relative values among them, as well as the presentation of statistical information in the form of time series. These problems can be solved with the help of fuzzy-logical conclusions, allowing to form a comprehensive assessment of the state of the object on the basis of a complex of heterogeneous indicators. The proposed method allows to form a complex numerical evaluation of the effectiveness of the University on the basis of aggregation of indicators of six groups: 1) educational activities; 2) scientific activities; 3) human re-sources; 4) international activities; 5) infrastructure; 6) financial and economic activities. The technique includes the following stages: formation of a list of used indicators, divided into groups; ranking the importance of indica-tors (expert method); normalization of indicators; aggregation of time series available for the study of indicators; formation of linguistic variables for each indicator; calculation of terms for each linguistic variable; calculation of weight coefficients for these terms; quantification of values of linguistic variables and the actual ranking of compared universities by tabular method. The mathematical model used by the proposed method is based on a system of fuzzy-logical conclusions. The ranking of universities in the considered region can be compiled based on formed estimates. The method was tested at three regional universities of Khanty-Mansi Autonomous Region: Surgut State University (SurGU), Surgut State Pedagogical University (SurGPU) and Khanty-Mansi State Medical Academy (KHMGMA) are considered.
Ключевые слова
Аннотация
Рейтинг университетов; комплексная оценка; агрегированные показатели; терм-множества.
Статья посвящена разработке и апробации методики ранжирования вузов в зависимости от качества предоставляемых ими образовательных услуг и иных целевых показателей, задаваемых руководящими государственными структурами. Известные методики такого ранжирования не позволяют корректно учитывать имеющуюся на данный момент количественную и качественную информацию. Проблемы связаны, в первую очередь, с разнородностью исследуемых показателей, присутствием среди них как абсолютных, так и относительных величин, а также представлением статистической информации в виде временных рядов. Указанные проблемы могут быть решены с помощью аппарата нечетко-логических выводов, позволяющих сформировать комплексную оценку состояния объекта на основе комплекса разнородных показателей. Предлагаемая методика, позволяет сформировать комплексную числовую оценку эффективности деятельности вуза на основе агрегирования показателей шести групп: 1) образовательная деятельность; 2) научная деятельность; 3) кадровый потенциал; 4) международная деятельность; 5) инфраструктура; 6) финансово-экономическая деятельность. Методика включает в себя следующие этапы: формирование списка используемых показателей, разбитых по группам; ранжирование важности показателей (экспертным способом); нормирование показателей; агрегирование временных рядов доступных к исследованию показателей; формирование
Galina E. Karataeva, Doctor of Economics sciences, Professor of the Department of finance, money circulation and credit, Surgut State University (1 Lenina Str., Surgut 628412, Tyumen region, Russia), ORCID: http://orcid.org/0000-0003-4357-3127, [email protected]
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
лингвистических переменных для каждого показателя; расчет термов для каждой лингвистическом переменной; расчет весовых коэффициентов для этих термов; квантификация значений лингвистических переменных и собственно составление рейтинга сравниваемых вузов табличным методом. В основе математической модели, используемой предложенной методикой, лежит система нечетко-логических выводов, называемая нечетким пятиуровневым [0,1] - классификатором. На основе сформированных оценок может быть составлен рейтинг вузов рассматриваемого региона. Методика апробирована на региональных вузах Ханты-Мансийского автономного округа: рассматривались Сургутский государственный университет (СурГУ), Сургутский государственный педагогический университет СурГПУ и Ханты-Мансийская Государственная медицинская Академия (ХМГМА).
Introduction
Currently used methods for ranking the effectiveness of higher education institutions for a range of disparate indicators [1-3]. The method of rating the effectiveness of universities on a complex of different indicators is developed. The necessity of creation of the methodology is associated with the lack at present satisfactory mathematical models that allow bringing together indicators that reflect the success of the University in various areas: educational, scientific, personnel, international, infrastructure, financial and economic. As a rule, the analysis is reduced to the study of statistical data on various activities, followed by a comparison of individual indicators. There are no methods that allow combining the whole set of indicators for a particular University, to form a numerical assessment on its basis and, as a result, to rank the studied universities on the basis of the estimates. The problem is connected, first of all, with the heterogeneity of the studied indicators, the presence among them of both absolute and relative values, and also the presentation of statistical information in the form of time series [4,5]. These problems can be solved with the help of the mechanism of fuzzy-logical conclusions, allow forming a complex assessment of the state of the object based on a set of heterogeneous indicators [6-9].
Research methodology
The proposed method allows forming a complex numerical assessment of the effectiveness of the University on the basis of aggregation of six groups (similar to [4.6]): 1) educational activities; 2) scientific activities; 3) human resources; 4) international activities; 5) infrastructure; 6) financial and economic activities. On the basis of the formed assessments, the rating of the universities of the region in question can be compiled. The mathematical model used by the proposed method is based on a system of fuzzy-logical conclusions, called a fuzzy five - level [0,1] - classifier [10]. The system is adapted and improved for assessment of the state of complex dynamic systems [11 - 13]. The methodology has been tested for three universities of regional universities of Khanty-Mansiysk Autonomous Region - Yugra: Surgut State Pedagogical University (SurGPU), Surgut State University (Sur-GU) and Khanty-Mansiysk State Medical Academy (KHMGMA). The data about additional indicators of monitoring the effectiveness of regional universities for 2014 - 2016 were used as statistical material. The method includes the following stages:
Stage 1. Formation of the list of studied indicators in 6 groups reflects the effectiveness of the University the most completely and objectively (27 indicators, see table 1):
I. Educational Activities (5 indicators):
1. the average score of the unified state exam of students enrolled in bachelor's and specialist programs in all forms of education;
2. the share of students on master's programs in the total number of students on bachelor's, specialty, master's programs;
3. the total number of students of additional professional education programs;
4. the number of enterprises which have signed contracts on training of specialists;
5. the number of enterprises that are the bases of practice with which the contractual relations are formed;
II. Scientific activity (5 indicators):
6. total amount of funds received (for the reporting year) from scientific research, made by own efforts;
7. total number of publications of the organization per 100 NPR;
8. total number of graduate students (adjuncts), interns, residents, assistant trainees;
9. share of graduate students (adjuncts), interns, residents, assistant trainees studying in full-time education;
10. number of dissertation councils;
III. Human resources (6 indicators):
11. share of academic staff with academic degrees;
12. share of researchers with academic degrees;
13. share of academic staff of age category younger than 65 years;
14. share of academic staff of age category younger than 40 years;
15. average salary of academic staff (without external partners and working under civil contract);
16. average salary of researchers (without external partners and working under civil contract);
IV. International activities (3 indicators):
17. the share of foreign students in the total number of students enrolled in bachelor's, specialty, master's programs;
18. the total number of foreign graduate students (adjuncts), interns, residents, assistant trainees;
19. number of articles prepared in cooperation with foreign organizations;
V. Infrastructure (3 indicators):
20. share of students provided with a hostel, in the number of students in need of a hostel;
21. number of personal computers;
22. share of personal computers with Internet access;
VI. Financial and economic activities (5 indicators):
23. share of University revenues from extra-budgetary sources;
24. share of University revenues from educational activities in the total income of the University;
25. the share of University revenues from research and development in the total income of the University;
26. share of extra-budgetary funds in income from educational activities;
27. share of extra-budgetary funds in revenues from research and development.
The list did not include many absolute indicators that reflect the scale
of the institution (often due to the "historical heritage" - for example,
the area of study), and also reflect the state support (which may also
not reflect the real degree of efficiency of the University).
Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Table 1. Additional indicators of monitoring the effectiveness of regional universities of Khanty-Mansiysk Autonomous Region - Ugra Таблица 1. Дополнительные показатели мониторинга эффективности региональных вузов Ханты-Мансийского автономного округа-Югры
№ Unit 2016 2015 2014
SurGPU SurGU KHMGMA SurGPU SurGU KHMGMA SurGPU SurGU KHMGMA
1 3 4 5 6 7 8 9 10 11 12
1. Educational activities
1 score 57,74 62,14 71,28 58,14 61,61 65,87 53,51 55,39 66,06
2 % 9,78 10,76 0,00 5,56 7,00 0,00 3,38 3,84 0,00
3 people 3 689 1619 740 4096 4034 1436 3055 2706 1119
4 unit 272 19 7 202 28 7 0 31 7
5 unit. 126 167 40 160 222 31 230 182 28
2. Scientific activities
6 Rub.th. 41 426,0 108100,0 16 774,1 69121,1 195804,3 29519,6 65217,8 248646,0 37926,0
7 unit 141,37 204,67 234,92 100,96 186,25 139,17 35,16 179,56 56,48
8 people 85 704 112 75 730 115 81 720 141
9 % 84,71 81,96 74,11 89,33 81,78 74,78 91,36 63,57 75,02
10 unit 0 2 1 0 2 1 0 4 0
3. Human recourses
11 % 66,86 70,89 83,33 70,12 73,82 72,86 69,71 73,33 71,62
12 % 75,00 100,00 75,00 77,78 67,74 0,00 71,43 38,46 50,00
13 % 96,57 92,25 90,74 96,95 92,45 92,86 94,86 94,94 93,24
14 % 53,71 36,15 35,19 51,83 36,56 45,71 56,00 43,91 44,59
15 Rub.th. 90,21 96,77 91,97 83,40 96,16 91,60 76,44 99,38 85,55
16 Rub.th. 95,91 73,77 112,79 95,72 73,46 79,61 74,07 65,01 79,75
4. International activities
17 % 1,24 1,43 0,72 0,93 1,51 0,75 0,93 1,28 0,19
18 people 0 11 2 0 15 0 0 0 0
19 unit 0 7 2 0 29 0 0 2 0
5. Infrastructure
20 % 22,67 20,32 0,00 25,00 22,87 0,00 10,09 42,12 0,00
21 unit 646 1495 495 526 1374 472 561 1307 474
22 % 95,05 85,48 56,57 97,72 100,00 42,37 100,00 99,08 42,19
6. Finance and economic activities
23 % 11,43 16,08 8,24 14,07 16,56 8,46 13,04 21,04 5,63
24 % 81,41 73,04 89,42 68,11 69,51 81,13 75,11 68,66 85,70
25 % 5,76 6,15 4,38 9,63 11,74 7,95 9,34 14,28 9,92
26 % 9,73 18,56 6,67 12,81 19,14 7,56 10,71 23,38 5,08
27 % 0,00 3,91 0,00 1,97 4,26 0,00 1,21 6,92 0,00
Stage 2. Ranking the importance of indicators, calculation of weight
27
coefficients of directions (obligatory condition ^^ ki =1).
i=1
For example, if indicators are ranked in de- scending
order of importance, k. can be determined by the Fishburn rule:
2 (n -i + 1) ' (n + l)n (1)
Here, the principle of the share distribution is used to calculate the coefficients. That is, the hypothesis is accepted that all 6 groups have equal weight and it is equal to 1/6; the indicators are equilibrium in the group (that is 1/6 is divided by the number of indicators within the group) (see Table 2).
Stage 3. Normalization of indicators. For each indicator 9 (for all years and for all universities), its maximum value is determined, after which all available statistical values of the indicator are divided into it (see Table 2).
Table 2. The normalized values for the indicators Таблица 2. Нормализованные значения показателей
№ weight 2016 2015 2014
SurGPU SurGU KHMGMA SurGPU SurGU KHMGMA SurGPU SurGU KHMGMA
1 3 4 5 6 7 8 9 10 11 12
1 1/30 0,81 0,87 1 0,82 0,86 0,92 0,75 0,78 0,93
2 1/30 0,91 1 0,00 0,52 0,65 0,00 0,31 0,36 0,00
3 1/30 0,9 0,4 0,18 1 0,98 0,35 0,75 0,66 0,27
4 1/30 1 0,07 0,03 0,74 0,1 0,03 0 0,11 0,03
5 1/30 0,55 0,73 0,17 0,7 0,97 0,13 1 0,79 0,12
6 1/30 0,17 0,43 0,07 0,28 0,79 0,12 0,26 1 0,15
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
№ weight 2016 2015 2014
SurGPU SurGU KHMGMA SurGPU SurGU KHMGMA SurGPU SurGU KHMGMA
1 3 4 5 6 7 8 9 10 11 12
7 1/30 0,6 0,87 1 0,43 0,79 0,59 0,15 0,76 0,24
8 1/30 0,12 0,96 0,15 0,1 1 0,16 0,11 0,99 0,19
9 1/30 0,93 0,9 0,81 0,98 0,9 0,82 1 0,7 0,82
10 1/30 0 0,5 0,25 0 0,5 0,25 0 0,25 0
11 1/36 0,8 0,85 1 0,84 0,89 0,87 0,84 0,88 0,86
12 1/36 0,75 1 0,75 0,78 0,68 0 0,71 0,38 0,5
13 1/36 0,99 0,95 0,94 1 0,95 0,96 0,98 0,98 0,96
14 1/36 0,96 0,65 0,63 0,93 0,65 0,82 1 0,78 0,8
15 1/36 0,9 0,98 0,93 0,84 0,97 0,93 0,77 1 0,87
16 1/36 0,85 0,65 1 0,85 0,65 0,70 0,65 0,58 0,71
17 1/18 0,82 0,95 0,48 0,62 1 0,5 0,62 0,85 0,13
18 1/18 0 0,73 0,13 0 0,07 0 0 0 0
19 1/18 0 0,24 0,07 0 0,03 0 0 0,07 0
20 1/18 0,46 0,52 1 0,41 0,46 1 0,76 0 1
21 1/18 0,43 1 0,33 0,35 0,92 0,32 0,38 0,87 0,32
22 1/18 0,95 0,85 0,57 0,98 1 0,42 1 0,99 0,42
23 1/30 0,54 0,76 0,39 0,67 0,79 0,4 0,62 1 0,27
24 1/30 0,91 0,82 1 0,76 0,78 0,91 0,84 0,77 0,96
25 1/30 0,4 0,43 0,31 0,67 0,82 0,56 0,65 1 0,69
26 1/30 0,42 0,79 0,29 0,55 0,82 0,32 0,46 1 0,22
27 1/30 0,00 0,57 0,00 0,28 0,62 0,00 0,17 1 0,00
Stage 4. Aggregation of time series of the indicator for three years for each University by the formula:
= 1/6* X (2014) + 1/3X *(2015) +1/2* X(2016) (2)
Here, x. - the so-called aggregated normalized numerical value of the i-th indicator; X(2014), X(2015), X(2016) - normalized values of indicators from Table 2 for 2014, 2015, 2016. Obviously, the condition is performed:
0 " x," 1 i = 1.....27
Stage 5. Definition of linguistic variables [14-17].
The linguistic variable Bi is assigned to each indicator, term-set of
which - Bi = {Bn, Bt2, Ba, Bi 4, Bi5}, i = 1,2,...,27 -
consists of following terms: Bn - "very low level of indicator";
Bt4 - "high level of indicator";
B5
15 - "very high level of indicator".
The membership functions of the terms are defined in Table 3. The linguistic variable is introduced into consideration: g = "evaluation of the effectiveness of the University." A universal set for a linguistic variable is a numeric segment [0,1]. Term-set consists of 5 terms G = {Gt, G2, G3, G4, G5}, evaluated the state of the system: Gt - "very bad", G2 - "bad", G3 - "satisfactory", G4 -"good", G5 - "excellent".
Membership function is standard trapezoidal, defined by Table 3.
Table 3. Term membership function Таблица 3. Функция срока членства
Terms Bn, Gu / = 1,2,3,4,5 Fuzzy set membership function Bn, Gi, 1 = 1,2,3,4,5
Bix - «very low indicator level»; G, - «very bad»; 1, если 0<х<0,15 10(0,25-х), если 0,15<х<0,25 0, если 0,25 < х < 1
Bi2 - «low indicator level»; G2 - «bad»; ц2(х) = - 0, если 0 < х < 0,15 10(х-0,15), если 0,15 < х < 0,25 1, если 0,25 < х < 0,35 10(0,45-х), если 0,35<х<0,45 0, если 0.45 < х < 1
Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Bn - «middle indicator level»; G3 - «satisfactory»; m(x) = - 0, если 0 < х < 0,35 10(х - 0,35), если 0,35 < х < 0,45 1, если 0,45 <х <0,55 10(0,65-х), если 0,55 < х < 0,65 0, если 0,65 < х < 1
Bi4 - «high level indicator»; G4 - «good»; H4(x) = ' 0, если 0 < х < 0,55 10(х-0,55), если 0,55<х<0,65 1, если 0,65 <х <0,75 10(0,85-х), если 0,75 <х <0,85 0, если 0,85 < х < 1
Bi5 - «very high indicator level»; G5 — «excellent». 0, если 0 < х < 0,75 10(х - 0,75), если 0,75 < х < 0,85 1, если 0,85 <х<1
In addition, six additional linguistic variables are introduced, corresponding to the estimates in certain direction of the University's activities:
g1 - "evaluation of the effectiveness of the University in educational activities";
g2 - "evaluation of the effectiveness of the University in research activities";
g3 - "evaluation of the effectiveness of the University in the field of human resources";
g4- "evaluation of the effectiveness of the University in international activities";
g5 - "evaluation of the effectiveness of the University in educational activities";
g6 - "evaluation of the effectiveness of the University in financial and economic activities".
Universal sets, term-sets and membership function are introduced in the same way as it is done for the final evaluation.
Table 4. Calculation table of SurGPU Таблица 4. Таблица расчета СурГУ
Stage 5. Calculation of the values of the term membership functions of the linguistic variable "indicator level" for each of the indicators according to the formulas given in Table 3 (Tables 4, 5, 6). Stage 6. Calculation of the weights of terms of linguistic variables g. = "evaluation of the effectiveness of the University on the z-th group", based on the formula:
N
Pi = Z ki • Vh (xi) i=1
I = 1, ...,5. ,
N - the number of indicators in the group (the vector of the weight coefficients of the group is multiplied scalarly by the vector of the values of the membership function of the corresponding term). The results of calculation are in Table 4,5,6.
№ Wt 2016 2015 2014 Aggregated value Terms of the linguistic variable «indicator level"
0,5 0,33 0,17 of indicators i1 i2 i3 i4 i5
1 1/30 0,81 0,82 0,75 0,80 0 0 0 0,5 0,5
2 1/30 0,91 0,52 0,31 0,68 0 0 0 1 0
3 1/30 0,9 1 0,75 0,91 0 0 0 0 1
4 1/30 1 0,74 0 0,74 0 0 0 1 0
5 1/30 0,55 0,7 1 0,68 0 0 0 1 0
g1=0,7555 0 0 0 0,7 0,3
6 1/30 0,17 0,28 0,26 0,22 0,3 0,7 0 0 0
7 1/30 0,6 0,43 0,15 0,47 0 0 1 0 0
8 1/30 0,12 0,1 0,11 0,11 1 0 0 0 0
9 1/30 0,93 0,98 1 0,96 0 0 0 0 1
10 1/30 0 0 0 0 1 0 0 0 0
g2=0,3765 0,46 0,14 0,2 0 0,2
11 1/36 0,8 0,84 0,84 0,82 0 0 0 0 1
12 1/36 0,75 0,78 0,71 0,75 0 0 0 1 0
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
№ Wt 2016 2015 2014 Aggregated value Terms of the linguistic variable «indicator level"
0,5 0,33 0,17 of indicators il i2 i3 i4 i5
13 1/36 0,99 1 0,98 0,99 0 0 0 0 1
14 1/36 0,96 0,93 1 0,96 0 0 0 0 1
15 1/36 0,9 0,84 0,77 0,86 0 0 0 0 1
16 1/36 0,85 0,85 0,65 0,82 0 0 0 0,3 0,7
g3=0,8443 0 0 0 0,22 0,78
17 1/18 0,82 0,62 0,62 0,72 0 0 0 1 0
18 1/18 0 0 0 0 1 0 0 0 0
19 1/18 0 0 0 0 1 0 0 0 0
g4=0,3148 0,67 0 0 0,33 0
20 1/18 0,46 0,41 0,76 0,49 0 0 1 0 0
21 1/18 0,43 0,35 0,38 0,40 0 0.5 0.5 0 0
22 1/18 0,95 0,98 1 0,97 0 0 0 0 1
g5=0,5931 0 0,17 0,5 0 0,33
23 1/30 0,54 0,67 0,62 0,60 0 0 0,5 0,5 0
24 1/30 0,91 0,76 0,84 0,49 0 0 1 0 0
25 1/30 0,4 0,67 0,65 0,53 0 0 1 0 0
26 1/30 0,42 0,55 0,46 0,47 0 0 1 0 0
27 1/30 0,00 0,28 0,17 0,12 1 0 0 0 0
g6=0,4225 0,2 0 0,7 0,1 0
Table 5. Calculation table of SurGU Таблица 5. Таблица расчета СурГУ
№ Wt 2016 2015 2014 Aggregated value Terms of the linguistic variable «indicator level"
0,5 0,33 0,17 of indicators il i2 i3 i4 i5
1 1/30 0,87 0,86 0,78 0,85 0 0 0 0 1
2 1/30 1 0,65 0,36 0,78 0 0 0 0.7 0,3
3 1/30 0,4 0,98 0,66 0,64 0 0 0,1 0,9 0
4 1/30 0,07 0,1 0,11 0,09 1 0 0 0 0
5 1/30 0,73 0,97 0,79 0,82 0 0 0 0,3 0,7
g1=0,655 0,2 0 0,02 0,38 0,4
6 1/30 0,43 0,79 1 0,65 0 0 0 1 0
7 1/30 0,87 0,79 0,76 0,82 0 0 0 0,3 0.7
8 1/30 0,96 1 0,99 0,98 0 0 0 0 1
9 1/30 0,9 0,9 0,7 0,87 0 0 0 0 1
10 1/30 0,5 0,5 0,25 0,46 0 0 1 0 0
g2=0,7599 0 0 0,2 0,26 0,54
11 1/36 0,85 0,89 0,88 0,87 0 0 0 0 1
12 1/36 1 0,68 0,38 0,79 0 0 0 0,6 0,4
13 1/36 0,95 0,95 0,98 0,96 0 0 0 0 1
14 1/36 0,65 0,65 0,78 0,67 0 0 0 1 0
15 1/36 0,98 0,97 1 0,98 0 0 0 0 1
16 1/36 0,65 0,65 0,58 0,64 0 0 0,1 0,9 0
g3=0,8015 0 0 0,02 0,41 0,57
17 1/18 0,95 1 0,85 0,95 0 0 0 0 1
18 1/18 0,73 0,07 0 0,38 0 0,7 0,3 0 0
19 1/18 0,24 0,03 0,07 0,14 1 0 0 0 0
g4=0,7320 0,33 0,24 0,1 0 0,33
20 1/18 0,52 0,46 0 0,41 0 0,4 0,6 0 0
21 1/18 1 0,92 0,87 0,95 0 0 0 0 1
22 1/18 0,85 1 0,99 0,92 0 0 0 0 1
g5=0,7320 0 0,13 0,2 0 0,67
23 1/30 0,76 0,79 1 0,81 0 0 0 0,4 0,6
Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
№ Wt 2016 2015 2014 Aggregated value Terms of the linguistic variable «indicator level"
0,5 0,33 0,17 of indicators i1 i2 i3 i4 i5
24 1/30 0,82 0,78 0,77 0,80 0 0 0 0,5 0,5
25 1/30 0,43 0,82 1 0,66 0 0 0 1 0
26 1/30 0,79 0,82 1 0,84 0 0 0 0,1 0,9
27 1/30 0,57 0,62 1 0,66 0 0 0 1 0
g6=0,774 0 0 0 0,6 0,4
Table 6. Calculation table of KHMGMA Таблица 6. Таблица расчета ХМАОЮ
№ Wt 2016 2015 2014 Aggregated value Terms of the linguistic variable «indicator level"
0,5 0,33 0,17 of indicators i1 i2 i3 i4 i5
1 1/30 1 0,92 0,93 0,96 0 0 0 0 1
2 1/30 0,00 0,00 0,00 0 1 0 0 0 0
3 1/30 0,18 0,35 0,27 0,25 0 1 0 0 0
4 1/30 0,03 0,03 0,03 0,03 1 0 0 0 0
5 1/30 0,17 0,13 0,12 0,15 1 0 0 0 0
g1=0,312 0,6 0,2 0 0 0,2
6 1/30 0,07 0,12 0,15 0,10 1 0 0 0 0
7 1/30 1 0,59 0,24 0,74 0 0 0 1 0
8 1/30 0,15 0,16 0,19 0,16 0,9 0,1 0 0 0
9 1/30 0,81 0,82 0,82 0,82 0 0 0 0,3 0,7
10 1/30 0,25 0,25 0 0,21 0 1 0 0 0
g2=0,4194 0,38 0,22 0 0,26 0,14
11 1/36 1 0,87 0,86 0,93 0 0 0 0 1
12 1/36 0,75 0 0,5 0,46 0 0 1 0 0
13 1/36 0,94 0,96 0,96 0,95 0 0 0 0 1
14 1/36 0,63 0,82 0,8 0,72 0 0 0 1 0
15 1/36 0,93 0,93 0,87 0,92 0 0 0 0 1
16 1/36 1 0,70 0,71 0,85 0 0 0 0 1
g3=0,7881 0 0 0,17 0,17 0,66
17 1/18 0,48 0,5 0,13 0,43 0 0,2 0,8 0 0
18 1/18 0,13 0 0 0,07 1 0 0 0 0
19 1/18 0,07 0 0 0,04 1 0 0 0 0
g4=0,2348 0,67 0,07 0,26 0 0
20 1/18 1 1 1 1 0 0 0 0 1
21 1/18 0,33 0,32 0,32 0,33 0 1 0 0 0
22 1/18 0,57 0,42 0,42 0,50 0 0 1 0 0
g5=0,4056 0 0,33 0,33 0 0,16
23 1/30 0,39 0,4 0,27 0,37 0 0,8 0,2 0 0
24 1/30 1 0,91 0,96 0,96 0 0 0 0 1
25 1/30 0,31 0,56 0,69 0,45 0 0 1 0 0
26 1/30 0,29 0,32 0,22 0,29 0 1 0 0 0
27 1/30 0,00 0,00 0,00 0 1 0 0 0 0
g6=0,43 0,2 0,36 0,24 0 0,2
Stage 7. Calculation of numerical values of linguistic variables = "evaluation of the effectiveness of the University for the i-th group", based on the formula:
g = Z p
l=1
l • gl
where gj middles of the intervals, which are carriers of terms,
Stage 8. Preparation of the final calculation tables for each University, Tables 7,8,9, including the assessment of activities by groups. The aggregation of estimates in the final assessment = "assessment of efficiency of activities of the University," according to the above algorithm.
g = 0,125, g2 = 0,3, g3 = 0,5, g4 = 0,1, g = 0,885
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
Table 7. Final calculation tables SurGU Таблица 7. Итоговые таблицы расчета СурГУ
№ Indicator name Wt Value Terms of the linguistic variable «indicator level"
il i2 i3 i4 i5
1. Evaluation gl 1/6 0,655 0 0 0 1 0
2. Evaluation g2 1/6 0,7599 0 0 0 0,9 0,1
3. Evaluation g3 1/6 0,8015 0 0 0 0,5 0,5
4. Evaluation g4 1/6 0,7320 0 0 0 1 0
5. Evaluation g5 1/6 0,7320 0 0 0 1 0
6. Evaluation g6 1/6 0,774 0 0 0 0,7 0,3
Weight of term 0 0 0 0,85 0,15
g(SurGU)=0,7278, р (0,7278) = р4 (0,7278) = 1 («good»)
Table 8. Final calculation tables SurGU Таблица 8. Итоговые таблицы расчета СурГУ
№ Indicator name Wt Value Terms of the linguistic variable «indicator level"
il i2 i3 i4 i5
1. Evaluation gl 1/6 0,7555 0 0 0 1 0
2. Evaluation g2 1/6 0,3765 0 0,7 0,3 0 0
3. Evaluation g3 1/6 0,8443 0 0 0 0,1 0,9
4. Evaluation g4 1/6 0,3148 0 1 0 0 0
5. Evaluation g5 1/6 0,5931 0 0 0,6 0,4 0
6. Evaluation g6 1/6 0,4225 0 0,3 0,7 0 0
Weight of terms 0 0,33 0,27 0,25 0,15
g(SurGPU)=0,5418, jU (0,5418) = U3 (0,5418) = 1 («satisf.»)
Table 8. Final calculation tables KHMGMA Таблица 8. Итоговые таблицы расчета ХМАОЮ
№ Indicator name Weight Value Terms of the linguistic variable «indicator level"
il i2 i3 i4 i5
1. Evaluation gl. 1/6 0,3120 0 1 0 0 0
2. Evaluation g2. 1/6 0,4194 0 0,3 0,7 0 0
3. Evaluation g3. 1/6 0,7881 0 0 0 0,6 0,4
4. Evaluation g4. 1/6 0,2348 0,2 0,8 0 0 0
5. Evaluation g5. 1/6 0,4056 0 0,4 0,6 0 0
6. Evaluation g6. 1/6 0,4300 0 0,2 0,8 0 0
Weight of term 0,03 0,45 0,34 0,1 0,07
^(0,4407) = ^2 (0,4407 ) = 0,1 ^(0,4407 ) = ^3 (0,4407) = 0,9
g(KHMGMA)=0,4407, / , г \ / д-з , (more "satisfactory" than " bad»)
Table 9. Summary evaluation of the efficiency of regional universities of Khanty-Mansiysk Autonomous Region - Ugra Таблица 9. Суммарная оценка эффективности региональных вузов Ханты-Мансийского автономного округа - Югры
№ Indicator name SurGU SurGPU KHMGMA
1. Evaluaiton g1. Educational activities 0,6550 0,7555 0,3120
2. Evaluaiton g2. Scientific activities 0,7599 0,3765 0,4194
3. Evaluaiton g3. Human recourses 0,8015 0,8443 0,7881
4. Evaluaiton g4. International activities 0,7320 0,3148 0,2348
5. Evaluaiton g5. Infrastructure 0,7320 0,5931 0,4056
6. Evaluaiton g6. Finance and economics activities 0,774 0,4225 0,4300
Weight of term 0,7278 0,5418 0,4407
Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Stage 8. To make a rating of universities based on the data, see the Annex. Thus, in rating the effectiveness of regional universities in Khanty-Mansi Autonomous Okrug is the leader of the SurGU, followed SurGPU, closes rating KHMGMA.
Conclusion
The methodology is formed, which allows to form a complex numerical evaluation of the effectiveness of the University based on aggregation of indicators of six groups: 1) educational activities; 2) scientific activities; 3) Human recourse; 4) international activities; 5) infrastructure; 6) finance and economic activities. The ranking of universities in the region can be made, based on formed evaluations. The method was tested on three regional universities in Khanty-Mansi Autonomous Region; it is established that in the list of leading SurGU, followed SurGPU, closes rating KHMGMA. (In Russian)
References
[1] Novikov A., Novikov D. Quality of education: a system of internal and external evaluations. Narodnoe Obrazovanie = National Education. 2007; 4:147-156. (In Russian)
[2] Pelihov N.V., Karatayeva G.E., Groshev A.R., Bezuevskaja V.A., Karatayev A.S., Kosenok S.M. University in the region, as it is now, and how it should be. Journal University Management: Practice and Analysis. 2017; 21(4):116-129. (In Russian) DOI 10.15826/umpa.2017.04.055
[3] Khramov V.V., Vitchenko O.V., Tkachuk E.O., Golubenko E.V. Intellectual methods, models and algorithms of organization of educational process in a modern University. RSTU. Rostov-on-Don, 2016. 152 p. (In Russian)
[4] Kramarov S., Shakharova L. Management of complex economic systems using fuzzy classifiers. Scientific bulletin of the Southern Institute of Management. 2017; 2(18):42-50. (In Russian) DOI: 10.31775/2305-3100-2017-2-42-50
[5] Kramarov S., Shakharova L., Khramov V. Soft computing in management: management of complex multivariate systems based on fuzzy analog controllers. Scientific bulletin of the Southern Institute of Management. 2017; 3(19):42-51. (In Russian) DOI: 10.31775/2305-3100-2017-3-42-51
[6] Serdyuchenko P.Ya., Khramov V.V. Principles of fuzzy aggregation in the management of complex systems. Proceedings of the XIX interagency Scientific-Technical Conference «The problem of ensuring the efficiency and operation of complex technical systems». M., pp. 288-291, 2000. (In Russian)
[7] Khramov V. Way of aggregating multiple sources of fuzzy information. Izvestiya SFedU. Engineering Sciences. 2001; 3(21):52-53. (In Russian)
[8] Novikov A.M., Novikov D.A., Postaljuk N.Yu. How to evaluate the quality of the basic vocational education. Specialist. 2007; 9:1-17. Available at: http://www.anovikov.ru/artikle/kach_ bpo.htm (accessed 26.05.2018). (In Russian)
[9] Khramov V. Basics of information management approach to training in the field of military education. Puschino: PNC RAN, 2001. 212 p. (In Russian)
[10] Konysheva L.K., Nazarov D.M. Fundamentals of theory of fuzzy sets. SPb.: Piter, 2011. 192 p. (In Russian)
[11] Khramov V.V. Especially the majority fuzzy information processing. Proceedings of the First Russian Conference «Spec-
tral methods of information processing in research» (SPEKTR -2000). M., pp. 136-138, 2000. (In Russian)
[12] Nosach D.S., Khramov V.V. Synthesis Methodology information-semantic intellectual training objects. Southern University (IMBL). Information technologies and management. Rostov-on-Don, IMBL, pp. 190-194, 2012. (In Russian)
[13] Novikov D.A. Control theory and educational systems. М.: National Education, 2009. 416 p. (In Russian)
[14] Zadeh L.A. Fuzzy Sets. Information and Control. 1965; 8(3):338-353. DOI: 10.1016/S0019-9958(65)90241-X
[15] Zadeh L.A. Outline of a New Approach to the Analysis of Complex Systems and Decision Processes. IEEE Transactions on Systems, Man, and Cybernetics. 1973; SMC-3(1):28-44. DOI: 10.1109/TSMC.1973.5408575
[16] Kramarov S., Temkin I., Khramov V. The principles of formation of united geo-informational space based on fuzzy triangulation. Procedia Computer Science. 2017; 120:835-843. DOI: 10.1016/j.procs.2017.11.315
[17] Novikov D.A., Glotova N.P. Models and mechanisms of management of educational networks and complexes. М.: Institute of management education, 2004. 142 p. (In Russian)
[18] Konovalova L.V. Balanced scorecard as a tool for the implementation of the strategy of the University. Economic sciences. 2009; 11(60):415-418. Available at: http://ecsn.ru/files/ pdf/200911/200911_415.pdf (accessed 26.05.2018). (In Russian)
[19] Phillips J.J., Bothell T.W., Snead G.L. The project management scorecards. Amsterdam: Elseiver, 2003. 368 p.
[20] Schein E.H. Organizational Culture and Leadership: A Dynamic View. San Francisco, CA: Josse-Bass Publishers, 1985. 358 p.
[21] Skyrme D.J. Capitalizing on Knowledge: from e-business to kbusiness. Boston: Butterworth Hendemann, 2001. 352 p.
[22] Wysocky R.K., Beck R., Crane D.B. Effective project management. N.Y. John Wiley & Sons, 2000. 384 p.
[23] Bronevich A.G., Karkishchenko A.N. The description of fuzzy measures in the framework of probabilistic approach. Fuzzy Systems and Soft Computing. 2007; 2(2):7-30. (In Russian)
[24] Bronevich A.G., Lepsky A.E. Axiomatic approach to defining indexes inaccuracies fuzzy measures. Proceedings of the Second annu. Scient. Seminar «Integrated model and soft computing in artificial intelligence». M.: Physmathlit, pp. 127-130, 2003. (In Russian)
[25] Zadeh L.A. Fuzzy Logic, Neural Networks, and Soft Computing. Communications of the ACM. 1994; 37(3):77-84. DOI: 10.1145/175247.175255
Submitted 26.05.2018; revised 15.06.2018; published online 30.06.2018.
Список использованных источников
[1] Новиков А.М., Новиков Д.А. Качество образования: система внутренних и внешних оценок // Народное образование. 2007. № 4. С. 147-156.
[2] Пелихов Н.В., Каратаева Г.Е., Грошев А.Р., Безуевская В.А., Каратаев А.С., Косенок С.М. Университет в регионе: как есть и как надо // Университетское управление: практика и анализ. 2017. Том 21, № 4. С. 116-116-129. DOI 10.15826/ umpa.2017.04.055
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
[3] Интеллектуальные методы, модели и алгоритмы [13] организации учебного процесса в современном вузе: монография / В.В. Храмов, О.В. Витченко, Е.О. Ткачук, Е.В. [14] Голубенко. ФГБОУ ВО РГУПС. Ростов н/Д, 2016. 152с.
[4] Крамаров С.О., Сахарова Л.В. Управление сложными [15] экономическими системами методом нечетких классификаторов // Научный вестник Южного института менеджмента. 2017. № 2(18). С. 42-50. DOI: 10.31775/23053100-2017-2-42-50 [16]
[5] Крамаров С.Щ., Сахарова Л.В., Храмов В.В. Мягкие вычисления в менеджменте: управление сложными многофакторными системами на основе нечетких аналог-контроллеров // Научный вестник Южного [17] института менеджмента. 2017. № 3(19). С. 42-51. DOI: 10.31775/2305-3100-2017-3-42-51
[6] Сердюченко П.Я., Храмов В.В. Принципы нечеткой агрега- [18] ции в управлении сложными системами // Сборник научных трудов XIX Межведомственной научно-технической конференции «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем». Серпухов: МО, 2000. [19]
[7] Храмов В.В. Способ агрегирования нескольких источников нечеткой информации // Известия Южного фе- [20] дерального университета. Технические науки. 2001. № 3(21). С. 52-53. [21]
[8] Новиков А.М., Новиков Д.А., Посталюк Н.Ю. Как оценивать качество базового профессионального образования? // [22] Специалист. 2007. № 9. С. 1-17. URL: http://www.anovikov. ru/artikle/kach_bpo.htm (дата обращения: 26.05.2018). [23]
[9] Храмов В.В. Основы информационного подхода к управлению подготовкой специалистов в сфере военного образования. Пущино: ПНЦ РАН, 2001. 212 с. [24]
[10] Конышева Л.К., Назаров Д.М. Основы теории нечетких множества. СПб.: Питер, 2011. 192 c.
[11] Храмов В.В. Особенно большая часть нечеткой обработки информации // Доклады I Всероссийской конференции «Спектральные методы обработки информации в науч- [25] ных исследованиях» («Спектр-2000»). Пущино, 24-28 октября 2000. Москва, 2000. С. 136-138.
[12] Носач Д.С., Храмов В.В. Синтез, методология, информационно-семантические объекты интеллектуального обучения. Южный университет (ИУБиП). Информационные технологии и управление. Ростов-на-Дону, ИУБиП, 2012. С. 190-194.
Новиков Д.А. Теория управления образовательными системами. М.: Народное образование, 2009. 416 с. Zadeh L.A. Fuzzy Sets // Information and Control. 1965. Vol. 8, issue 3. Pp. 338-353. DOI: 10.1016/S0019-9958(65)90241-X Zadeh L.A. Outline of a New Approach to the Analysis of Complex Systems and Decision Processes // IEEE Transactions on Systems, Man, and Cybernetics. 1973. Vol. SMC-3, issue 1. Pp. 28-44. DOI: 10.1109/TSMC.1973.5408575 Kramarov S., Temkin I., Khramov V. The principles of formation of united geo-informational space based on fuzzy triangulation // Procedia Computer Science. 2017. Vol. 120. Pp. 835843. DOI: 10.1016/j.procs.2017.11.315 Новиков Д.А., Глотова Н.П. Модели и механизмы управления образовательными сетями и комплексами. М.: Институт управления образованием РАО, 2004. 142 с. Коновалова Л.В. Сбалансированная система показателей как инструмент реализации стратегии вуза // Экономические науки. 2009. № 11(60). С. 415-418. URL: http:// ecsn.ru/files/pdf/200911/200911_415.pdf (дата обращения: 26.05.2018).
PhiHips J.J., Bothell T.W., Snead G.L. The project management scorecards. Amsterdam: Elseiver, 2003. 368 p. Schein E.H. Organizational Culture and Leadership: A Dynamic View. San Francisco, CA: Josse-Bass Publishers, 1985. 358 p. Skyrme D.J. Capitalizing on Knowledge: from e-business to kbusiness. Boston: Butterworth Hendemann, 2001. 352 p. Wysocky R.K., Beck R., Crane D.B. Effective project management. N.Y. John Wiley & Sons, 2000. 384 p. Броневич А.Г., Каркищенко А.Н. Описание нечетких мер в рамках вероятностного подхода // Нечеткие системы и мягкие вычисления. 2007. Том 2, № 2. C. 7-30. Броневич А.Г., Лепский А.Е. Аксиоматический подход к определению индексов неточ-ности нечеткой меры // Сборник трудов 2 междун. научно-практ. семинара «Интегрированные модели и мягкие вычисления в искусственном интеллекте». М.: Физматлит, 2003. С. 127-130. Zadeh L.A. Fuzzy Logic, Neural Networks, and Soft Computing // Communications of the ACM. 1994. Vol. 37, no. 3. Pp. 77-84. DOI: 10.1145/175247.175255
Поступила 26.05.2018; принята в печать 15.06.2018; опубликована онлайн 30.06.2018.
Об авторе:
Каратаева Галина Евгеньевна, доктор экономических наук, профессор, кафедра финансов, денежного обращения и кредита, Сургутский государственный университет (628412, Россия, г. Сургут, ул. Ленина, д. 1), ОЯСШ: http://orcid.org/0000-0003-4357-3127, [email protected]
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by/4.0), which permits unrestricted reuse, distribution, and reproduction in any medium provided the original work is properly cited.
Vol. 14, no 2. 2G1S ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
