CC BY
23
Cloud of Science. 2016. T. 3. № 3 http:/ / cloudofscience.ru ISSN 2409-031X
Дифференциальные метрики оценки библиометрических показателей доменов ИКТ
А. Абдильманова*, Р. Алыгулиев**, Р. Мухамедиев*,***
*Институт информационных и вычислительных технологий МОН РК 050010 Казахстан, Алматы, ул. Пушкина, 125
"Институт информационных технологий НАН Азербайджана AZ1141 Азербайджан, Баку, ул. Б. Вагабзаде, 9А
***Казахстанско-британский технический университет 050000 Казахстан, Алматы, ул. Толе-би, 59
e-mail: r.aliguliyev@gmail.com, abdilmanovaa@gmail.com, ravil.muhamedyev@gmail.com
Аннотация. В работе предлагаются дифференциальные метрики оценки динамики изменения основных библиометрических показателей (количества статей и цитат) доменов информационно-коммуникационных технологий (ИКТ). Рассматриваются такие области исследований как Big Data, Computational Biology, Cloud Computing, Cyber-Physical Systems, Embedded Systems, Information Security, Internet of Things, Human-Machine Systems, Mobile Computing, Machine Learning, Machine-to-Machine, Multi-Agent Systems, Neural Networks, Robotics, Visualization, Augmented Reality, SDN, 5G, e-Governance, Smart City, Smart Grid. В дополнение к известным показателям предлагаются два вида интегрированных показателей, основанных на использовании производных. Выполнен расчет показателей и приведены графики их изменения во времени. Предложенные индикаторы позволяют более явно выразить изменения в динамике библиометрических показателей, что может быть важно для оценки перспективности направлений исследований. Ключевые слова: ИКТ, библиометрический анализ, наукометрия.
1. Введение
Современные информационные системы высокого уровня строятся с использованием множества взаимосвязанных технологий: машинное обучение, мультиа-гентные системы, системы сбора и обработки данных, включая большие данные, облачные и кластерные системы, геоинформационные системы и т. д. Область исследований, описываемая общим термином информационно-коомуникационные технологии (ИКТ) характеризуется исключительным динамизмом, быстрым появлением новых понятий и изменением устоявшихся направлений исследований. В последние годы домен ИКТ пополнился новыми направлениями исследований, к
числу которых относятся Big Data, Bioinformatics (Computational Biology), Cloud Computing, Cyber-Physical Systems, Embedded Systems, Information Security, Internet of Things, Human-Machine Systems, Mobile Computing, Machine Learning, Machine-to-Machine, Multi-Agent Systems, Neural Networks, Robotics, Visualization, Augmented Reality, SDN, 5G, e-Governance, Smart City, Smart Grid и др.
Выбор указанных доменов в вышеприведенном перечне относительно субъективен. Часть этих концепций относится к научным исследованиям, другие, по существу, являются технологиями. В табл. 1 показано ежегодное число публикаций в каждой из упомянутых областей. Таблица построена по данным базы научных публикаций EBSCO (Library, Information Science & Technology Abstracts, Academic Search Complete). Колонка 1 таблицы содержит ключевые слова, использованные в процессе поиска.
Таблица 1. Ежегодное число публикаций в новых доменах ИКТ по данным EBSCO
Область исследований (Ключевые слова) 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014
Augmented Reality 4010 4490 4760 5230 6050 8320 10 900 12 900 13 200 21 400
AR 1320 1530 1710 1820 2240 3260 3870 4430 4870 3200
Big Data 408 428 486 727 1060 1320 2330 7870 21 200 35 600
Вюmformatics 180 000 190 000 214 000 239 000 248 000 233 000 185 000 129 000 78 600 73 000
Computational Biology 14 000 16 500 18 700 21 800 26 600 30 500 37 400 41 500 35 800 33 100
Cloud Computing 1220 963 1330 3990 11 600 21 500 32 000 42 900 43 200 41 100
Cyber-Physical Systems 7 51 65 257 421 833 1510 2370 3390 2670
CPS 8 12 36 60 131 289 427 646 414
Embedded Systems 12 900 14 900 17 400 17 800 19 600 21 600 21 700 22 300 22 100 16 000
Information Security 15 600 20 200 23 700 28 700 35 100 36 600 37 800 35 900 33 100 23 000
InfoSec 295 335 319 335 334 392 462 453 474 323
Internet of Things 168 339 393 797 1140 3010 6300 10 100 12 600 8820
IoT 9 99 142 667 1780 3050 3920 3200
Human-Machine Systems 488 458 594 590 864 878 811 1080 1420 828
Mobile Computing 14 600 16 300 20 700 28 300 32 200 35 000 34 400 37 700 30 000 28 000
Machine Learning 47 000 58 300 64 600 70 900 79 600 83 700 83 000 69 500 55 400 96 500
Machine-to- Machine 1500 1330 1420 1480 1880 2100 2820 4050 4470 2710
Multi-Agent Systems 7670 8440 8940 9410 11 000 10 400 10 900 11 300 11 700 8000
Neural Networks 78 700 91 000 86 000 104 000 96 400 105 000 82 700 85 400 62 500 93 300
Robotics 52 500 63 000 62 900 66 700 70 400 70 300 61 300 54 600 42 600 43 600
Visualization 77 700 83 500 87 700 91 400 90 800 88 400 76 900 76 200 78 600 95 300
Intelligent Transport System 610 937 801 670 753 869 878 942 974 532
Self-Organized Network 198 272 274 312 367 359 394 409 399 259
E-Government 1790 1670 2000 2110 2320 2670 2960 3320 3290 1920
Software Define Networks 3 4 1 6 4 24 52 288 836 810
5G, IMT-Advanced 46 48 59 66 83 110 169 206
Анализ понятий области исследований ИКТ путем определения количества публикаций в упомянутых субдоменах позволяет выявить наиболее крупные с точки зрения количества публикаций области исследований и оценить динамику их
роста. Оценивая приведенные данные можно отметить существенный рост числа публикаций в доменах Big Data, Augmented Reality. Наблюдается «второе рождение» машинного обучения и визуализации, рост 5G (IMT-Advanced), Internet of Things и некоторое снижение интереса в областях Cloud imputing и «классическая» робототехника.
Однако выявление закономерностей по количеству публикаций дает только самую общую оценку перспективности того или иного направления исследований. Кроме того, значительное число новых результатов получают на стыке доменов. С этой целью представляется важным оценить относительный объем оцениваемых доменов исследований и динамику изменения их наукометрических показателей.
Данные, показанные в табл. 1, получены в ноябре 2014 года [1]. В работах [2, 3] показаны более поздние данные и проведена определенная формализация для построения семантической сети понятий ИКТ. Работы [4, 5,6 ] вводят понятия меры сходства и силы связей между понятиями, которые можно использовать для дальнейшей формализации.
В настоящей работе проводится формализация оценок динамики изменения их наукометрических показателей, позволяющие дать более точную интегрированную оценку того или иного направления исследований.
Работа состоит из трех основных разделов. Во втором разделе вводятся метрики «перспективности» областей исследований ИКТ. В третьем разделе, приводятся результаты применения предложенных метрик, полученные по данным библиомет-рических баз EBSCO и ScienceDirect. В заключении обсуждаются полученные результаты.
2. Метрики перспективности направлений исследований
Оценка динамики изменения публикационной активности, а вместе с ней и «перспективности» отдельных доменов исследований требует определенной формализации.
Не формально, перспективность того или иного научного направления является отражением его востребованности сейчас или в будущем. Перспективность - мера получения значимых научных результатов. Можно сказать, что перспективность является некоторой функцией востребованности:
Перспективность = f (Востребованность).
Востребованность, как и перспективность, понятие, которое сложно определить точно. Востребованность зависит от экономических, социальных, психологических и т. п. факторов. Оценка востребованности осуществляется авторами публикаций, которые выполняют научные исследования в той или иной области. Иными словами, востребованность, некоторая функция интереса авторов, который с точки
зрения наукометрии проявляется в количестве публикаций по данному направлению и в количестве цитирований статей из этой области. Это достаточно очевидно и означает, что чем больше публикаций и цитат, тем более востребовано данное направление исследований. С другой стороны, перспективность научного направления отражается также динамикой изменения количества научных публикаций и динамикой изменения числа цитирований. Поскольку, если не учитывать динамику изменений, то можно принять за перспективные и те направления, которые уже исчерпали себя с точки зрения получения новых научных результатов. Для оценки этой динамики можно воспользоваться показателем совокупного среднегодового темпа роста (Compound Annual Growth Rate — CAGR), который вычисляется в соответствии со следующим выражением:
( Л 1
CAGR =
Ending Value
T-1
-1, (1)
Beginning Value
где T — количество периодов. Очевидно, что те научные области, которые демонстрируют рост данного показателя по числу публикаций и по числу цитирований могут быть отнесены к перспективным.
Однако данный показатель демонстрирует, как будет показано ниже, довольно плавное изменение, затрудняющее выявление закономерностей изменения динамики и, кроме этого, вычисляется отдельно для публикаций и цитирований. Поэтому представляется полезным ввести некоторый интегрированный показатель для более выраженной оценки динамики изменения. С этой целью определим следующие дифференциальные показатели перспективности научного направления, определяемого заданным поисковым термином
jjY — f{ dct
1 1 v " dt ' dt D2, = /2' d 2n d 2C
dt2 ' dt2
Другими словами, показатель перспективности £>1, есть функция, зависящая от числа публикаций щ, скорости изменения числа публикаций dn¡|dt (производная по времени) и цитирований dc¡|dt в данной области исследований.
Показатель — функция, зависящая от числа публикаций п1, ускорения изменения числа публикаций d2ni¡dt2 и цитирований d2ci|dt в данной области исследований.
Функции / и /2 — агрегируют тем или иным образом вклад цитирований и публикаций. В частном случае, агрегирование можно выполнить с помощью взвешенного суммирования. Тогда, для отдельной наукометрической базы данных
показатели перспективности научных исследований в области i в момент времени —к, можно определить выражениями
л ч ~ -ПА—.) -еА—,)
(—, ) - аЩ (—, ) + р • —^ + у • ,
—I —I
тц-,) -ащ:«,) + р +у• .
—I —I
где а, р, у, а', р', у' — некоторые эмпирические коэффициенты, регулирующие «весомость» вклада числа публикаций, скорости и ускорения изменения числа публикаций щ и скорости и ускорения изменения числа цитирований , соответственно. Отметим, что поскольку вторая производная функции может быть вычислена с использованием первой производной
- 2 / _- — / -X) -X2 -X
то выражение (3) можно представить как
ш; (-.) - а • щ й) + р ^А—^М-}+у , )/--).
—— —— (4)
Для более ясной оценки динамики изменения публикационной активности, особенно в в доменах с большим числом публикаций, параметры а и а' можно приравнять к 0. В этом случае,
^ ) = р- + У ,
—— —— (5)
£>2%) = р '• -Мм^-) + у'. -((—, )/ -—)
—— — — / \
(6)
Формулы (1), (5) и (6) использованы в дальнейших расчетах.
3. «Перспективность» субдоменов ИКТ
Для расчета описанных выше показателей CAGR, D1 и D2 выполнен поиск в библиометрических базах данных. В табл. 2 и 3 показаны результаты поиска в базе ScienceDirect. Отметим, что данные за 2016 год приведены на середину года. Графики в табл. 4 построены по данным табл. 2.
Таблица 2. Динамика изменения количества публикаций
в доменах ИКТ по данным ScienceDirect
Domain 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
Augmented Reality 1137 1355 1379 1494 1459 1571 1779 1984 2348 2453 2790 2458
Big Data 18501 21216 23489 25098 26886 27521 31395 34400 38617 43535 50701 48974
Bioinformatics 3337 3800 4201 4598 5127 5483 5740 6915 7714 8613 9731 9065
Cloud computing 1663 1818 2000 2098 2369 2581 3463 4007 5266 5869 7118 6940
Cyber-Physical 194 187 270 229 234 267 486 479 796 1040 1290 1284
systems
Embedded systems 23671 27234 28237 29803 37599 32764 35655 38545 42736 45403 50469 46875
Information Security 8740 9649 11234 11184 11717 12479 14005 15549 17871 20150 22557 21208
Internet of things 2945 3051 3953 3689 3481 3909 3967 4322 4567 5150 6276 5622
Human- 6280 7349 7689 8027 8571 8904 9798 11227 12659 13750 16188 15457
machine systems
Mobile computing 3523 4009 4566 4867 4967 5088 6049 6642 7724 8491 9753 8883
Machine Learning 5025 5914 6355 6824 7291 7378 8500 9566 10720 12104 14777 14242
Machine to machine 24644 28150 28930 30158 32302 31884 36139 39279 43918 47746 54137 51479
Multi agent systems 10098 10843 11897 12885 13472 14260 15766 17690 20006 21417 23704 22605
Neural Networks 8876 10088 10255 11442 13153 11910 13625 14572 15598 16844 19012 17939
Robotics 3191 3727 3702 4783 5120 5121 6080 6806 7029 7894 8418 7377
Visualization 14030 15113 15627 16751 17980 18384 20007 21969 23441 25114 27892 26197
Intelligent transport 835 924 1050 1073 1107 1153 1403 1641 2138 2176 2466 2393
systems
E-Governance 1809 2227 2321 2738 3116 3327 3727 4526 5540 6651 7653 6788
Software Defined 9059 10949 11787 12727 14313 14869 16899 19123 22089 24633 27278 26434
Networking
5G 8413 10425 11509 12795 19782 15093 16301 17067 18982 20160 21585 20239
Smart city 821 935 1093 1132 1195 1352 1547 1917 2179 2748 3540 3846
Smart grid 447 505 619 694 850 1077 1588 1892 2366 3075 4074 4023
Таблица 3. Динамика изменения количества цитирований
в доменах ИКТ по данным ScienceDirect
Domain 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
Augmented Reality 119 116 134 161 174 229 254 313 442 445 611 615
Big Data 665 817 933 1076 1191 1354 1554 1857 2396 2984 4137 5007
Bioinformatics 2414 3126 3649 4220 4721 5219 5745 6720 7976 8320 9590 9271
Cloud computing 95 107 139 147 166 248 478 696 1091 1464 2105 2433
Cyber-Physical systems 11 15 29 31 21 37 73 107 73 297 456 552
Embedded systems 1417 1714 2078 2323 2808 2996 3510 4169 5035 5667 6989 7682
Information Security 1121 1252 1711 1702 2121 2282 2849 3438 4082 4565 5078 5446
Internet of things 366 396 511 488 559 554 728 921 1138 1425 1506 1759
HUMAN-machine systems 1278 1486 1677 1957 2201 2328 2709 3161 3671 3897 4559 4675
Mobile computing 621 798 1070 1299 1377 1479 2041 2394 2708 2904 3582 3596
Machine Learning 1954 2538 2899 3530 4220 4176 5205 5914 6703 7489 8982 9301
Machine to machine 6741 7910 8465 9688 10783 10633 12569 14304 15925 17111 19747 20082
Multi agent systems 1363 1680 1848 2243 2509 2768 3380 4097 4807 5741 6732 7138
Neural Networks 5911 6930 7797 9120 10360 10163 12384 13590 15455 16691 19363 20026
Robotics 1557 1822 2015 2595 2851 2962 3522 4150 4488 4852 5364 5045
Visualization 3862 4155 4568 5271 5501 5906 6534 7074 7906 8558 9855 9952
Intelligent transport systems 137 216 230 286 343 397 550 761 931 1085 1207 1209
E-Governance 872 1150 1340 1685 1988 2244 2650 3293 4235 4955 5971 5961
Software Defined Networking 92 163 196 220 283 311 354 500 643 721 858 967
5G 69 86 78 89 113 93 100 134 133 134 170 240
Smart city 127 168 199 222 214 278 346 472 633 878 1296 1590
smart grid 29 48 54 77 95 145 298 548 803 1458 2062 2577
Таблица 4. Изменение количества публикаций в доменах ИКТ по данным ScienceDirect
Расчет производной выполнен численным методом в соответствии с выражением
( f (X ) - f (xo -Ax))
2Ax
где x0 — текущий год; Ax = 1 (минимальный период получения данных -1 год). В связи с особенностями вычисления производной показатель D1 может быть получен за период с 2006 по 2014 год, а D2 - c 2007 по 2013. В табл. 5 и 6 в качестве иллюстрации приведены результаты расчетов CAGR, D1, D2 в домене Machine Learning. Результаты расчетов по остальным доменам показаны в виде графиков.
Таблица 5. Исходные данные и результаты расчета показателей
CAGR в домене Machine learning
Machine Learning
Year Amount of papers (n) T Amount of Citations (c) CAGR(citations) CAGR(Papers)
2005 5025 2 1954
2006 5914 3 2538 13,968 8,485732836
2007 6355 4 2899 14,053 8,141692649
2008 6824 5 3530 15,934 7,9507684
2009 7291 6 4220 16,648 7,728399193
2010 7378 7 4176 13,494 6,610610617
2011 8500 8 5205 15,023 7,798281407
2012 9566 9 5914 14,847 8,380035469
2013 10720 10 6703 14,679 8,783262598
2014 12104 11 7489 14,380 9,189099647
2015 14777 12 8982 14,874 10,30276075
Таблица 6. Результаты расчета показателей D1 и D2 по данным домена Machine Learning
Year dn/dt dc/dt D1 (Speed) D2 (Acceleration)
2005
2006 665 472,5 98,1
2007 455 496 83,5 -50,6
2008 468 660,5 100,2 -97,15
2009 277 323 52,8 29,4
2010 604,5 492,5 95,1 408,7
2011 1094 869 170,1 240,675
2012 1110 749 160,0 57,775
2013 1269 787,5 176,3 425,975
2014 2028,5 1139,5 270,5
2015
Графики в табл. 7 иллюстрируют динамику изменения показателей D1 и D2 в доменах ИКТ. В связи с тем, что D1 — фактически означает скорость изменения, а D2 — ускорение прироста числа публикаций и цитирований, на графиках они обозначены как Speed и Acceleration, соответственно.
f'( xo)
Таблица 7. Графики оценки динамики и изменений скорости и ускорения по доменам
Таблица 7. Окончание
4. Заключение
В настоящее время количество публикаций во всех рассматриваемых семантических разделах ИКТ демонстрирует устойчивый рост. Поэтому для количественного анализа динамики указанного роста наряду с CARG нами предложены дифференциальные показатели оценки «перспективности» D1 и D2.
При этом, если показатель D1 отражает скорость роста научных публикаций, то использование показателя D2 позволяет выявить периоды снижения скорости прироста научных публикаций и цитирований статей. Отрицательное значение показателя свидетельствует как раз о замедлении прироста. На представленных данных можно заметить интересную закономерность для большинства новых доменов, когда после первоначального роста наблюдается замедление и затем повторное ускорение (домен Big Data, Augmented Reality, Cyber-physycal systems, Informations Security, Internet of things, Human-Machine Systems, Mobile Computing, Machine Learning, Machine-to-machine, Multi-agent systems, Intelligent transport systems, Software Defined Networking). Причины такого феномена нужно искать за пределами данного исследования, но, можно предположить, что указанная динамика характеризует глубину развития области исследования или, с другой стороны, освоение нового смысла исследователями и применение его в работах. Только для двух из представленных областей (Smart grid, Cloud Computing) наблюдается постоянный устойчивый прирост числа цитирований и публикаций (показатель D2 имеет только положительное значение за весь рассматриваемый период).
Некоторые домены (Neural Networks, Robotics, Visualisation), характеризуются повторным ускорением (Показатель D2 имевший несколько периодов отрицательное значение вновь становится положительным), причем для доменов Smart city и E-governance период «падения» один и тот же.
Очевидно, что рассматриваемые показатели не могут в полной мере характеризовать перспективность той или иной области исследования. Нужно согласиться с тезисом [7], что при выявлении векторов развития науки на макроуровне нельзя опираться исключительно на методы наукометрии, необходимо экспертное мнение. Но, как нам кажется, введенные показатели, учитывая их наглядность, могут использоваться для поддержки принятия решений экспертами.
Отметим, что величина показателей для отдельных направлений исследований зависит от общего числа публикаций в домене вследствие особенностей численного расчета производных. Возможно будет полезной нормализация показателей. Кроме этого, из-за особенностей численного дифференцирования и годового периода сбора данных нет возможности вычислить данные показатели за последний год-два, что может быть весьма критично для новых доменов исследований.
Отдельного внимания заслуживает вопрос, в какой момент предлагаемые меры могут стать нерелевантными. Можно предположить, что данные показатели наиболее продуктивны при сравнении относительно небольших по объему публикаций направлений исследований (например, в диапазоне 1000-10000 статей в год), поскольку при увеличении, область исследований неизбежно сегментируется и в ней появляются новые направления.
В целом, описанные показатели позволяют агрегировать два (при необходимости и более) библиометрических показателя и получать интегрированную оценку наглядно демонстрирующую динамику изменения исследуемого домена.
Благодарности. Работа выполнена при частичной поддержке гранта 0168 ГФ4 министерства образования и науки РК и поддержке Фонда развития науки при Президенте Азербайджанской Республики — Грант № EIF-2014-9(24)-KETPL-14/02/1.
Литература
[1] Muhamedyev R. I., KalimoldaevM. N., Uskenbayeva R. K. Semantic network of ICT domains and applications // Proceedings of the 2014 Conference on Electronic Governance and Open Society: Challenges in Eurasia. — New York, 2014. P. 178-186.
[2] Muhamedyev R. I. etc. Revelation of new ICT domains for upcoming Kazakhstan's participation // Proceedings of the 2014 Conference on Electronic Governance and Open Society: Challenges in Eurasia. — New York, 2015. P. 179-188.
[3] Muhamedyev R. I., Amirgaliyev Y. N., Kalimoldayev M. N., Khamitov A. N., Abdilmanova A. Selection of the most prominent lines of research in ICT domain // Proceedings of the 2015 Twelve International Conference on Electronics Computer and Computation (ICECCO). — IEEE, 2015. P. 36-42.
[4] Aliguliyev R. M., Aliguliyev R.M. Evolutionary algorithm for extractive text summarization // Intelligent Information Management. 2009. Vol. 1. No. 1. P. 128-138.
[5] Cilibrasi R. L., Vitányi P. M. B. The Google similarity distance // IEEE Transaction on Knowledge and Data Engineering. 2007. Vol. 19. No. 3. P. 370-383.
[6] Aliguliyev R. M. A new sentence similarity measure and sentence based extractive technique for automatic text summarization // Expert Systems with Applications. 2009. Vol. 36. No. 4. P. 7764-7772.
[7] Руководство по наукометрии: индикаторы развития науки и технологии : монография / Акоев М., Маркусова В.А, Писляков В.В.; под ред. М.А. Акоева. — Екатеринбург: Изд-во урал. ун-та, 2014.
Авторы:
Айнур Алмазовна Абдильмановна — магистрант Международного университета информационных технологий, Алматы, Казахстан
Рамиз Магамед оглу Алыгулиев — доктор технических наук, заведующий отделом, Институт доктор технических наук, руководитель департамента, Институт информационных технологий НАН Азербайджана, Баку, Азербайджан
Равиль Ильгизович Мухамедиев — доктор инженерных наук, профессор кафедры управления информационными системами, Казахстанско-британский технический университет, главный научный сотрудник Института информационных и вычислительных технологий МОН РК, Алматы, Казахстан
Differential metrics for evaluation of bibliometric indicators of ICT domains
A. Abdilmanova*, R. Aliguliyev**, R. Muhamedyev*,***
Institute of Information and Computer Technologies Pushkina str., 125 Almaty, Kazakhstan 050010
** Institute of Information Technology of Azerbaijan National Academy of Sciences
B. Vahabzade str., 9A, Baku, Azerbaijan AZ1141
***Kazakh-British Technical University Tole-bi str., 59, Almaty, Kazakhstan 050000
e-mail: r.aliguliyev@gmail.com,, abdilmanovaa@gmail.com, ravil.muhamedyev@gmail.com
Abstract. The work proposes differential metric assessment of the dynamics of changes of bibliometric indicators (number of papers and citations) of information communication technologies (ICT) domains. Research areas like: Big Data, Computational Biology, Cloud Computing, Cyber-Physical Systems, Embedded Systems, Information Security, Internet of Things, Human-Machine Systems, Mobile Computing, Machine Learning, Machine-to-Machine, Multi-Agent Systems, Neural Networks, Robotics, Visualization, Augmented Reality, SDN, 5G, e-Governance, Smart City, Smart Grid have been considered. In addition to the familiar indicators, two types of integrated indicators, which are based on the use of derivatives, have been proposed. There are given calculations of indicators and their graphs which illustrate changes over time. The proposed indicators can clearly express the changes in the dynamics of bibliometric indicators, which may be important to assess the prospects of research areas.
Key words: ICT, bibliometric analysis, scientometrics.
References
[1] Muhamedyev R. I, Kalimoldaev M. N., Uskenbayeva R. K .(2014) Semantic network of ICT domains and applications. In Proc. 2014 Conference on Electronic Governance and Open Society: Challenges in Eurasia. New York, p. 178-186.
[2] Muhamedyev R. I. etc. (2015) Revelation of new ICT domains for upcoming Kazakhstan's participation. In Proc. 2015 Conference on Electronic Governance and Open Society: Challenges in Eurasia. New York, p. 179-188.
[3] Muhamedyev R. I. etc. (2015) Selection of the most prominent lines of research in ICT domain. In Proc. 2015 Twelve International Conference on Electronics Computer and Computation (ICECCO), p. 36-42.
[4] Aliguliyev R. M., Aliguliyev R.M. (2009) Intelligent Information Management, 1(1): 128-138.
[5] Cilibrasi R. L., Vitânyi P. M. B. (2007) IEEE Transaction on Knowledge and Data Engineering, 19(3):370-383.
[6] Aliguliyev R. M. (2009) Expert Systems with Applications, 36(4): 7764-7772.
[7] Akoev M. etc. (2014) Scientometrics Guide: Indicators Of The Development Of Science And Technology. Yekaterinburg, Ural Univ.
