CC BY
25
Общественное здоровье и здравоохранение, социология и история медицины
doi: 10.25005/2074-0581-2022-24-1-29-38
СРАВНИТЕЛЬНЫЙ АНАЛИЗ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ МЕДИЦИНСКИХ
ВУЗОВ КАЗАХСТАНА
Д.Т. АЖИБАЕВА-КУПЕНОВА, А.М. ДУйСЕНОВА
Научная клинико-диагностическая лаборатория «South Clinical & Genetic Laboratory», Южно-Казахстанская медицинская академия, Шымкент, Республика Казахстан
Цель: проведение сравнительного анализа научной деятельности медицинских вузов Казахстана.
Материал и методы: в исследование включены следующие вузы: Казахский национальный медицинский университет им. С.Д. Асфендиярова (КазНМУ), Медицинский университет Караганды (МУК), Медицинский университет Семея (МУС), Медицинский университет Астана (МУА), Западно-Казахстанский медицинский университет имени М. Оспанова (ЗКМУ), Южно-Казахстанская медицинская академия (ЮКМА), Казахский медицинский университет непрерывного образования (КазМУНО), Международный казахско-турецкий университет имени Ходжи Ахмеда Ясави (МКТУ) и Казахстанско-Российский медицинский университет (КРМУ). В работе использовались данные Центра развития образования и науки Министерства здравоохранения Республики Казахстан. Рейтинговая оценка медицинских вузов проведена по 6 индикаторам: объём выполняемой НИР; количество публикаций в рецензируемых авторитетных международных базах данных (Thomson Reuters, Scopus, Springer, Google Scholar); количество ссылок на научные работы за последние 5 лет; численность патентов и охранных документов; степень коммерциализации науки в медицинских вузах Казахстана; степень участия в международных конференциях. Анализируемый период - 2018-2020 гг. Результаты: по итогам 2020 года лидером по суммарному значению всех индикаторов стал КазНМУ, с небольшим отрывом следом шли МУК и ЗКМУ. Полученные данные свидетельствуют о том, что отдельные медицинские вузы по сумме индикаторов имеют хорошо скоординированную научную среду. К ним относятся КазНМУ, МУК, ЗКМУ, МУС, ЮКМА, МУА. Такая степень сформированности научной среды у данных вузов связана с высоким уровнем остепенённости, большим стажем работы вузов, степенью финансирования. Остальные вузы являются молодыми, с ещё окончательно несформированной научной средой. Данные индикаторы способствуют выраженности результатов научно-инновационной деятельности медицинских вузов, хотя эти показатели имеют и свои недостатки.
Заключение: несмотря на колебания разных параметров у вузов по годам, наблюдается общий рост основных показателей результативности в медицинских вузах в пересчёте на единицу производственного персонала: количество публикаций увеличилось более, чем в 5-6 раз, а цитирований - более, чем в 50 раз; количество патентов стало на порядок больше. Уровень коммерциализации у большинства вузов практически не изменился, за исключением ЗКМУ, МУК, ЮКМА, КазМУНО, МУС.
Ключевые слова: наука, исследовательская среда, медицина, индикатор, исследовательская деятельность, вуз.
Для цитирования: Ажибаева-Купенова ДТ, Дуйсенова АМ. Сравнительный анализ научной деятельности медицинских вузов Казахстана. Вестник Авиценны. 2022;24(1):29-38. Available from: https://doi.org/10.25005/2074-0581-2022-24-1-29-38
COMPARATIVE ANALYSIS OF RESEARCH ACTIVITY OF KAZAKHSTAN
MEDICAL UNIVERSITIES
D.T. AZHIBAEVA-KUPENOVA, A. M. DUYSENOVA
«South Clinical & Genetic Laboratory», South Kazakhstan Medical Academy, Shymkent, Republic of Kazakhstan
Objective: To conduct a comparative analysis of the research activity of medical universities in Kazakhstan.
Methods: The following universities were enrolled in the study: Asfendiyarov Kazakh National Medical University (KazNMU), Medical University of Karaganda (MUK), Semey Medical University (SMU), Astana Medical University (AMU), West Kazakhstan Medical University named after M. Ospanov (WKMU), South Kazakhstan Medical Academy (SKMA), Kazakh Medical University of Continuing Education (KazMUCE), Yasawi University (International Kazakh-Turkish University named after Khoja Ahmed Yasawi, IKTU) and Kazakh-Russian Medical University (KRMU). Data from the Center for the Development of Education and Science of the Ministry of Health of the Republic of Kazakhstan were used in the study. The rating assessment of medical universities was carried out on six indicators: the volume of research carried out; the number of publications in peer-reviewed international databases (Thomson Reuters, Scopus, Springer, Google Scholar); the number of references to the research publications within the last 5 years; the number of patents and copyrights; the level of commercialization of research products in medical universities in Kazakhstan; participation in international conferences. The analyzed period is between 2018 and 2020.
Results: By the end of 2020, KazNMU became the leader in the total value of all indicators by a small margin, followed by MUK and WKMU. The data obtained indicate that some of the medical universities, according to the total indicators' value have a well-coordinated scientific environment, including KazNMU, MUK, WKMU, SMU, SKMA, AMU. Shaping of the conducive scientific environment in these universities is associated with a high level of the academic degrees of the staff, its large academic experience, and the volume of funding. The rest of the universities are young, with their scientific environment being still at its formative stage. These indicators contribute to the assessment of the results of research and innovative activities of medical universities, though they also have certain drawbacks.
Conclusion: Despite the fluctuation of different evaluation parameters in the medical universities over the years, there is a general increase in their main performance indicators per staff capita: the number of publications has increased by more than 5-6 times, while citations were raised by more than 50 times; and the number of patents has grown by an order of magnitude. The level of commercialization at most universities has not changed, with the exception of WKMU, KMU, SKMA, KazMUCE, SMU.
Keywords: Science, research environment, medicine, indicator, research activity, university.
For citation: Azhibaeva-Kupenova DT, Duysenova AM. Sravnitel'nyy analiz nauchnoy deyatel'nosti meditsinskikh vuzov Kazakhstana [Comparative analysis ol research activity of Kazakhstan medical universities]. Vestnik Avitsenny [Avicenna Bulletin]. 2022;24(1):29-38. Available from: https://doi.org/10.25005/2074-0581-2022-24-1-29-38
Public Health
Введение
Наука - это область человеческой деятельности, являющаяся движущей силой прогресса эволюции человечества. Исследовательская среда или научная среда - это совокупность людей, участвующих в создании научных знаний, а также материальная база для осуществления этой исследовательской деятельности.
История эволюции науки показывает, что научно-исследовательская среда является одним из главных критериев научной деятельности высших учебных заведений (вуз) и выступает генератором новых знаний и научных разработок. Научная деятельность в стенах университета способствует появлению инноваций, повышает качество деятельности профессорско-преподавательского состава, позитивно сказывается на репутации вуза и его экономическом статусе, создаёт условия для более качественной подготовки обучающихся. Из литературного обзора видно, что исследовательская активность в вузах разнообразна, а её результативность связана с рядом факторов, включающих характеристики исследовательского персонала, различия в исследовательских методах и стратегиях как внутри, так и между дисциплинами [1-3].
Главная характеристика развития исследовательской среды в жизни вузов - это формирование инновационных кадров; целей работы в научно-исследовательских и технических центрах; профессионально-ориентированных объектов знаний и технологий.
В ряде работ описываются условия подготовки кадров, отвечающих требованиям инновационной среды, и определяются основные факторы, способствующие этому процессу; но во многих из них выделяются только отдельные факторы, часть из которых абсолютизируется.
Прогноз и оценка результатов исследовательской деятельности являются ключевой предпосылкой для систематического роста научного потенциала, продуктивности научно-исследовательских организаций, академических центров, а также развития карьеры отдельных учёных [4-12].
Для улучшения общей эффективности, усиления прозрачности принятия решений в финансировании учреждений, распределения ресурсов и контроля над своими инвестициями в исследованиях применяются индикаторы науки и различные метрические показатели, как вид новой «научной политики». Но численность различных индикаторов и вариантов оценки в последние годы растёт, что зачастую усложняет задачу лиц, ответственных за принятие решения о финансировании [11, 13]. Решение о распределении ресурсов требует формирования такого набора показателей, который будет отражать всю информацию по качеству научно-исследовательской программы, само направление научного исследования и научно-исследовательский потенциал.
Актуальность научно-исследовательской работы играет важную роль в формировании привлекательного образа научного проекта для потенциальных внешних инвесторов. В условиях невысокой конкурентоспособности казахстанской медицинской науки встаёт вопрос о надобности внедрения действенной системы прогноза результатов деятельности и ранжирования медицинских организаций и вузов, включающей общепринятые характеристики результативности и производительности научных исследований [14, 15].
Показатели научно-инновационной деятельности достаточно надёжны для оценки эффективности науки на уровне страны1 [16]. Например:
1 Отчёт РГП «Республиканский центр развития здравоохранения» по заданию МЗ РК «Результаты рейтинговой оценки научных организаций и медицинских ВУЗов по показателям научной и инновационной деятельности за 2020 год» http://www.rcrz.kz/index.php/ru/2017-03-12-10-50-44
Introduction
Science is a field of human activity, which is the driving force behind the evolution progress of mankind. The research environment is created by people producing scientific knowledge and the material base for the implementation of their research activity.
The history of science evolution shows that the research environment is one of the main criteria for the scientific activity of higher educational institutions (universities) and acts as a generator of new knowledge and scientific developments. Scientific activity at the university contributes to emergence of innovations, improves the quality of work of the teaching staff, positively affects the reputation of the university and its economic status, creates conditions for better training of students. From the literature review, it can be seen that research activity in universities is diverse, and its effectiveness is associated with a number of factors, including the quality of research staff, differences in research methods and strategies within and between disciplines [1-3].
The main characteristics of the development of the research environment in the universities include training of innovative staff; goals of work in research and technical centers; professionally oriented objects of knowledge and technology.
In some papers the conditions for training the staff meeting the requirements of innovative environment are described and the fundamental factors contributing to this process are determined; but in many of them only individual factors are highlighted and some of them are overestimated.
The projection and evaluation of the results of research activities are a key prerequisite for the sustained growth of scientific potential, the effectiveness of research institutions and academic centers, and the development of the individual scientists' career [4-12].
As a new research policy, various metrics and research indicators are being introduced to improve overall efficiency, increase transparency of decision-making in funding of the institutions, allocate resources and control investments. The number of various indicators and assessment options has been growing in recent years, which often complicates the task of those responsible for making decisions on financing [11, 13]. The decision on the allocation of resources should be based on the indicators providing full information on the quality of the research program, the direction of scientific developments and research potential of the institution.
The relevance of research work plays an important role in creating an attractive image of a research project for the potential external investors. Low competitiveness of Kazakhstani medical science necessitates introduction of an effective system of projecting research outcomes and ranking medical institutions and universities, including generally accepted characteristics of the effectiveness and productivity of scientific work [14, 15].
Indicators of scientific and innovative activity are quite reliable for assessment of the effectiveness of science at the national level1 [16]. For example:
1 Report of the RSE "Republican Center for Health Development" on the instructions of the Ministry of Health of the Republic of Kazakhstan "Results of the rating assessment of scientific institutions and medical universities on the scientific and innovative activities for 2020" http://www.rcrz.kz/index.php/ru /2017-03-12-10-50-44
• библиометрические индикаторы, основанные на подсчёте числа публикаций;
• индикаторы, основанные на цитировании, когда высчи-тывается число цитирований за определённый период, используемых для оценки [17, 18].
Цель исследования
Проведение сравнительного анализа научной деятельности медицинских вузов Казахстана.
Материал и методы
Анализ проводился по показателям научной и инновационной работы следующих медицинских вузов:
• Казахский национальный медицинский университет им. С.Д. Асфендиярова (КазНМУ)
• Медицинский университет Караганды (МУК)
• Медицинский университет Семея (МУС)
• Медицинский университет Астана (МУА)
• Западно-Казахстанский медицинский университет имени М. Оспанова (ЗКМУ)
• Южно-Казахстанская медицинская академия (ЮКМА)
• Казахский медицинский университет непрерывного образования (КазМУНО)
• Международный казахско-турецкий университет имени Ходжи Ахмеда Ясави (МКТУ)
• Казахстанско-Российский медицинский университет (КРМУ)
В работе использовались данные Центра развития образования и науки Министерства здравоохранения Республики Казахстан (РК).
В 2013 году Республиканский центр развития здравоохранения (РЦРЗ) разработал перечень наиболее важных индикаторов научной и инновационной деятельности, которые были предложены в качестве инструмента для ранжирования организаций науки и образования в системе здравоохранения РК. Перечень индикаторов и их весовой коэффициент представлен в следующем виде:
• количество выполняемых исследований (10%)
• число публикаций в международных рецензируемых научных журналах, индексируемых в авторитетных базах данных научной информации (20%)
• ссылки на научные работы (20%)
• число полученных патентов и иных охранных документов (15%)
• количество научных разработок (15%)
• степень коммерциализации научных разработок и нововведений (10%)
• степень участия сотрудников организаций и учащихся в международных конференциях (10%).
С учётом принятых в массовых системах ранжирования подходов, основными показателями результативности выделены 4 индикатора:
• численность публикаций - 20%
• цитирование научных работ - 20%
• численность приобретённых патентов - 15%
• численность научных разработок - 15%.
Данные индикаторы, имеющие в предоставленной системе ранжирования суммарный весовой коэффициент 70%, относятся
• bibliometric indicators based on counting the number of publications;
• indicators based on citations, when the number of citations for a certain period is being calculated and used for evaluation [17, 18].
Purpose of the study
To provide comparative analysis of the scientific activities of medical universities in Kazakhstan.
Methods
The analysis was carried out according to the indicators of scientific and innovative activity of the following medical universities:
• Kazakh National Medical University named after. S.D. Asfendiyarov (KazNMU)
• Medical University of Karaganda (MUK)
• Semey Medical University (SMU)
• Astana Medical University (AMU)
• West Kazakhstan Medical University named after M. Ospanov (WKMU)
• South Kazakhstan Medical Academy (SKMA)
• Kazakh Medical University of Continuous Education (KazMUCE)
• International Kazakh-Turkish University named after Khoja Ahmed Yasawi (IKTU)
• Kazakh-Russian Medical University (KRMU)
The work used data from the Center for the Development of Education and Science of the Ministry of Health of the Republic of Kazakhstan (RK).
In 2013, the Republican Center for Health Development (RCHD) compiled a list of the most important indicators of scientific and innovative activity, which were proposed as a tool for ranking of scientific and educational institutions of public health of the RK. The list of indicators and their weight coefficients includes:
• number of studies completes (10%)
• number of publications in international peer-reviewed scientific journals indexed in cited databases of scientific information (20%)
• references to scientific works (20%)
• number of received patents and other copyrights (15%)
• number of scientific developments (15%)
• degree of commercialization of scientific developments and innovations (10%)
• the degree of participation of employees and students of the institution in the international conferences (10%).
Taking into account the most common approaches in the ranking systems, 4 parameters have been identified as the main performance indicators:
• number of publications - 20%
• citations of scientific works - 20%
• number of obtained patents - 15%
• number of scientific developments - 15%.
These indices with a total weightage of 70% in the present ranking system, are among the main performance indicators of scientific and innovative activities [19, 20].
к главным показателям результативности научной и инновационной деятельности [19, 20].
Ключевыми показателями результативности научно-инновационной деятельности организаций медицинского образования и науки являются:
• индикатор 1 - объём выполняемой НИР
• индикатор 2 - количество публикаций в рецензируемых авторитетных международных базах данных (Thomson Reuters, Scopus, Springer, Google Scholar)
• индикатор 3 - количество ссылок на научные работы за последнее 5-летие
• индикатор 4 - численность патентов и охранных документов
• индикатор 5 - степень коммерциализации науки в медицинских вузах Казахстана
• индикатор 6 - степень участия в международных конференциях.
Рейтинговая оценка (R) научной инновационной деятельности конкретной организации определяется по формуле:
R = I1 X Q + I2 X Q + I3 X Q + I4 X Q4 + I5 X Q + I6 X Q'
где 11-I6 - сумма баллов по каждому индикатору; Q1-Q6 - весовые коэффициенты индикаторов.
Результаты и их обсуждение
В статье проведён анализ научно-исследовательской деятельности медицинских вузов по 6 индикаторам в динамике 20182020 гг. На рис. 1 представлена рейтинговая оценка медицинских вузов по индикатору 1.
Как показано на рис. 1, по индикатору 1 на первых позициях был и остаётся МУК. При этом в 2018 МУК году имел более высокую рейтинговую оценку, чем в 2019 году. В 2020 году по данному индикатору наблюдалось резкое увеличение по сравнению с предыдущими годами. В ЗКМУ самая высокая рейтинговая оценка по индикатору 1 отмечалась только в 2018 году. Далее, в 20192020 годах происходил спад по данному показателю. У КазНМУ результаты рейтинговой оценки колебались: сначала - подъём в 2019 году, затем - спад в 2020 году. Тем не менее, КазНМУ вошел в тройку лидеров по индикатору 1. Если в 2018 г. МУА был на 4-м месте, то в 2019-2020 гг. рейтинговая оценка снизилась, и по данным 2020 года МУА оказался на седьмом месте в рейтинге вузов по данному индикатору. МУС показал рост рейтинговой оценки в
0,2 0,18 0,16 0,14 0,12 ОД
The key performance indicators of scientific and innovative activities of medical educational and scientific institutions are:
• indicator 1 - the amount of R&D carried out
• indicator 2 - the number of publications in peer-reviewed international databases (Thomson Reuters, Scopus, Springer, Google Scholar)
• indicator 3 - the number of citations of scientific papers over the last 5 years
• indicator 4 - the number of patents and copyrights
• indicator 5 - the level of commercialization of research in medical universities in Kazakhstan
• indicator 6 - the level of participation in the international conferences.
The rating score (R) of the scientific innovative activity of a specific institution is estimated by the formula:
R = I1 X Q1 + I2 X 02 + I3 X Q3 + I4 X Q4 + I5 X Q5 + I6 X ^
where I1-I6 is the sum of scores for each indicator; Q1- Q6 -weightage of indicators.
Results and discussion
This paper analyzes the dynamics of the research activities of medical universities on the six indicators in the 2018-2020 period. Fig. 1 shows indicator 1 ranking of medical universities.
As shown in Fig. 1, according to the indicator 1, MUK sustained its leadership across the studied period. At the same time, in 2018 MUK had a higher score than in 2019. In 2020, this indicator showed a sharp increase compared to previous years. WKMU showed its highest score for indicator 1 in 2018. Thereafter, in 2019-2020, there was a decline in this indicator. KazNMU advanced to the top three universities in RK in 2018. Thereafter its ranking score fluctuated increasing in 2019, then declining in 2020. MUA was in the 4th place in 2018, then in 2019-2020 its rating score decreased, and according to the 2020 data AMU ranked seventh for this indicator. The SMU showed an increase in the rating score in 2018-2019, and in 2020 there was a sharp decline to the last place in the university ranking. In recent years, the scientific activity of SKMA and KazMUCE has significantly improved. SKMA's score was not high in 2018 and it further decreased in 2019, but in 2020 there was a significant increase to the second place in the university ranking. A similar growth was observed at KazMUCE, which was at the last place in 2018,
Рис. 1 Рейтинговая оценка
- медицинских вузов по
индикатору 1
Fig. 1 Indicator 1 ranking of medical _ universities
2018 ■ 2019 2020
2018-2019 годах, а в 2020 году - резкий спад и последнее место в рейтинге вузов страны. Активизировалась в последние годы научная деятельность ЮКМА и КазМУНО. У ЮКМА в 2018-2019 гг. рейтинг был невысокой со снижением показателей, но в 2020 году наблюдался значительный рост и второе место в рейтинге вузов. Подобный рост в 2018-2019 годах наблюдался у КазМУНО, и имело место перемешение вуза в 2020 году по данному индикатору с последнего места в рейтинге на третье место. КРМУ в 2020 году занял четвёртое место по индикатору 1, обогнав КазНМУ, ЗКМУ, МУА, МУС. У МКТУ по данному рейтингу пороговый балл не был набран.
Резкий подъём и спад рейтинговой оценки некоторых медицинских вузов по индикатору 1 можно связать с изменением осте-пенённости вузов и объёма общего финансирования, привлечённого на научные исследования. Известно, что количество научных разработок в большей степени зависит от объёма привлечённого финансирования.
Рейтинговая оценка медицинских вузов по индикатору 2 представлена в табл. 1.
Как видно из табл. 1, по второму индикатору в 2018 году в первой тройке вузов оказались ЗКМУ, ЮКМА, КАЗНМУ; на последнем месте - КазМУНО. В 2019 году КазНМУ и ЮКМА сохранили лидирующие позиции, ЗКМУ переместился на седьмое место, а МУА вошёл в тройку лидирующих вузов. Низкие показатели индикатора 2 у ряда вузов были вызваны возникшими финансовыми затруднениями, которые влияли на уровень индикаторов, недостаточными научными связями с международным сообществом учёных, проблематичностью публикации в некоторых областях
Таблица 1 Рейтинговая оценка медицинских вузов по индикатору 2
thereafter its score increased in 2019, and finally the university advanced to the top three universities in 2020. KRMU took the fourth place for the indicator 1 in 2020, overtaking KazNMU, WKMU, AMU and SMU. The IKTU did not reach the threshold score for this indicator.
The sharp rise and fall in the ranking score of some medical universities for the indicator 1 can be associated with a change in the general scientific degree of universities and the level of funding of research. It is well known that the volume of scientific developments to a greater extent depends on the amount financed.
Indicator 2 ranking of medical universities is shown in Table 1.
As follows from Table 1, in 2018 WKMU, SKMA, KazNMU ranked top three among Kazakhstan universities; the last place was taken by KazMUCE. In 2019, KazNMU and SKMA retained their leading positions, while WKMU moved down to the seventh place, and AMU advanced the top three ranking. The low value of indicator 2 in a number of universities was caused by financial difficulties, insufficient scientific networking with the international scientific community, the problem of publishing in some areas of medicine that are not top on agenda in the world, and the low English language proficiency in the field of medicine. In 2020, KazNMU, MUK, WKMU were in the top three ranking. It should be emphasized that MUK entered the top three only in 2020, while KazNMU remained there across the 2018-2020 period. As follows from Table 1, the publication activity of all Kazakhstani medical universities is increasing, which indicates the stimulating nature of the rank assessment policy.
Table 1 Indicator 2 ranking of medical universities
2018 2019 2020
ВУЗ/ Всего статей* Total articles* ВУЗ/ Всего статей* Total articles* ВУЗ/ Всего статей* Total articles*
University абс. знач. abs. value на 100 шт. ед. per 100 capita University абс. знач. abs. value на 100 шт. ед. per 100 capita University абс. знач. abs. value на 100 шт. ед. per 100 capita
ЗКМУ/WKMU 51 5.2 КазНМУ/ KazNMU 85 8.1 КазНМУ/ KazNMU 83 8.7
ЮКМА/SKMA 21 4.8 МУА/AMU 53 7.8 МУК/MUK 64 7.3
КазНМУ/ KazNMU 72 4.6 ЮКМА/SKMA 27 5.5 ЗКМУ/WKMU 63 6.7
МУС/SMU 42 4.6 МКТУ/IKTU 10 5.5 МУА/AMU 83 6.0
МУА/AMU 33 4.3 МУС/SMU 49 4.8 ЮКМА/SKMA 28 5.2
МУК/MUK 39 3.9 МУК/MUK 46 4.4 МУС/SMU 47 4.4
КазМУНО / KazMUCE
МКТУ/IKTU КРМУ/KRMU
1.9
ЗКМУ/WKMU 45 3.9 КазМУНО / KazMUCE 10 2.1
КазМУНО / KazMUCE 8 2.1 КРМУ/KRMU 6 1.6
КРМУ/KRMU
МКТУ/IKTU
8
Итого/Total 266 4.2 Итого/Total 323 5.3 Итого/Total 324 5.3
Примечание: * - в методике рейтинговой оценки с 2020 года учитываются публикации: для статей и коротких публикаций - автор аффилированный с оцениваемой организации входит в число первых пяти авторов, для монографий и граф монографий - автор аффилированный с оцениваемой организации входит в число первых десяти авторов
Note: * - in the rating methodology since 2020, publications are counted as follows: for articles and short communication - the author affiliated with the institution being assessed if listed among the first five authors, for monographs and the chapters of monographs - the author affiliated with the institution being assessed if listed among the first ten authors
медицины, не актуальных в мировом разрезе, отсутствием качественного английского в сфере медицины. В 2020 году КазНМУ, МУК, ЗКМУ были в тройке лидеров. Нужно подчеркнуть, что в число лидеров МУК вошёл только в 2020 году, а КазНМУ остаётся в тройке лидеров в течение трёх лет. Как видно из табл. 1, публикационная активность всех казахстанских медицинских вузов растёт, что указывает на стимулирующий характер методики рейтинговой оценки.
На рис. 2, 3 представлена рейтинговая оценка медицинских вузов по индикаторам 3 и 4 соответственно.
Как видно из рис. 2, по индикатору 3 также на первых местах КазНМУ, МУК, ЗКГУ. Нужно отметить, что по данному индикатору за период 2018-2020 гг. наблюдается постоянный рост рейтинговой оценки у всех вузов.
По индикатору 4 в 2018 году в тройках лидеров были МУК, МУА, ЗКМУ. В 2019 году, как показывает анализ, в лидеры выходит ЮКМА. Следом идут МУА и МУС. В 2019 году ЮКМА, МУК, МУА, ЗКМУ, МУС сменили форму собственности. Связанные с этим реорганизационные процессы привели у этих вузов к некоторому
Fig. 2 and 3 present the ranking of medical universities based on indicators 3 and 4, respectively.
As follows from Fig. 2, KazNMU, MUK and WKMU rank top three on the indicator 3. It should be noted that in the 20182020 period all universities showed a steady increase in this indicator.
In 2018, MUK, AMU and WKMU were in the top three universities on the indicator 4. In 2019, as the analysis shows, SKMA took the lead followed by AMU and SMU. In 2019, SKMA, MUK, AMU, WKMU and SMU changed their form of ownership. The related reorganization processes resulted in certain decline on this indicator in these institutions. Data on indicator 4 for KRMU in 2018-2019 are not available due to the reorganization of this university. IKTU also lacks information on indicator 4 for 2018 and 2020. In 2020, KazNMU and KazMUCE became the leaders in the number of patents and copyrights.
Indicator 5 ranking of medical universities is shown in Fig. 4.
КРМУ/KRMU МКТУ/IKTU I КазМУНО/КагМиСЕ МУА/АМи МУС/SMU I ЮКМД/SKMA ЗКМУ/WKMU
мук/мик
КэзНМУ/KazNMU m О
Рис. 2 Рейтинговая оценка медицинских вузов по индикатору 3
Fig. 2 Indicator 3 ranking of medical universities
2020 12019
2018
20
40
60
80
100
120
^ ^ ^
-A*
/ ^ ^ /
Рис. 3 Рейтинговая оценка медицинских
вузов по индикатору 4
Fig. 3 Indicator 4 ranking of medical universities
2020 12019 2018
спаду по данному показателю. У КРМУ данные по индикатору 4 за 2018-2019 году отсутствуют в связи с реорганизацией данного
Fig. 4 shows the overall growth of the indicator 5 in 2018, the leaders for it being WKMU, MUK, SKMA and KazMUCE. In
вуза. У МКТУ также по индикатору 4 сведения отсутствуют за 2018 и 2020 гг. В 2020 году КазНМУ и КазМУНО становятся лидерами по численности патентов и охранных документов.
Рейтинговая оценка медицинских вузов по индикатору 5 представлена на рис. 4.
На рис. 4 видно, что в 2018 году динамика рейтинговой оценки росла, и в лидерах были ЗКМУ, МУК, ЮКМА и КазМУНО. В 2019 году КазМУНО занимал лидирующие положение, а ЗКМУ потерял свою предыдущую позицию и переместился на второе место. ЮКМА в этом году оставался на последних местах. Согласно рейтинговой методике, большинство медицинских вузов не смогло набрать пороговый балл, за исключением МУА, МУС, КазМУНО и ЗКМУ. КазМУНО показал резкий рост по данному показателю за счёт эффективного планирования и руководства коммерциализацией научной деятельности.
Проанализировав рис. 2, 3 и табл. 1, можно сделать вывод, что МУК и КазНМУ лидируют по индикаторам 3 и 4 среди медицинских вузов РК, а уровень коммерциализации научно-исследовательской деятельности (индикатор 5) практически в большинстве медицинских вузов страны развит слабо.
Для достижения пороговых значений данного индикатора имеются некоторые сложности, а именно - слабость самих разработок; отсутствие их востребованности со стороны бизнес-структур; слабое и неравномерное финансирование научных проектов.
На данный момент наша республика только начала вхождение в мировые научные рейтинги. Для достижения пороговых значений учитываемых индикаторов в республике планируется создание достаточных условий для реализации научного потенциала.
Одной из главных целей научно-исследовательской работы выступает интеграция научно-исследовательских экспериментов. Показателем качества интеграции является индикатор 6 (рис. 5).
Как видно из рис. 5, в 2018-2019 гг. по индикатору 6 лидером была ЮКМА, но в 2020 году она теряет свою позицию. МУА в 2018-2019 гг. был на третьем месте, а в 2020 году он по этому показателю занял лидирующее положение. Резкое ухудшение показателей по индикатору 6 в 2020 году было связано с пандемией COVID-19. При этом резко сократилось участие студентов и молодых учёных на научно-практических конференциях, обучение перешло в онлайн-формат, ухудшилась эпидемиологическая ситуация в стране.
2019 KazMUCE took a leading position, while WKMU lost the lead and became second. SKMA was in the last place in that year. According to the indicator values, most medical universities failed to overcome the threshold score, with the exception of the AMU, SMU, KazMUCE and WKMU. KazMUCE showed a sharp increase in this indicator due to effective planning and management of the commercialization of scientific products.
Analysis of the Fig. 2, 3 and Table 1 allows to conclude that MUK and KazNMU are the leaders in indicators 3 and 4 among the medical universities of the RK, and the level of commercialization of research products (indicator 5) is low in most medical universities of the country.
The factors which impede the achievement of the threshold values for this indicator include low level of research output, lack of demand from business structures, insufficient and uneven financing of scientific projects.
At the moment, Kazakhstan has just started appearing in the world scientific rankings. In order to achieve the threshold values of the ranking indicators in the country, it is planned to develop necessary conditions for the realization of the scientific potential.
Integration of scientific experiments is one of the main objectives of research. The indicator 6 is measuring the quality of integration (Fig. 5).
As can be seen in Fig. 5, in 2018-2019 according to the indicator 6, SKMA was the leader, but in 2020 lost its leading position. AMU ranked third in 2018-2019, while in 2020 it took the lead on this indicator. A marked deterioration for the indicator 6 in 2020 was associated with the COVID-19 pandemic. At the same time, the participation of students and young scientists in scientific and practical conferences sharply decreased, and training was switched to the online format, as the epidemiological situation in the country had worsened.
Table 2 shows the ranking of Kazakhstani universities for 2020.
As can be seen from Table 2, in 2020, KazNMU became the leader in the total value of all indicators by a small margin followed by MUK and WKMU. As follows from the Table 2, the universities with high total value of indicators have a well-coordinated scientific environment, including KazNMU, MUK, WKMU, SMU, SKMA, AMU. Conducive scientific environment in these universities is associated with a high level of the academic degrees of the staff, longer academic history of the institutions, and appropriate level of funding. The remaining universities are young and still need to establish the required scientific environment.
</ / J
V
/
Рис. 4 Рейтинговая оценка медицинских вузов по индикатору 5
Fig. 4 Indicator 5 ranking of medical universities
■2018 -2019 2020
AVICENNA BULLETIN
Azhibaeva-Kupenova DT et al Science in Kazakhstan medical universities Vol 24 * № 1 * 2022
^ / / / ^ / .«Г Л^ ^ ^
Рис. 5 Рейтинговая оценка медицинских вузов по индикатору 6
Fig. 5 Indicator 6 ranking of medical universities
2020
■ 2019
■ 2018
В табл. 2 представлен рейтинг казахстанских вузов за 2020
год.
Как видно из табл. 2, в 2020 году лидером по суммарному значению всех индикаторов стал КазНМУ, с небольшим отрывом следом шли МУК и ЗКМУ. Вышеприведённые данные свидетельствуют о том, что отдельные медицинские вузы по сумме индикаторов имеют хорошо скоординированную научную среду. К ним относятся КазНМУ, МУК, ЗКМУ, МУС, ЮКМА, МУА. Такая степень сформированности научной среды у данных вузов связана с высоким уровнем остепенённости, продолжительной академической историей, степенью финансирования. Остальные вузы являются молодыми, с ещё окончательно несформированной научной средой.
Данные индикаторы способствуют выраженности результатов научно-инновационной деятельности медицинских вузов. Однако эти показатели имеют свои недостатки, которые мы здесь не рассматриваем, так как их совершенствование не является целью данной работы.
These indicators contribute to the achieved level of the results of scientific and innovative activities of medical universities. However, these indicators have their drawbacks, which are not considered here, since we are not aiming at their modification in this work.
Conclusion
The analysis of data on the effectiveness of scientific and innovative activities of institutions of medical education and science in the 2018-2020 period showed that despite the fluctuation of different evaluation parameters in the medical universities over the years, there is a general increase in their main performance indicators per staff capita: the number of publications has increased by more than 5-6 times, while citations were raised by more than 50 times; and the number of patents has grown by an order of magnitude. The level of commercialization at most universities has not changed, with the exception of WKMU, MUK, SKMA, KazMUCE, SMU.
Таблица 2 Рейтинг вузов РК за 2020 год
Table 2 Ranking of universities of the Republic of Kazakhstan for 2020
ВУЗ University
Общий General
Место Place
Балл Score
Рейтинг мест в разрезе индикаторов за 2020 год Ranking based on the indicators for 2020
Инд. 1 / Ind. 1 Инд. 2 / Ind. 2 Инд. 3 / Ind. 3 Инд. 4 / Ind. 4 Инд 5. / Ind. 5 Инд. 6 / Ind. 6
Место Place
Балл Место Балл Место Балл Место Балл Место Балл Место Балл
Score Place Score Place Score Place Score Place Score Place Score
КазНМУ KazNMU
108.69
0.0033
3.649
104.77
0.2451
0.022
1
5
1
1
1
0
4
МУК MUK 2 94.04 1 0.0188 2 2.239 2 91.69 5 0.0787 0 6 0.010
ЗКМУ WKMU 3 75.26 6 0.0016 3 1.995 3 73.15 6 0.0751 2 0.00024 2 0.038
МУС SMU 4 48.63 8 0.0009 5 1.872 5 46.62 4 0.1296 1 0.00027 7 0.010
ЮКМА SKMA 4 48.63 2 0.0093 6 1.468 4 46.97 3 0.1601 0 5 0.018
МУА AMU 5 34.91 7 0.0014 4 1.972 6 32.83 7 0.0563 1 0.052
КазМУНО KazMUCE 6 17.72 3 0.0058 7 0.785 7 16.71 2 0.2177 0 0
КРМУ KRMU 7 6.31 4 0.0049 8 0.343 8 5.93 8 0.0073 0 3 0.0228
ЛИТЕРАТУРА
1. Hamad S. Validating research performance metrics against peer rankings. Ethics SciEnviron Polit. 2008;8(1):103-7.
2. Chubin DE, Hackett EJ. Peerless science. Peer review and U.S. science policy. New York, USA: State University of New York Press; 1990. 267 p.
3. Койков ВВ, Умбетжанова АТ, Дербисалина ГА. Модель формирования исследовательской среды в организациях медицинского образования Республики Казахстан. Медицина и экология. 2017;4:120-4.
4. Батоврина ЕВ, Шестоперов АМ. Научно-исследовательская среда и формирование инновационно-ориентированных кадров в России. Вестник Московского университета. Серия 21: Управление (государство и общество). 2011;2:34-47.
5. Herrmann-Lingen C, Brunner E, Hildenbrand S, Loew TH, Raupach T, Spies C, et al. Evaluation of medical research performance - position paper of the Association of the Scientific Medical Societies in Germany (AWMF). Ger Med Sci. 2014;12:Doc11. Available from: https://doi.org/10.3205/000196
6. loannidis JPA, Greenland S, Hlatky MA, Khoury MJ, Macleod MR, Moher D, et al. Increasing value and reducing waste in research design, conduct, and analysis. Lancet. 2014;383:166-75. Available from: https://doi.org/10.1016/ S0140-6736(13)62227-8
7. Досмагамбетова РС, Риклефс ИМ, Риклефс ВП, Букеева АС, Муратова АЗ, Калиева ШС, и др. Особенности медицинского образования в Казахстане. Медицинское образование и профессиональное развитие. 2014;4:75-85.
8. Кемелова ГС, Газалиева МА, Ахметова НШ, Макаренко ТВ, Наджарян ЛК. Научно-ориентированное обучение в медицинском образовании. Международный журнал прикладных и фундаментальных исследований. 2015;12:1866-9.
9. Датхаев УМ. Сравнительный анализ кластерной политики зарубежных стран и Казахстана. Фармация Казахстана. 2019;6:25-30.
10. Yessirkepov M, Nurmashev B, Anartayeva M. A Scopus-based analysis of publication activity in Kazakhstan from 2010 to 2015: Positive trends, concerns, and possible solutions. J Korean Med Sci. 2015;30(12):1915-9. Available from: https://doi.org/10.3346/jkms.2015.30.12.1915
11. Абдукаримова АШ. Публикационная активность казахстанских учёных по специальности математика с 1996 по 2017 годы. Материалы международной научной конференции: VIмеждународные фарабиевские чтения; 2019 Апрель 2-12; Алматы, Казахстан. Алматы, РК: ^аза^ университету 2019;5:17-9.
12. Мелихов ОГ, Зудин АБ. Проблемы планирования научных исследований в области медицины. Проблемы социальной гигиены, здравоохранения и истории медицины. 2019;27(5):803-7. Available from: https://doi. org/10.32687/0869-866X-2019-27-5-803-807
13. Москалёва ОВ. Можно ли оценивать труд учёных по библиометрическим показателям? Управление большими системами. 2011;44:301-8.
14. Cabezas-Clavijo A, Robinson-Garcia N, Escabias M, Jimenez-Contreras E. Reviewers' ratings and bibliometric indicators: Hand in hand when assessing over research proposals? PLoS One. 2013;8(6):e68258. Available from: https:// doi.org/10.1371/journal.pone.0068258
15. Койков ВВ, Аканов АБ, Абдуажитова АМ, Аубакирова АС, Отаргалиева ДД, Умбетжанова АТ. Оценка результативности научной и инновационной деятельности медицинских ВУЗов и научных организаций Республики Казахстан. Journal of Health Development. 2021;1(41):4-21. Available from: https:// doi.org/10.32921/2225-9929-2021-1-41-4-21
16. Cronin B, Sugimoto CR. Beyond bibliometrics: Harnessing multidimensional indicators of scholarly impact. Cambridge, UK: MIT press. 2014. 466 р.
17. Rahman M, Fukui T. Biomedical publication - Global profile and trend. Public Health. 2003;117(4):274-80.
18. Van Raan AFJ. Measuring science. In: Handbook of quantitative science and technology research. New York; Boston; Dordrecht; London; Moscow: Kluwer Academic Publishers; 2004; p. 19-50.
19. Койков ВВ, Умбетжанова АТ, Аканов АБ, Абдуажитова АМ, Аубакирова АС, Отаргалиева ДД. Оценка результативности и конкурентоспособности научной и инновационной деятельности организаций медицинской науки и медицинских ВУЗов. Journal of Health Development. 2020;1(35):4-23.
References
1. Harnad S. Validating research performance metrics against peer rankings. Ethics Sci Environ Polit. 2008;8(1):103-7.
2. Chubin DE, Hackett EJ. Peerless science. Peer review and U.S. science policy. New York, USA: State University of New York Press; 1990. 267 p.
3. Koykov VV, Umbetzhanova AT, Derbisalina GA. Model' formirovaniya issle-dovatel'skoy sredy v organizatsiyakh meditsinskogo obrazovaniya Respubliki Kazakhstan [A model for the formation of a research environment in medical education organizations of the Republic of Kazakhstan]. Meditsina i ekologiya. 2017;4:120-4.
4. Batovrina EV, Shestoperov AM. Nauchno-issledovatel'skaya sreda i formiro-vanie innovatsionno-orientirovannykh kadrov v Rossii [The research environment and the formation of innovation-oriented personnel in Russia]. Vestnik Moskovskogo universiteta. Seriya 21: Upravlenie (gosudarstvo i obshchestvo). 2011;2:34-47.
5. Herrmann-Lingen C, Brunner E, Hildenbrand S, Loew TH, Raupach T, Spies C, et al. Evaluation of medical research performance - position paper of the Association of the Scientific Medical Societies in Germany (AWMF). Ger Med Sci. 2014;12:Doc11. Available from: https://doi.org/10.3205/000196
6. loannidis JPA, Greenland S, Hlatky MA, Khoury MJ, Macleod MR, Moher D, et al. Increasing value and reducing waste in research design, conduct, and analysis. Lancet. 2014;383:166-75. Available from: https://doi.org/10.1016/S0140-6736(13)62227-8
7. Dosmagambetova RS, Riklefs IM, Riklefs VP, Bukeeva AS, Muratova AZ, Kalieva ShS, i dr. Osobennosti meditsinskogo obrazovaniya v Kazakhstane [Peculiarities of medical education in Kazakhstan]. Meditsinskoe obrazovanie i profession-al'noe razvitie. 2014;4:75-85.
8. Kemelova GS, Gazalieva MA, Akhmetova NSh, Makarenko TV, Nadzha-ryan LK. Nauchno-orientirovannoe obuchenie v meditsinskom obrazovanii [Science-based learning in medical education]. Mezhdunarodnyy zhurnal priklad-nykh i fundamental'nykh issledovaniy. 2015;12:1866-9.
9. Datkhaev UM. Sravnitel'nyy analiz klasternoy politiki zarubezhnykh stran i Ka-zakhstana [Comparative analysis of the cluster policy of foreign countries and Kazakhstan]. Farmatsiya Kazakhstana. 2019;6:25-30.
10. Yessirkepov M, Nurmashev B, Anartayeva M. A Scopus-based analysis of publication activity in Kazakhstan from 2010 to 2015: Positive trends, concerns, and possible solutions. J Korean Med Sci. 2015;30(12):1915-9. Available from: https://doi.org/10.3346/jkms.2015.30.12.1915
11. Abdukarimova ASh. Publikatsionnaya aktivnost' kazakhstanskikh uchenykh po spetsial'nosti matematika s 1996 po 2017 gody [Publication activity of Kazakh scientists in mathematics from 1996 to 2017]. Materialy mezhdunarodnoy nauchnoy konferentsii: VI mezhdunarodnye farabievskie chteniya; 2019 Aprel' 2-12; Almaty, Kazakhstan. Almaty, RK: Kazak universiteti; 2019;5:17-9.
12. Melikhov OG, Zudin AB. Problemy planirovaniya nauchnykh issledovaniy v oblas-ti meditsiny [The problems of planning scientific research in medicine]. Problemy sotsialnoy gigieny, zdravookhranenia i istorii meditsiny. 2019;27(5):803-7. Available from: https://doi.org/10.32687/0869-866X-2019-27-5- 803-807
13. Moskalyova OV. Mozhno li otsenivat' trud uchyonykh po bibliometricheskim pokazatelyam? [Can the work of scientists be evaluated by bibliometric indicators?]. Upravlenie bol'shimi sistemami. 2011;44:301-8.
14. Cabezas-Clavijo A, Robinson-Garcia N, Escabias M, Jimenez-Contreras E. Reviewers' ratings and bibliometric indicators: Hand in hand when assessing over research proposals? PLoS One. 2013;8(6):e68258. Available from: https://doi. org/10.1371/journal.pone.0068258
15. Koykov VV, Akanov AB, Abduazhitova AM, Aubakirova AS, Otargalieva DD, Umbetzhanova AT. Otsenka rezul'tativnosti nauchnoy i innovatsionnoy deya-tel'nosti meditsinskikh VUZov i nauchnykh organizatsiy Respubliki Kazakhstan [Assessment of the performance of scientific and innovative activities of medical universities and scientific organizations of the Republic of Kazakhstan]. Journal of Health Development. 2021;1(41):4-21. Available from: https://doi. org/10.32921/2225-9929-2021-1-41-4-21.
16. Cronin B, Sugimoto CR. Beyond bibliometrics: Harnessing multidimensional indicators of scholarly impact. Cambridge, UK: MIT press. 2014. 466 p.
17. Rahman M, Fukui T. Biomedical publication - Global profile and trend. Public Health. 2003;117(4):274-80.
18. Van Raan AFJ. Measuring science. In: Handbook of quantitative science and technology research. New York; Boston; Dordrecht; London; Moscow: Kluwer Academic Publishers; 2004; p. 19-50.
19. Koykov VV, Umbetzhanova AT, Akanov AB, Abduazhitova AM, Aubakirova AS, Otargalieva DD. Otsenka rezul'tativnosti i konkurentosposobnosti nauchnoy i innovatsionnoy deyatel'nosti organizatsiy meditsinskoy nauki i meditsinskikh VUZov [Assessment of performance and competitiveness of scientific and in-
20. Койков ВВ, Умбетжанова АТ, Аубакирова АС, Абдуажитова АМ, Мерген-тай А. Ранжирование медицинских вузов и научных организаций, как инструмент повышения конкурентоспособности научной и инновационной деятельности в здравоохранении. Journal of Health Development. 2015;2(15):22-30.
novative activity of medical science organizations and medical universities]. Journal of Health Development. 2020;1(35):4-23.
20. Koykov VV, Umbetzhanova AT, Aubakirova AS, Abduazhitova AM, Mergentay A. Ranzhirovanie meditsinskikh vuzov i nauchnykh organizatsiy, kak instrument povysheniya konkurentosposobnosti nauchnoy i innovatsionnoy deyatel'nosti v zdravookhranenii [Ranking of medical universities and scientific organizations as a tool to improve the competitiveness of scientific and innovative activities in health care]. Journal of Health Development. 2015;2(15):22-30.
([)СВЕДЕНИЯ ОБ АВТОРАХ
Ажибаева-Купенова Дана Тынышбековна, магистр, научный сотрудник научной клинико-диагностической лаборатории «South Clinical & Genetic Laboratory», Южно-Казахстанская медицинская академия E-mail: [email protected]
Дуйсенова Акмарал Мусабековна, магистр, научный сотрудник научной клинико-диагностической лаборатории «South Clinical & Genetic Laboratory», Южно-Казахстанская медицинская академия Scopus ID: 57201987878 ORCID ID: 0000-0003-1527-9158 E-mail: [email protected]
Информация об источнике поддержки в виде грантов, оборудования, лекарственных препаратов
Работа выполнялась в рамках проекта № 0118РКД0247 «Развитие научно-публикационной этики через создание междисциплинарного рецензируемого журнала (Central Asian Journal of Medical Hypotheses and Ethics)». Финансовой поддержки со стороны компаний-производителей лекарственных препаратов и медицинского оборудования авторы не получали
Конфликт интересов: отсутствует
G> AUTHOR INFORMATION
Azhibaeva-Kupenova Dana Tynyshbekovna, Master, Researcher, «South Clinical & Genetic Laboratory», South Kazakhstan Medical Academy
E-mail: [email protected]
Duysenova Akmaral Musabekovna, Master, Researcher, «South Clinical & Genetic Laboratory», South Kazakhstan Medical Academy
ScopusID: 57201987878 ORCID ID: 0000-0003-1527-9158 E-mail: [email protected]
Information about support in the form of grants, equipment, medications
The work was carried out within the framework of project No. 0118RKD0247 "Development of scientific and publication ethics through the creation of an interdisciplinary peer-reviewed journal (Central Asian Journal of Medical Hypotheses and Ethics)". The authors did not receive financial support from manufacturers of medicines and medical equipment
Conflicts of interest: The authors have no conflicts of interest
И АДРЕС ДЛЯ КОРРЕСПОНДЕНЦИИ: Ажибаева-Купенова Дана Тынышбековна
магистр, научный сотрудник научной клинико-диагностической лаборатории «South Clinical & Genetic Laboratory», Южно-Казахстанская медицинская академия
160019, Республика Казахстан, г. Шымкент, площадь Аль-Фараби, 1 Тел.: +7 (747) 6061363 E-mail: [email protected]
ВКЛАД АВТОРОВ
Разработка концепции и дизайна исследования: АДТ, ДАМ
Сбор материала: АДТ
Статистическая обработка данных: АДТ
Анализ полученных данных: АДТ, ДАМ
Подготовка текста: АДТ
Редактирование: ДАМ
Общая ответственность: ДАМ
Поступила 05.11.21
Принята в печать 31.03.22
1^1 ADDRESS FOR CORRESPONDENCE: Azhibaeva-Kupenova Dana Tynyshbekovna
Master, Researcher, «South Clinical & Genetic Laboratory», South Kazakhstan Medical Academy
160019, Republic of Kazakhstan, Shymkent, Al-Farabi square, 1
Tel.: +7 (747) 6061363
E-mail: [email protected]
AUTHOR CONTRIBUTIONS
Conception and design: ADT, DAM
Data collection: ADT
Statistical analysis: ADT
Analysis and interpretation: ADT, DAM
Writing the article: ADT
Critical revision of the article: DAM
Overall responsibility: DAM
Submitted 05.11.21 Accepted 31.03.22
