CC BY
41
МЕТОДОЛОГИЯ ОЦЕНКИ РЕЗУЛЬТАТИВНОСТИ ИССЛЕДОВАНИЙ В ТЕХНИЧЕСКИХ НАУКАХ
МОРОЗ Сергей Маркович - д-р техн. наук, проф. E-mail: sm-moroz@mail.ru Московский автомобильно-дорожный государственный технический университет (МАДИ), Москва, Россия
Адрес: 125319, Россия, Москва, Ленинградский пр-т, 64
Аннотация. Рассматривается применимость наукометрических показателей, широко используемых в фундаментальной науке, для оценки результатов исследований в технических науках. Обосновывается необходимость учёта объёма предполагаемых или уже реализованных применений этих результатов для объективной оценки исследований и исследователей в технических науках.
Ключевые слова: технические науки, исследование, оценка, наукометрический показатель, ссылка, результат, реализация
Для цитирования: Мороз С.М. Методология оценки результативности исследований в технических науках // Высшее образование в России. 2017. № 4 (211). С. 160-164.
От объективности оценки труда исследователей и научных коллективов в решающей степени зависит его результативность. Поэтому в настоящее время в российской фундаментальной и прикладной науке вводятся наукометрические методы оценки с использованием индекса Хирша [1; 2]. На наш взгляд, эти методы с определёнными оговорками [3; 4] применимы в гуманитарных и естественнонаучных исследованиях, но не в технических науках.
Технические науки выделяются из гуманитарных, естественных и прочих отраслей науки по трём принципиальным позициям: объект, цели и способы реализации получаемого нового знания. В гуманитарных и естественных науках исследования выполняются для восполнения пробелов или устранения противоречий в накопленном знании. Цель таких исследований определяется соотнесением подтверждённого и недостающего знания. Она не занимает сколько-нибудь заметного места в исследовании, не обосновывается и часто даже не декларируется. Технический, технологический или организационный характер объектов технических наук всецело определяет направленность исследований в них на реше-
ние проблем в экономике, оборонной сфере, обслуживании социальных потребностей людей. Они неразрывно связаны с практической деятельностью и даже именуются её научным обслуживанием. Здесь выбор объекта и целей исследования диктуется запросами практики, конкретной технической или социально-экономической проблемой, не поддающейся решению без получения дополнительных знаний.
Итак, цель исследования в технических науках - получение недостающего знания для разрешения технологической или социально-экономической проблемы в практической плоскости. Обоснование актуальности служит необходимой составляющей таких исследований. Они и предпринимаются лишь когда вынуждает проблемная ситуация в практической области, не разрешимая без дополнительных данных, на получение которых они и направлены. По своим базовым предпосылкам прикладные исследования вторичны по отношению к принципам, парадигмам и методам теоретической механики, физики, химии, математики, кибернетики, биологии. Разрабатываемые в технических науках обоснования, модели и расчёты не
обладают общенаучной значимостью. Они интересны лишь в привязке к возможностям совершенствования конкретных технических объектов. С исчезновением потребности в совершенствовании объекта, при прекращении его производства и эксплуатации всякая ценность подготовленных обоснований, расчётов и посвящаемых им публикаций утрачивается. Результаты технических наук сами по себе, в отрыве от их конкретных отраслевых применений, не реализуются. Эти результаты по своей научной ценности уступают достижениям фундаментальной науки. В этом отличие прикладной науки (технических наук или, например, медицины) от фундаментальной науки. Ценность представляет применение результатов технических наук, масштабы и значимость этих применений в одной или более отраслях.
Исследования в технических науках ориентированы на обоснование проектного предложения по совершенствованию исследуемого объекта. Наличие этого предложения или является компонентом гипотезы исследования, или вытекает из его результатов и выполняется инженерией. Такое предложение служит одним из следствий полученных результатов либо их возможным применением. В естественнонаучных и гуманитарных исследованиях подобные предложения не разрабатываются. Фундаментальная наука «по умолчанию» делегирует эту функцию прикладной науке.
Следствиями специфики объектов и целей их исследования объясняются менее очевидные «внутринаучные» различия в методологии их проведения, связанные с отграничением сферы технических наук. Но в контексте оценок труда учёных эти различия в методологии исследований не столь существенны и здесь не рассматриваются.
Общепризнанной реализацией естественнонаучных исследований служит перепроверка и «наследование» получаемых результатов последователями из научного сообщества [5]. Новые данные от иссле-
дователей через публикации и сообщения используются другими исследователями, а после перепроверки - техническими науками, сферой образования и популяризаторами. Никаких иных «наследников» результатов естественнонаучных и гуманитарных исследований не существует. Научные публикации являются единственной возможностью распространения естественнонаучных результатов. Поэтому здесь оценка с помощью наукометрических показателей вполне правомерна и эффективна [6]. В основе наукометрических методов - простой подсчёт числа ссылок на публикацию исследователя. Получение исходных данных для этого нетрудоёмко, не требует экспертизы и поддаётся автоматизации. Повсеместное применение компьютерных баз данных обеспечило доступный инструментарий для автоматизации подобных подсчётов. Это сочетание наглядности, простоты получения исходных данных и самих подсчётов обеспечило признание наукометрических методов по всему миру.
В технических науках результаты исследований (новые идеи, охраноспособные идеи и предложения, методы, способы, математические модели, алгоритмы, зависимости, характеристики, параметры, показатели) используются для совершенствования изучаемого объекта. Уже в процессе исследования в технических науках осуществляется поиск возможностей такого совершенствования. Найденная возможность реализуется отраслевым профессиональным сообществом инженеров (часто с участием получившего результат исследователя) посредством выполнения ряда разработок: описаний технических решений, конструкций, технологий и проектов; патентов; стандартов; проектов нормативных документов и др.
Результаты технических наук публикуются лишь в последнюю очередь и далеко не во всех случаях. Для ряда отраслей и исследований, оплаченных фирмами, ре-
зультаты не допускаются к публикованию или разрешаются с большими задержками. Кроме того, публикации по результатам технических наук отражают преимущественно методы исследований, тогда как применение этих результатов в технологиях производства или эксплуатации представляет собой коммерческий продукт и в публикациях чаще всего не раскрывается. Поэтому публикационная активность исследователей в технических науках в принципе непригодна для объективной оценки получаемых результатов. Исследования в технических науках значительно чаще содержат ссылки на описания технологий, конструкций, или стандарты, инструкции, нормативные документы, разработанные на основе результатов предшественников, нежели на публикации исследователей. Эти описания куда более информативны, чем научно-технические статьи с описанием результатов НИР.
Производные от результата исследователя «вторичные» описания его реализации обычно не содержат указания на авторство исследователя. Но ещё более затруднена регистрация авторства всех исследователей в каждом внедрении. Это требует затрат трудоёмкости и не поддается автоматизации подобно подсчёту числа ссылок на публикации. Кроме того, число реализаций (внедрений) НИР даже для наиболее успешных исследователей в технических науках не превышает 15-20% от общего числа публикаций исследователя. Доля публикаций, посвящённых реализованным НИР, также не превышает 20%. Остальные 80% публикаций посвящены нереализованным НИР. Это объясняется тем, что наибольшая публикационная активность исследователей сосредоточена на продвижении нереализованных НИР. Индекс Хирша в технических науках не разделяет внедрённые и невнедрённые результаты НИР. Причем минимальное число ссылок всегда приходится на публикации уже внедрённых результатов. Таким обра-
зом, наиболее результативные исследователи и исследования, оцениваемые индексом Хирша, оказываются в проигрыше по оценкам публикаций. Это недопустимо для стимулирования техники и технологий. По одним лишь публикациям оценивать результаты технических наук ошибочно в принципе. Это их специфика.
Оценки результатов в технических науках диктуются их новизной и широтой предполагаемого или уже достигнутого использования. Изменение представлений об объекте исследования, которое выше всего ценится в гуманитарных и естественных науках, для объектов технических наук отступает на второй план по отношению к значимости реализации результатов. Сочетание новизны и масштабов реализации результатов характеризует вклад технических наук в научно-технический прогресс. Это разительным образом контрастирует с исследованиями в сфере гуманитарных и естественных наук, где выше всего ценится объём ссылок на публикации, показывающий масштабы «внутринаучно-го» использования научным сообществом получаемых результатов. В технических науках публикация результатов - это не основной, а лишь сопутствующий и вовсе не обязательный путь их распространения. Вместо этого отслеживаются интенсивность и значимость применения результатов исследований в отраслях практической деятельности.
Поэтому индекс Хирша в технических науках может быть лишь частным вспомогательным индикатором активности исследователя. Главными же показателями результативности в технических науках должны служить указания на использование реализаций исследования с учётом числа их потребителей и их социально-экономической или оборонной значимости в технических решениях и проектах, нормативных документах или технической документации изготовителей, в патентах, стандартах и др.
Этого можно достичь благодаря комплексной оценке реализации результатов НИР и публикаций исследователя. В настоящее время удобного и обеспеченного исходными данными показателя, подобного индексу Хирша, для такой оценки не предложено. Не случайно по сей день в технических науках в наиболее ответственных процедурах оценки НИР, диссертаций и публикаций пользуются экспертными методами, а не наукометрическими показателями. Последние насаждаются преимущественно управленцами-неспециалистами, а не квалифицированными исследователями и преподавателями. Поэтому пока для технических наук не предложен показатель, столь же компактный и обеспеченный исходными данными, как индекс Хирша в фундаментальной науке, было бы ошибочным в данной сфере подменять экспертные оценки непригодными наукометрическими показателями.
Фундаментальная наука интернациональна, тогда как технические науки работают по большей части в национальных интересах и в интересах той части бизнеса, которая в стране финансирует исследования. Основной их заказчик - локализованный в стране высокотехнологичный бизнес. Это разительно отличает технические науки от естественнонаучных и гуманитарных исследований.
Применение индекса Хирша в технических науках жёстко стимулирует исследователей к публикационной деятельности. Но именно в технических науках наибольшая доля НИР финансируется бизнесом. А бизнес (за исключением монополистов) не заинтересован в раскрытии своих технологий перед конкурентами и передаче им «своих» научных результатов. Очевидно, что публикационная активность исследователей, работающих на бизнес, будет противоречить его интересам. Таким образом, применение индекса Хирша в технических науках не просто переориентирует исследователей на публикационную
деятельность, но будет сдерживать само их развитие.
Выводы
1. Результаты технических наук направлены на совершенствование объекта исследования и в большей степени оцениваются с учетом влияния на это совершенствование, а не с точки зрения глубины понимания объектов, как в естественнонаучных исследованиях.
2. Широко применяемые наукометрические показатели не оценивают влияние результатов исследования на совершенствование объекта, новизну или объёмы их предполагаемого или достигнутого применения.
3. Число публикаций и ссылок на них в технических науках имеют вспомогательное значение и не должны применяться в отрыве от анализа применения результатов исследований.
4. Удобных и простых для расчёта наукометрических показателей для технических наук пока не предложено. Поэтому в технических науках нельзя подменять экспертные оценки исследований хорошо «работающими» в естественных науках показателями публикационной активности.
Литература
1. Гущина Л.С. Наукометрические показатели в оценке результатов научной деятельности // Дополнительное профессиональное образование в стране и мире. 2015. № 1 (15). С. 37-40.
2. Назаренко М.А. Наукометрия ^индекса (индекса Хирша) и G-индекса современного ученого // Международный журнал экспериментального образования. 2013. № 7. С. 185-186.
3. Полянин А.Д. Недостатки индексов цити-руемости и Хирша и использование других наукометрических показателей // Математическое моделирование и численные методы. 2014. № 1. С. 131-144.
4. Разин М.П. Недостатки индекса Хирша в медицинской науке и возможные пути их преодоления // Детская хирургия. 2013. № 4. С. 57-58.
5. Налимов В.В, Мульченко 3.М. Наукометрия. Изучение развития науки как информационного процесса. М.: Наука, 1969. 192 с.
6. Цыганов А.В. Краткое описание наукометрических показателей, основанных на ци-
тируемости // Управление большими системами. 2013. Вып. 44. С. 248-261.
Статья поступила в редакцию 07.02.17. Принята к публикации 17.03.17
EVALUATION METHODOLOGY FOR RESEARCH IN ENGINEERING SCIENCES
Sergey M. MOROZ - Dr. Sci. (Engineering), Prof., e-mail: sm-moroz@mail.ru Moscow State Automobile and Road Technical University (MADI), Moscow, Russia Address: 64, Leningradsky Prosp., Moscow, 125319, Russian Federation
Abstract. This work critically examines the applicability of scientometric indicators (such as H-Index) that are widely used in basic science for evaluation research results in technical sciences. The purpose of this article is to show the specificity of the object and the targets of engineering research. The author strongly argues that it is erroneous to evaluate the effectiveness of a technical researcher according to his publication activity. The paper substantiates the necessity of taking into account the volume of anticipated or already implemented applications of these results for the objective assessment of research and researchers in technical sciences. The number of publications and references has only a subsidiary importance as opposed to the implementation of the results. The author comes to a conclusion that there are no reliable, simple and convenient indices for assessment the research results in technical sciences, and to present day expert evaluation continues to be the most effective tool.
Keywords: engineering science, research, evaluation, scientometric index, H-Index, reference, result, implementation
Cite as: Moroz, S.M. (2017). [Evaluation Methodology for Research in Engineering Sciences]. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 4 (211), pp. 160-164. (In Russ., abstract in Eng.)
References
1. Gushchina, L.S. (2015). [Scientometric Indicators of the Assessment of Scientific Performance]. Dopolnitel'noe professional'noe obrazovanie v strane i mire [Additional Professional Education in the Country and the World]. No. 1(15), pp. 37-40. (In Russ., abstract in Eng.)
2. Nazarenko, M.A. (2013). [Scientometrics of H-Index (Hirsch Index) and G-Index of a Modern Scientist]. Mezhdunarodnyi zhurnal eksperimental'nogo obrazovaniya [International Journal of Experimental Education]. No. 7, pp. 185-186. (In Russ., abstract in Eng.)
3. Polyanin, A.D. (2014). [Disadvantages of Citation Index and Hirsch Index and the Use of Other Scientometric Indicators]. Matematicheskoe modelirovanie i chislennye metody [Mathematical Modeling and Numerical Methods]. No. 1, pp. 131-144. (In Russ., abstract in Eng.)
4. Razin, M.P. (2013). [Disadvantages of Hirsch Index in Medical Science and Possible Ways for Their Elimination]. Detskaya khirurgiya [Pediatric Surgery]. No. 4, pp. 57-58. (In Russ., abstract in Eng.)
5. Nalimov, V.V., Mul'chenko, Z.M. (1969). Naukometriya. Izuchenie razvitiya nauki kak informat-sionnogo protsessa [Scientometrics. The Study of Science Development as an Information Process]. Nauka publ., 192 p.
6. Tsyganov, A.V. (2013). [Brief Description of Scientometric Indicators Based on Citation]. Upravlenie bol'shimi sistemami [Managing Large Systems]. No. 44, pp. 248-261. (In Russ., abstract in Eng.)
The paper was submitted 07.02.17. Accepted for publication 17.03.17.
