CC BY
40
DOI: 10.15514/ISPRAS-2020-32(4)-2
Методика выявления центров компетенций авиационной науки на основе публикационной и
патентной активности
1 В.Г. Беленков, ORCID: 0000-0003-3892-2601 <vbelenkov@ipiran.ru> 1 В.И. Будзко, ORCID: 0000-0002-8235-0404 <vbudzko@ipiran.ru>
1 Д.А. Девяткин, ORCID: 0000-0002-0811-725X <devyatkin@isa.ru> 2А.В. Кан, ORCID: 0000-0001-9410-406X <avkan@nrczh.ru> 2 И.С. Михайлин, ORCID: 0000-0002-0173-3754 <mikhaylinis@nrczh.ru>
1 И.В. Соченков, ORCID: 0000-0003-3113-3765 <sochenkov@isa.ru>
1 И.А. Тихомиров, ORCID: 0000-0003-0698-7689 <tih@isa.ru>
2 В.С. Шапкин, ORCID: 0000-0003-0812-8319 <shapkinvs@nrczh.ru>
1 Федеральный исследовательский центр «Информатика и управление» РАН,
119333, РФ, Москва, ул. Вавилова, 44, корп. 2
2 Национальный исследовательский центр «Институт им. Н.Е. Жуковского»,
125167, РФ, Москва, ул. Викторенко, 7, корп. 12
Аннотация. Устойчивое развитие и повышение конкурентоспособности являются главными задачами управления научной организацией. Анализ компетенций обеспечивает детальное понимание имеющихся ресурсов при формировании стратегии развития, а их оценка - знание сильных сторон и рисков при ее реализации. Развитие компетенций неизбежно приводит к организационному закреплению ресурсов в подразделениях научной организации - центрах компетенций. Целью исследования является разработка методической базы для выявления и оценки центров компетенции в области авиастроения. Предложенная методика предполагает использование полнотекстовых средств поиска и анализа научно-технических документов для идентификации направлений исследований, технологий и аффилированных центров. Для получения категориальных оценок уровня развития центров компетенций предложен оригинальный подход, включающий аппроксимацию массы научно-технических документов с помощью s-кривых и их анализ с применением теории нечетких множеств. В статье предложена методика выявления и оценки центров научных компетенций авиационной науки и представлены результаты её апробации на примере 143 таких центров в области авиастроения в России. Разработанная методика позволяет использовать полнотекстовые поисково-аналитические инструменты для анализа компетенций, что обеспечивает сформирование детальной оценки имеющихся ресурсов при планировании развития научной организации в области авиастроения. В дальнейшем предполагается автоматизировать предложенную методику путем интеграции соответствующих модулей в состав разрабатываемой экспертной информационной системы по поиску, анализу и учету знаний в авиастроении.
Ключевые слова: цифровой контент; семантический поиск; искусственный интеллект; нечеткие множества; летательный аппарат; безопасность воздушной деятельности; комплексные научно-технологические проекты; авиастроение; стратегическое планирование.
Для цитирования: Беленков В.Г., Будзко В.И., Девяткин Д.А., Кан А.В., Михайлин И.С., Соченков И.В., Тихомиров И.А., Шапкин В.С. Методика выявления центров компетенций авиационной науки на основе публикационной и патентной активности. Труды ИСП РАН, том 32, вып. 4, 2020 г., стр. 21-40. DOI: 10.15514/ISPRAS-2020-32(4)-2
Благодарности. Исследование выполнено при финансовой поддержке РФФИ в рамках научных проектов № 18-29-03215 и № 17-29-07016.
Methodology for identifying centers of excellence in aviation science based on publication and patent activity
1 V.G. Belenkov, ORCID: 0000-0003-3892-2601 <vbelenkov@ipiran.ru> 1 V.I. Budzko, ORCID: 0000-0002-8235-0404 <vbudzko@ipiran.ru> 1 D.A. Devyatkin, ORCID: 0000-0002-0811-725X <devyatkin@isa.ru> 2A.V. Kan, ORCID: 0000-0001-9410-406X<avkan@nrczh.ru> 2I.S. Mikhailin, ORCID: 0000-0002-0173-3754 <mikhaylinis@nrczh.ru>
1 I.V. Sochenkov, ORCID: 0000-0003-3113-3765 <sochenkov@isa.ru>
1 I.A. Tikhomirov, ORCID: 0000-0003-0698-7689 <tih@isa.ru>
2 V.S. Shapkin, ORCID: 0000-0003-0812-8319 <shapkinvs@nrczh.ru> 1 Federal Research Center «Computer Science and Control» of RAS,
44, Vavilova str., bldg. 2, Moscow, 119333, Russia 2 National Research Center «Zhukovsky Institute» 7, Viktorenko str., bldg. 12, Moscow, 125167, Russia
Abstract. Sustainable development and increasing competitiveness are the main tasks of managing a scientific organization. The analysis of competencies provides a detailed understanding of the available resources when forming a development strategy, and their assessment - knowledge of the strengths and risks in its implementation. The development of competencies inevitably leads to the organizational consolidation of resources in the departments of a scientific organization - centers of competence. The aim of the study is to develop a methodological framework for identifying and assessing centers of competence in the field of aircraft construction. The proposed technique involves the use of full-text search and analysis tools for scientific and technical documents to identify research areas, technologies and affiliated centers. To obtain categorical assessments of the level of development of centers of competence, an original approach is proposed, including the approximation of the mass of scientific and technical documents using s-curves and their analysis using the theory of fuzzy sets. The article proposes a methodology for identifying and evaluating centers of scientific competence in aviation science and presents the results of its testing on the example of 143 such centers in the field of aircraft construction in Russia. The developed methodology allows the use of full-text search and analytical tools for the analysis of competencies, which ensures the formation of a detailed assessment of the available resources when planning the development of a scientific organization in the field of aircraft construction. In the future, it is planned to automate the proposed methodology by integrating the relevant modules into the developed expert information system for the search, analysis and accounting of knowledge in aircraft construction.
Keywords: digital content; semantic search; Artificial Intelligence; fuzzy sets; aircraft; safety of air activities; complex scientific and technological projects; aircraft construction; strategic planning
For citation: Belenkov V.G., Budzko V.I., Devyatkin D.A., Kan A.V., Mikhailin I.S., Sochenkov I.V., Tikhomirov I.A., Shapkin V.S. Methodology for identifying centers of excellence in aviation science based on publication and patent activity. Trudy ISP RAN/Proc. ISP RAS, vol. 32, issue 4, 2020. pp. 21-40 (in Russian). DOI: 10.15514/ISPRAS-2020-32(4)-2
Acknowledgments. The study was carried out with the financial support of the Russian Foundation for Basic Research within the framework of research projects No. 18-29-03215 and No. 17-29-07016.
1. Введение
В настоящее время мониторинг результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы, проводится в соответствии с Постановлением Правительства Российской Федерации от 8 апреля 2009 г. № 312 «Об оценке и о мониторинге результативности деятельности
научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (далее - Постановление Правительства). Вместе с тем, в соответствии с Проектом распоряжения Правительства Российской Федерации «Об утверждении Стратегии развития авиационной промышленности Российской Федерации на период до 2030 года» (далее - Стратегия) предполагается создание центров специализации и компетенций. При этом предполагается создание условий для эффективного использования предприятиями авиационной промышленности имеющихся производственных мощностей, в том числе, проведение инвентаризации и оценки компетенций и ресурсов, обладающих высоким потенциалом использования в различных видах экономической деятельности, по предприятиям авиационной промышленности, что позволит реализовать мероприятия по реструктуризации предприятий, включая экономически эффективную дозагрузку производственных мощностей за счет выпуска продукции общемашиностроительного применения.
Процесс создания таких условий предполагает проведение работ по выявлению и оценки центров компетенций авиационной науки (ЦКАН), регламентации процесса подготовки планов развития центров и их мониторинга, а также формирование необходимых форм сбора первичной информации и разработку форм отчетности.
Обеспечение устойчивого развития и конкурентоспособности является центральной задачей управления научной организацией. Анализ компетенций дает детальное понимание имеющихся ресурсов при формировании стратегии развития научной организации, а их оценка - знание сильных сторон и рисков при ее реализации.
В общем понимании компетенция - это совокупность ресурсов и знаний, которые обеспечивают получение необходимых результатов. Для выполнения научных исследований ключевыми ресурсами являются специалисты, обладающие знаниями и опытом в том или ином направлении науки, и инфраструктура, в том числе информационная. В связи с этим центр компетенций может быть определен как устойчивый коллектив специалистов, обладающий доступом к научной и информационной инфраструктуре, и способный получать конкурентоспособные научные результаты в определенном направлении науки. Очевидно, что одни и те же специалисты могут относиться к нескольким центрам компетенций, а специалисты из них могут работать в различных организациях сразу по нескольким направлениям. Вместе с тем, развитие компетенций необходимо приводит к закреплению ресурсов в подразделениях научной организации, поэтому конкретный центр компетенций рассматривается, в первую очередь, как структурное подразделение (или их совокупность) научной организации.
В связи с этим разработка методической базы, регламентирующей основные процессы, связанные с центрами компетенций, является актуальной и важной задачей. Анализ компетенций может быть практически важен при выполнении ряда условий. Первым условием является возможность «измерения» компетенций, т.е. их оценки, выраженной в числовой форме в виде системы показателей. Выбор системы показателей не является универсальным и требует обоснования. Показатели должны обеспечивать мониторинг текущего состояния центров компетенций и позволять отслеживать динамику их развития.
Вторым условием является использование однозначно интерпретируемых показателей. При этом необходимо закрепление правил определения показателей в методических документах. При выполнении этого условия возможен сопоставительный анализ различных центров компетенций.
Третьим условием является унификация состава показателей в выбранной отрасли науки для разных центров компетенций, что дает основу для сопоставления и ранжирования центров компетенций между собой. Выполнение этого условия обеспечивает возможность сопоставительного анализа.
И, наконец, четвертым условием является формализация процессов, связанных с анализом центров компетенций. Это оказывается важным из-за высокой ресурсоемкости процесса анализа компетенций.
Целью настоящего исследования является разработка методической базы для выявления и оценки центров компетенции в области авиастроения. Предлагаемая методика предполагает использование полнотекстовых средств поиска и анализа научно-технических документов для идентификации направлений исследований, технологий и аффилированных центров. В качестве таких средств может выступать экспертная информационная система по поиску, анализу и учету знаний в авиастроении (ЭИС). Макет такой системы, основанный на программном обеспечении TextAplliance [1], был создан в ходе работ 2017-2019 гг. ЭИС -это поисково-аналитическая система, которая позволяет реализовать представляемое методическое обеспечение на массиве данных из открытых источников. Для получения категориальных оценок уровня развития центров компетенций рассмотрим оригинальный подход, включающий аппроксимацию массы научно-технических документов с помощью s-кривых и их анализ с применением теории нечетких множеств. В заключительной части статьи также представлены результаты апробации методики, в ходе которой было выявлено и проанализировано 143 ЦКАН в России. Предлагаемый в статье аппарат и методическое обеспечение являются до некоторой степени универсальными, т.е. они могут применяться с незначительными изменениями для оценки центров компетенций по инженерным, техническим и естественным наукам в прикладных и фундаментальных сферах.
2. Подходы к выявлению перспективных технологий и центров компетенции
Анализ больших коллекций научно-технических документов, связанных с развитием перспективных направлений науки и техники, а также больших данных, порождаемых на различных этапах жизненного цикла продуктов, позволяет вырабатывать обоснованные решения при управлении научными и промышленными организациями [2]. Задача выявления центров компетенций не является исключением. Для ее решения необходимо использовать методы, средства и инструменты автоматизированного анализа коллекций документов. Основным подходом, применяющимся для выявления и оценки компетенций и ресурсов, обладающих высоким потенциалом применения в науке и технике, является использование цитатных и патентных баз данных, таких как Scopus, Web of Science, TotalPatent One, Derwent Innovation др. [3]. В России среди подобных решений преобладают зарубежные базы и инструменты. Они характеризуются достаточно высоким качеством данных для англоязычных источников, но для многих направлений науки и техники, в частности для авиастроения, в них отражается лишь незначительная часть российских публикаций, что затрудняет использование этих баз данных для выявления ЦКАН. Кроме того, глобальные технологические и научные тренды не всегда соотносятся с актуальными проблемами и стратегиями развития науки и техники в РФ, что ограничивает применимость этих инструментов.
При использовании подобных инструментов также возникает задача идентификации анализируемой предметной области. Для ее решения обычно используют системы классификации: ГРНТИ, УДК, МКПО, МПК, ринц, Web of Science, Scopus и др. Однако, они учитывают далеко не все существующие направления науки и техники, либо покрывается сразу несколько направлений, не позволяя проводить детальный анализ. Кроме того, эти классификаторы не связаны между собой, что затрудняет интеграцию данных из различных источников, например, патентов и научных публикаций. Вместе с тем, в рамках одного направления могут существовать сразу несколько центров компетенций, занимающихся развитием технологий на различных уровнях готовности (УГТ) [4]. Шкала УГТ содержит 9 уровней, из которых первые два соответствуют формированию научного
задела в виде публикаций и отчетов, уровни 3 -6 охватывают период создания технического задела в виде патентов, а последующие три относятся к разработке опытных и серийных образцов. Очевидно, что прямое сопоставление этих центров друг с другом не имеет смысла, поэтому необходимо выявлять специализацию каждого центра и научно-технические документы, характеризующие этот центр компетенций на определенном уровне УГТ, для чего необходимо сопоставление классификаторов.
Перспективным решением этой проблемы является интеграция баз разнородных научно -технических документов и внедрение средств полнотекстового поиска и анализа, а также разработка методик их использования. Такой подход был реализован авторами в ЭИС. В основе подхода лежат идеи, предложенные авторами в ряде исследований, которые мы рассмотрим далее.
Разработке методического обеспечения выявления перспективных направлений науки и техники посвящена работа [5], описывающая концепции прорывных технологий и формальные критерии, позволяющие выявлять такие технологии. Прорывные технологии -это технологии, которые позволяют создавать изделия с новыми сочетаниями свойств, обеспечивающих их качественное отличие от известных аналогов. Развитие таких технологий может быть непривлекательно для крупных организаций, так как их модели получения прибыли предполагают ограниченный объем инвестиций в создание принципиально новых технологий. Однако, такие технологии, могут быть привлекательными для новых игроков. Вместе с тем, развитие таких технологий зачастую приводит к появлению новых и схлопыванию традиционных рынков. В статье [5] предлагаются подходы к выявлению и оценке прорывных технологий, а также стратегии реагирования на их появление, которые могут быть полезны для управления исследованиями и разработками. В статье [6] представлена циклическая модель для оценки эволюции направлений науки и техники. Рассматриваются подходы к количественному и качественному изучению эволюции технологий. Один из основных таких подходов предложен в работе Р. Фостера [7]. Он состоит в аппроксимации кумулятивной массы научно-технических документов с помощью s-кривых кривых (логистическая кривая, кривая Гомпертца и др.) [8], являющихся решениями уравнения [9]. В работе [10, 11] представлен подход, позволяющий согласовать методы оценки исследований с целями научно-технологического развития государства. В частности, показано, что оценка социальных эффектов, связанных с развитием научных направлений, оказывает важное влияние на расстановку приоритетов при организации исследований, в то же время, приводя к повышению социальной значимости полученных результатов.
В работе [12] предлагается методология управления технологическим развитием авиастроения в условиях сильной неопределенности, присущей периоду смены технологических укладов. Согласно этой методологии, на верхнем уровне управления должны задаваться оптимальные функции отдельных областей науки и техники. В каждой области определяются оптимальные для выполнения этих функций концепции, то есть наборы взаимосвязанных методов или технологий. Предложена иерархическая организации процессов планирования и принятия решений, моделирования, управления компетенциями и знаниями. В работе [13] представлена методология управления прикладными исследованиями и разработками, в которой предусматривается мониторинг готовности технологий к внедрению путем измерения их уровня готовности по формализованным шкалам. Методология основана на принципах управления с учетом специфики научно-исследовательских работ как вида деятельности. Она предполагает повышение уровня обоснованности принимаемых управленческих решений за счет формализованного целеполагания развития технологий. Согласно методологии, приоритет отдается различным типам проектов и механизмам финансирования, в зависимости от УГТ технологий, развиваемых в этих проектах. Такой подход обеспечивает диверсификацию исследований при разработке заданного типа изделий - поскольку одна задача может быть решена
несколькими способами. Это снижает риск отсутствия необходимого задела при разработке изделий. Помимо этого, диверсифицируются и области применения задела, созданного в ходе выполнения проектов. Даже если изделия того или иного типа не будут востребованы рынком в данный момент, разработанные технологии могут найти применение для решения других задач.
Основная же часть работ посвящена исследованию перспективности отдельных технологий, используемых в авиастроении, без привязки к ЦКАН. Так в [14] с применением методов форсайта, выявляются исследования и технологии, оказывающие наибольшее влияние на развитие производства новых конструкционных материалов. Проведена оценка современного состояния отечественных исследований в области новых материалов для выявления «белых пятен», а также зоны паритета и лидерства. При этом необходимо отметить отсутствие исследований, посвященных методикам выявления и оценки научных и технологических центров в области авиастроения, хотя присутствуют программные статьи, описывающие деятельность отдельных центров. Например, в [15], рассматривается работа центра SFB880, созданного в Техническом университете Брауншвейга. Основным направлением деятельности центра является создание прорывных технологий в области снижения шума и повышения взлетно-посадочных характеристик летательных аппаратов (ЛА). Авторы этой статьи отмечают, что подобные задачи требуют разработки новых технологий производства шумопоглощающих поверхностей, а также исследования их аэроакустических и аэродинамических характеристик.
Выявлению и оценке центров компетенции в других областях науки и техники посвящены работы [16, 17]. В этих работах для оценки используются наукометрические индикаторы (индекс Хирша, публикационная и патентная активность), а также связанность и тематическое дублирование работ, выполняемых центрами.
Опираясь на вышеизложенный опыт в сфере оценки перспективности исследований, отметим, что предложенная в настоящей статье методика выявления и оценки ЦКАН предусматривает использование полнотекстовых средств поиска и анализа научно-технических документов для идентификации направлений исследований, технологий и аффилированных центров, а также s-кривых и наукометрических показателей для оценки состояния исследований в выявленных ЦКАН. Это позволяет преодолеть ограничения существующих методов и систем за счёт применения технологий анализа больших массивов полнотекстовых данных: для более детального анализа научных тем и направлений, для оценки траекторий их развития, а также для выявления коллективов, обладающих научными заделами в этих темах.
3. Методическое обеспечение выявления ЦКАН и оценки уровня их развития на основе показателей, характеризующих их публикационную и патентную активность с использованием экспертной информационной системы
Разработанное методическое обеспечение применения экспертных информационных систем для анализа ЦКАН представляет собой набор связанных методик решения следующих задач.
• Выявление и анализ деятельности (состояния) ЦКАН.
• Оценка уровня развития выявляемых ЦКАН в соответствии с выявляемыми перспективными технологическими направлениями в авиастроении и в смежных областях.
• Формирование перечня ЦКАН, сгруппированных по перспективным технологическим направлениям в авиастроении, и оценки уровня их развития на основе показателей, характеризующих их публикационную и патентную активность
• Ранжирование ЦКАН. Рассмотрим эти методики более подробно.
3.1 Методика выявления и анализа деятельности (состояния) ЦКАН
В методике под состоянием понимается совокупность следующих характеристик ЦКАН:
• наименование технологического направления;
• наименование тематики работы;
• состав ключевых слов;
• состав ключевых исполнителей (авторов) и др.
Под оценкой состояния ЦКАН понимаются сведения о положении дел со ЦКАН, выявленные в результате анализа материалов, собранных по источникам информации. Методика применения ЭИС для выявления и анализа деятельности (состояния) ЦКАН включает три шага:
• формирование коллекций документов, относящихся к рассматриваемым организациям;
• расширение коллекций документов (опционально);
• получение инфографической информации на основе обработки коллекций документов для ЦКАН.
Далее приведен набор пошаговых инструкций.
Шаг 1. Формирование коллекций документов, относящихся к рассматриваемым ЦКАН. Формирование коллекций начинается со сбора научно-технических документов российских организаций в области авиастроения и смежных областей. Для сбора коллекции документов могут быть использованы различные сервисы и средства полнотекстового поиска научно -технической информации.
В качестве запросов используются различные варианты сокращенного и полного наименования организаций. Для более точного наполнения коллекций на этом шаге рекомендуется использовать язык запросов. Результаты поиска документов каждой организации необходимо сохранить в отдельной заранее созданной коллекции. После сбора коллекции необходимо выполнить ее тематическую кластеризацию, например, с помощью сервиса кластеризации: реализованного в ЭИС (рис. 1). Перед запуском кластеризации необходимо эмпирически подобрать ее порог, после чего сохранить каждый полученный тематический кластер, как отдельную коллекцию.
Рис. 1. Кластеризация пользовательской коллекции Fig. 1. Clustering custom collection Каждый кластер является отдельной тематикой деятельности организации. Далее полученные тематики агрегируются в направления деятельности организации с
привлечением эксперта. Аналогично, с привлечением эксперта формируются названия полученных тематик и технологических направлений (в методике ЦКАН - это группа сотрудников организации, работающих в рамках отдельного технологического направления). Пример полученной в итоге структуры пользовательских коллекций для одной из организаций приведен на рис.2.
Рис. 2. Пользовательские коллекции, созданные для сохранения документов по различным технологическим направлениям одной из анализируемых организаций Fig. 2. Custom collections created to save documents in various technological areas of one of the analyzed
organizations
Шаг 2 - расширение коллекций документов (опционально).
Предполагается, что часть найденных документов может быть аффилирована с организациями, не входящими в исходный список для анализа (0). Поэтому построенные коллекции могут быть расширены путем включения релевантных документов этих организаций.
Рис. 3. Распределение документов пользовательской коллекции по организациям Fig. 2. Distribution custom collection documents by organizations
Шаг 3 —. получение инфографической информации на основе обработки коллекций документов для ЦКАН.
Из сформированных коллекций необходимо извлечь информацию о ключевых исполнителях в ЦКАН. В качестве ключевых исполнителей ЦКАН необходимо выбрать исследователей с наибольшим количеством публикаций внутри коллекции, соответствующей этому ЦКАН. Для получения этой информации необходимо воспользоваться функцией агрегатного анализа. Запуск этой функции производится внутри каждой коллекции, соответствующей направлению деятельности организации. (рис.4).
Распределение документов по авторам
НЩ количветаа дакуиэнтов Количество док ума лов 6 6 10 12 1 16
Фаоафимвва Е.Л.
НиюпайсинН. И.
Сычева Г. А.
Елисеев Б. П.
Сефронов В 8
ГЫдхавозА. Ю.
бол^шацворская л. г.
■Эосиме&А Г.
Лв&вдева М. Ю.
Куклев Е' А.
ШапкинВ. С.
г^г.н.
¡■н
Рис. 4. Распределение документов пользовательской коллекции по авторам Fig. 4. Distribution custom collection documents by authors В итоге, для каждого ЦКАН заполняется карточка, содержащая сведения о состоянии ЦКАН, это: его номер, наименование технологического направления, наименование тематики работы, список ключевых слов, список ключевых исполнителей (авторов).
3.2 Методика формирования перечня ЦКАН, сгруппированных по перспективным технологическим направлениям в авиастроении, и оценки уровня их развития на основе показателей, характеризующих их публикационную и патентную активность
Согласно рассматриваемой методике под уровнем развития ЦКАН по некоторому технологическому направлению понимается уровень и динамика прироста НТЗ, сформированного в центре по этим направлениям. Оценка уровня развития ЦКАН производится в сравнении с другими ЦКАН в рамках выявленных перспективных авиационных технологических направлений. Все ЦКАН делятся на три основных категории : с уровнем развития ниже среднего, со средним и с высоким уровнем развития, при этом:
• к ЦКАН со средним уровнем развития относятся те, чьи показатели динамики патентной или публикационной активности (по годам) за последние 5 лет и уровня заделов за последние 10 лет (по отношению к иным ЦКАН) являются средними или высокими;
• к ЦКАН с высоким уровнем развития относятся те, чьи показатели динамики патентной или публикационной активности (по годам) за последние 5 лет и уровня заделов за последние 10 лет (по отношению к иным ЦКАН) являются высокими, либо показатель динамики патентной или публикационной активности за последние 5 лет является высоким, а показатель уровня заделов за последние 10 лет средним;
• к ЦКАН с уровнем развития ниже среднего относятся те, чьи показатели не позволяют отнести их к ЦКАН со средним или высоким уровнем развития.
3.3 Определение динамики патентной или публикационной активности ЦКАН
Определение динамики патентной или публикационной активности осуществляется для каждого ЦКАН по годам (за ряд лет). Для определения динамики как высокой, средней и ниже среднего (невысокий) для ЦКАН введем лингвистическую переменную (ЛП) «Динамика ЦКАН», которая может принимать значения из множества X= {^выс, ^низ, ^сред}> где Xвыс= 'высокий', XM^'HeBbicoK™', Xсред='средний' и построим для нее функции
29
принадлежности цвыс., Цсред, Мншк. Для этого выполним следующую последовательность действий.
2.
Рис. 5. Накопление кумулятивной массы патентов Fig. 5. Accumulation of the cumulative mass of patents Получить данные о кумулятивной массе НТД, созданных в анализируемом ЦКАН за заданный период (рис. 5). Для получения этих данных могут использоваться различные сервисы и средства полнотекстового поиска научно-технической информации (см. подраздел 3.1 - методику выявления и анализа деятельности (состояния) ЦКАН). Аппроксимировать полученные данные с помощью S-образной кривой и определить ее параметры. В качестве S-образной кривой может использоваться логистическая функция
где а,Ь,С£Ш+, х - год за который производится оценка
Ш+, f(x) = динамики (рис. 6).
b+e-
Рис. 6. Пример графика функции, аппроксимирующей кумулятивную массу научно-технических
документов
Fig. 6. Example graph of the function that approximates the cumulative mass of scientific and technical
documents
Наибольшей скорости прироста массы научно-технических документов (НТД) соответствует максимум первой производной этой функции:
Сае-ах
(b + e-ax)r
Динамика (скорость) прироста НТД, как было отмечено выше, характеризуются значением f(x). Эта производная всюду положительна и ограничена сверху. В соответствии с условием ц < 1 она должна быть нормирована на максимум. Значение аргумента хтах, соответствующее этому максимуму определяется выражением:
/ к,—ах \
Г(х)=- ( ь+еах)
(Ь+е~ах)2 г(х ) = 0х =
J \A"maxJ Лmax _ •
3. Построить функции принадлежности для введенных ЛП.
Мвыс., №сред, №низк: ^ ^ [0,1].
Для этого в соответствии с подходом, изложенным в [18], определим ^выс, характеризующую высокие показатели динамики прироста НТД, как
№выс ~р ,
J max f' _ Са
' max
Так как значение «невысокий» семантически является отрицанием значения «высокий», функция ^низк принадлежности множества значений аргумента функции f(x), относящихся к невысоким показателям динамики прироста НТД, будет определяться как
^низк(^) 1 ^выс(^>)-
Средней динамике соответствует ситуация, в которой динамика является одновременно, в равной степени, высокой и низкой. С точки зрения нечеткой логики, этой ситуации соответствует равенство значений функций принадлежности к высокой и низкой динамике, поэтому средней динамике прироста НТД будет соответствовать функция ß сред имеющая следующий вид:
^сред(^) = 1-\ß выс
(х)-
Пример графиков функций принадлежности цвыс, ^сред и цниз приведен на рис.7.
Рис. 7. Пример графиков функций принадлежности и рнИз
Fig. .7 Example graphs of membership functions , and
Рис. 8. Кумулятивная динамика массы публикаций и патентов ЦКАН: низкая, средняя и высокая
динамика публикационной или патентной активности Fig. 8. Cumulative mass dynamics ASCC publications and patents: low, medium and high dynamics of
publication or patent activity 4. Для оценки динамики НТД за год в отдельном ЦКАН (точка - х) выбрать функцию ^выс., №с-ред, №низк с максимальным значением и соответствующее ей значение ЛП. При равных
значениях предпочтение отдается оптимистической оценке. Критерием отнесения динамики НТД за год к высокой, средней и ниже среднего является приведенное выше правило определения той из функций принадлежности, значение которой в этот год максимально (рис.8).
В качестве оценки по конкретному ЦКАН динамики НТД за 5 лет выбирается та оценка, которая получена для максимального количества лет из числа рассматриваемых, при наличии нескольких равноправных оценок - та из них которая была наиболее характерна для последних лет (сумма лет по которой больше). Определение уровня патентной или публикационной активности осуществляется для каждого ЦКАН по годам (за фиксированный интервал дат). Для определения по данным за год уровня патентной или публикационной активности ЦКАН (по отношению к иным ЦКАН) как высокого среднего и ниже среднего для группировки ЦКАН, по которым осуществляется анализ, введем лингвистическую переменную «Уровень заделов ЦКАН», принимающую значения из множества Z.
г = {^выс'^низ'гсред}. где Zвыс= 'высокий', ZHиз=! низкий', Zсpeд='средний и построим для нее функции принадлежности ^выс., ц. сред, ^низк. Для этого выполним следующую последовательность действий.
1. Получить данные о распределении выявленных ЦКАН определенного направления деятельности (НД) по количеству НТД (рис. 9).
Рис. 9. Пример гистограммы распределения НТД по ЦКАН Fig .9. Example histogram distribution of NTD ASCC
2. Построить кривую Парето, аппроксимирующую полученные данные и определить ее параметры (x0,fc). Кривая Парето задается функцией
х > x0,fc > 0.
Выбор этой функции обусловлен эмпирически выявленной закономерностью в распределениях количества НТД анализируемых ЦКАН. Эта функция всюду положительна, ее максимум соответствует ЦКАН с наименьшим числом НТД в рамках анализируемого НД. Аргумент этой функции х, соответствует группе ЦКАН с определенным уровнем заделов (ЦКАН, относящихся к одному столбцу гистограммы). Обозначим хтйЖ аргумент этой функции, соответствующий ЦКАН с наибольшим количеством НТД.
Далее, по аналогии с построением оценок динамикой НТД по конкретному ЦКАН выполним следующие действия.
Определим функцию принадлежности к множеству значений аргумента функции /3(х), относящихся к низким показателям заделов ЦКАН. Для этого нормируем эту функцию таким образом, чтобы ее область значений лежала в интервале [0,..,1]:
f \ _ f3(x)-f3(xmax) _ /- xo _ xQ \ xoxmax
Мнизк(х) = f ( )_f ( ) = ( fc+1 „k+i) k+i_vk+i.
f3(xo) f3(xmax) x xmax xmax xo
Определим функцию принадлежности множества значений аргумента функции /3(х), относящихся к высоким показателям заделов ЦКАН, как
Двыс(^) = 1 — Днизк(^)-При этом средним показателям заделов ЦКАН соответствует функция ^сред имеющая следующий вид:
Мсред 1 1Мвыс
(х)-
Мнизк 1 •
Для оценки уровня заделов по конкретному (точка - х) ЦКАН (по отношению к иным ЦКАН) по данным за год выбирается функция ^выс., ^сред, Мнизк с максимальным значением и соответствующее ей значение ЛП. При равных значениях предпочтение отдается оптимистической оценке. То есть, критерием отнесения уровня заделов по конкретному (точка - х) ЦКАН (по отношению к иным ЦКАН) по данным за год к высокому, среднему и низкому является приведенное выше правило определения той из функций принадлежности, значение которой в этот год максимально. В качестве оценки по конкретному ЦКАН уровня заделов за ряд лет выбирается та оценка, которая получена для максимального количества лет из числа рассматриваемых, при наличии нескольких равноправных оценок - та из них, которая была наиболее характерна для последних лет (сумма лет по которой больше). Для отнесения конкретных ЦКАН к ЦКАН с уровнем развития ниже среднего, со средним и с высоким уровнем развития выполним следующие действия.
1. Введем ЛП «Уровень развития ЦКАН». Для этого зададим множество L = {¿выс, ¿ср, ¿низк], где ¿выс='высокий уровень развития', ¿ср='средний уровень развития', ¿низк ='уровень развития ниже среднего'.
2. Для определения значений ЛП воспользуемся полученными выше результатами и формулами теории нечетких множеств:
^выс (*выс ^ С^выс U ^сред}), ^ср С^сред U гвыс) ^ ^сред,
^низк С^выс ^ ^ср),
где:
("гих(*з-*д) = шахС^СО.Мхд)) -
функции, участвующие в выполнении операций объединения и пересечения нечетких множеств, хз - кол-во НТД ЦКАН, хд - год, в который оценивается динамика ЦКАН. Примечания.
1. Для качественной оценки уровня развития ЦКАН необходимо обращать внимание не только на низкие или высокие показатели одного из указанных критериев, но также и на род деятельности ЦКАН. Так, ЦКАН, ведущему фундаментальную исследовательскую деятельность, допустимо иметь невысокий показатель динамики патентной активности, при условии высоких показателей динамики публикационной активности.
2. В ходе оценки приведенных критериев с использованием средств и сервисов поиска и анализа научно-технической информации необходимо учесть, что анализ динамики должен производиться отдельно для патентов и публикаций, то есть для каждого ЦКАН должны быть предварительно сформированы отдельные коллекции по видам научно-технических документов.
3.4 Методика оценки уровня развития выявляемых ЦКАН в соответствии с выявляемыми перспективными технологическими направлениями в авиастроении и в смежных областях
Согласно этой методике для оценки уровня развития выявляемых ЦКАН в соответствии с выявляемыми перспективными технологическими направлениями в авиастроении и в смежных областях, необходимо выполнить следующую последовательность действий:
• в соответствии с методикой произвести выявление и оценку состояния ЦКАН;
• выявить перспективные технологические направления российских исследовательских организаций в авиастроении и смежных областях;
• для ЦКАН, работающих в перспективных областях, в соответствии с методикой сформировать перечень ЦКАН, сгруппированных по перспективным технологическим направлениям в авиастроении, и оценить уровень их развития на основе показателей, характеризующих публикационную и патентную активность.
3.5 Методика ранжирования ЦКАН
Методика ранжирования ЦКАН, относящихся к одному направлению деятельности (к перспективному технологическому направлению в авиастроении и в смежных областях), а также построения ранжированного перечня выявленных российских ЦКАН в соответствии с разработанными подходами и критериями включает четыре шага, это:
• формирование перечня ЦКАН, сгруппированных по технологическим направлениям;
• расчет ранга ЦКАН, относящихся к одному направлению деятельности, на основе основных критериев;
• уточнение информации для определения ранга на основе дополнительных критериев;
• сортировка ЦКАН в соответствии с рангами.
Для ранжирования выявленных ЦКАН необходимо проделать следующую последовательность действий:
Шаг 1 (Формирование перечня ЦКАН, сгруппированных по технологическим направлениям). Результатом выполненных на этом шаге действий является список карточек ЦКАН. Каждая карточка содержит информацию о тематике работ ЦКАН, технологическом направлении, ключевых исполнителях, публикационных и патентных заделах, о публикационной и патентной динамике.
Шаг 2 (Расчет ранга ЦКАН, относящихся к одному направлению деятельности, на основе основных критериев). На этом шаге на основе информации, полученной на предыдущем шаге, формируется рейтинг ЦКАН с использованием следующих основных критериев.
• динамика публикационной активности сотрудников ЦКАН за последние 5 лет (имеет второй приоритет применительно к ЦКАН, деятельность которых носит исследовательскую направленность);
• динамика патентной активности сотрудников ЦКАН за последние 5 лет (имеет второй приоритет применительно к ЦКАН, деятельность которых носит производственную направленность);
• задел (общее количество публикаций или патентов) сотрудников ЦКАН за последние 10 лет (имеет первый приоритет).
Информация, необходимая для вычисления этих критериев уже содержится в карточках ЦКАН после выполнения шага 1.
Шаг 3 (Уточнение информации для определения ранга на основе дополнительных критериев). На этом шаге при необходимости (необходимость определяется экспертно) результаты формирования информации для определения рейтинга ЦКАН уточняются с использованием следующих дополнительных критериев, использующих информацию,
получаемую из внешних источников, это: наукометрические показатели наиболее активно публикующихся авторов: индекс Хирша, индекс Хирша без самоцитирований, импакт фактор журналов, в которых опубликованы работы (рис.10).
Данную процедуру имеет смысл проводить при сравнении ЦКАН, занимающихся фундаментальными исследованиями. Таковым учреждение будет являться, при наличии высокой положительной динамики публикационной активности (научные публикации). ЦКАН, имеющие высокую динамику патентной активности, следует отнести к организациям, занимающимся прикладными исследованиями.
Рис. 10. График распределения документов по авторам Fig. 10. Graph of distribution of documents by author Для получения сведений, необходимых для уточнения наукометрических показателей по каждому отобранному автору, используются следующие источники:
• РИНЦ (Российский индекс научного цитирования) - eLibrary.ru;
• реферативная база данных Scopus - scopus.com;
• реферативная база данных Web of Science - webofknowledge.com.
Итоговый рейтинг ЦКАН определяется экспертно на основе перечисленных выше критериев. Шаг 4 (Сортировка ЦКАН в соответствии с рангами). На этом шаге на основе данных, представленных в ранжированном списке ЦКАН, ЦКАН разбиваются на три группы. К первой группе относятся 10% ЦКАН с наиболее высокими показателями. Ко второй группе относятся 30% ЦКАН с наиболее высокими показателями. К третьей группе относятся 30% ЦКАН с наиболее низкими показателями. Интервалы значений рейтинга определены для условий высокой неопределенности в соответствии с подходом [19].
4. Апробация методик на модельных данных
Для апробации методик использовался макет ЭИС, в который были загружены информационные базы научно-технических и патентных документов в количестве ~25,5 млн. документов общим объемом ~2,35 ТБ. В ходе апробации поиск проводился по следующим коллекциям: «Российские журналы», «Российские научные издания по авиастроению»,
«Авторефераты диссертаций», «ФИПС Полезные модели», «ФИПС Промышленные образцы» и «ФИПС Изобретения».
Основные результаты ранжирования ЦКАН, полученные на основе приведенной выше методики, представлены в табл.1, содержащей сведения о центрах с наивысшим рангом по каждому направлению. Представленные результаты носят модельный характер, так как были получены исключительно путем анализа открытых источников информации, не содержащих, в виду специфики области, описания многих перспективных технологий, методов и образцов техники.
Табл. 1. ЦКАН с наивысшим рангом по направлениям научно-технической деятельности Table 1. Aviation Science Centers of Excellence with the highest rank in areas of scientific and technical activities
ЦКАН Патенты Публикации Динамика прироста патентов Динамика публикаций
Аэродинамика гиперзвуковых ЛА
ЦАГИ 3 62 низкая средняя
Малоразмерные ГТД
СГАУ 0 33 - средняя
Аэродинамика трансзвуковых и сверхзвуковых ЛА
ЦАГИ 35 41 средняя средняя
Вихревая безопасность
ЦАГИ 0 6 - средняя
Лопатки\диски ГТД
ВИАМ 19 49 средняя высокая - рост в последние годы (2013-2017)
Гиперзвуковые аэродинамические трубы
ЦАГИ 5 14 средняя средняя
Авиабортовые системы электроснабжения
УГАТУ 0 19 - средняя
Навигационные системы
МГТУ ГА 0 44 средняя, небольшой рост в 2018
Гиперзвуковые ПВРД
ЦИАМ 17 5 Средняя низкая - спад в последние годы
Ресурсные испытания ЛА
ВИАМ 11 50 низкая высокая -значительный рост с 2014 года
Имитация целей
ГОСНИИАС 6 0 высокая -
Рельсовые стенды
ГКНИПАС 4 0 низкая -
ЦКАН Патенты Публикации Динамика прироста патентов Динамика публикаций
Интегрированные платформы авионики
Центр комплексирования ОАК 0 5 средняя
Компрессоры и турбины ГТД
УМПО 218 12 высокая - резкий рост с 2014 низкая
Прочностные испытания ЛА
ЦАГИ 12 12 средняя средняя
Снижение шума ЛА
ЦИАМ 20 6 средняя средняя
Управление ГТД
МАИ 0 23 - высокая - рост с 2015 года
Управление испытательными стендами
ЦАГИ 2 10 средняя небольшой рост в последние годы низкая
Обработка изображений
МГТУ им Баумана 1 7 Низкая средняя
Производство наноматериалов для авиастроения
МГТУ им Баумана 1 7 Низкая средняя
Высотные испытания
ЦИАМ 13 2 средняя низкая
Датчики
КАИ 15 12 низкая - последний патент в 2015 средняя
5. Заключение
В ходе апробации представленной методики было выявлено 25 технологических направлений российских исследовательских организаций в авиастроении и смежных областях, из них 7 перспективных, а также 20 глобальных технологических трендов, оказывающих влияние на развитие авиастроения в России и мире. В рамках этих технологических направлений выявлено, оценено и ранжировано 143 ЦКАН. Корректность полученных результатов была оценена экспертами, которые подтвердили применимость предложенной методики для выявления и анализа ЦКАН.
Разработанная методика позволяет использовать поисково-аналитические инструменты, такие как ЭИС, для анализа компетенций, что позволит сформировать детальную оценку имеющихся ресурсов при планировании развития научной организации в области авиастроения. В дальнейшем предполагается автоматизировать шаги предложенной методики путем интеграции соответствующих модулей в состав разрабатываемой ЭИС по поиску, анализу и учету знаний в авиастроении.
Предложенное методическое и информационное обеспечение для выявления ЦКАН может быть адаптировано и для других предметных областей с целью выявления и ранжирования центров компетенций по тематикам и направлениям, принятым в этих областях.
Список литературы / References
[1] Ананьева М. И., Девяткин Д.А., Зубарев Д.В., Осипов Г.С., Смирнов И.В., Соченков И.В., Тихомиров И.А., Швец А.В., Шелманов А.О. TextAppliance: поиск и анализ больших массивов текстов. Труды Пятнадцатой национальной конференции по искусственному интеллекту с международным участием, 2016 г., стр. 220-228 / Ananyeva M.I., Devyatkin D.A., Zubarev D.V., Osipov G.S., Smirnov I.V., Sochenkov I.V., Tikhomirov I.A., Shvets A.V., Shelmanov A.O. TextAppliance: Search and Analysis of Large Arrays of Text. In Proc. ofthe Fifteenth National Conference on Artificial Intelligence with International Participation, 2016, pp. 220-228 (in Russian).
[2] S. Ren, Yingfeng Zhang, Y. Liu, T. Sakao, D. Huisingh, C. Almeida. A comprehensive review of big data analytics throughout product lifecycle to support sustainable smart manufacturing: A framework, challenges and future research directions. Journal of Cleaner Production, vol. 210, 2019, pp. 1343-1365.
[3] Liu G. F., Sun H. P., Song X. P. Visualizing and mapping the research on patents in information science and management science. Malaysian Journal of Library & Information Science, vol. 19, № 1, 2014, pp. 87-103.
[4] ГОСТ Р 57194.1-2016. Трансфер технологий. Общие положения / GOST R 57194.1-2016. Technology transfer. General Provisions (in Russian),
[5] Christensen C.M., McDonald R., Altman E.J., Palmer J.E. Disruptive innovation: An intellectual history and directions for future research. Journal of Management Studies, vol. 55, № 7, 2018, pp. 1043-1078.
[6] Zhang G., Morris E., Allaire D., and McAdams D.A. Research Opportunities and Challenges in Engineering System Evolution. Journal of Mechanical Design, vol. 142, № 8, 2020.
[7] Foster R.N. Working the S-curve: assessing technological threats. Research Management, vol. 29, № 4, 1986, pp. 17-20.
[8] Mansfield E. Technical Change and the Rate of Imitation. Econometrica, vol. 29, № 4, 1961, pp. 741-766.
[9] Richards F.J. A Flexible Growth Function for Empirical Use. Journal of Experimental Botany, vol. 10, № 2, 1959, pp. 290-300.
[10] Arocena R., Goransson B., Sutz J. Towards making research evaluation more compatible with developmental goals. Science and Public Policy, vol. 46, № 2, 2019, pp. 210-218.
[11] Andersen B. The hunt for S-shaped growth paths in technological innovation: a patent study. Journal of evolutionary economics, vol. 9, № 4, 1999, pp. 487-526.
[12] Дутов А.В., Клочков В.В., Рождественская С.М. Стратегическое управление технологическим развитием и научно-техническими знаниями (на примере авиастроения). Друкеровский вестник, № 1, 2019 г., стр. 177-191 / Dutov A.V., Klochkov V.V., Rozhdestvenskaya S.M. Strategic management of technological development and scientific and technical knowledge (on the example of aircraft construction). Drukerovskiy Vestnik, № 1, 2019, pp. 177-191 (in Russian).
[13] Рождественская С.М., Клочков В.В. Методический инструментарий формирования программ технологического развития и перечня критических технологий в авиастроении. Россия: тенденции и перспективы развития, № 12-2, 2017 г., стр. 469-503 / Rozhdestvenskaya S.M., Klochkov V.V. Methodical toolkit of formation of technological development programs and the list of critical technologies in aircraft. Russia: Trends and Prospects, № 12-2, 2017, pp. 469-503 (in Russian).
[14] Vishnevskiy K., Yaroslavtsev A. Russian S&T Foresight 2030: case of nanotechnologies and new materials. Foresight, vol. 19, No. 2, 2017, pp. 198-217.
[15] Radespiel R., Heinze W., Bertsch L. High-lift research for future transport aircraft. Deutsche Luft- und Raumfahrtkongress (DLRK), 2017.
[16] Земцов С. П. Опыт выявления и оценки потенциала инновационных кластеров (на примере отрасли «Рациональное природопользование»). Региональные исследования, том 40, № 2, 2013, стр. 12-19 / Zemtsov S. P. Experience of identifying and assessing the potential of innovative clusters (on the example of the "Rational use of natural resources" industry). Regional research, vol. 40, № 2, 2013, pp. 12-19 (in Russian).
[17] Devyatkin D.A., Suvorov R.E., Tikhomirov I.A. A Method for the Identification of Competence Centers Based on the Example of the Artificial Intelligence Domain. Scientific and Technical Information Processing, vol. 44, № 4, 2017, pp. 253-260.
[18] Zadeh L.A. The concept of a linguistic variable and its application to approximate reasoning - I. Information sciences, vol. 8, № 3, 1975, pp. 199-249.
[19] Беленков В. Г. Вопросы методического обеспечения построения перспективного КСА (VI). Наукоемкие технологии, том 11, № 1, 2010 г., стр. 038-072 / Belenkov V.G. Issues of methodological support for the construction of a promising CSA (VI). Science-intensive technologies, vol. 11, № 1, 2010, pp. 038-072 (in Russian).
Информация об авторах / Information about authors
Виктор Геннадьевич БЕЛЕНКОВ - кандидат технических наук, ведущий научный сотрудник Института проблем информатики Федерального исследовательского центра «Информатика и управление» РАН. Имеет большой опыт работы по научно техническому сопровождению и обеспечению создания автоматизированных систем.
Viktor Gennadievich BELENKOV - PhD, Leading Researcher at the Institute of Informatics Problems RAS of the Federal Research Center "Informatics and Management" RAS. Has extensive experience in scientific and technical support and ensuring the creation of automatic systems.
Владимир Игоревич БУДЗКО - доктор технических наук, заместитель директора по научной работе, Институт проблем информатики Федерального исследовательского центра «Информатика и управление» РАН. Сфера его научных интересов лежит в области создания крупномасштабных информационно-телекоммуникационных систем (ИТС).
Vladimir Igorevich BUDZKO - Doctor of Technical Sciences, Deputy Director for Science, Institute of Informatics Problems of the Federal Research Center "Information and Management" RAS. The sphere of his scientific interests lies in the creation of large-scale information and telecommunication systems (ITS).
Дмитрий Алексеевич ДЕВЯТКИН - научный сотрудник. Его научные интересы включают интеллектуальный анализ текстов, построение когнитивных моделей, семантический анализ.
Dmitry Alekseevich DEVYATKIN - lead scientist. His research interests include text mining, cognitive model building, semantic analysis.
Анна Владимировна КАН - кандидат технических наук, начальник аналитического отдела департамента координации и сопровождения программ. Основные научные интересы в области системного анализа, имитационного моделирования и искусственного интеллекта.
Anna Vladimirovna KAN - Ph.D., head of the analytical department of the department of coordination and support programs. Her main research interests are in the field of systems analysis, simulation and artificial intelligence.
Иван Сергеевич МИХАЙЛИН - заместитель генерального директора. Основные научные интересы в области системного анализа, имитационного моделирования и искусственного интеллекта.
Ivan Sergeevich MIKHAILIN - Deputy General Director. His main research interests are in the field of systems analysis, simulation and artificial intelligence.
Илья Владимирович СОЧЕНКОВ - кандидат физико-математических наук, начальник лаборатории. Его научные интересы включают интеллектуальный анализ текстов, построение когнитивных моделей, семантический анализ.
Ilya Vladimirovich SOCHENKOV - Candidate of Physics and Mathematics Sciences, Head of Laboratory. His research interests include text mining, cognitive model building, semantic analysis.
Илья Александрович ТИХОМИРОВ - кандидат технических наук. Его научные интересы включают интеллектуальный анализ текстов, построение когнитивных моделей, семантический анализ, наукометрию, анализ научных цитирований; автоматизированную оценку научных работ.
Ilya Aleksandrovich TIKHOMIROV - Candidate of Technical Sciences. His research interests include text mining, building cognitive models, semantic analysis, scientometrics, scientific citations analysis; automated evaluation of scientific papers.
Василий Сергеевич ШАПКИН -доктор технических наук, профессор, первый заместитель генерального директора. Известный ученый в области поддержания летной годности воздушных судов.
Vasily Sergeevich SHAPKIN - Doctor of Technical Sciences, Professor, First Deputy General Director. A well-known scientist in the field of maintaining the airworthiness of aircraft.
