ПРЕДСКАЗАТЕЛЬНОЕ МОДЕЛИРОВАНИЕ ТРЕНДОВ ТЕХНОЛОГИЧЕСКОГО РАЗВИТИЯ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК (

Alla G. Kravets1, Natalia A. Salnikova2

PREDICTIVE MODELING OF TECHNOLOGICAL DEVELOPMENT TRENDS

1 Volgograd State Technical University, 28 Lenin av., Volgograd, 400005, Russia

2 Volgograd Institute of Management - branch of the Russian Presidential Academy of National Economy and Public Administration, 8 Gagarin St., Volgograd, 400131, Russia. e-mail: agk@gde.ru ; ns3112@mail.ru

In the work, the problem of forecasting technological development trends was considered. A review of the sources of the gtobal patent space, an analysis of technobgical devebpment trends, a survey of data sources for training the neural network were carried out. Existing data mining techniques were analyzed for more accurate and faster forecasting. A module for predictive modeling of trends in technological development was developed, algorithms for the moduh for predctive mod-eing of trends in technologccal development were described.

Keywords: Patent Search, Neural Network, Decision Trees, Gradient Boosting, Deep Study, Forecasting, Technology Trends.

001 10.36807/1998-9849-2020-55-81-103-108

Введение

Показатели патентной активности в настоящее время нередко используются при технологическом прогнозировании и в конкурентной разведке. Важную роль приобретает прогнозирование развития патентных трендов в отдельно взятых странах и во всем мире, позволяющее выявить основные приоритетные направления развития технологий [1, 2].

В условиях глобализации экономики и быстро меняющейся конкурентной среды особую значимость приобретает проблема выбора стратегии технологического развития. Релевантность и, как следствие, эффективность этого выбора в значительной степени определяются тем, насколько точно субъектом макро-, мезо- или микроэкономики учтены глобальные и региональные и технологические тренды [3, 4].

На формирование технологических трендов оказывают влияние, в первую очередь, объективные процессы развития мировых рынков, а также процессы развития и смены технологических укладов. Кроме этого, на формирование технологических трендов влияют меры государственного регулирования экономики, учитывающие социальные, экологические, политические и другие факторы. Результаты анализа глобальных экономических процессов и трендов формализуются в виде программных документов государственных

4.896

Кравец А.Г.1, Сальникова Н.А.2

ПРЕДСКАЗАТЕЛЬНОЕ

МОДЕЛИРОВАНИЕ

ТРЕНДОВ

ТЕХНОЛОГИЧЕСКОГО РАЗВИТИЯ

1 Волгоградский государственный технический университет, пр. Ленина, 28, Волгоград, 400132, Россия 2Волгоградский институт управления - филиал Российской академии народного хозяйства и государственной службы при Президенте РФ, ул. Гагарина, 8, Волгоград, 400132, Россия e-mail: agk@gde.ru ; ns3112@mail.ru

В работе решалась задача прогнозирования трендов технологического развития. Проведен обзор источников глобального патентного пространства, анализ трендов технологического развития, обзор источников данных для обучения нейронной сети. Проанализированы существующие методы интеллектуального анализа данных для более точного и быстрого прогнозирования. Разработан модуль предсказательного моделирования трендов технологического развития, описаны алгоритмы работы модуля предсказательного моделирования трендов технологического развития.

Ключевые слова: патентный поиск, нейронная сеть, деревья решений, градиентный бустинг, глубокое обучение, прогнозирование, технологические тренды.

Дата поступления - 21 июля 2020 года

органов, таких как прогнозы и стратегии социально-экономического развития; рамочные программы, исследования и прогнозы крупных консалтинговых компаний, а также международных финансовых структур. Эти документы и прогнозы основаны на глубоких и всесторонних исследованиях и, как правило, демонстрируют высокую сопоставимость [5, 6].

Таким образом, задача разработки методики предсказательного моделирования трендов технологического развития является актуальной.

Для достижения поставленной цели необходимо решить следующие задачи:

1) провести анализ глобального патентного пространства;

2) провести обзор источников данных для анализа технологических трендов;

3) провести анализ трендов технологического развития;

4) провести обзор источников данных для обучения нейронной сети;

5) провести интеллектуальный анализ данных;

6) сформировать структурно-функциональное моделирование трендов технологического развития;

7) описать применяемые методы интеллектуального анализа данных (ИАД);

8) спроектировать модуль предсказательного моделирования трендов технологического развития;

9) описать алгоритмы работы модуля предсказательного моделирования трендов технологического развития;

10) протестировать модуль предсказательного моделирования трендов технологического развития.

Целью работы является разработка программно-информационного инструментария для предсказания трендов технологического развития.

Объектом исследования являются тренды технологического развития.

Предметом исследования являются методы предсказательного моделирования трендов технологического развития моделирования.

Научная новизна заключается в предложенной и программно реализованной формальной методике предсказательного моделирования трендов технологического развития, в отличие от существующих, базирующейся на статистических данных из открытых источников, что позволяет получать прогнозы трендов как для технологий, вводимых в производство, так и для перспективных технологий с точки зрения патентования.

Анализ глобального патентного пространства

Одним из инструментов анализа технологических трендов является анализ патентных ландшафтов. Патентный ландшафт (англ. Patent Landscape) — аналитический инструмент в сфере патентования, позволяющий очертить технологический контекст любого исследуемого вопроса, изобретения или решения в области интеллектуальной собственности. Представляя инструментарий патентного анализа в целом, патентные ландшафты многократно усиливают потенциал результатов патентного поиска (англ. patent search) и патентного анализа (англ. patent analysis) методами визуализации и многомерных аналитических представлений. В условиях значительного объёма и комплексного характера информации, анализ патентного ландшафта становится существенным этапом, предваряющим любые исследования и разработки [7, 8].

Патентные документы — это не единственный источник информации при детальном анализе технологического тренда. Важными источниками информации являются также данные о научно-технических публикациях, о результатах, выполненных НИОКР, в том числе в рамках федеральных целевых программ, а также конъюнктурная информация. Вместе с тем, значительное количество публикаций, посвященных использованию патентной информации в целях определения технологических трендов, свидетельствует о неоспоримых преимуществах использования патентной документации при анализе технологических ландшафтов, а также прогнозировании перспективных направлений развития тех или иных отраслей промышленности [9, 10]. При этом, однако, несмотря на значительное количество исследований и публикаций, причинно-

следственные связи между патентными показателями, с одной стороны, и стратегическими и тактическими решениями в сфере технологического развития, с другой стороны, выявлены и систематизированы в литературных источниках, недостаточно глубоко и полно для решения практических задач [11, 12].

С каждым годом все больше компаний стремятся запатентовать изобретения. Именно поэтому из года в год количество патентных заявок увеличивается. Возрастающий поток заявок и более 70 миллионов выданных патентов увеличивают время, которое патентные эксперты должны тратить на рассмотрение поступающих заявок [13, 14]. Иногда поступающие заявки ждут экспертизы до нескольких лет. При этом эксперту приходится делать сотни поисковых запросов и вручную обрабатывать тысячи существующих патентов во время процедуры экспертизы, чтобы принять решение: одобрить заявку или отклонить ее. Этот процесс может занять у него более 20 часов. Растущая рабочая нагрузка патентных ведомств привела к необходимости разработки автоматизированных систем поддержки принятия решений, чтобы помочь экспертам в процессе экспертизы. Система автоматического позиционирования материалов заявки для получения патента на изобретение в мировом патентном пространстве основана на статистическом и семантическом подходах E-patent Examiner - система принятия решений экспертами при экспертизе патентной заявки [15, 16].

Задача экспертизы патентных заявок можно разделить на две основные подзадачи:

1) задача поиска соответствующих выданных патентов - поиск по уровню техники;

2) задача автоматизированного принятия решения о патентоспособности заявки.

Внедрение предлагаемой системы сократит предметную экспертизу. Основными задачами развития системы являются:

• обеспечение автоматического позиционирования материалов заявки для получения патента на изобретение в глобальном патентном пространстве на основе статистического и семантического подходов;

• оптимизация обработки технологических процессов, связанных с экспертизой изобретения, на основе результатов автоматического позиционирования материалов заявки для получения патента на изобретение в глобальном патентном пространстве на основе статистического и семантического подходов.

Предлагаемый алгоритм (рис. 1) поиска аналогов патента производится методом статистического анализа, где применяется процедура сравнения векторов принадлежности неименованным кластерам, полученных методом LDA, семантического анализа текста на естественном языке, состоящего из этапов: предобработки, морфологического разбора, построения семантических деревьев предложений, оценка подобия семантических деревьев модифицированным алгоритмом Левенштайна.

D1 База патентов

Данные о

патентах

Данные по патентной

Произвести морфологический

анализ

._)

Выделенные группы слое

Произвести латентное размещение Дирихле (LDA)

Вектор принадлежности к латентным кластерам изобретения из заявки

вектор

Вектора принадлежности к латентным принадлежности кластерам каждого патента из базы к латентным кластерам (РСА)

V.

ранжированный список релевантных заявке документов

Данные по

патентным

кластерам

D2 Латентные кластеры

Редуцированные

вектора принадлежности к латентным кластерам каждого патента из базы

Визуализировать

Ключевые термины заявки

Семантически близкие сектора в других патентах

Вектор принадлежности заявки к латентным кластерам

Анализировать пересечение сетей

Релевантные патенты, ранжированные по значению Функции близости

Выполнить сингулярное разложение (SVD)

Редуцированный

вектор принадлежности к латентным кластерам изобретения из заявки

Рассчитать

функцию близости к сущ. патентам

ч_'__

Т

Термдокументная матрица

Г

Настроенная

модель семантической сети

Настроить

модель построения семантической сети

Рис. 1. Потоки данных метода автоматического позиционирования

И нтеллектуальный анализ данных

Проведен анализ ряда систем по поиску статистических данных для обучения нейронной сети.

Центр данных статистики WIPO (World Intellectual Property Organization) в области интеллектуальных систем является онлайновым сервисом, обеспечивающим доступ к статистическим данным WIPO в области интеллектуальной собственности во всем мире. Пользователи могут выбирать из широкого спектра индикаторов и просматривать или загружать последние доступные, а также исторические данные в соответствии с их потребностями.

Центр статистических данных WIPO охватывает следующие типы показателей: патент, товарный знак, промышленный образец, полезную модель, а также системы в рамках РСТ, Мадридской и Гаагской систем. Большинство показателей, относящихся к патентам, товарным знакам, промышленному дизайну и полезной модели, относятся к периоду, начинающемуся с 1980 года.

SJCR (The SCImago Journal & Country Rank) -это общедоступный портал, который включает журналы и национальные научные индикаторы, разработанные на основе информации, содержащейся в базе данных Scopus® (Elsevier BV). Эти показатели могут использоваться для оценки и анализа научных областей. Журналы можно сравнивать или анализировать отдельно. Рейтинги стран также могут сравниваться или анализироваться отдельно. Журналы могут быть сгруппированы по предметной области (27 основных тематических областей), предметной категории (313 конкретных тематических категорий) или по странам. Данные о цитировании взяты из более чем 34 100

наименований из более чем 5000 международных издателей и показателей эффективности стран из 239 стран мира.

SHAPE OF SCIENCE - это проект визуализации информации, целью которого является раскрытие структуры науки. Его интерфейс разработан для доступа к базе данных библиометрических показателей портала SCImago Journal & Country Rank. SHAPE OF SCIENCE показывает очень интуитивное изображение взаимосвязи различных предметных областей с позиции журналов. Отдельные профили журналов могут быть доступны из этого интерфейса.

The world report - предлагает подробную информацию для анализа мира и каждого из восьми крупных географических регионов. Здесь представлены многочисленные индикаторы и показаны таблицы и графики трендов (1996-2017 гг.) для всех или одной из 27 основных предметных областей и для всех или одного из регионов, соответствующих выбранным параметрам. Представлены следующие показатели: H-индекс, достоверные документы, цитаты, самоцитирование и цитаты на документ. В отчете также показано развитие в течение периода 1996-2017 гг.

После анализа приведенных выше систем по поиску статистических данных сделан сравнительный анализ функциональных возможностей этих систем. Результаты приведены в таблице 1.

Таблица 1. Сравнительная характеристика поисковых систем

Система Выбор тех- Выбор вре- Выбор Выбор типа

нологии менного промежутка страны документа

WIPO + + + -

SJR + - + +

По результатам проведенной сравнительной характеристики поисковых систем сделан вывод, что сайты не предоставляют возможность предсказывать тренды технологического развития, однако на основе данных, которые они публикуют, это вполне возможно.

Как правило, исходная информация представляет большие массивы структурированных и неструктурированных данных, для анализа и выявления скрытых закономерностей, в которых широко используется интеллектуальный анализ данных (ИАД). Различные методы ИАД реализованы в программных продуктах российских и зарубежных компаний, таких как IBM (компьютерная программа IBM SPSS Modeler) [17], StatSoft (статистический пакет Statistica), WizSoft (ана-

литическая система WizWhy), BaseGroup (аналитическая система Deductor), IntefralSolutions, Microsoft и др.

Ниже представлена сравнительная таблица (таблица 2), отражающая преимущества и недостатки существующих методов моделирования оттока клиентов и их реализацию в существующих программных продуктах.

Каждый из рассмотренных методов ИАД имеет ограничения и особенности также, как и преимущества использования. Следует отметить, что нейронная сеть, и, в частности, самоорганизующаяся карта Кохонена, имеют ряд достоинств, такие как самообучение и устойчивость к зашумленным данным [18].

Таблица 2. Анализ методов ИАД

Модели и методы Преимущества Недостатки Программные продукты

Поиск ассоциативных правил Находит очень простые и интуитивно понятные правила Выявление часто встречающихся наборов элементов требует больших вычислительных и временных ресурсов Deductor studio SPSS Modeler STATISTICA SAS Enterprise Miner

Нейронные сети Устойчивы к шумам Решают задачи при неизвестных закономерностях Переучиваются при изменении среды Быстродейственны Отказоустойчивы Возможная неясность причин принятого решения Отсутствие гарантии получения однозначных повторяемых результатов Deductor studio SPSS Modeler STATISTICA SAS Enterprise Miner

Карты Кохонена Устойчивы к зашумленным данным Быстрое и неуправляемое обучение Возможность визуализации Эвристичночость алгоритма обучения Предопределенность числа кластеров Зависимость от первоначальных настроек сети Deductor studio SPSS Modeler STATISTICA SAS Enterprise Miner

Случайные леса решений Эффективны с данными с большим числом признаков и классов Работают с непрерывными и дискретными признаками Нечувствительны к монотонным преобразованиям Склонны к переобучению в случае зашумленности данных Большая размерность моделей SPSS Modeler STATISTICA SAS Enterprise Miner

Деревья решений Быстрота обучения Извлечение правил на естественном языке Интуитивно понятная классификационная модель Высокая точность прогноза Построение непараметрических моделей Решение только вопросов классификации Не способность работать с непрерывным целевым полем Deductor studio SPSS Modeler STATISTICA SAS Enterprise Miner

Регрессия Кокса Способна работать с цензурированными данными и категориальными переменными Возможность визуализации Цензурированность данных уменьшает выборку, вследствие чего может дать несостоятельные результаты SPSS Modeler STATISTICA SAS Enterprise Miner

Бинарная логистическая регрессия Проста Быстрополучаема Хорошо интерпретируема Широко применима Достаточно точна Обладает инструментами оценки качества моделей Имеет трудности из-за нелинейности отношений между оттоком и влияющими на него факторами Предсказываемый параметр, как правило, число из непрерывного диапазона Deductor studio SPSS Modeler STATISTICA SAS Enterprise Miner

Разработка формальной методики предсказательного моделирования трендов технологического развития

Шаги формальной методики состоят из следующих этапов:

• скачивание статистических данных с сайтов WIPO и SJR;

• формирование обучающей выборки;

• предоставление обученной модели;

• запрос на анализ технологии (в тренде или нет).

Формирование обучающей выборки осуществляется вручную, созданием файла формата .csv. В созданном файле необходимо создать две колонки: год (year) и количество патентов за год (total). Затем пе

ренести данные из скачанных файлов в созданный документ.

После того, как формирование выборки закончилось, файл загружается в программный модуль, который, в свою очередь, считывает данные из него и на их основе делает предсказание.

По результатам работы программного модуля на основе построенного тренда пользователь делает запрос на анализ технологии. Развитие технологии четко прослеживается на графике.

Затем осуществляется структурно-функциональное моделирование трендов технологического развития. Для процесса предсказания моделирования трендов технологического развития используем методологию IDEF0, которая предписывает построение иерархической системы диаграмм.

На рис. 2 показано общее представление процесса предсказательного моделирования технологических процессов.

§ £ i ■8.

Предсказательное . моделирование Запрос на анализ технологии технологических трендов

ф 1 £ 1 X

0 го 1 5 s §

S т с £ S

В" и О ф X < 1

О- LD С a

Прогноз пате нтуе мы*, технологий

Прогноз динами™ патентования

Прогнозирование вводимых технологий в производство

Рис. 2. Общая функциональная модель методики

На вход процесса поступает запрос на анализ технологии. Управлением являются правила выборки данных и парсинга .csv. Механизмом являются пользователь, аналитик, программное обеспечение и источники данных. На выходе выявляются прогнозы патентуемых технологий, динамики патентования и вводимых технологий в производство.

Диаграмма потоков данных представлена на

рис. 3.

Проектирование модуля предсказательного моделирования трендов технологического развития

Предварительную модель можно представить в виде функциональных схем прецендентов.

Диаграмма представляет отражение действующих лиц, которые взаимодействуют с системой, и реакцию информационной системы на их действия.

Диаграмма прецендентов, описывающая информационную систему, показана на рис. 4.

Рис. 3. Диаграмма потоков данных

Рис. 4. Функциональное поведение системы

Первым шагом работы программы является считывание файла формата .csv. Далее происходит обучение модели. Так как модуль не может предсказать данные на несколько лет, каждое последующее предсказание заносится в массив total и год в массив year. После изменения массива данных переобучается модуль. Таким образом, можно предсказать параметр total на каждое неограниченное количество лет вперед. После предсказания необходимого количества лет, программа строит график, где ось X - год, а ось Y - количество патентов.

На рис. 5 представлен алгоритм работы программного модуля.

После проведения тестирования модуля предсказательного моделирования трендов технологического развития можно сделать вывод, что обученный модуль делает достаточно точный прогноз на первые 5 лет. Точность прогнозирования напрямую зависит от объема обучающей выборки.

^ Начало ^

f Считывание о азы данных (выборки) .

Обучение модели

Предсказание следующего года. Обновление даты

1

Переобучение модели на обновленных данных

Нет Предсказанный год4

.Да

z последнему году, предсхаза:

Построение графика

3

Рис. 5. Алгоритм работы модуля предсказательного моделирования трендов технологического развития

Заключение

В настоящей работе решалась задача прогнозирования трендов технологического развития. Проанализированы существующие методы интеллектуального анализа данных для более точного и быстрого прогнозирования. Одним из таких методов оказался градиентный бустинг.

Разработан модуль прогнозирования трендов технологического развития на языке Python с библиотекой CatBoost. Процесс работы системы предполагает 2 основных этапа: обучение и прогнозирование. Результаты экспериментов показали, что обученный модуль делает достаточно точный прогноз на первые 5 лет и точность прогнозирования напрямую зависит от объема обучающей выборки. В итоге, разработанный программный модуль можно использовать в рамках задач предсказания трендов технологического развития.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-07-01200.

Литература

1. Kravets Alla G, Salnikova Natalia A., Mikhnev Ilya P., Orudjev Nazim Y., Poplavskaya Olga V. Web Portal for Project Management in Electronics Design Software Development. // International Seminar on Electron Devices Design and Production (SED 2019). Proceedings. 8798472. Prague, April 23-24, 2019. P.1-6.

2. Vasiiiev S.S., Korobkin D.M., Kravets A. G., Fo-menkov S.A., Koeesnikov S.G. Extraction of Cyber-Physical Systems Inventions' Structural Elements of Russian-Language Patents. Cyber-Physical Systems: Advances in Design & Modelling. 2020. P. 55-68. URL: https://www.springer.com/gp/book/9783030325787

3. Korobkn D, Fomenkov S, Golovanchikov A. Method of identification of patent trendsbased on descriptions of technical functions. // J. Phys.: Conf. Ser.1015. 2018. Vol. 7. P. 1-6.

4. Korobkin,D, Fomenkov S, Gohvanchkov A. Method of identification of patent trendsbased on descriptions of technical functions // J. Phys.: Conf. Ser.1015. 2018. Vol. 7. P. 1-6.

5. Kizim, A.V., Kravets, A.G. On Systemological Approach to Intelligent Decision-Making Support in Industrial Cyber-Physical Systems. In: Cyber-Physical Systems: Industry 4.0 Challenges. Studies in Systems, Decision and Control. 2020. Vol. 260. Springer, Cham. P. 167-183.

6. Kamaev Vaeery A, Sahikova Nataia A, Akhmedov Sueeiman A., Likhter Anatoiy M. The Formalized Representation of the Structures of Complex Technical Devices Using Context-Free Plex Grammars // Communications in Computer and Information Science. Volgograd: 2015. Vol. 535. CIT&DS, P. 268-277.

7. Lee C, Kan B. & Shin J. Novelty-focused patent mapping for technology opportunity analysis // Tech. Forec. and Soc. Chanc. 2015. Vol. 90. P. 355-65.

8. Kravets Alia, Shumeiko Nikita, Shcherbakova Natalia, Lempert Boris, Salnikova Nataia. "Smart Queue" Approach for New Technical Solutions Discovery in Patent Applications // In: Communications in Computer and Information Science. Vol. 754, CIT&DS 2017. Volgograd, 2017. P. 37-47.

9. Kravets Ala G., Kolesnikov Sergey, Sahikova Nataia, Lempert Mikhail, Pophvskaya Olga. The Study of Neural Networks Effective Architectures for Patents Images Processing // Communications in Computer and Information Science. 2019. Vol. 1084. P. 27-41.

10. Korobkin Dmitriy M, Fomenkov Sergey A., Kravets Ala G., Golovanchikov Ahxander B. Patent data analysis system for information extraction tasks. // 13th International Conference on Applied Computing (AC) 2016. P. 215-219.

11. Kravets A.G, Bebv A.G, Sadovnkova N.P. Models and methods of professional competence level research. // Recent Patents Comput. Sci. 2016. Vol. 9(2). P. 150-159

12. Kravets Ala, Sama Nataia, Dmitrenko Ki-nll, Lempert Mikhail. Industrial Cyber-Physical Systems: Risks Assessment and Attacks Modeling. // Studies in Systems, Decision and Control. 2020. Vol. 260. P. 197-210.

13. Wang Fengxiang, Mei Xuezhu, Rodriguez Jose, Kennel Ralph. Model predictive control for electrical drive systems-an overview. // CES Transactions on Electrical Machines and Systems. 2017. Vol. 1. Is. 3. P. 219-230.

14. Korobkin D.M., Fomenkov S.A., Kravets A.G., Kolesnikov S.G. Methods of Statistical and Semantic Patent Analysis. // CIT&DS 2017. Ed. A Kravets, M Shcherbakov, et al(Germany, Springer). 2017. P.48-61.

15. Shcherbakov M., Groumpos P.P., Kravets A.G. A method and IR4I index indicating the readiness of business processes for data science solutions. // Commun. Comput. Inf. Sci. 754. 2017. P. 21-34.

16. Kravets A.G, Kravets A.D., Korotkov A.A. Intelligent multi-agent systems generation. // World Appl. Sci. J. 2013. Vol. 24(24). P. 98-104.

17. Best Chares M., Gillespie Morgan T., Hyatt Philip, Rupert Lev, Sherrod Valan, Killpack Marc D. A New Soft Robot Control Method: Using Model Predictive Control for a Pneumatically Actuated Humanoid. // IEEE Robotics & Automation Magazine Year: 2016, Vol. 23, Issue 3. P. 75-84.

18. Kravets A.G, Fomenkov S.A., Kravets A.D. Component-based approach to multi-agent system generation. // Commun. Comput. Inf. Sci. 466 CCIS. 2014. P. 483-490.

Сведения об авторах

Кравец Алла Григорьевна, д-р техн. наук, профессор, каф. «Системы автоматизированного проектирования и поискового конструирования»; Ala G. Kravets, Dr Sci. (Eng.), Professor, Department of Computer-aided design and exploratory design systems agk@gde.ru

Сальникова Наталия Анатольевна, канд. техн. наук, доц. каф. информационых систем и математического моделирования; Natalia A. Salnikova Ph.D (Eng.), Associate Professor Department of Information Systems and Mathematical Modeling, ns3112@mail.ru