Методы системного анализаи экспертных оценок планируемыхнаучно-исследовательских работ Текст научной статьи по специальности «Компьютерные и информационные науки»

ТЕХНОЛОГИЯ ТВОРЧЕСТВА ИД

Методы системного анализа и экспертных оценок планируемых научно-исследовательских работ

Шарабчиев Ю.Т.

Редакция журнала«Медицинские новости», Минск, Беларусь

Sharabchiev YuT

Editors of Meditsinskie novosti, Minsk, Belarus

Methods of system analysis and expert assessments of planned scientific research projects

Резюме. Эффективность научных исследований во многом определяется правильностью поставленных целей и задач по каждой конкретной научно-исследовательской работе. В процессе планирования научно-исследовательской работы широкое применение нашли методы системного анализа, экспертных оценок, построения дерева целей и т.д. В работе описаны метод экспертных оценок, методы Дельфи, построения «деревьев целей», ПАТТЕРН анализ, метод«сценариев», методика экстраполяции тенденций, метод деловых игр и другие методы системного анализа. Ключевые слова.: эффективность науки, системный анализ, планирование научно-исследовательской работы, научное прогнозирование, экспертные методы.

Медицинские новости. — 2017. — №2. — С. 72—76. Summary. Efficacy of scientific researches is largely determined by the correctness of the goals and objectives for each specific research work. Methods of system analysis, expert evaluations, construction of objective tree, etc. are widely applied in the planning of research work. This paper describes a method of expert estimations, Delphi method, the construction of "objective tree", pattern analysis, "scenarios" method, the method of extrapolation of trends, gaming method and other methods of system analysis.

Keywords: science efficacy, system analysis, planning of research work, scientific forecasting effort, expert methods. Meditsinskie novosti. - 2017. - N2. - P. 72-76.

Эффективность научных исследований во многом определяется тем, насколько правильно поставлены цели и задачи каждой конкретной научно-исследовательской работы (НИР), концептуальной идеей, положенной в основу работы, а также грамотным расчетом путей, ведущих к достижению искомого результата. Современная наука требует использования научно обоснованных методов формирования научной политики, планирования и выполнения НИР. В связи с этим широкое применение нашли методы системного анализа, экспертных оценок, построения дерева целей и т.д. [2, 3, 5, 7-9].

Существует множество определений понятия «системный анализ». По нашему мнению, системный анализ - это совокупность научных методов и практических приемов решения проблем в условиях неопределенности путем расчленения целого на более простые составные элементы с последующим синтезом проблемы в тех моделях системы, которые позволяют понять ее внутреннюю структуру и механизмы взаимодействия составных элементов или ориентированы на решение поставленных исследователем задач. Другими словами, системный анализ позволяет уменьшить (или исключить) неопределенность, свойственную решаемой проблеме, и реконструировать ее в моделях, отвечающих целям исследования.

В общем случае под системой понимается наличие множества взаимосвязанных объектов с определенными свойствами. Таким образом, системный анализ призван выявлять объекты, свойства и связи исследуемой системы с учетом взаимного влияния внешней среды.

Объект системного анализа в науке - процессы планирования и управления НИР, различные научно-технические проблемы, требующие своего решения, поиск новых научных идей и технологий. Системный анализ имеет двойственную природу: с одной стороны, это научное направление со свойственными ему методами, с другой - искусство. По

определению А. Эйнтховена, «Системный анализ - это не что иное, как здравый смысл, на службу которому поставлены аналитические методы».

Важнейшие принципы системного анализа:

1) процесс принятия решения должен начинаться с выявления и четкого формирования конечных целей, а также критериев, по которым может оцениваться их достижение;

2) следует выявить все взаимосвязи каждого частного решения;

3) необходимы выявление и анализ возможных альтернативных путей достижения цели;

4) цели отдельных подсистем не должны вступать в конфликт с целями всей системы;

5) необходимо выявление ресурсов и их увязка с целями.

Центральной процедурой в системном анализе является построение модели (моделей), отражающей все те факторы и взаимосвязи реальной ситуации, которые могут проявиться в процессе осуществления решения.

Цель системного анализа - повышение степени обоснованности принима-

емого решения, расширение множества вариантов, среди которых проводится выбор, с одновременным указанием оптимальных вариантов.

Системный анализ опирается на ряд прикладных методов, широко используемых в современной практике управления: экспертные оценки, метод Дельфи, исследование операций, теория графов и т.д.

Методы экспертных оценок можно разделить на две группы: индивидуальные и коллективные. Наибольшее распространение получили два типа методов индиви-

Системный анализ призван выявлять объекты, свойства и связи исследуемой системы с учетом взаимного влияния внешней среды

дуальных экспертных оценок - «интервью» и «аналитическая экспертиза».

При методе «интервью» предполагается беседа исследователя с экспертом, в ходе которой эксперт без предварительной подготовки оценивает проект НИР и отвечает на заранее подготовленные вопросы о целесообразности планирования.

«Аналитическая экспертиза» предполагает тщательную работу эксперта по анализу планируемых НИР в рамках поставленных перед ним вопросов. Результаты анализа эксперт оформляет в виде справки, докладной записки, экспертного заключения.

Методы коллективной экспертизы разработаны для получения обобщенного коллективного мнения экспертов по изучаемым вопросам с тем, чтобы компенсировать возможные ошибки того или иного эксперта. При таком подходе практически исключается влияние случайных факторов, связанных с недостаточной компетентностью и необъективностью отдельных экспертов.

В зависимости от характера взаимодействия между экспертами методы коллективной экспертной оценки можно разбить на две группы: открытой дискуссии и опроса с помощью анкет.

В первой группе наибольшее распространение получили следующие методы: «комиссий», «суда», «мозговой атаки».

В отличие от методов открытой дискуссии методы опроса с помощью анкет не предполагают прямого обмена мнениями между членами экспертной группы. Методы опроса с помощью анкет делятся на

две группы: метод простого анкетирования экспертов и метод Дельфи.

Метод простого анкетирования включает одноразовый опрос экспертов с помощью анкет. Результаты опроса обобщают различными статистическими методами обработки данных. При таком подходе, как правило, отмечается большая разбросанность ответов.

Метод Дельфи, разработанный в американской фирме «РЭНД корпорейшн», является самым распространенным для решения сложных задач с помощью экспертов. В его основу положены следующие принципы:

а) экспертиза проводится анонимно;

б) экспертную информацию собирают опросом экспертов в несколько туров с помощью специальных анкет;

в) эксперты обеспечиваются всей необходимой для экспертизы информацией;

г) ответ на каждый вопрос анкеты должен аргументироваться экспертом;

д) прямое взаимодействие экспертов исключается;

е) непрямое взаимодействие групп экспертов осуществляется предоставлением каждому эксперту обобщенного мнения группы, полученного в процессе предшествующего тура.

Экспертизу по методу Дельфи обычно проводят в 3-4 тура. В I туре экспертам

формулируют цель и задачи изучения. Эксперты подробно отвечают на постав-

ленные в анкете вопросы. После опроса анкеты обобщают, рассчитывают средние оценки. Во II туре каждому эксперту сообщают результаты I тура, приводят обоснование крайних точек зрения, не указывая имен экспертов. Экспертов просят повторно ответить на вопросы первой или уточненной второй анкеты. Во время II тура эксперты могут запросить различного рода информацию. Ответы на вопросы II тура обрабатывают, а полученные результаты представляют экспертам на следующем туре экспертизы. Процедура продолжается до тех пор, пока не будут получены близкие оценки.

Кроме классического варианта метода Дельфи в последнее время разработано несколько его модификаций. Так, например, в ряде вариантов предусмотрена самооценка экспертами своей компетентности. Т. Гордон [1] несколько видоизменил метод Дельфи, исключив анонимность.

В методике SEER («система оценки и обзора событий») предусматривается проведение только двух туров опроса групп экспертов разного состава. На первом туре эксперты составляют перечень событий, оценивают их предпочтительность, технико-экономические и вероятностные оценки. На втором - проводят переоценку и пополнение банка данных, сформулированного в первом туре, определяют наиболее важные события и уточняют результаты экспертного заключения.

Один из методов экспертизы проектов НИР называется методом дескрипторов. Отправной точкой метода служит сжатое описание экспертами технических целей каждого проекта в виде дескрипторного описания. Сопоставление таких сжатых (дескрипторных) описаний множества заданных целей позволяет выявлять области науки и техники, в которых можно ожидать наибольший прогресс (а возможно, и научный прорыв) в течение ближайших 2-5 лет.

Другой метод представления и анализа результатов экспертной оценки -картирование, или системная концепция альтернатив. Это усовершенствованная разновидность метода Дельфи. Включает построение своеобразных «карт» в системе координат, одну из осей которой образует время, другую - совокупность научно-исследовательских программ определенного профиля. Основу «карты»

Рисунок 1

Блок-схема составления дерева целей

I I I I I I I Г

1 2 3 4 5 6 7 8

| Генеральная цель

Сквозное планирование

2 Мероприятия | НИР ] | Производство | | Сбыт-потребление""]

ы 3 3 3 3

ния 4 4 4 4 4 4 4

3 Проблемы |3

4 Направления 4 4 4 4 4 4

5 Задачи 15 I [5

6 Разработки 161 16 I |_6l L6.

7 Задания 7 7 7

ф [5

4 4 4 4 4 4

5 5 5 5 55

6 6 6 6 6 6 7 7 7 7 7 7

Методы коллективной экспертизы разработаны для получения обобщенного коллективного мнения экспертов по изучаемым вопросам с тем, чтобы компенсировать возможные ошибки того или иного эксперта

Рисунок 2

Пример «дерева целей» на модели разработки препарата «Целиаза»

| В музеях |—

Выделения _

от больных

I

Поиск методов отбора активных клонов

Физические и химические мутанты

Использование известных сред

Новая компоновка известных сред

Поиск индукторов

| Температура |— рН

| Перемешивание""!— Посевная доза

Время культивирования

Спирт

Высаливание

У

Аффинная хроматография

Специфические сорбенты

Гель-хроматография

| Ультрафильтрация]—

Поиск активного продуцента

Селекция штамма

Подбор питательных сред

Подбор условий культивирования

Повышение содержания стрептокиназы в бульонной культуре

Осаждение стрептокиназы

Сорбция стрептокиназы

Франкционирование стрептокиназы

Разработка специфических методов выделения стрептокиназы

Разработка методов стабилизации препарата

Методы энзиматического контроля

Методы биологического контроля

Испытание препарата в эксперименте

Разработка методов контроля

Испытание препарата в клинике

Испытание препарата

Оптимизация условий культивирования

Получение производственного штамма

Масштабирование технологии

Внедрение дешевых питательных сред

Устранение потерь в производстве

Экономия сырья, материалов, энергии

Аппаратурное оформление

Снижение себестоимости

Совершенствование планирования и организации производства

Совершенствование технологии

Механизация и автоматизация технологического процесса

Обеспечение квалифицированными кадрами

Обеспечение технологической дисциплиной

Материальное стимулирование

Повышение производительности труда

Повышение выхода препарата

Изучение рынков сбыта

Выявление возможности более широкого использования препарата

С

СП

О" ч

п от

е б

е

н

^ (О

Рисунок 3

Дерево целей с присвоенными коэффициентами относительной важности

Цель

0,42 0,18

0,12 0,09 0,09

Задачи Т1 Т2 Т3

(01,6) (02,3) (0,1)

Походы А11 А12 А21 А22 А23 А31 А32

(0,7) (0,3) (02,14) (0,3) (0,3) (0,1) (0,6)

А33

(0,3)

0,01 0,06 0,03

ТХУ

составляет иерархическая система, которая рассматривает новшество на различ-

ных уровнях системы: научно-техническом, коммерческом, политическом, социаль-

ном, моральном, культурном, природном и личностном. Результаты картирования вводятся в банк данных, который содержит перечни распределенных по времени приемлемых альтернативных вариантов выбора научных проектов, последовательность предполагаемых научных открытий и технических разработок.

Количественная оценка объектов экспертизы может осуществляться как по балльной шкале, содержащей, как правило, от 3 до 100 градаций, так и методом предпочтения экспертов, наиболее часто реализуемым в виде ранжирования. В этом случае задача эксперта сводится к тому, чтобы упорядочить набор объектов (признаков) Р1, ... Рп по убыванию некоторого качества. При сопоставлении результатов экспертиз используются различные математические методы: кластерного анализа, многомерного шкалирования, факторного анализа, матрицы сходства и т.д. Однако следует иметь в виду, что оценки в балльной системе нельзя в полной мере считать количественными и сравнивать, насколько или во сколько раз один балл больше другого.

Метод построения «деревьев целей» используется для анализа систем или процессов, в которых можно выделить несколько структурных или иерархических уровней. Они строятся путем последовательного выделения все более мелких компонентов на постепенно понижающихся уровнях (рис. 1, 2). Генеральная цель служит «корнем» дерева целей. Каждая ветвь на каждом уровне разделяется по крайней мере на два разветвления следующего, более низкого уровня. Точка разветвления называется вершиной. Аналогично дереву целей, используя принципы системного анализа, можно построить дерево альтернативных решений. Это дерево становится нормативным, когда для всех ветвей каждого уровня определяется важность каждой задачи по отношению к важности решения других задач. Предположим, перед нами стоит цель, для достижения которой требуется выполнить три задачи. Допустим, что первая задача в два раза важнее второй, а вторая - в три раза важнее третьей. В этом случае мы можем приписать трем задачам «коэффициент относительной важности» - соответственно 0,6; 0,3; 0,1. При этом сумма коэффициентов должна быть равна единице. Умножение коэффициентов относительной важности всех уровней каждой ветви от верхушки до основания дерева позволяет выявить наиболее эффективный (набравший больший балл) путь решения определенной проблемы или сформулировать главные за-

Рисунок 4

Морфологическая модель (оптимальное решение - 1.1, 2.2, 3.2, 4.3)

Основные компоненты проблемы Возможные решения

П1 <311 01.2 - - -

П2 02.1 ^©2.2 02.3 02.4 -

П3 03.1 ¿32 03.3 03.4 -

П4 04.1 04^ -©4.3 - -

Рисунок 5

Блок-схема последовательности выполнения задач (А, В, С, D, Е -возможные промежуточные этапы), условно путь 1 является самым коротким, но требует специального оборудования и существенных финансовых затрат. Путь 3-4-5-7 (также условно) трудоемкий, но реально выполнимый при наличии «стандартного» оборудования

А

Исходное состояние проблемы

3

С

10

ш

4

СИЛ

2

Цель

6

8

5

1

В

дачи исследования (рис. 3). Эта методика была названа методом ПАТТЕРН анализа

(английская аббревиатура выражения «помощь планированию с использованием техники присвоения коэффициента относительной важности»).

Различают три вида деревьев целей: классификационные, композиционные и генетические. Классификационные деревья отражают родовые взаимоотношения, композиционные - отношения целого и частей, генетические - формализацию отношений, в которых находятся порождающие или порождаемые элементы дерева.

При построении дерева взаимосвязей допускается, что элементы одной ветви дерева целей могут входить в состав элементов других ветвей дерева целей более высокого или более низкого уровня (яруса).

В практике управления научными исследованиями метод древовидной декомпозиции может использоваться для системного анализа не только целей (дерево целей), но и методов (дерево методов), ресурсов (дерево ресурсов), решений (дерево решений), информации (дерево информации).

«Морфологический» метод был разработан Ф. Цвикки. Сущность его состоит в «разбиении» проблемы на составные части, причем каждая из них имеет не-

сколько подходов к ее решению. Общее решение получают, взяв одно из возможных решений по каждой части. Число возможных решений исследуемой проблемы равно числу возможных комбинаций. Например, если проблему можно разделить на четыре части, так что первая имеет два решения, вторая - четыре, третья - четыре и четвертая - три

решения, то суммарное число возможных общих решений будет равно 2x4x4x3=96. Комбинаторный процесс в морфологическом блоке из восьми параметров с четырьмя возможными решениями по каждому из них будет включать 65 536 различных решений.

На следующем этапе нужно определить, какие из этих решений были известны ранее, а какие могут быть реализованы в действительности. Системное исследование всех возможных комбинаций решений отдельных частей проблемы приводит к «изобретению» новых решений проблемы в целом (рис. 4).

Блок-схемы последовательности выполнения задач. Метод заключается в

схематическом изображении всех альтернативных путей и последовательности решения какой-либо задачи. Альтернативным путям в блок-схеме можно поставить соответствующие коэффициенты относительной важности (по аналогии с методикой ПАТТЕРН анализа), что позволяет осуществлять поиск наиболее оптимальных путей решения проблемы (рис. 5).

Методика экстраполяции тенденций.

Опыт свидетельствует, что на ближайшие 10-15 лет большую часть научно-технических данных можно экстраполировать с допустимой ожидаемой ошибкой ±15% [2].

Сложность метода экстраполяции состоит в установлении типа кривой (логистическая, экспонента, прямая арифметическая или геометрическая прогрессия и т.д.) в зависимости от результатов тренда за предшествующий период и предположения о сохранении или изменении тенденций в перспективе.

Несмотря на разнообразие уравнений, описывающих возможные функции изменения параметров исследуемого процесса, развитие практически любой системы, события, процесса можно описать определенным участком логистической кривой. Весь вопрос состоит лишь в том, чтобы определить, на каком участке развития находится событие в настоящий момент, сроки сохранения существующих тенденций и темпы приближения прогнозируемого события к точке максимального развития (точке перегиба кривой) и состоянию насыщения (сатурации). На определенных участках кривой возможны значительные флуктуации реальных параметров, а также определенные участки, описываемые прямой арифметической или геометрическрой прогрессией.

Первым этапом экстраполяции тренда является выбор оптимального вида функции, описывающей эмпирический ряд. Для этого проводятся предварительная обработка и преобразование исходных данных с целью сглаживания и выравнивания временного ряда, определения функций дифференциального роста. Чаще всего с этой целью используется метод наименьших квадратов, метод экспоненциального сглаживания и др. Расчет прогнозируемых величин можно осуществлять по формулам, описанным в работах [4, 6].

Метод «сценариев» представляет собой процесс подготовки письменного, согласованного группой экспертов до-

Метод «сценариев» представляет собой процесс подготовки письменного, согласованного группой экспертов документа, в котором приводится аналитическая справка по исследуемой проблеме

кумента, в котором приводится аналитическая справка по исследуемой проблеме. Сценарий, как правило, содержит результаты технико-экономического и статистического анализов проблемы, аналитический обзор всей имеющейся научной литературы, а также мнение экспертов о возможных путях решения проблемы (предложения для включения в сценарий сначала пишутся экспертами индивидуально, а затем формируется согласованный текст). «Сценарий» представляет логическую последовательность событий, показывающую, как, исходя из существующей (или заданной) ситуации, может шаг за шагом развертываться будущее состояние. После подготовки «сценария» проблемы можно приступать к другим, более формализованным методам системного анализа: методу Дельфи и т.д.

Метод деловых игр используется преимущественно в учебных целях, однако может применяться в процессе управления научными исследованиями, а также для анализа тех научных проблем, в основе которых лежат социальные взаимоотношения между определенными категориями лиц (например, в социальной гигиене, организации здравоохранения, социологии и т.д.). Деловая игра в научно-исследовательском процессе основана на моделировании действий руководителей научных подразделений и отдельных ученых или социальных групп, деятельность и взаимодействие которых подлежат исследованию и оптимизации. Метод включает в себя моделирование окружающей среды, общих задач и целей конкретных исполнителей или групп лиц, системы обмена информацией, взаимовлияние интересов и альтернативных решений.

Описанные методы могут широко использоваться не только в практике планирования НИР и выбора приоритетных научных направлений, но и для выработки научно обоснованных управленческих решений. В частности, применение методов системного анализа и экспертных оценок может способствовать выработке научно обоснованных рекомендаций по проведению реформ здравоохранения с учетом социально-экономических и экологических условий.

Л И Т Е Р А Т У Р А

1. Гордон Т. Научно-техническое прогнозирование для промышленности и правительственных учреждений. - М., 1972. - С.84-93.

2. Добров Г.М. Прогнозирование науки и техники. -М., 1977. - 208 с.

3. Мартино Дж. Технологическое прогнозирование. - М., 1977. - 592 с.

4. Мерков А.М. Демографическая статистика. - М., 1959.

5. Раушенбах Г.В., Филиппов О.В. Экспертные методы в медицине. - М., 1983.- 80 с.

6. Урланис Б.Ц. Общая теория статистики. - М., 1973.

7. Шиган Е.Н., Остапюк С.Ф. Целевые комплексные программы в здравоохранении. - М., 1988. -224 с.

8. Эйрес Р. Научно-техническое прогнозирование и долгосрочное планирование - М., 1971. - 297 с.

9. Янч Э. Прогнозирование научно-технического прогресса. - М., 1970. - 568 с.

Поступила 29.09.2016 г.