Методика оценки результатов научно-технических работ Текст научной статьи по специальности «Науки о здоровье»

УДК 001.891:001.893:614.87

Методика оценки результатов научно-технических работ

ISSN 1996-8493

© Технологии гражданской безопасности, 2013

Л.Г. Одинцов, Е.М. Мещеряков, В.С. Румянцева

Аннотация

Рассмотрена методика оценки результатов выполненных научно-исследовательских и опытно-конструкторских работ в МЧС России.

Ключевые слова: методика оценки; научно-техническая продукция (НТП); научно-исследовательские и опытно-конструкторские работы (НИОКР); математическая модель, критерии оценки, экономический эффект.

Methodology to Evaluate the Results of Scientific and Technical Work

ISSN 1996-8493

© Civil Security Technology, 2013

A. Odintsov, E. Meshcheryakov, V. Rumyantseva

Abstract

The method of evaluating the performance of research and development activities in the Russian Emergencies Ministry.

Key words: assessment methodology; scientific and technical production; research and development work; the mathematical model; the evaluation criteria; the economic effect.

В основу методики положен принцип оценки результатов НИОКР (НТП) по обобщенному показателю, рассчитываемому путем суммирования критериев эффективности с учетом коэффициентов их значимости. Критерии эффективности и коэффициенты их значимости определяются экспертным путем.

Оценка результатов НИОКР по данной методике наиболее эффективна, если она проводится после завершения работы (через год) и сдачи ее Заказчику. Один год — это минимальный срок, в течение которого могут проявиться результаты работы, т. е можно определить, какое развитие получила НТП, как она используется на практике, какие публикации и патенты по ней сделаны и т. д.

Порядок проведения расчетов

Основой методики являются данные по выполненной работе, заносимые в табл. 1. Требования к порядку заполнения табл. 1 и формулирование характеристик и параметров выполненной работы приведены в приложении.

По всем позициям табл. 1 в нее вносятся данные. Если в настоящее время нет данных или невозможно их получить, то это указывается в табл. 1.

Данные табл. 1 в описательном виде характеризуют определенную НИОКР и в дальнейшем служат основой для экспертной оценки эффективности НТП.

Затем рассматриваемую работу по ее виду, характеру и сущности относят к одному из 12 типов работ (идентифицируют с одной из типовых работ), указанных в табл. 2. Далее из правой части табл. 2 определяют критерии оценки, которые распределены на 7 типов (направлений). После этого из таблицы 3 выбирают коэффициенты V значимости (весомости) критериев для каждого из взятых в табл. 2 критериев.

После выполнения указанных процедур имеется: 1) набор критериев оценки НТП; 2) коэффициенты V весомости оценки (значимости) этих выбранных критериев.

Затем необходимо оценить НТП по десятибалльной шкале. Эта оценка проводится с использованием данных табл. 4.

Сведения для оценки эффективности НТП (оформляются через год после сдачи НТП Заказчику)

Таблица 1

Наименование НТП

Сведения о НТП Содержание

1. Отличительные особенности НТП

2. Значимость НТП (решаемые проблемы)

3. Характер и состав НТП

4. Вид разработки, этап освоения

5. Отрасли и предприятия, заинтересованные в заимствовании НТП и их потребности

6. Акт внедрения, приказ о внедрении на снабжение и т.д (№, дата и др.)

7. Годовой экономический эффект, (руб.), полученный в подразделении, организации МЧС России при внедрении НТП на предприятии (службе)

8. Годовой экономический эффект, (руб.) в системе МЧС России

9. Расчет экономической эффективности (№, дата и др.)

10. Вид технической помощи, гарантируемой разработчиком, и условия ее оказания (поставки)

11. Рекомендации по тиражированию для предприятий и организаций МЧС России

12. Рекомендации по тиражированию для РСЧС

13. Сведения о публикации информации о НТП. Рекомендации Заказчика по внедрению НТП

14. Наличие авторских свидетельств

15. Лицензии

16. Номер учета в системе Госрегистрации

17. Номер учета в библиотеке

18. Сведения о награждении разработки (представленных к награждению)

19. Адрес для запроса документации и справок

20. Иллюстрации к представлению НТП для обсуждения

Окончание табл. 1. Начало на с. 67.

Сравнительная оценка основных технико-экономических показателей

Наименование показателей (характеристик) 21. Технико-экономические показатели

Предлагаемая научно-техническая продукция 22. Лучшие отечественные аналоги 23. Лучшие зарубежные аналоги 24.

Пояснения к заполнению табл. 1

Позиция 1

Указываются главные преимущества НТП перед известными отечественными аналогами (изделиями, оборудованием, технологическими процессами), решающими те же задачи, что и предлагаемое достижение: технические, экономические, производственные, организационные и др. Указываются преимущества, подчеркивающие научно-техническую значимость достижения и целесообразность его внедрения. Если изделие, оборудование, технологический процесс разработаны впервые в стране или впервые в мировой практике, то указать. Преимущества должны указы -ваться кратко, с цифровыми показателями.

Позиция 2

Очень кратко выделить главное, указывается, что должно дать внедрение НТП МЧС России и населению РФ.

Например: повышение степени готовности и оперативности АСР для выполнения АСПДР (%, раз). Высвобождение трудовых ресурсов ... (%, раз). Повышение эффективности при выполнении АСР ... (%, раз). Повышение надежности ... (%, раз). Высвобождение производственных площадей ... (%, раз). Сокращение времени АСР... (%, раз). Снижение себестоимости ... (%, раз). Возможность получения новой, ранее не выпускавшейся продукции, необходимой МЧС России. Возможность отказа от использования зарубежных материалов и комплектующих изделий ограниченного применения. Улучшение условий труда.

Позиция 3

Указывается степень отработки технической документации. Варианты заполнения:

На оборудование (аварийно-спасательные машины, инструмент, приборы поиска и т. д). полный комплект рабочей конструкторской документации литературы «О» («01, А») или «Комплект рабочей конструкторской документации литеры «О» («01, А»).

Примечание. Если выпущен отраслевой (межотраслевой) стандарт, регламент или другой нормативный документ, то указать.

Позиция 4

Указывается — стадия отработки НТП. Примеры заполнения: ОКР завершены в 2004 г., серийный выпуск для нужд МЧС России (если для нужд ряда ведомств, то указать) планируется с 2005 г; с 2003 г. ведется серийное (опытное) производство для нужд МЧС России, (если для нужд ряда ведомств, то указать), выпущено (изготовлено) N штук, которые внедрены. Потребности министерства удовлетворяются (не удовлетворяются)

Позиция 5

Перечисляются конкретные ведомства, которые, по мнению разработчика, предположительно могут быть заинтересованы в заимствовании НТП, если разработчик НТП располагает сведениями о потребностях или может прогнозировать потребности, то указать (по всем заинтересованным ведомствам или по части из них).

Позиции 6, 7, 8. 9

Указывается реально полученный разработчиком экономический эффект, подтвержденный расчетом, выполненным по действующим методикам. При этом указывается, при каких условиях определялся экономический эффект.

Позиция 10

Примеры заполнения:

Передача технической документации, техническая консультация, помощь в отладке оборудования (в освоении производства) и т.д. Поставки возможны преимущественно по хозяйственным договорам, а также на компенсационной основе (или на каких-либо иных условиях) или — поставка не производится.

Передача технической документации, техническая консультация, передача одного (двух, трех и т. д.) образцов для испытаний;

В случае, когда разработчиками НТП являются два и более предприятий различных ведомств, указывается, какая помощь оказывается предприятием — соразработчиком.

Пример заполнения: передача технической документации, техническая консультация (передачу технической документации на ... осуществляет ...).

Позиция 11.12

Указывается, как (какими силами), по мнению разработчика НТП, целесообразно организовать серийное производство. При этом рекомендации для МЧС России и группы ведомств в целом могут быть как различными, так и одинаковыми.

Позиция 13

Указываются виды и годы изданий, в которых помещались публикации (ведомственные, межотраслевые и другие издания). Не указываются отчеты по НИР, ОКР.

Позиция 14

Перечисляются номера авторских свидетельств на НТП в целом или на отдельные его элементы.

Позиция 15

Указывается, в какие страны проданы лицензии, наличие заявок на покупку лицензий.

Позиции 16. 17

Указывается номер, под которым учтено НТП в системе Госрегестрации и номер, под которым НТП хранится в библиотеке.

Позиция 18

Если НТП награждалась (отмечалось), указать вид и год награждения.

Примеры заполнения:

Золотая медаль ВВЦ 2004г. (серебряная медаль, диплом 1-й степени);

Государственная премия 2005 г., премия МЧС России, приказ МЧС России и.т.д.

Позиция 19

Указывается наименование и адрес ведомственного и центрального органа научно-технической информации.

Позиция 20

Указывается иллюстративный материал, который разработчик планирует использовать при обсуждении НТП, при этом допускается демонстрация слайдов, образцов материалов, устройств.

Использование рабочих чертежей для иллюстраций не допускается.

Позиция 21

Перечисляются технические, социальные, эксплуатационные и эконо-

мические показатели НТП, их размерность.

При подборе показателей необходимо использовать такие, которые наиболее полно характеризуют НТП. При этом необходимо показать, что применение НТП позволит (например):

снизить число безвозвратных потерь;

уменьшить материальный ущерб от ЧС;

повысить коэффициент использования аварийно-спасательных средств;

высвободить производственные площади;

снизить затраты на ведение АСР; выполнить технологические операции, которых невозможно осуществить другими, известным средствами (способами);

облегчить условия труда;

защитить окружающую среду;

утилизировать отходы производства; и т. п.

Если НТП многофункционально и может использоваться для различных целей, то указать. Если НТП может служить базой для дальнейшего развития этого направления, то указать.

Позиция 22

Проставляются числовые и иные характеристики в соответствии с перечисленными в позиции 21 показателями.

Позиция 23

Указывается официальное название лучшего отечественного аналога (при необходимости — аналогов), год начала его серийного производства.

Если аналог исполнен в ограниченном количестве экземпляров (лабораторный образец, опытный образец, установочная серия) и не получил широкого распространения, то указать.

Позиция 24

В качестве заголовка указывается наименование лучшего зарубежного аналога (при необходимости аналогов), указывается страна, фирма, по возможности, год начала серийного производства.

Сопоставление с конкретными лучшими аналогами обязательно

Если известно, что аналогов нет, указать, что «аналогов нет». Если аналоги есть, но конкретные характеристики их неизвестны, то указать «Данные неизвестны».

№№ п/п Научно-техническая продукция Включаемые в характерисику показатели

Сложность решения проблемы Соответствие ТЗ Новизна Уровень проблем Эффект от внедрения Широта ис-пользования результатов Научно-технические достижения

1. Законодательное, нормативно-правовое

1.1. Разработка концепций законодательных и нормативно-правовых актов, методических и других аналогичных документов 1, 2, 3 4,5 7,8 9, 10 13 15, 16 17, 18, 21

1.2. Разработка проектов Федеральных законов, других общероссийских и ведомственных нормативно-правовых документов 1, 2, 3 5 8 9, 10 13 15, 16 17, 19, 21

1.3. Разработка Федеральных целевых, программ, комплексных планов, др. межведомственных и ведомственных документов по различным направлениям развития и совершенствования организационных структур и научно-технической базы МЧС России 1, 2, 3 5 8 9, 10 13 15, 16 17, 21

1.4. Разработка мер, организационных подходов и способов по подготовке населения и специалистов РСЧС к действию в условиях ЧС, в том числе и обучения населения 1, 2, 3 4, 5 8 9, 10 11 15, 16 17, 18, 19, 20, 21

2. Аварийно-спасательные средства и технологии проведения АСДНР, в том числе средства и способы защиты населения

2.1. Разработка исходных требований и исходных данных на создание новых и совершенствование ранее принятых образцов технических средств и технологий для обеспечения служб и формирований МЧС России 1, 2, 3 4, 5 6, 7, 8 9, 10 15, 16 17, 21

2.2. Создание аварийно-спасательных средств 1, 2, 3 4, 5 6, 7 9, 10 11, 12, 13, 14 15, 16 17, 19, 20, 21

2.3. Сопровождение работ по созданию новых технических средств и технологий 1, 2, 3 4, 5 6, 7, 8 9,1 0 11, 12, 13, 14 15, 16 17, 18, 21

2.4. Разработка технологий по всему спектру проведения АСДНР в различных средах и при различных условиях ЧС (разведка, поиск, деблокирование и спасение пострадавших, оказание им первой медицинской помощи и т.д.) 1, 2, 3 4, 5 6, 7, 8 9, 10 11, 12, 13, 14 15, 16 17, 18, 19

Таблица 2

Показатели, включаемые в оценку эффективности по конкретным видам НИОКР

Окончание табл. 2. Начало на с. 69.

№№ п/п Научно-техническая продукция Включаемые в характерисику показатели

Сложность решения проблемы Соответствие ТЗ Новизна Уровень проблем Эффект от внедрения Широта ис-пользования результатов Научно-технические достижения

3. Программно-технические комплексы предупреждения, ликвидации ЧС и развития информационно-аналитической базы

3.1. Выполнение исследований в области мониторинга, прогнозирования и предупреждения ЧС, в том числе с использованием космической техники 1, 2, 3 4, 5 6, 7, 8 9, 10 11, 12, 13, 14 15, 16 17, 18, 19, 21

3.2. Разработка автоматизированных информационно-управляющих и информационно-справочных систем в области ГО, предупреждения и ликвидации ЧС, в том числе АИУС,ЕДДС,АСКО 1, 2, 3 4, 5 6, 7, 8 9, 10 11, 12, 13 15, 16 17, 18, 19, 21

3.3. Исследования в области выявления и декларирования ПОО и ранжирования территорий и объектов по степени их опасности, а также исследования в области оценки и снижения рисков возникновения ЧС 1, 2, 3 4, 5 8 10 11, 12, 13 16 17, 18, 19, 21

3.4. Исследования и обобщение данных по конференциям, выставкам, международному и межведомственному сотрудничеству, по издательской деятельности и разработка предложений по их совершенствованию 1, 2, 3 5 8 10 13, 14 16 17, 18, 19, 21

Таблица 3

Показатели эффективности НИОКР

№№ п/п Критерии (показатели) оценки НТП Коэффициент значимости (весомости) критерия V

Соответствие ТЗ

1. Завершенность работы 0,037

2. Полнота выполнения 0,078

3. Своевременность выполнения 0,027

Сложность решения проблемы

4. Степень использования математических моделей, новых методических подходов и современного математического аппарата 0,009

5. Наличие задела, степень разработанности проблемы 0,022

Новизна

6. Защищенность патентами 0,039

7. Научная новизна 0,011

8. Уровень новизны в методическом и организационном подходе к решению проблем 0,005

Уровень проблемы

9. Уровень решаемой проблемы (предприятие, служба, регион, отрасль, межотраслевой, международный) 0,029

10. Статус разработки (нормативный, обязательный, рекомендательный) 0,086

Эффективность от внедрения результатов НИОКР

11. Сокращение людских потерь 0,086

12. Предотвращенный материальный ущерб 0,034

13. Повышение степени готовности и оперативности служб и подсистем РСЧС к выполнению аварийно-спасательных и других неотложные работ (АСДНР) 0,086

14. Сокращение материальных затрат на выполнение АСДНР 0,024

Окончание табл. 3. Начало на с. 70.

№№ п/п Критерии (показатели) оценки НТП Коэффициент значимости (весомости) критерия V

Широта использования результатов

15. Масштабность использования (межотраслевая, отрасль, служба, НИОКР и др.) 0,049

16. Степень реализации (уже используется, готово к реализации, стадия подготовки, намечено к использованию) 0,148

Научно-технические достижения

17. Уровень научно-технической продукции (мировой, межотраслевой, отраслевой, региональный и т.д.) 0,048

18. Число и уровень публикаций 0,024

19. Участие на выставках и награждения 0,040

20. Государственная оценка научно-технической продукции 0,092

21. Наличие и объем иллюстрированного материала 0,012

Итого 1,0

Значения ^ показателей по десятибалльной шкале Таблица 4

№№ Показатель Рекомендации по установлению баллов

п/п 8—10 баллов 4—7 баллов 0—3 балла

1. Завершенность работы Полная Не полная Не завершена

2. Полнота выполнения Полная Не полная Не закончена

3. Своевременность выполнения В установленные сроки С небольшой задержкой С существенным отставанием

4. Степень использования математических моделей, новых методических подходов и современного математического аппарата Развитие известных, разработка новых Использование известных решений Не используются

5. Наличие задела, степень разработанности проблемы Работа ставится впервые Имеются данные в смежных областях Продолжение ранее выполненных работ

6. Защищенность патентами Получен патент или положительное решение Подана заявка Не подана заявка

7. Научная новизна Имеется Имеется частично Нет

8. Уровень новизны в методическом и организационном подходе к решению проблем Имеется Имеется частично Нет

9. Уровень решаемой проблемы (предприятие, служба, регион, отрасль, межотраслевой, международный) Международный межотраслевой Отраслевой Регион, служба

10. Статус разработки (нормативный, обязательный, рекомендательный) Нормативный, обязательный Обязательный Рекомендательный

11. Сокращение людских потерь Более 50 % На 10—50 % До 9 %

12. Предотвращенный материальный ущерб 1 млн и более руб. 100 тыс.— 1млн руб. До 100 тыс. руб.

13. Повышение степени готовности и оперативности служб и подсистем РСЧС к выполнению АСДНР Более 20 % 5-10 % До 5 %

14. Сокращение материальных затрат на выполнение АСДНР В 1,2 раза и более В 1,1—1,05 раза Менее 1,05 раза

15. Масштабность использования (межотраслевая, отрасль, служба, НТОКР, ТХ и др.) Межотраслевая, отрасль Регион, служба НИОКР, ТЗ на разработку

16. Степень реализации (уже используется, готово к реализации, стадия подготовки, намечено к использованию) Используется Стадия подготовки Намечено к использованию

17. Уровень научно-технической продукции (мировой, межотраслевой, отраслевой, региональный и т.д.) Мировой, межотраслевой Отраслевой Региональный

18. Число и уровень публикаций Более 8, в т.ч. общероссийских 1—4 публикаций Нет

19. Участие на выставках и награждения На 2-х и более выставках, с наградами На одной выставке Нет

Окончание табл. 4. Начало на с. 71.

№№ п/п Показатель Рекомендации по установлению баллов

8—10 баллов 4—7 баллов 0—3 балла

20. Государственная оценка научно-технической продукции Премия и награждение Поощрение приказом Нет

21. Наличие и объем иллюстрированного материала Охватывает все вопросы Охватывает часть вопросов Нет

Обобщенный показатель C определяется по формуле:

С = 2 Vi K i + 2 VCp • Kcp ,

(1)

где:

С — сумма баллов по оцениваемой работе;

К; — численное значение 1-го критерия;

V; — коэффициент значимости 1-го критерия (табл. 3);

Vсp — среднее значение коэффициента значимости;

Кср — среднее значение критерия;

т — число критериев по рассматриваемой работе;

т1 — общее число критериев по данной методике.

Формула 1 работает, если задействованы все критерии, в нашем случае это 21 критерий т1 Если же задействована только часть критериев т, например 13, 14, 15, 16 и т. д. из 21, то значение обобщенного показателя C для этого случая будет существенно и не оправдано снижено. Чтобы этого избежать, в формулу 1 введено второе слагаемое £ Vсp • Кср, которое охватывает (учитывает) все недостающие критерии и коэффициенты значимости, но со средними значениями.

При таком подходе значения обобщенного показателя С для всех типов НИОКР выравнивается и становится зависимым не от количества критериев, а от их содержательной части.

Таким образом, для определения обобщенного показателя С оцениваемой работы, суммируется количество баллов по каждому критерию, умноженному на коэффициент значимости этого критерия, плюс произведение средних значений критериев, недоста-

ющих до общего числа критериев, на средние значения коэффициентов значимости.

Необходимость такого подхода обусловлена тем, что наиболее точная оценка эффективности НТП различных работ может быть получена при выполнении следующих условий.

1. Учет всех особенностей работ.

2. Суммирование значений основных критериев и дополнения — в виде средних значений недостающих для данной работы критериев, умноженных на средние показатели коэффициентов значимости.

Литература

Пособие по выбору технологического оборудования. Л.: Лениздат, 1990.

Проскуряков А.В. Организация создания и освоения новой техники. М., 1990.

Стрелец А.А., Фирсов В.Д. Размерные расчеты в задачах оптимизации конструкторских решений. М.: Машиностроение, 1998.

БрыкД.И., Курличенко И.В. Роль международной кооперации в области обеспечения безопасности в природно-техногенной сфере // Технологии гражданской безопасности. 2010. № 2.

Сведения об авторах

Одинцов Леонид Григорьевич: д. т. н, профессор, заслуженный деятель науки РФ, ФГБУ ВНИИ ГОЧС (ФЦ), главн. н. с.

121352, Москва, ул. Давыдковская, 7. E-mail: cent_sas7sas@mail.ru

Мещеряков Евгений Михайлович: к. в. н., ФГБУ ВНИИ ГОЧС (ФЦ), с. н. с.

121352, Москва, ул. Давыдковская, 7. E-mail: USI-vniigochs@mail.ru

Румянцева Валентина Сидоровна: ФГБУ ВНИИ ГОЧС (ФЦ), н. с.

121352, Москва, ул. Давыдковская, 7. E-mail: cent sas7sas@mail.ru