CC BY
165
Методы определения структуры и содержания работ в научном исследовании.
Белоусов Владимир Леонидович д.э.н., профессор Московский государственный университет приборостроения и информатики Денисов Дмитрий Юрьевич
аспирант
Московский государственный университет приборостроения и информатики [email protected]
В статье анализируются методы определения структуры и содержания работ в научном исследовании. Для определения указанных работ в научном исследовании предложен метод Дельфи и графический образ представления результатов обработанной экспертами информации, полученной этим методом, при формировании структуры и перечня работ в научном исследовании.
The article analyzes the methods of determining the structure and content of work in scientific research. To determine these papers in the scientific study of the method of Delphi and the graphic image of the experts present the results of the processed information obtained by this method, the formation of the structure and list of works in scientific research.
Ключевые слова: структура и содержание работ, метод Дельфи, анкета, графический образ результатов, научное исследование.
Keywords: structure and content of the Works, Delphi method, profile, a graphic image of the results, the scientific research.
Одним из сложных и ответственных этапов в организации каждого научного исследования является не только определение темы самого исследования, но и его структуры и содержания. Практически оно предопределяет возможность получения заявленных исследователями результатов.
В настоящее время сложились определённые требования к результатам научно-исследовательской работы, включая:
- научную значимость;
- новизну технических решений;
- преимущества по отношению к аналогам;
- практическая ценность результатов;
- осуществимость заявленных результатов.
Следовательно, определяя структуру и содержание работ в научном исследовании, целесообразно руководствоваться указанными требованиями.
Под структурой и содержанием работ в научном исследовании согласно п. 4.4 ГОСТ 15.1.101-98 (см. форму 1) будем понимать: в качестве структуры - этапы, а содержания - содержание выполняемых работ и перечень документов, выполняемых на этапе.
Форма 1
КАЛЕНДАРНЫЙ ПЛАН проведения работ по НИР
(наименование научно-исследовательской работы)
№ п/п Наименование этапа Содержание выполняемых работ Перечень документов, выполняемых на этапе Срок выполнения (начало -окончание) Цена НИР, тыс.руб.
1 2 3 4 5 6
1 Выбор направления исследований 1.1. Анализ научно-технической литературы, нормативнотехнической документации и других материалов, относящихся к разрабатываемой теме. 1.2. Проведение патентных исследований по ГОСТ 15.011-96. 1.3. Формулирование возможных направлений решения задач, поставленных в ТЗ НИР, и их сравнительная оценка. 1.4. Выбор и обоснование принятого направления исследований и способов решения поставленных задач. 1.5. Сопоставление ожидаемых показателей новой продукции после внедрения результатов НИР с существующими показателями изделий-аналогов или действующей нормативно-технической Промежуточный научнотехнический отчет, в том числе: • Отчёт по патентным исследованиям. • Перечень результатов интеллектуальной деятельности, полученных в ходе выполнения этапа НИР. • Решение (протокол заседания) ученого или научнотехнического совета головного исполнителя по
1 2 3 4 5 6
документацией. 1.6. Расчет ориентировочной экономической эффективности от внедрения новой продукции с ожидаемыми показателями НИР на основе научного прогнозирования на время разработки, освоения и срока морального старения выпускаемой продукции. 1.7. Разработка общей методики проведения исследований. Составление промежуточного отчета. рассмотрению научно- технического отчёта.
2 Теоретические и экспериментальные исследования поставленных перед НИР задач 2.1. Разработка рабочих гипотез, построение моделей объекта исследований, обоснование допущений. 2.2. Выявление необходимости проведения экспериментов для подтверждения отдельных положений теоретических исследований для получения конкретных значений параметров (коэффициентов, необходимых для проведения расчетов). 2.3. Проведение необходимых расчетов и математическое моделирование. 2.4. Разработка методики экспериментальных исследований, подготовка моделей (макетов экспериментальных образцов), а также испытательных стендов (установок). 2.5. Определение номенклатуры технической документации на макеты (модели, экспериментальные образцы) в соответствии с ГОСТ 2.102-68 и разработка документации. 2.6. Изготовление макетов, проведение экспериментов, обработка данных. 2.7. Сопоставление результатов эксперимента с результатами расчетов и математического моделирования. 2.8. Корректировка математических моделей объекта, корректировка технической документации по результатам эксперимента. 2.9. Проведение дополнительных экспериментов. 2.10. Проведение дополнительных патентных исследований. 2.11. Проведение техникоэкономических исследований эффективности внедрения исследования в народное хозяйство. 2.12. Составление промежуточного отчёта и его рассмотрение. Промежуточный научнотехнический отчёт, включающий в том числе: • Программу и методики испытаний макетов. • Протоколы испытаний макетов. • Перечень результатов интеллектуальной деятельности, полученных в ходе выполнения этапа НИР. • Решение (протокол) ученого или научнотехнического совета головного исполнителя по рассмотрению научнотехнического отчёта.
1 2 3 4 5 6
3 Обобщение и оценка результатов исследований 3.1. Обобщение результатов предыдущих этапов работ. Оценка полноты решения задач и эффективности полученных результатов в сравнении с современным научно-техническим уровнем. 3.2. Проведение дополнительных исследований, в том числе патентных. 3.3. Метрологическая проработка. 3.4. Оценка возможности создания конкурентоспособной продукции и услуг, разработка рекомендаций по использованию результатов проведенных НИР. 3.5. Формулирование технических требований для технического задания на разработку продукции. 3.6. Составление и оформление отчёта. Промежуточный научнотехнический отчёт, включающий в том числе: • Перечень результатов интеллектуальной деятельности, полученных в ходе выполнения этапа НИР. • Ведомость соответствия результатов НИР требованиям технического задания. Решение (протокол) ученого или научнотехнического совета головного исполнителя по рассмотрению научнотехнического отчёта.
ИТОГО
От исполнителя От заказчика
Следует также отметить, что финансирование в сфере науки, как правило, производится на конкурсной основе различными заказчиками, например, такими, как Минобрнауки России через федеральные целевые программы, Российский фонд фундаментальных исследований и др., у каждого из которых сформулированы свои требования к содержанию результатам научно-исследовательской работы (НИР), представленных в конкурсной документации. При этом периодически происходят изменения требований к содержанию и результатам НИР в зависимости от новых целей и задач, которые возникают у заказчиков научных исследований.
Таким образом, формирование структуры и содержания работ в научном исследовании (далее работ НИР) становится задачей, которую необходимо решать в условиях неопределённости.
Информацию для ее решения может предоставить только ученый (эксперт), обладающий специальными знаниями. Этим, в частности, объясняется стремление
использовать экспертизу в тех случаях, когда приходится анализировать неординарные ситуации, характеризуемые множеством различных факторов и обстоятельств.
На практике широко применяются как индивидуальные, так и коллективные (групповые) методы получения экспертных оценок, причем предпочтение чаще всего отдается групповым методам. Среди их многочисленных разновидностей заметно выделяется (по масштабам применения) так называемый метод Дельфи, идеи и принципы которого предлагается использовать в данном случае.
Особенностью метода Дельфи является отказ от открытых дискуссий и замена их заранее подготовленной программой повторяющихся индивидуальных опросов экспертов, проводимых последовательно в несколько этапов. Каждый такой этап предполагает обязательную передачу всем участникам-экспертам собранной информации предыдущего этапа, в результате чего постепенно формируется более или менее согласованное мнение экспертов по изучаемой проблеме.
Процедуры, используемые в рамках метода Дельфи, характеризуются анонимностью высказываемых экспертами суждений, наличием обратной связи от этапа к этапу и эффектом коллегиальности. Анонимность достигается за счет передачи экспертам опросных листов (анкет) с последующим «обобщением» получаемых индивидуальных ответов. Обратная связь находит свое выражение в периодическом ознакомлении всех экспертов с результатами оценок, полученных на предыдущем этапе работ, что позволяет накапливать нужную информацию по обсуждаемой проблеме, сопоставлять ее с собственными взглядами и делать соответствующие выводы. Эффект коллегиальности накапливается в ходе поэтапного сближения экспертных оценок (насколько это возможно в конкретных ситуациях).
Опрос экспертов по методу Дельфи показывает, что обычно проводится 2-4 этапа (ответы и суждения экспертов «стабилизируются», продолжение рассматриваемого процесса теряет смысл). За этим следует обработка собранной информации и представление результатов.
Проблема обработки занимает одно из главных мест в экспертном процессе и определяет характер будущего результата экспертизы. Широко распространен статистический анализ экспертной информации, предполагающий вычисление показателей согласованности высказанных суждений, характеристик рассеяния оцениваемых параметров объектов экспертизы, доверительных интервалов их значений и т.п. Все это возможно в условиях, когда масштабы проводимого исследования позволяют привлечь к участию в нем большое количество экспертов, предоставить им разнообразную «ориентирующую информацию», выделить необходимое время и финансовые ресурсы, создать приемлемую внешнюю обстановку для выполнения полученных заданий. В более простых случаях, например, на уровне кафедры высшего учебного заведения (ВУЗа), имеющего достаточный потенциал для проведения НИР, обработка экспертной информации может быть проведена по каким-то иным правилам, в частности, путем построения графического образа («портрета») получаемого объекта, как это предусмотрено предлагаемой методикой.
Из этого следует, что понятие «метод Дельфи» может рассматриваться как собирательное, объединяющее идею последовательных (поэтапных) опросов экспертов с целью выработки устойчивых коллективных суждений (оценок) по существу поставленных вопросов и многовариантную схему обработки собранной экспертной информации, используемой в принятии управленческих решений.
Ограниченность ресурсов (денежных средств, времени и др.), выделяемых на проведение конкретных работ, практически всегда приводит к видоизменениям метода Дельфи и замене полной (идеальной) программы предполагаемых действий каким-либо сокращенным ее вариантом.
Представим на рис. 1 процесс формирования работ НИР в научном исследовании, используя метод Дельфи, представленный в виде информационнопроцедурной модели.
В данном случае информационно-процедурная модель представляет собой набор последовательных процедур, обеспечивающих моделирование заданного процесса.
Каждая процедура содержит в себе наименование проводимой работы, её
исполнителя и запланированный результат работы.
Рис. 1. Информационно-процедурная модель формирования
работ НИР.
Рис. 1. Информационно-процедурная модель формирования работ НИР (продолжение).
Рис. 1. Информационно-процедурная модель формирования
работ НИР (окончание).
Согласно методу Дельфи, формирование работ НИР проведем в три этапа (предварительный, первый и второй). На предварительном этапе готовится распоряжение кафедры ВУЗа о формировании работ НИР, в котором формулируются цели и задачи работы, устанавливаются сроки их исполнения и назначаются исполнители (рабочая группа), а также утверждаются эксперты (экспертные группы). В свою очередь, рабочая группа обеспечивает подготовку ориентирующей информации, проводит отбор экспертов и готовит материалы для проведения собрания с ними. На этом же этапе рабочая группа разрабатывает Анкету-1 и согласует ее у заведующего кафедрой ВУЗа.
На первом этапе формирования работ НИР рабочая группа проводит собрание с экспертами, на котором их знакомят с целью экспертизы и ориентирующей информацией, передают им для заполнения Анкету-1. Первый этап экспертизы завершается обобщенным материалом, который подготовила рабочая группа на основе обработки Анкеты-1.
На втором этапе экспертизы рабочая группа разрабатывает Анкету-2 на основе обобщенного материала первого этапа экспертизы, согласует ее у заведующего кафедрой ВУЗа и рассылает анкеты экспертам. После заполнения экспертами
Анкеты-2 рабочая группа производит их обработку и формирует обобщенный материал второго этапа экспертизы.
На основе обобщенного материала второго этапа экспертизы рабочая группа создает проект работ НИР, который затем передается на рассмотрение и согласование с заведующим кафедрой ВУЗа. На этом завершается создание работ НИР.
Рассмотрим методику организации работ по каждой процедуре модели формирования работ НИР (см. рис. 1).
При подготовке распоряжения заведующего кафедрой ВУЗа о формировании работ НИР необходимо следовать некоторым правилам. Целесообразно, чтобы рабочую группу возглавлял научный руководитель НИР, имеющий не только авторитет в коллективе ученых и специалистов, но и административный ресурс в процессе проведения указанной работы. В состав рабочей группы необходимо включить сотрудников кафедры, а также ведущих ученых ВУЗа. Следует минимизировать количество членов рабочей группы, чтобы она была мобильна и в то же время профессиональна. Что касается экспертных групп, то их количество определяется числом НИР. Состав этих групп, как правило, формируется из ученых и специалистов ВУЗа. Но в них могут быть включены известные ученые и из других научных организаций или учебных заведений. Как показала практика, достаточно в каждой экспертной группе иметь не менее 5—7 экспертов.
Важное место в процессе занимает подготовка ориентирующей информации. Ее подготовка для экспертов преследует цель дать примеры формулировок названия работ, используемых в научных исследованиях. Предполагается, что такая информация будет полезна эксперту и поможет ему ориентироваться при составлении собственного перечня подобных работ.
В качестве такой ориентирующей информации можно использовать сведения о содержании ранее выполняемых работ на кафедре и других источников, а также предложенные в данной работе требования к результатам НИР.
Кроме того, ориентирующей информацией является Государственный реестр научно-технической информации (ГРНТИ), на основе которого производятся
уточнение и классификация научных направлений в ВУЗе. Таким образом, рабочая группа формирует комплект материалов для экспертных групп.
Анкета по первому этапу опроса (Анкета-1) состоит из карты опроса (собственно анкеты) и аннотации к ней, подготовленной рабочей группой (см. форму 2).
Форма 2
Анкета-1
№ п/п Наименование этапов научного исследования Содержание выполняемых работ Наименование документов, отражающих результаты исследований по этапу Примечание
1 2 3 4 5
Примечания:
1. В целях облегчения заполнения анкеты к ней прилагается ориентирующая информация.
2. В графе 2 должны содержаться информация о количестве этапов научного исследования и их наименование для НИР, проводимых в ВУЗе.
3. В графе 3 отражается содержание выполняемых работ в НИР на каждом этапе проводимого исследования.
4. В графе 4 должны быть определены результаты исследований по каждому этапу в виде наименования отчетных документов.
Рассмотрим более подробно первый этап опроса экспертов. Подготовительным шагом к первому этапу опроса, как уже отмечалось, должно быть общее собрание экспертов, на котором обсуждаются цели проводимой экспертизы, выдается комплект документов ориентирующей информации, объясняются правила заполнения Анкеты-1, даются ответы на возникающие вопросы. Далее эксперты должны заполнить Анкету-1 в условиях самостоятельной работы и возвратить заполненные анкеты в рабочую группу.
Обобщение и предварительная обработка экспертных суждений на данном этапе предполагает исключение повторяющихся предложений, редактирование
предложенных формулировок этапов научного исследования, корректировку содержания выполняемых работ и наименований документов, отражающих результаты исследований по этапу. В результате должны быть получены предварительные перечни этапов научного исследования, содержание выполняемых работ и наименования документов, отражающие результаты исследований по этапу.
По завершении первого этапа опроса экспертов рабочая группа (см. рис. 1) подготавливает Анкету-2 с аннотацией по форме 3. С помощью Анкеты-2 предполагается внести уточнения в предшествующие экспертные оценки, дополнить их новыми данными, сблизить (по возможности) позиции экспертов и получить на этой основе результаты второго опроса экспертов. Каждый эксперт, таким образом, имеет возможность ознакомиться с мнениями, взглядами, оценками своих коллег по экспертной группе, представленными в тех формах и формулировках, которые появились на первом этапе экспертизы.
Форма 3
Анкета-2
№ п/п Наименование этапов научного исследования Оценка Содержание выполняемых работ Оценка Наименование документов, отражающих результаты исследований по этапу Оценка
1 2 3 4 5 6 7
Примечания:
1. В графе 3,5 и 7 анкеты вносится оценка эксперта в виде согласия (да) или несогласия (нет) по каждой позиции перечней, представленных в графах 2,4 и 6 анкеты. В том случае, если эксперт затрудняется дать оценку («не знаю») -ставится прочерк.
2. При необходимости, по мнению эксперта, внести уточнения в анкету, например, в формулировки наименований в представленных перечнях, следует их дать в качестве приложения к анкете.
Остановимся на втором этапе опроса экспертов. На этом этапе главное место занимает самостоятельная работа экспертов с материалами первого этапа в процессе заполнения Анкеты-2.
При формировании работ НИР (см. рис. 1) необходимо выбрать способ обработки результатов экспертизы. Способ их обработки и компоновки предлагается выбирать, исходя из следующих соображений:
— сохранять разделение итоговых материалов по принадлежности каждой экспертной группе;
— правила обработки должны быть простыми, одинаковыми для всех экспертных групп и соответствовать объемам исходных данных, полученных из опросов экспертов.
Исходя из этих соображений, наиболее предпочтительной можно считать графическую (образную) форму представления обработанной информации, которая позволяет дать обобщенный «портрет» (оценочную картину) полученных результатов.
Для формирования графического образа результатов необходимо на основании сопоставления ответов экспертов в Анкете-2 сформировать табл. 1. В графы 3, 5, 7 и 9 данной таблицы рабочая группа записывает суммарные оценки экспертов, которые высказали свое мнение (да, нет, прочерк) по каждой позиции Анкеты-2.
Чтобы провести более детальный анализ информации, сведенной в табл. 1, и сделать какие-либо выводы, достаточно обратиться к графическим интерпретациям экспертных оценок, дополняющим данную таблицу.
Первым шагом количественного описания результатов, сведенных в табл. 1, является построение распределений оценок экспертов, на множестве предложенных ими наименований этапов научного исследования, содержания выполняемых работ, наименований документов, отражающих результаты исследований по этапу. Соответствующие графические образы представляют собой гистограммы, столбцы
которых отождествляются с наименованием этапов научных исследований, содержанием выполняемых работ, наименованиями документов, отражающих результаты исследований по этапу. Каждый столбец в гистограмме показывает пропорциональное количеству оценок «да», «нет» и «не знаю» (прочерк), как это представлено в качестве примера на рис. 2 для содержания выполняемых работ (графа 5 табл. 1). Для удобства восприятия столбцы в гистограмме соответствующим образом заштрихованы, что позволяет легко выделить позиции, относительно которых мнения экспертов совпали или разошлись, в определенных пропорциях.
80%
70%
60%
50%
40%
30%
20%
10%
0%
1 2 ... т
и Процент экспертов, ответивших "да"
_1 Процент экспертов, ответивших "нет"
В Процент экспертов, ответивших "не знаю"
Рис. 2. Пример гистограммы распределения оценок экспертов.
На рис. 2 представлены три возможных случая распределения оценок экспертов. В позиции 1 более 70% экспертов ответили «да», более 20% «нет» и незначительный процент - «не знаю».
В позиции 2 более 40% экспертов ответили «да», более 50% «нет» и незначительный процент - «не знаю».
Таблица 1
Распределение оценок экспертов на множестве предложенных ими наименований этапов научного исследования
№ п/п Наименование этапов научного исследования Оценка экспертов Содержание выполняемых работ Оценка экспертов Наименование документов, отражающих результаты исследований по этапу Оценка экспертов
Да Нет - Да Нет - Да Нет -
1 2 3 4 5 6 7
1 I II III
ИТОГО: ИТОГО: ИТОГО:
2 I II
ИТОГО: ИТОГО: ИТОГО:
т I п
ИТОГО: ИТОГО: ИТОГО:
Примечания:
1. В графе 1 (от 1 до т) определяют последовательность позиций в графах 2, 4 и 6.
2. В графе 2 указывается количество этапов (от 1 до п) в каждом научном исследовании и их наименования.
В позиции т менее 20% экспертов ответили «да», более 10% - нет и более 60%
- «не знаю».
Рассматриваемые графические построения не только дают обобщенную картину распределения оценок экспертов, но и позволяют выработать некоторые правила предпочтения при формировании работ НИР.
В качестве исходного принимается требование включить в состав указанного перечня только те позиции, которые получили, например, не менее 70 % оценок «да». Следовательно, позиция 1 войдет в работы НИР, а позиции 2 и т в него не войдут (см. рис. 2).
Предлагаемое правило отбора работ НИР может меняться в сторону большего или меньшего «ужесточения» (в частности, повышения или снижения предельно допустимого числа положительных или даже отрицательных оценок).
Для составления работ НИР рабочая группа, используя данные табл. 1, формирует гистограммы (см. рис. 2) по этапам исследования, а также содержащихся в каждом этапе работ, отражающих результаты исследований документов.
После завершения этой процедуры считается, что проект работ НИР создан.
После формирования проекта работ НИР (см. рис. 1) рабочей группой он направляется на рассмотрение заведующему кафедрой ВУЗа. Возможно, что после обсуждения работ НИР с заведующим кафедрой ВУЗа необходимо будет внести в него некоторые незначительные поправки.
На этом определение структуры и содержания работ в научном исследовании можно считать завершенным.
Предложенные методы для определения структуры и содержания работ в научном исследовании могут быть востребованы и использованы исследователями не только ВУЗов, но ив других исследовательских организациях в связи с их простотой применения и минимальными финансовыми затратами.
