CC BY
53
ФОРУМ
Статистический анализ итогов конкурсов на выполнение научно-исследовательских работ по приоритетному направлению «Живые системы»
Е. В. Поверенная1*, А. В. Лисица1, А. Н. Петров2, А. А. Макаров3, Н. Г. Лузгина4 1Институт биомедицинской химии им. В.Н. Ореховича РАМН, Москва 2Дирекция ЦНТП Минобрнауки России, Москва
3Институт молекулярной биологии им. В.А. Энгельгардта РАН, Москва
4Научный центр клинической и экспериментальной медицины СО РАМН, Новосибирск
*E-mail: k.poverennaya@gmail.com
Процедура оценки и сопоставления заявок, поступающих на открытые конкурсы на выполнение научно-исследовательских работ для государственных и муниципальных нужд, осуществляется в соответствии с нормами 94-ФЗ. Соотношения значений различных критериев оценки заявок (цена, сроки, качество работ) установлены законодательно и позволяют в результате вычислений по универсальной формуле присвоить каждой заявке индивидуальный рейтинг, по которому и выбираются победители конкурса. Авторы данной статьи охарактеризовали взаимосвязь между ценой и качеством НИР, предлагаемых участниками размещения заказа, и оценили эффективность применения законодательно установленных весовых значений различных критериев оценки заявок.
В законе 94-ФЗ [1] заложены представления о том, что для государственного заказчика исключительно важны более низкая стоимость и (или) сокращение сроков выполнения работы (поставки товаров, оказания услуг), что отражено в рекомендованном порядке оценки и сопоставления конкурсных заявок. Другими словами, низкая цена и малые сроки более существенны, чем качество выполнения работ. Превалирование стоимости работ над их качеством потенциально снижает значимость результатов
экспертизы НИР при принятии государственным заказчиком решения о выборе исполнителей.
В период с декабря 2010 по январь 2011 года в рамках мероприятия 1.2 («Проведение проблемно-ориентированных поисковых исследований и создание научно-технического задела по технологиям в области живых систем») ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы» [2] объявлено четыре очереди конкурсов,
допускавших заключение контрактов по каждому лоту с несколькими участниками размещения заказа («зонтичные» лоты). При размещении заказа предлагалось участвовать в выполнении поисковых и прикладных НИР с максимальной ценой контракта 6 и 12 млн рублей соответственно. На состоявшемся в Москве круглом столе «Новые подходы к регулированию госзакупок в науке» было отмечено, что по итогам размещения заказа демпинг по научным конкурсам дошел до 60% [3].
Впервые для развития научно-технологического потенциала страны конкурс проводился в условиях, когда для соблюдения требований Постановления Правительства РФ от 10 сентября 2009 года № 722 [4] было установлено, что удельный вес ценового предложения в общей оценке заявки составляет более половины (55%). Важно отметить, что все четыре очереди объявили за довольно короткий промежуток времени, т.е. у участников размещения заказа была ограничена возможность изменить тактику участия в конкурсе.
Нами проанализированы следующие данные, представленные в протоколах оценки и сопоставления заявок на участие в конкурсе
6 | ACTA NATURAE | ТОМ 3 № 4 (11) 2011
по мероприятию 1.2 ФЦП, очереди 3-6 [5]:
- максимальная цена лота;
- наименование участника размещения заказа;
- экспертная оценка заявок по критерию «техническая характеристика создаваемой научно-технической продукции»(максимально 35 баллов);
- экспертная оценка по критерию «профессиональная репутация участника конкурса» (максимально 40 баллов);
- экспертная оценка по критерию «опыт выполнения работ» (максимально 25 баллов);
- цена работ, предложенная участником размещения заказа.
Всего был проанализирован 41 лот. В конкурсе по этим лотам приняли участие 183 организации, и каждая организация подала минимум одну заявку. Всего на конкурс была подана (и включена в анализ) 421 заявка. Приведенные в протоколах данные были представлены в виде электронной таблицы. В рассматриваемых очередях лоты на выполнение поисковых и прикладных НИР отличались по начальной цене, поэтому предложенную участником размещения заказа цену нормировали на максимальную цену лота и полученное значение снижения цены выражали в процентах. Данные обрабатывали с использованием автоматизированных функций пакета Microsoft Excel, включая сортировку, расчет значений по заданной формуле, расчет среднего и доверительного интервала, расчет коэффициента корреляции, построение гистограмм и линейной аппроксимации.
В связи с тем, что экспертные оценки по критериям «техническая характеристика создаваемой научно-технической продукции», «профессиональная репутация участника конкурса и квалификация коллектива исполнителей» и «опыт выполнения работ» кор-
релировали (коэффициент корреляции выше 0.73) друг с другом, в качестве интегральной оценки брали сумму перечисленных выше критериев, которую далее обозначали как оценку научной составляющей.
Для расчета статистической поправки анализировали зависимость между оценкой научной составляющей V (value) и снижением цены С (cost). Чтобы выявить эту зависимость отбирали заявки, поступившие от 49 (из 183 организаций-участников) наиболее активных участников размещения заказа, т.е. подавших не менее трех заявок по разным конкурсным лотам, причем как минимум одна заявка из поданных была признана победителем.
По трем и более заявкам, поступившим от одного участника, усредняли оценку научной составляющей и снижение цены, и в соответствии с полученными средними значениями V и С наносили точку на график. В случае, если одному значению снижения цены соответствовало несколько точек (от разных участников), то перед усреднением исключали выбросы по формуле Стьюдента (p > 0.95). Полученный точечный график аппроксимировали линейной зависимостью вида V = aC + b, где значения констант a и b получали методом наименьших квадратов (встроенные средства пакета Microsoft Excel).
Значение константы а, определяющей угол наклона аппроксимирующего линейного уравнения, использовали в качестве статистической поправки исходя из выражения (1):
dV V - V'
а =
dC C '- C
(1)
ректированные согласно условию, что снижение стоимости работ не должно приводить к ухудшению качества выполнения работ. Полагая, что минимальное значение снижения цены, не приводящее к ухудшению качества, составляет С' = 0, для расчета скорректированной оценки научной составляющей V выражение (1) преобразовали:
V = V - |а|С.
(2)
(Модуль указан, поскольку коэффициент а имеет отрицательное значение в силу обратно пропорциональной зависимости между оценкой научной составляющей и снижением цены.)
С использованием формулы (2) был произведен ретроспективный расчет скорректированных значений оценок научной значимости 421 заявки, поступившей на конкурсные лоты четырех очередей. По каждому конкурсному лоту итоговую балльную оценку заявок рассчитывали по формуле, приведенной в конкурсной документации:
R = 0.45V + 0.55С.
(3)
где значения V и C брали из усредненных сведений, представленных в официальных протоколах, а V и С обозначали значения, скор-
Заявки были отсортированы (ранжированы) по степени убывания итоговой балльной оценки.
Для сопоставления рейтингов заявок в качестве исходного экспертного рейтинга брали порядок следования заявок после сортировки по итоговой балльной оценке, полученной с учетом статистической поправки по формуле (3). С исходным рейтингом сравнивали модельные рейтинги, полученные при значениях удельного веса критерия «качество», варьирующего в диапазоне от 0.45 до 1.00 с шагом 0.05. В соответствии с изменением веса критерия «качество» изменяли удельный вес критерия «цена», чтобы сумма критериев была равна единице.
ТОМ 3 № 4 (11) 2011 | ACTA NATURAE | 7
Для сопоставления модельных и экспертных рейтингов использовали коэффициент ранговой корреляции Спирмена (КРК):
г = 1-
61 << п(П -1)'
(4)
где 1 - разность между рангами по каждой заявке в лоте, а п - количество заявок в лоте. КРК рассчитывали для каждого лота отдельно, при этом из анализа исключили пять лотов, содержащих менее пяти заявок, для остальных 36 лотов оценивали достоверность КРК с использованием критического значения та при заданном количестве заявок на лот. Отбирали значения ранговой корреляции, достоверные при уровне значимости р > 0.95, и отобранные значения усредняли по всем лотам. Средние значения наносили на график в соответствии с удельными весами критерия «качество работ», для которых моделировали рейтинги. На графике методом наименьших квадратов находили два аппроксимирующих уравнения, соответствующих линейным участкам зависимости КРК от удельного веса. Уравнения решали в системе для определения значения удельного веса критерия «качество работ», при превышении которого КРК существенно не возрастает при увеличении удельного веса.
Приведенные в протоколах оценки и сопоставления заявок данные отображены на рис. 1 в виде гистограммы, показывающей количество поступивших заявок для диапазонов снижения цены. Менее 5% заявок (21 предложение из 421 заявки) поступило без снижения цены, т.е. стоимость работ соответствовала начальной (максимальной) цене государственного контракта. Более чем у 95 заявок (22.6%) снижение цены превысило 50%. Средний показатель снижения цены составил 30% для всех проанализированных заявок.
Рис. 1. Распределение заявок на выполнение НИР в зависимости от степени снижения цены по отношению к максимальной цене конкурсного лота. Стрелками отмечены пиковые значения.
Как видно из гистограммы (рис. 1), распределение заявок имеет три четко выраженных пика, соответствующих снижению цены на 15, 30 и 50%. Наличие пиков позволяет обсудить общие предпосылки, лежащие в основе принятия участником решения о стоимости своей работы. Можно допустить, что снижение цены до 15%, наблюдавшееся в 155 заявках, некритично для научной части работы и может быть достигнуто административным решением об уменьшении накладных расходов (покрытие накладных расходов из собственных средств участника размещения заказа). Снижение ценового предложения на 30% может указывать на возможность методического и ресурсного задела у заявителя, например запаса расходных материалов или реагентов, достаточных для обеспечения НИР. В диапазон снижения цены от 15 до 30% включительно вошло 119 заявок (т.е. 28% от общего числа). Следующая категория включает 96 заявок, в которых снижение цены составляло от 30 до 50%. В данном случае следует предположить, что снижение цены будет сказываться на качестве предложения о выполнении работ. Наконец,
на гистограмме видна группа из 51 заявки, где цена снижена более чем на 50%. Таких заявок вдвое меньше, чем в каждой из предыдущих категорий. Это означает, что тактика снижения цены в два и более раз выпадает из общих представлений, которых придерживаются участники размещения заказа при оценке стоимости научной работы.
Анализ сведений,опубликован-ных в составе протоколов конкурсной комиссии, позволяет получить представления об активности и эффективности участников размещения заказа. Наибольшее число заявок поступило от участников с низкой активностью, которые подавали в большинстве случаев одну, в ряде случаев - две заявки. Как видно из гистограммы на рис. 2, таких участников было 132, т.е. значительно больше половины. Данных по одной-двум заявкам недостаточно для статистического анализа. Кроме того, как видно на рис. 2, участники, проявившие низкую активность участия в конкурсах, редко признаются победителями. Возможно, единичные заявки поступают от учреждений, профиль деятельности которых не вполне отвечает приоритетам критических тех-
Активность участников Эффективность участников
33.94%
J
1-2
3-4
5-6
7-8
>9
Количество заявок, поданных одним участником
Рис. 2. Распределение значений активности и эффективности участников размещения заказа по «зонтичным» лотам. Активность - число заявок, поданных участником размещения заказа за анализируемый период времени, эффективность - отношение числа «победивших» заявок к общему числу поданных участником заявок.
Рис. 3. Линейная аппроксимация зависимости между экспертной оценкой качества (V) и снижением цены заявки (С). Каждая точка соответствует одному участнику конкурса, соответствующие значения снижения цены и качества усреднены по победившим заявкам.
нологий либо связан с узконаправленной научной деятельностью. Замкнутость на узком круге специфичных задач снижает конкурентоспособность единичных
заявок, что отражается на низкой эффективности участников, подавших по одной заявке - 23.5%.
Для участников размещения заказа, подавших три и более за-
явки, характерна высокая эффективность (рис. 2). У участников, которые подали три-четыре заявки, эффективность превысила 40%, т.е. практически половина заявок выигрывала конкурс. Можно сделать вывод, что работа учреждения по нескольким тематикам повышает конкурентоспособность и, скорее всего, именно такие участники размещения заказа в наибольшей степени оказывают влияние на развитие приоритетного направления «Живые системы» («Науки о жизни») в стране. Исходя из приведенных соображений, в дальнейшем анализировали данные о качестве заявок активных участников заказа, подавших три и более заявки. Всего таких участников оказалось 49.
Прежде чем перейти к анализу качества заявок, следует отметить взаимосвязь между категориями экспертных оценок качества. Например, техническая характеристика продукции коррелирует с профессиональной репутацией коллектива (К2 = 0.74; п = 421), а репутация, в свою очередь, зависит от опыта выполнения работ (К2 = 0.73; п = 421). Такая корреляция вполне закономерна, что позволило в дальнейшем использовать сумму баллов всех трех экспертных категорий в качестве единой оценки научной составляющей проекта, представленного на конкурс.
На рис. 3 приведены данные, демонстрирующие корреляцию между научной составляющей конкурсных проектов и снижением цены заявок. Зависимость получена для 105 победивших в конкурсе заявок, поступивших от отобранных 49 активных участников. Если у нескольких заявок оценки научной составляющей совпадали, то соответствующие таким заявкам значения снижения цены усредняли (исключая выбросы). Поэтому, например, наименьшее снижение цены
ТОМ 3 № 4 (11) 2011 | АСТА ЫАТиИАЕ | 9
^
к
с ф
а а
0 *
н
1
Ш
X ^
т О
0.92
0.84
0.80
0.76
-у = 0.4971х + 0.5603
R2 = 0.9842
у = -0.0129х + 0.919
0.40 0.50 0.60 0.70 0.80 0.90
Значения критерия «качество»
1.00
Рис. 4. Зависимость ранговой корреляции экспертного рейтинга с модельными рейтингами, полученными при различных весах критерия оценки
качества заявок.
по данным рис. 3 составляет 9% (а не 0%, как следует из гистограммы на рис. 1).
Аппроксимация данных линейной зависимостью, согласно формуле (2), позволила установить значение свободного члена V = 96 и поправочного множителя а = -0.787 и записать следующее выражение для расчета скорректированной оценки научной составляющей V':
V' = 96 - 0.787 х С. (5)
Свободный член в формуле - это значение, предельное для балльной оценки научной составляющей заявки. Значение, полученное по результатам аппроксимации, практически совпадает с максимумом суммы баллов 100, установленным конкурсной документацией. Подставляя в формулу (5) значения, показанные на рис. 3, можно найти точку V = 47; С = 60%, при которой скорректированная оценка научной составляющей равняется нулю. Это означает, что для заявок, цена которых снижена на 60% и более, риски ненадлежащего качества выполнения работ настолько высоки, что реализовать проект, по мнению экспертов, невозможно в принципе.
Полученные в результате аппроксимации скорректированные оценки научной составляющей подставляли в формулу (3) и рассчитывали для каждой заявки общий балл, суммирующий показатели «качество заявки» и «снижение цены». Заявки, поданные на каждый лот, пересчитывали в соответствии со значениями общего балла. Полученное ранжирование заявок рассматривали как экспертный рейтинг, т.е. рейтинг, порядок следования заявок в котором отражает коллективное мнение экспертов о зависимости между ценой заявки и ее качеством.
Экспертный рейтинг сравнивали с модельными рейтингами, полученными при различных значениях весов критериев цены и качества, например брали в качестве весов значения 0.4 и 0.6 соответственно. Веса использовали для расчета нового значения итоговой балльной оценки для всех заявок, после чего располагали заявки в составе каждого лота по мере уменьшения баллов. Такой модельный рейтинг сопоставляли с экспертным рейтингом, полученным с применением поправочного коэффициента. Сравнение проводили с использованием коэф-
фициента ранговой корреляции Спирмена (КРК), чувствительного к порядку следования элементов в отсортированных списках. В рассматриваемом случае, когда вес критерия качества задавали равным 0.6, значение КРК составило 0.865. Это значение указывает, что порядок следования заявок в экспертном рейтинге хорошо совпадает с модельным рейтингом при заданном соотношении цена/качество.
В другом случае, когда, например, при построении модельного рейтинга вес качества составлял только 0.4, а вес цены - 0.6, значение КРК было равно 0.75, т.е. существенно ниже, чем при рассмотренном ранее соотношении цена/качество 0.4/0.6.
На рис. 4 показаны значения КРК для 11 модельных рейтингов, полученных при варьировании соотношении цена/качество. По оси ординат отмечены значения весов критерия качества в модельном рейтинге заявок, а по оси абсцисс - значения КРК, полученные в результате сравнения модельных рейтингов с экспертным. На рис. 4 прослеживается четкая зависимость увеличения КРК по мере возрастания удельного веса качества при расчете итоговой оценки заявок. Увеличение значения коэффициента корреляции продолжается до уровня значений критерия «качество» 0.7, при котором КРК становится больше 0.9. Дальнейшее увеличение веса критерия качества не сказывалось существенным образом на значении КРК.
Как пример, на рис 4. показаны аппроксимирующие линии, пересекающиеся в точке с координатой по оси абсцисс 0.703(3). Наклон прямой, аппроксимирующий плато на графике, может варьировать в зависимости от количества точек, используемых для построения уравнения. Динамика увеличения КРК изменяется до достижения
уровня 0.7, поэтому данную величину целесообразно принять в качестве наименьшего значения веса, при котором достигается оптимальное совпадение модельного и экспертного рейтинга.
ВЫВОДЫ
Существует обратно пропорциональная зависимость между ценой и качеством работ, предлагаемых участниками конкурсов на НИР. Выполнение предлагаемых работ невозможно осуществить при планируемой
стоимости 60% и ниже начальной цены, предусмотренной конкурсной документацией. Законодательно закрепленный способ оценки и сопоставления заявок при размещении заказов на НИР не позволяет экспертам отдавать предпочтение заявкам участников размещения заказов, предполагающих проведение более качественных НИР. Эвристическим моделированием показано, что при ранжировании конкурсных заявок на НИР оптимальное соотношение цена/качество (т.е.
получение конкурентоспособных результатов при заданных объемах затрат бюджетных средств) будет достигаться при соотношении веса критериев цена и качество 0.30/0.70 соответственно. •
Авторы выражают благодарность членам Рабочей
группы по приоритетному направлению «Живые системы» и К. Тимирбаеву (корпорация «МетаСинтез») за участие в обсуждении статьи.
СПИСОК ЛИТЕРАТУРЫ
1. О размещении заказов на поставки товаров, выполнение работ, оказание услуг для государственных и муниципальных нужд: Федеральный закон от 21 июля 2005 г. № 94 -ФЗ. Собрание законодательства РФ. 2005. № 30. Ст. 3105.
2. Концепция федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России
на 2007-2012 годы»: Распоряжение Правительства РФ от 6 июля 2006 г. № 977-р. Собрание законодательства РФ. 2006. № 29. Ст. 3258.
3. «Система госзакупок в сфере науки и образования требует радикальных изменений». Полит. Ру. URL: http://www.poUt. ru/news/2011/08/05/sg/
4. Об утверждении Правил оценки заявок на участие в конкурсе на право заключить государственный или муниципальный контракт на поставки товаров, выполнение работ, оказание услуг для государственных или муниципальных нужд: Постановление Правительства РФ от 10 сентября 2009 г. № 722. Собрание законодательства РФ. 2009. № 38. Ст. 4477.
5. Мероприятие 1.2. «Проведение проблемно-ориентированных поисковых исследований и создание научно-технического задела по технологиям в области живых систем». ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы». URL: http://www. fcpir.ru/catalog.aspx?CatalogId=1044
ТОМ 3 № 4 (11) 2011 | ACTA NATURAE | 11
