CC BY
220
МЕТОДОЛОГИЯ
п ч нн ппя □ □2 ПП
МЕНЕДЖМЕНТ КАЧЕСТВА
Методы оценки качества научно-технической продукции
Т.И. ЛЕОНОВА,
профессор Санкт-Петербургского государственного экономического университета
Ю.А. КАЛАЖОКОВА,
аспирант Санкт-Петербургского государственного экономического университета
В условиях инновационной экономики быстрое развитие научно-исследовательской деятельности будет определяться качеством ее результатов как важнейшего понятия этой сферы производственных отношений, необходимой для процессов управления научной деятельностью наряду с техническими и стоимостными показателями. Отметим также, что категория качества научных исследований и их результатов приобретает решающее значение в государственном секторе экономики и ряде крупных коммерческих холдингов, имеющих в своем составе научные подразделения, для принятия управленческих решений и выделения инвестиций на научные разработки, а также развитие науки в целом на основе значимости (качества) научных достижений.
В соответствии с формулировками теории качества и метода TQM (Total Quality Management - Всеобщее управление качеством), под качеством научно-технической продукции (НТП) будем понимать степень, с которой собственные характеристики, присущие этой продукции, соответствует требованиям заинтересованных сторон (ЗС) [1, 2], куда входят такие основные группы, как:
2
22
222
ВЕ2Е2
22
2
Ключевые слова:
квалиметрия, статистические методы, качество научно-технической продукции.
В статье рассматриваются вопросы оценки качества научно-технической продукции с позиции потребителей -ее заказчиков и производителей, сформированы квалиметрические модели удовлетворенности потребителя и качества деятельности научно-технических организаций, представлен набор статистических методов при исследовании качества научно-технической продукции.
Methods of quality assessment scientific and technical production
In the article questions of quality assessment of scientific and technical products from the perspective of the consumer - the customer and from the perspective of producers of scientific and technical products examine, formed a qualimetric model of customer satisfaction and quality of work of scientific and technical organizations, presents a set of statistical methods in the study of quality scientific and
technical products.
потребители, общество (государство), партнеры, работники и акционеры (учредители) научной организации. С одной стороны, качество НТП можно выразить как степень удовлетворенности ЗС и, в первую очередь, потребителя. А с другой стороны, качество - это внутренняя характеристика самого объекта, то есть НТП. Исходя из этого, исследование качества какого-либо объекта должно быть основано на изучении содержания самого объекта качества. В соответствии с общепринятым определением, научно-техническая продукция - это законченный и принятый потребителем (заказчиком) результат научно-исследовательских, проектных, конструкторских, технологических работ. К таким результатам относятся: ^ научно-техническая документация (отчеты, проекты, чертежи, регламенты, нормативы, методики, про-
2
22
222
222
22
2
Keywords:
qualimetry, statistical methods, quality scientific and technical products.
ВеККАЧЕСТВА № 2 • 2015
10
□ GH
МЕНЕДЖМЕНТ КАЧЕСТВА ЕШ
СП
МЕТОДОЛОГИЯ
граммы и т.д.), отражающая результаты законченных фундаментальных и прикладных исследований и разработок (включая работы по созданию новой техники и изделий, технологии, материалов); ^ экспериментальные и опытные образцы новой техники (продукции); ^ научно-технические услуги, в том числе участие в пусконаладочных работах, авторский надзор при освоении и эксплуатации нововведений, передовой опыт в этой области (ноу-хау), обучение персонала заказчика (потребителя), консультации и прочие результаты.
Таким образом, в большинстве случаев НТП имеет свойства услуг, то есть они нематериальны, невоспроизводимые субъективны (велико участие в процессе работ самого заказчика, который формирует задание и предоставляет информацию, как важный ресурс для разработок), и в некоторой степени неопределенны (результат научных изысканий не всегда однозначно известен, и имеется риск его неполучения). Эти свойства НТП обуславливают сложность их качественной оценки и предопределяют необходимость применения различных методов и, в частности, квалиметрических и статистических.
Для применения математических методов при оценке качества НТП необходима система показателей. Такая система оценки качества должна строиться на следующих принципах:
принцип комплексности - использование набора единичных качественных и количественных показателей, исчерпывающе описывающих все стороны производственной деятельности;
принцип достаточности - количество показателей должно быть минимальным, но достаточным для характеристики производственных процессов и результатов;
принцип прозрачности - открытость алгоритма и доступность данных для получения оценки;
принцип измеримости - показатели, отражающие существо исследуемых процессов, должны быть однозначно измерены;
принцип сбалансированности - использование обоснованной весовой дифференциации показателей.
Формирование системы показателей качества НТП можно рассмотреть на основе двух принципиальных методологических подходов: подхода с позиции удовлетворенности потребителя НТП и всех заинтересованных сторон; подхода с позиции самооценки качества самими организациями-производителями НТП. Оценка качества на основе первого подхода представляется наиболее объективной, так как она отражает восприятие потребителем уровня качества, то есть показывает истинную степень важности данного продукта. Вместе с тем
второй подход позволяет определить область улучшения и возможный потенциал повышения качества в силу того, что качество появляется и формируется в ходе научного изыскания, творчества и производства НТП. Рассмотрение проблемы с обеих позиций позволит установить диалектику взаимного влияния.
Подход с позиции удовлетворенности потребителя
Рассмотрим проблему с точки зрения первого подхода. Как показывает отечественный и зарубежный опыт, существует немало способов, которые позволяют определять удовлетворенность потребителя и других ЗС, однако для оценки качества НТП на данный момент не существует строго определенного, унифицированного метода. «Ключом» к определению качества выполняемых научно-технических работ должно быть получение от потребителя и ЗС адекватной информации об их удовлетворенности, то есть установление обратной связи. Самое точное представление об удовлетворенности дают методы, основанные на прямом опросе потребителей, отчетах и анкетировании.
Анкетирование получило наибольшую популярность. Анкета для оценки удовлетворенности потребителя НТП может быть основана на широко известном в международной практике расчете индекса удовлетворенности потребителя CSI (Customer Satisfaction Index), который можно адаптировать к особенностям НТП. Основная проблема при составлении анкет заключается в выявлении всех ключевых и второстепенных факторов, влияющих на ощущения и удовлетворенность потребителя. Для определения факторов необходимо обратиться к содержанию требований потребителя к предмету потребления: что он хочет, каковы его ожидания, какая степень его удовлетворенности при непосредственном потреблении, какая польза в настоящем или будущем и т.д. Эти факторы станут основой для формирования системы показателей качества объекта с позиции потребителя и ЗС.
Анкетирование предполагает: составление анкеты, ее заполнение (сбор информации от потребителя) и обработку полученных данных. Исходя из перечисленных выше принципов, вопросы анкеты должны быть направлены на получение предельно объективных характеристик качества продуктов и выполняемых работ, а количество вопросов должно сводиться к минимуму, но в то же время быть достаточным для получения наиболее полного представления об удовлетворенности потребителя и ЗС. Поскольку НТП является результатом не массового, а скорее единичного или даже индивидуального (эксклюзивного) производства, то наиболее важные требования заказчика со-
№ 2 • 2015 ВеЮКАЧЕСТВА
п Ч нн
МЕТОДОЛОГИЯ ВВВ МЕНЕДЖМЕНТ КАЧЕСТВА
пп н
средоточены в договоре, включающем в себя установленные требования в техническом задании, другой типовой и I дополнительной документации на НТП. Однако могут су- I ществовать и другие аспекты взаимоотношений в ходе реализации научной разработки. I
В общем случае показатель удовлетворенности потребителя и других ЗС качеством НТП можно определить с помощью определенного набора показателей удовлетворенности всех заинтересованных сторон, включающего единичные показатели (у/) по конкретной позиции, например, по:
у1 - результату выполненных научно-технических работ в целом и его оформлению;
у2 - организации процесса научных исследований; у3 - профессиональности действия исполнителей; у/ - /-му показателю удовлетворенности; уп - п-му показателю, характеризующему удовлетворенность.
В соответствии с принципами теории квалиметрии комплексный показатель удовлетворенности НТП (У) можно обозначить в виде линейного уравнения вида (1):
У=а1 у1+... + а/ у/ +... + ап уп, (1)
где а/ - весовой коэффициент, отражающий различную зна- , чимость для каждого /-го показателя удовлетворенности НТП. :
Подход с позиции производителя I
Второй подход предполагает оценку качества НТП I с позиции организаций-производителей. Для этого необходимо разработать количественные показатели, отражающие качество научной деятельности I научно-технических организаций (НТО). В соответ- ! ствии с такой постановкой исследования будет формироваться показатель О, комплексно характеризую- 1 щий качество деятельности НТО. Его наиболее удоб- I но строить с позиции уже хорошо себя зарекомендо- ( вавшей модели Премии по качеству и ее адаптации к деятельности НТО [1, 2]. Ключевым в данных моделях ' является деление всех показателей качества деятель- 1 ности на блок результатов и блок потенциала органи- I зации. Внутри каждого блока можно выделять показа- I
12
тели, наиболее характерные конкретному отраслевому виду деятельности, каким и является деятельность в научно-изыскательской сфере.
По нашему мнению, такими показателями для блока результатов деятельности НТО могут быть: ^ результативность (выполнение договорного плана разработок);
^ инновации в технологии, технике и продуктах; ^ успешность, эффективность разработок и др.
Для блока потенциала НТО: ^ уровень профессионализма и творчества работников (наличие степеней, патентов, изобретений, участие в конференциях и пр. показатели) и их необходимое количество; ^ наличие прогрессивной корпоративной культуры организации;
^ наличие прогрессивных систем управления (например, СМК, управления бизнес-процессами); ^ уровень лабораторной базы и базы испытаний; ^ доля участия государства и т.д.
В общем случае показатель комплексного качества деятельности НТО можно определить аналогично показателю удовлетворенности с помощью набора единичных показателей качества (ц), и тогда комплексный показатель качества деятельности НТО можно представить в виде (2):
О= Ь1 ц1+... + Ь/ ц/ + ... + Ьп цп, (2)
где Ь/ - весовой коэффициент, отражающий различную значимость для каждого /-го показателя качества деятельности НТО.
Для формирования комплексных показателей качества НТП помимо установления перечня единичных показателей качества (у) и (ц) важной задачей является выявление значимости этих показателей, определяющих результативный признак (У или О), а именно, удельных весов (а) и (Ь) в формулах (1) и (2). Эту значимость можно установить методом ранжирования на основе экспертных оценок, значение которых сведено в табл. 1.
Для выявления степени согласованности мнений экспертов можно использовать различные статистические подходы, например, расчеты коэффициентов конкордации, проверку по критерию хи-квадрат и другие, показывающие уровень доверия к полученным данным опроса.
Объективную оценку зависимости результирующего показателя качества НТП от влияющих на него факторов можно установить с помощью постро-
Таблица 1. Ранги значимости единичных показателей качества
НТП (авторская таблица)
Эксперты Единичные показатели качества (у или д)
1 ... 1 . п
Эксперт 1 Я11 Я /1 Я п1
Эксперт 2 Я12 Я/2 Яп2
Эксперт М Я1М ЯМ ЯпМ
Сумма рангов I I I
Средний ранг Яср1 Яср1 Яср/ Ясрп
Ранг показателя Я 1 Я 1 ... Я / Я п
век КАЧЕСТВА №2 • 2015
□ GH
МЕНЕДЖМЕНТ КАЧЕСТВА ВЦ
СП □
МЕТОДОЛОГИЯ
ения многофакторной регрессии. Будем считать, что комплексная удовлетворенность качеством заинтересованных сторон (У) является истинным результатом качества деятельности организации и зависит от составляющих деятельности самой организации - в основном от ее потенциальной способности развития и понимания ею требований всех ЗС, в том числе потребителей. Такая постановка определяет возможность исследования зависимости комплексного показателя удовлетворенности (У) от ряда факторов качества деятельности (q), то есть построения многофакторной регрессии типа (3):
У= C + clql +... + ск цк +...+ cKqK, (3)
где ск - коэффициенты уравнения регрессии, k = 1...K - количество выбранных факторов. В ходе статистического анализа и оценки многофакторной регрессии выполняются следующие этапы [3,4].
1. Отбор факторов производится на основе анализа матрицы коэффициентов парных корреляций (табл. 2), по которой можно судить о непосредственной связи факторов с результативным признаком и между собой.
По результатам полученных парных коэффициентов можно определить, какие факторы в уравнении регрессии слабо связаны с результативным признаком.
2. Учет явления мультиколлинеарности состоит в том, что не рекомендуется включать в уравнение факторы, тесно связанные с другими факторами. Анализ матрицы (табл. 2) на наличие явления мультиколлинеарно-сти можно проверить с помощью следующих критериев:
ryi rij, ryj rij, (4)
где ryi - результирующий фактор, расположенный в столбце;
ryj - результирующий фактор, расположенный в строке;
rij - парный коэффициент корреляции. В результате 1-го и 2-го этапа выявляется определенное количество независимых и тесно связанных факторов, которые можно включить в математическую модель.
3. Установление и анализ значимости коэффициентов многофакторной регрессии производится с помощью различных программ (например, IBM SPSS) и формируется табл. 3.
Критерии t-статистика и Р-значение позволяют оценить уровень значимости коэффициентов регрессии, которые проверяются по табличным данным, определяемым в зависимости от уровня значимости и числа степеней свободы.
4. Проверка значимости уравнения регрессии. Для этого определяются коэффициенты множественной корреля-
Таблица 2. Матрица коэффициентов парных корреляций показателей (авторская таблица)
У Ц1 qK
У 1 - - - -
q1 ryql 1
1
1
ЦК гУЦк rqlqK 1
Таблиц сии (ав а 3. Коэф юрская та( »фициен шца) ты мно гофакторн ой регрес-
Коэффициенты регрессии Стандартная ошибка S t-статистика Р-значение
У с0 S0 to P0
q1 c1 S1 t1 P1
qK cK SK tK PK
ции и множественной детерминации: множественный Я. Я-квадрат, нормированный Я-квадрат, значения которых должны удовлетворять определенным критериям. Одновременно с этим требуется определить фактическое значения показателя тесноты связи (Р-статистика). При сравнении этого значения с его табличной величиной при необходимом уровне значимости, а также количестве степеней свободы, делается вывод о значимости, с точки зрения статистики, в целом уравнения и показателя тесноты связи, сформировавшихся под влиянием учитываемых факторов.
Выводами данного исследования являются следующие положения.
1. Для оценки уровня качества НТП можно построить квалиметрические модели удовлетворенности потребителя и оценки качества НТП, соответствующие двум методологическим подходам с позиции потребителя и производителя НТП, на основе определенного набора единичных показателей и их значимости.
2. Для установления значимости единичных показателей качества возможно использовать методы экспертных оценок и статистические методы построения многофакторной регрессии. ■
Литература
1. Окрепилов В.В. Менеджмент качества / В 2-х т.; Том 2. СПб.: Наука, 2007. 504 с.
2. Горбашко Е.А. Управление качеством: Учебник для бакалавров. М.: Изд-во Юрайт, 2012. 463 с.
3. Елисеева И.И. Общая теория статистики: Учебник / Под ред. И.И. Елисеевой, 5-е изд., перераб. и доп. М.: Финансы и статистика, 2006. 441 с.
4. Гусаров В.М. Теория статистики: Учеб.пособие для вузов. М.: Аудит, ЮНИТИ, 2011.
№ 2 • 2015 ВеЮКАЧЕСТВА
