CC BY
34
Сычев Александр Владимирович
Кандидат экономических наук/Candidate of Economic Sciences, Доцент, проректор/ the associate professor ФГБОУ ВПО «Сыктывкарский государственный университет»,
FGBOU VPO «Syktyvkar state university» E-mail: [email protected]
Проблемы формирования минимально достаточной экспертной сети вуза
Problems of formation of minimally sufficient expert network of Higher Educational Institution
Аннотация: Форсайты становятся одним из важнейших инструментов для обеспечения исследований и планирования в условиях рыночной экономики. Для их проведения необходимо создание экспертных сетей и управление ими. Высшие учебные заведения должны стать центрами такой работы. Создание отраслевых и региональных экспертных сетей ставит ряд фундаментальных проблем. В статье рассматривается решение вопроса о подборе состава экспертов, способного эффективно работать в условиях быстрых изменений модернизирующейся экономики региона и отрасли.
The Abstract: Foresights become the important instrument of ensuring the researches and planning under the conditions of market economy. To carry them out, the creation of expert networks and management are necessary. Higher educational institutions should become the centers of such work. The creation of branch and regional expert networks sets a number of fundamental problems. This article considers the solution of the problem on the formation of experts structure which would be capable to work effectively under the conditions of fast development of innovative university.
Ключевые слова: экспертная сеть; инновационный университет; рыночная экономика; региональная экономика; центры прогнозирования; публикация статистики; экспертные анкеты; уровень компетенции.
Keywords: Expert network; innovative university; market economy; regional economy; centers of forecasting; publication statistics; expert questionnaires, competence level.
1. Проблемы прогнозирования и мониторинга технологического рынка в условиях экономики инноваций
Современная экономика находится в процессе перестройки в новый технологический уклад, вызванным влиянием мощных массовых производственных и потребительских технологий. Происходит формирование единого мирового потребительского рынка, мировой технологической системы и др. Это создает необходимость создания соответствующей системы образования, способной к быстрому развитию. В связи с этим возникает ряд новых тенденций в организации учебных курсов, создании малых хозяйственных форм, кооперации вузов, создании инновационной инфраструктуры, и т.д.
Реализация новых тенденций требует одновременного осуществления множества изменений, Важно, чтобы выбираемая система технических, экономических, организационных и др. решений была согласована, т.е. не создавала накопления свойств, которые могут препятствовать дальнейшему быстрому согласованному развитию технико-экономической системы
Это определяет особенность выбора направлений совершенствования организационных и технических решений. Нужно, чтобы новые подходы в образовании не просто решали отдельную задачу повышения его качества, но создавали условия для согласованного совместного развития комплекса образовательных технологий. Например, внедрение новых курсов по теории изобретательства создает условия для создания студенческих конструкторских бюро и, тем самым, создает условия для возникновения студенческих команд нацеленных на инновационный бизнес. Это, в свою очередь, поднимает многие вопросы учета и оценки интеллектуальной собственности университета.
Таким образом, невозможно по отдельности прогнозировать развитие элементов инновационной инфраструктуры. Нужно производить анализ в контексте одновременно действующих процессов множества взаимосвязанных направлений изменений: учебных курсов, методик преподавания, учета интеллектуальной собственности, мер по поддержке изобретательства, связей с потенциальными работодателями и инвесторами и др. При этом нужно прогнозировать те из них, динамика которых оказывается взаимосогласованной.
Для планирования и проектирования динамики (инновационной модернизации) высшего образования нужно выявить схемы взаимовлияния изменения объектов на процессы совершенствования друг друга (модели динамики). Модели динамики описываются, например, в форме комплекса дорожных карт или формальных теорий динамики агрегатных баз отрасли [2] или др. Они строятся путем анализа данных, полученных из экспертных и статистических исследований.
Проведение таких исследований в современных условиях имеет целый ряд особенностей, которые должны учитываться при организации мониторинга деятельности вуза.
Массовые технологии постоянно формируют новые модели развития. Они оказывают влияние на все сферы экономической жизни, в том числе и на образование через подготовку специалистов, способных эффективно встраиваться в новую реальность. Собранные статистики быстро устаревают. Все чаще статистические данные, собранные по давно утвержденным параметрам, оказываются не нужными для реального управления [3].
Вместе с тем возрастает эффективность экспертных методов. По оценке, в современных условиях они дают до 80-ти процентов информации. Это обусловлено тем, что массовые технологии создают сильную взаимосвязь изменений и направлений развития. Однако, применение широко известных экспертных методов начинает встречать существенные трудности.
1) Трудно вычленить отдельные частные проблемы, комплекс проблем должен анализироваться в единстве. В результате возрастает трудность экспертизы.
2) Высокая скорость изменений приводит к дезориентации экспертов. Большие объемы новых знаний и обстоятельств не успевают должным образом осмысляться.
3) Происходящая смена уклада требует перехода на новые экономические модели. Это меняет обстоятельства принятия множества решений. У экспертов не успевает накопиться опыт мышления в моделях новой экономики.
[1].
Возникает проблема обоснования применения известных методик экспертных исследований.
При этом в современных условиях задача планирования инновационной инфраструктуры приобретает особую форму. В условиях быстрых фундаментальных изменений нужно обеспечить развитие университетского комплекса без накопления рассогласования, которое может помешать формированию интегрированной образовательной системы (т.е. сохранение интеграции). Если комплекс не согласован (нарушена системность), то его прогнозирование бессмысленно. Необходима его оптимизация. Важно определить решения, которые нужны в настоящем, чтобы сохранить системность развития. Прогнозирование с помощью экспертов должно определить свойства инфраструктуры и сетей, которые нужно поддерживать для сохранения интеграции в развитии.
Поэтому нужно выявлять и контролировать наличие условий сохранения интеграции, обеспечивающих возможность прогнозирования. Для этого требуется постоянный мониторинг инновационной образовательной системы.
С этой целью важно создать экспертную сеть, способную осуществлять такой непрерывный мониторинг. По-видимому, высшие учебные заведения могли бы стать центрами формирования таких экспертных сетей, как для собственных задач инновационного развития, так и для мониторинга отраслей индустрии. Очевидно, эти области имеют общую методологию.
1. Проблемы организации сети экспертов в условиях перехода к инновационной экономике
Основной задачей центров прогнозирования, которые создаются в ведущих университетах, является поддержка управления модернизации технологического сектора. Поэтому, важно подобрать состав экспертов, способных участвовать в исследованиях динамики своих отраслей в условиях фундаментальных преобразований технико-экономической системы в новый технологический уклад, а не с позиций прошлого уклада. Такие эксперты должны иметь определенный опыт мышления в моделях технико-экономических систем с инновационным характером развития.
Особенностью таких систем является высокая интеграция отраслей, согласованность направлений исследовательских работ и др. Создание перспективных решений, их применений, организация массового производства, работа с потребителями тесно связаны и совместно совершенствуются.
В условиях быстрых изменений по большей части эксперты оказываются компетентными лишь по отдельным вопросам т.к. не успевают отследить и воспринять процесс движения всей системы. Это затрудняет анализ взаимосвязей. Более того, в системах высокой сложности действие обратных связей начинает затрудняться, так как увеличивается их длина. В результате эксперты часто не могут «просчитать» значение того или иного решения для динамики системы как целого. Мнение экспертов часто определяется «эмоциями», связанными с убедительностью или «красотой» отдельных решений, но не системным эффектом.
Поэтому важно создать экспертную среду, способную «схватить» всю проблематику развития выбранного направления в должной полноте, способную представить не «интегрированное» усредненное мнение, но системное. Это должно быть мнение, сформированное из частных оценок элементов системы, произведенных хорошо знающими их экспертами. При
этом нужно гарантировать, что множество экспертных мнений о динамике элементов может быть сведено во мнение о динамики системы.
Для этого нужно правильно подобрать состав экспертной сети, провести обучение экспертов методам анализа решений в экономике нового поколения. Необходимо присутствие всех категорий экспертов, мнение которых может повлиять на достоверность и практическую значимость результатов мониторинга.
При этом нужно достичь баланса состава экспертов. Например, доминирование экспертов из исследовательских организаций может привести к потере связи с реальной ситуацией в отрасли. Доминирование экспертов из производственной среды приведет к ослаблению понимания процессов научно-технологического прогресса.
При выборе сбалансированного состава экспертов, прежде всего, необходимо определить комплекс организаций, поддерживающих развитие научно-технического направления (отрасли или университета). Движение инноваций представляет совокупность согласованных процессов естественного совершенствования технологий и инструментов, множества предприятий и организаций. Поэтому, требуется комплексировать в единую систему прогнозы самостоятельного развития множества предприятий и исследовательских организаций (кафедр), а так же силы их экспертных служб. Прогнозирование должно быть тесно увязано с разработанными на предприятиях методами решения задач развития производств, технологий, потребительских сред.
Для проведения эффективных исследований должны быть разработаны методологии экспертной работы и проведены мероприятия, интегрирующие процессы прогнозирования и выработки решений в согласованное целое. Это обеспечит согласованность деятельности множества предприятий и организаций в процессах массовой смены технологий, востребованных экономикой инноваций. Вопрос состоит в наличии постоянного мониторинга отрасли (университета) по доминирующим параметрам всех уровней и в своевременном проведении мероприятий по интеграции процессов управления сменой технологий. Только в этом случае можно сохранить адекватность моделей государственного управления процессами изменений в экономике и множеством постоянно проявляющихся в ходе быстрых изменений собственных закономерностей совершенствования предметных областей. К тому же это позволит создать систему управления знаниями для сопряжения стратегических, тактических и локальных планов и прогнозов в массовой смене технологий.
Следует отметить, что привлечение экспертов с различных предприятий сопряжено с решением вопросов сохранения коммерческой тайны в ходе их участия в совместных исследованиях. Поэтому, организация интегрированной экспертной сети предприятий требует участия государства как гаранта выполнения регламентов работы кооперации.
Таким образом, для организации экспертной сети требуется решение широкого комплекса взаимосвязанных вопросов. Их трудно решить по отдельности. Поэтому необходимо создание ядра сети, где они решены совместно и согласованно. Предприятия, организации, эксперты, взаимодействуя с ядром сети, должны находить интерфейсы для своего участия в кооперации.
Ядро сети (Центр прогнозирования) должно размещаться в организациях обладающих достаточной полнотой направлений деятельности: разрабатывать методы, готовить кадры, вести НИОКР, влиять на социальную среду и отслеживать ее изменения, осуществлять просветительское влияние и т.д. Они должны иметь широкие и непосредственные связи в отраслях, поддерживая диффузию экспертных технологий на предприятия и, тем самым, формируя
целостную сеть экспертизы. Такие организации должны стать инструментом экспансии экспертной сети.
Высшие учебные заведения обладают указанными свойствами. Поэтому следует рассмотреть технологию организации экспертного ядра на базе высшего учебного заведения.
3. Мировой опыт организации экспертных сетей
Точность прогнозирования в современных условиях в значительной мере определяется способностью производственной и исследовательской системы к быстрым изменениям (к динамике) в условиях перехода к новому укладу. Отсутствие этого свойства делает прогнозирование бессмысленным. Необходима оптимизация экспертной системы для приобретения ею способности к быстрому развитию компетенций, т. е. свойств идеального кластера.
В соответствии с монографией В.В. Овчинникова «Глобальная конкуренция в эпоху многоукладной экономики» [3] - основной задачей экспертизы является оценка научного и технического уровня проекта, возможностей его выполнения и эффективности. На основании экспертизы принимаются решения о целесообразности и объеме финансирования. Поэтому чем качественней экспертное заключение, тем проект становится более успешным и малозатратным. В условиях глобализации экспертное заключение может носить локальный, международный и глобальный характер.
Предприятия, которые могут быть зарегистрированы в разных странах, обслуживаются экспертами с определенной категорией компетентности (А1 или А2), доказательство которой содержится в специальных сертификатах, выдаваемых индустриальными центрами на основе результатов прохождения проектных семинаров по определенным видам деятельности и проверки квалификационных работ экспертов, подтверждающих уровень компетенций экспертов.
Правовая природа работы экспертов - как в глобальных, так и в индустриальных центрах основана, прежде всего, на процессах с неопределенным результатом. Следовательно, каждый шаг эксперта должен сопровождаться определенным видом ответственности. В настоящее время, в большинстве стран ответственность экспертов наступает только за совершение действий за достижение (или не достижение) результата, совпадающего с мотивами экспертизы.
Тем самым законодателями в большинстве стран ответственность за результат экспертизы отделена от ответственности за совершение действий, направленных к этому результату.
В связи с такой трактовкой правовой природы работы экспертов в настоящее время в мировом праве сложились две основные концепции. Разница между ними заключается в характере учета данных экспертов. При этом первая концепция основана на применении открытых реестров данных экспертов, доступных широкому кругу лиц. Вторая концепция применяет сети анонимных, компетентных и независимых экспертов, работающих в под псевдонимами.
Первая концепция позволяет выстроить более простую схему оказания экспертных услуг, не требующих больших затрат, и обеспечивает доступ к реестру экспертов со стороны любых заинтересованных лиц - со стороны как самих экспертов, так и заказчиков. Недостатками этой концепции являются большие возможности давления на экспертов со стороны заинтересованных юридических и физических лиц с целью получения нужных им лично, но не объективных результатов экспертизы. Действия этих лиц оспорить невозможно вследствие отсутствия специализированных судов. Из-за этих свойств первая концепция более охотно
применяется коррумпированными чиновниками и иными заинтересованными лицами и фактически осложняет борьбу с коррупцией. Данная концепция плохо приспособлена к инновационной экономике и распространена во многих развивающихся странах, включая Россию, не блистающих конкурентоспособностью.
Вторая концепция распространена в таких странах, как США, Европейский союз, Канада, Япония, КНР, Индия, Бразилия, Чили и в ряде других. Эта концепция предусматривает доступ со стороны заказчиков экспертизы в сеть компетентных и анонимных экспертов через специальные коммуникации и компьютеры. Работодателем экспертизы выступает заказчик, заинтересованный в освоении новых наукоемких технологий, а исполнителем - эксперт, определяющий путь к созданию таких технологий. В такой системе в силу ограниченности и усложнения процедур доступа к данным экспертов трудно осуществлять различные коррупционные схемы, недобросовестную конкуренцию, сговор между экспертами, чиновниками заказчиками.
Вторая концепция насыщена механизмами компенсационных выплат за причинение кем - либо из участников вреда другим участникам. Выбор эксперта по требованию заказчика производится автоматически самой компьютерной системой с помощью датчика случайных номеров сертификатов экспертов категории А1 или А2.
В целях мотивации экспертов на постоянное повышение их профессионального мастерства в рамках второй концепции системы глобальной экспертизы в ряде стран (США, Израиль, КНР) законодателями введены две нормы учета компетенции: условная и конкурсная.
Условная норма представляет некий формат декларации компетентности эксперта. Если эксперт обязательства не выполняет в срок, то запись об этом эксперте в компьютере стирается. Если все обязательства выполняются в срок, то эксперт получает в свое распоряжение всю инфраструктуру производственной сети плюс бесплатное страхование его действий, а также необходимые кредиты. Наиболее быстрыми темпами такие системы развивает Китайская Народная Республика. Она уже достигла за последние годы крупных успехов в области глобальной экспертизы и привлекла к проведению экспертиз наукоемких проектов крупнейших ученых и экспертов всего мира, чем и обеспечила существенное снижение затрат и одновременно рост числа успешных завершенных проектов - по сравнению с Россией примерно в
5 раз. США за последние два года продемонстрировали примерно такую же эффективность по освоению выделенных на НИР и ОКР средств.
Конкурсная норма учета экспертов также основана на безбумажных технологиях сертификации и, в отличие от условной нормы, носит открытый характер и применяется только крупнейшими глобальными организациями, такими как Всемирная торговая организация (ВТО), Всемирный экономический форум (ВЭФ), Всемирная организация по интеллектуальной собственности (ВОИС). Они в основном занимаются привлечением к глобальной экспертизе проектов, имеющих общечеловеческое значение, нобелевских лауреатов и ученых с мировыми именами. Конкурсная система глобальной экспертизы осуществляется следующим образом. За год до проведения официального конкурса принимаются заявки физических лиц и организаций, добившихся выдающихся успехов, с рекомендациями известных ученых и членов конкурсных комиссий. Состав конкурсных комиссий формируется в основном из числа видных ученых, мнение которых доводится до мирового сообщества с помощью различных стратегических партнеров международных организаций.
4. Критерии формирования экспертной среды
Экспертная среда, как правило, необходима:
для общественной или частной оценки проектов,
для прогнозирования развития технологий по заказу центров прогнозирования.
В нашей работе мы не будем касаться вопросов поиска экспертов и их привлечения к экспертизе проектов, хотя эта проблема имеет значение для российской действительности. Мы лишь сошлемся на монографию [«Сетевая экспертиза» (Д. А. Губанов, Н.А. Коргин, Д. А. Новиков, А.Н. Райков)] Орлова А. И. «Организационно - экономическое моделирование. Экспертные оценки. Часть 2»
В данном случае нас более интересует выработка критериев, которым должна отвечать экспертная сеть. На наш взгляд это:
1) Полнота - возможность оценки любого проекта некоторого типа, который поступит в экспертную среду. Экспертная среда должна быть адекватна всей предметной области и соответствовать всем тематическим рубрикам. Для разбиения предметной области по рубрикам можно использовать:
-проблемно-ориентированный подход
-морфологический анализ
-метод жизненного цикла разработки.
Для того что бы в экспертной среде не было «пустот компетентности» необходимо, что бы компетенции экспертов частично перекрывались
2) Адекватность - компетенции экспертов должны быть адекватны поставленной задаче. Это возможно в том случае, если когнитивные модели экспертов соответствуют вхождению экономики в новый технологический уклад. Отсюда возникает необходимость обучения экспертов на основе моделей новой экономики.
Экспертная среда должна представлять собой сеть связанных между собой независимых экспертов. При этом некоторые принципы Форсайта предполагают взаимные консультации экспертов для выработки единой позиции. Например, метод Дельфы, экспертные панели, мозговой штурм и др.
4. Методы отбора и компетентность экспертов
Проблема подбора экспертов - одна из наиболее сложных в теории и практике экспертных исследований. В качестве экспертов могут быть специалисты разных структур, имеющие разные статусы. Все зависит от того, экспертную оценку, какого проекта (или прогноза) мы хотим получить.
В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.
Составление списка возможных экспертов облегчается, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства
фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика (или таблицы) псевдослучайных чисел.
Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод «снежного кома».
Метод «снежного кома». В качестве затравки используется подобранная группа потенциальных экспертов (3-5 человек). Затем от каждого специалиста, привлекаемого в качестве эксперта, получают определенное количество (обычно 5-10) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться или когда список достигает необходимого размера. В результате получается достаточно обширный список возможных экспертов.
Но метод «снежного кома» имеет недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Нельзя заранее надеяться, что в данной предметной области имеется достаточное число экспертов. Кроме того, ясно, что если на первом этапе все эксперты были из одного «клана», придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод «снежного кома» даст, скорее всего, лиц из этого же «клана». Мнения и аргументы других «кланов» будут упущены. Для устранения недостатков используют метод квотного выравнивания, который состоит в равном представительстве в группах экспертов. Размер групп зависит от: 1) характера и количества областей знания, которые должны быть представлены;
2) бюджета.
Следующий метод - отбора экспертов для локальных объектов.
Он подразделяется на метод назначения и социометрический метод. Кратко рассмотрим основные характеристики этих двух методов.
1.Метод назначения. Самый распространенный метод для локальных объектов. В основе приказ руководителя, что нарушает принцип добровольного участия. Положительная особенность - минимальные затраты на подбор экспертов. Но в эту группу попадают лица, лояльные администрации и как следствие оценка может совпадать с частным мнением руководителя. В группу также, не редко, попадают специалисты, обладающие повышенной социальной активностью, но не всегда достаточно компетентные. Минимизация недостатков возможна благодаря:
1 Включению в процесс составления экспертной группы помимо топ-менеджера руководителей подразделений (коллегиальность принятия решения).
2 Возможность оговаривать с руководством дальнейшее участие экспертов в реализации решений (формирование личной заинтересованности экспертов в работе).
Социометрический метод предполагает изучение межличностных отношений в группе экспертов и требует проведения социометрического исследования.
Вопрос об оценке компетентности экспертов не менее сложен. Наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученая степень и звание, стаж, число публикаций...) в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.
Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Каждый из методов хорошо известен и обладает теми или иными достоинствами и недостатками.
Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств связанных с их личностными (социальнопсихологические) качествами.
5. Формирование критериев для выявления экспертов
В данной работе мы рассмотрим пример формирования группы экспертов по наукометрическим показателям. Для этого первоначально был выделен список журналов, а затем составлена общая база по публикациям и из нее отобрана группа экспертов по наличию публикаций (статей, докладов, обзоров и др.) по перспективному направлению «Энергоэффективность и энергосбережение», в секторе «энергосбережение в быту». Рубрики формировались проблемно-ориентированным методом.
Составлена таблица с количеством публикаций по каждой рубрике:
1- эффективное использование электроэнергии
2- кпд потребителей, снижение расхода
3-повышение качества преобразования
4-тепловые насосы
5-распределенные сети электроснабжения
6-сбережение тепла в домах
Таблица 1. Итоговый список экспертов с количеством публикаций по каждой рубрике1
Ф.И.О. эксперта 1 2 3 4 5 6
1. А. Ю. Б. 6 5
2. Т. Ю. А. 6 13
3. Г. В. Ф. 2 1 5 5 7
4. С. И. А. 8 2
5. В. В. Э. 1 17
6. Л. В. И. 5 2 13
7. Ш. Б. М. 16
8. Т. А. Н. 3 1
9. С.Г. Н. 9
10. Г.П. В. 6 1 3 7
11. М. А.В. 3 11
12. Б. И.А. 42 5
13. Ф. СП. 10 3 10 1 1
итого 69 21 33 19 28 60
1 Фамилии экспертов приводятся не полностью
В целом такой подход, на наш взгляд, обладает некоторой универсальностью, так как вместо количества публикаций может быть использовано распределение патентов по рубрикам, статистика цитирований и даже самооценки и взаимные оценки экспертов, проставляемые в баллах.
Наиболее точным, но и наиболее трудоемким является подход комплексной оценки рейтинга эксперта с использованием всех указанных методов. Но какой бы метод или их совокупность вы не взяли, перед вами будет стоять проблема полноты и адекватности экспертной сети.
6. Математическая модель формирования экспертной сети
Рассмотрим соответствие выбранной группы экспертов модели идеальной экспертной среды. Из таблицы 1 следует, что каждый эксперт имеет рубрики, где его активность наиболее и наименее высока и рубрики со средней и низкой активностью его работы. Для того чтобы знания экспертов дополняли друг друга нужно, чтобы они работали по некоторым общим рубрикам. Сделаем допущение, что критерий полноты экспертной сети может быть выражен через формальные свойства сети, такие как равномерная плотность публикаций по рубрикам и распределение публикаций каждого эксперта по рубрикам.
Таким образом, выделим основные свойства сети:
1. Равномерная плотность сети - т.е. достаточное количество статей в данной рубрике. Для этого проверим статистическую гипотезу о равномерном распределении публикаций по рубрикам.
2. Сеть должна быть всюду связной, т.е. не должно быть таких двух рубрик сети, в которых компетенции экспертов не пересекаются, т. е. все эксперты имеют публикации либо в одной рубрике, либо в другой.
3. Сеть должна быть всюду достаточной для оценки любого проекта, т. е. по каждой рубрике нужно иметь некоторое количество экспертов достаточное для оценки проекта. Очевидно, что чем больше экспертов в каждой рубрике, тем выше статистическая достоверность результата экспертизы, конечно при условии близких компетенций. Но поскольку увеличение числа экспертов приводит к увеличению издержек, то для задач различной значимости критерий достаточности будет различным. Этот вопрос подлежит отдельному рассмотрению. Для задачи инновационного развития вуза необходимо построить минимальную сеть из ограниченного числа потенциальных экспертов.
6.1.Плотность сети
Проверим статистическую гипотезу о равномерном распределении.
Сравним эмпирические и теоретические частоты с помощью критерия Пирсона, приняв число степеней свободы к=Б-3, где Б-число интервалов, на которых разбита выборка.
Наблюдаемое значение критерия получаем %2набл = 44.03
Далее находим по таблице критических точек распределения при уровне значимости а = 0.05, и числе степеней свободы к=$-3=3
(0.05;3)=7.81
Так как %1абл > хКр гипотезу о равномерном распределении Х отвергаем. Другими словами, данные наблюдения не согласуются с этой гипотезой.
Будем заменять последовательно в таблице экспертов 1, 2, 8, 9, так как эти эксперты дают малый вклад в количество публикаций. При этом будем наблюдать, как в электронных
таблицах меняется значение Лнабл. Через некоторое количество итераций получим таблицу с
необходимым значением V2 б < V2 _ _ _
набл Л кр . Полученную таблицу 2 приводим ниже.
Таблица 2 Улучшенная экспертная сеть.
Ф.И.О. эксперта 1 2 3 4 5 6
1. К. А. Б. 10 12 15 7
2. З. О. Ж. 5 7 4 13
3. Г. В. Ф. 2 1 5 5 7
4. С. И. А. 8 2
5. В. В. Э. 1 17
6. Л. В. И. 5 2 13
7. Ш. Б. М. 16
8. Ш. Е. Н. 5 11 13 1
9. Р. Д. И. 12 17 5
10. Г.П. В. 6 1 3 7
11. М. А.В. 3 11
12. Б. И.А. 42 5
13. Ф. СП. 10 3 10 1 1
итого 63 42 50 57 52 60
Для этой сети наблюдаемое значение критерия равно %2набл = 4.36
Очевидно, что теперь наблюдаемое значение критерия меньше критического и, следовательно, сеть имеет равномерное распределение публикаций по рубрикам.
6.2.Связность сети
Для оценки связности сети снова рассмотрим таблицу 1. Можно видеть, что большинство экспертов имеют публикации по нескольким рубрикам. Для качества сети это положительный факт. Во первых, вместо привлечения новых экспертов можно воспользоваться компетенциями уже имеющихся. Во вторых, широта компетенций экспертов позволяет им лучше ориентироваться в сложных комплексных проблемах.
Однако, желательно получить, какой то формальный критерий связности сети. Для начала рассмотрим по отдельности пары рубрик. Первая и вторая рубрики совместно имеют публикации от четырех экспертов. Это эксперты под номерами 3, 10, 12, 13. Вторая и третья рубрика имеют трех общих экспертов: 1, 3, 13. Третья и четвертая рубрики только двух общих экспертов: 3 и 13. Четвертая и пятая рубрики не имеют общих экспертов. Аналогично для 5 и
6 рубрик. Эта ситуация является неудовлетворительной, т.к. если задача будет охватывать 4, 5
и 6 рубрики (или 4 и 5, 5 и 6) , то у нас не будет ни одного эксперта, который бы мог охватить ситуацию целиком.
В итоге риск неверного решения возрастает. Если теперь вернуться к таблице 2, то можно видеть, что в ней нет таких двух рубрик, которые не были бы связаны общими экспертами. Очевидно, что и в этом случае новая экспертная сеть лучше исходной.
На основании приведенных рассуждений можно предложить простейший критерий минимальной связности сети:
«не должно быть таких двух рубрик сети, в которых компетенции экспертов не пересекаются».
Для иллюстрации ещё раз приведем первую таблицу 1, но уже размеченную для лучшего восприятия (таблица 3).
Таблица 3. Иллюстрация связности сети.
Ф.И.О. эксперта 1 2 3 4 5 6
14. А. Ю. Б. 6 5
15. Т. Ю. А. 6 13
16. Г. В. Ф. 2 1 5 5 7
17. С. И. А. 8 2
18. В. В. Э. 1 17
19. Л. В. И. 5 2 13
20. Ш. Б. М. 16
21. Т. А. Н. 3 1
22. С.Г. Н. 9
23. Г.П. В. 6 1 3 7
24. М. А.В. 3 11
25. Б. И.А. 42 5
26. Ф. СП. 10 3 10 1 1
итого 69 21 33 19 28 60
Теперь хорошо видно, что если поменять рубрики 5 и 6 местами, то связность сети возрастет за счет появления связи между 6 и 4 рубриками. Это важный момент, так как для разных предметных областей внутренняя взаимозависимость рубрик разная. Например, в тех областях, в которых рубрики связаны последовательностью технологических процессов, перестановка рубрик неправомерна. И, наоборот, для областей, рубрики которых мало связаны, или не связаны вообще, перестановка вполне допустима. Таким образом, необходимо проверять на связность каждую рубрику со всеми остальными. Тогда для нашей таблицы построим таблицу связностей (таблица 4). На пересечении столбца и строки будем ставить число экспертов имеющих компетенции для рубрик этого столбца и строки.
Таблица 4. Таблица связности рубрик.
рубрики 1 2 3 4 5 6
1 6 4 2 3 1 4
2 4 6 3 4 0 4
3 2 3 6 2 1 3
4 3 4 2 5 0 5
5 1 0 1 0 2 0
6 4 4 3 5 0 8
Таблица симметрична относительно диагонали, на которой стоят значения числа экспертов компетентных в данной рубрике. Из таблицы хорошо видно, что связность отсутствует и для рубрик 2 и 5. Построим такую же таблицу для улучшенной экспертной сети (таблица 5).
Таблица 4. Таблица связности рубрик улучшенной экспертной сети.
рубрики 1 2 3 4 5 6
1 5 4 2 3 1 2
2 4 8 4 6 2 3
3 2 4 6 5 3 3
4 3 6 5 9 3 7
5 1 2 3 3 5 2
6 2 3 3 7 2 8
В этой таблице отсутствуют несвязные рубрики, следовательно, сеть вполне пригодна для решения простых задач охватывающих одну или две рубрики.
6.3. Определение достаточности экспертов в сети
Для оценки любого проекта, т.е. по каждой рубрике нужно иметь некоторое количество экспертов достаточное для оценки проекта. Для минимальной сети, при условии, что мнения экспертов имеют одинаковый вес, необходимо, что бы количество экспертов было не меньше трёх. Это обеспечивает процедуру простого голосования. Однако, в реальности мнение эксперта имеющего подавляюще большое количество публикаций именно по данной рубрике должно быть определяющим. В этом случае мнения экспертов необходимо взвешивать по числу их публикаций. Допустимы и другие методы взвешивания, например, на основе взаимных оценок.
Простой подсчет показывает (3 эксперта х 6 рубрик), что в нашей сети общее количество экспертов должно составлять - 18 человек (у нас же всего 13).
Проанализируем количество экспертов, задействованных по каждой рубрике в исходной сети до её изменений.
Таблица 3. Сравнение сетей по критерию достаточности
Рубрика Число экспертов в рубрике
Старая сеть Новая сеть
1 6 5
2 6 8
3 6 6
4 5 9
5 2 5
6 8 8
Видно, что в первоначальной сети в рубрике 5 находится всего 2 эксперта, а в новой во всех рубриках от 5 до 9 экспертов. Это открывает дорогу для дальнейшей минимизации сети. Можно, например, вычеркнуть эксперта под номером 4, но при этом, конечно, нужно снова проверять сеть на равномерность и связность. Описанный алгоритм минимизации сети может быть легко воплощен в виде не сложного программного продукта.
6.4 Анализ полученных результатов
Итак, на основании полученных результатов можно сделать вывод. Полученная сеть распределена равномерно, т. е. мы имеем достаточное количество статей по каждой рубрике, но рубрики между собой в некоторых случаях имеют очень низкую связь (рубрики 1 и 5), что говорит о том, что в сети есть эксперты компетентные лишь в своей узкой области. Так же имеется достаточное количество экспертов по каждой рубрике. Общее количество экспертов должно составлять 18 человек, у нас же всего 13 (из расчета 3 человека на рубрику). Это оказалось возможным благодаря распределению компетенций экспертов между рубриками.
Для дальнейшего улучшения показателей сети необходимо:
-выбирать экспертов с большим количеством публикаций,
-публикации каждого эксперта, при этом, должны быть рассредоточены по большему числу рубрик.
7. Заключение
В работе была исследована задача организации минимальной работоспособной сети для задач инновационного университета. Разработаны критерий минимальной сети: плотности сети, связности сети, достаточности числа экспертов. Была проведена оценка плотности экспертной сети для задач «энергосбережения» с помощью проверки статистической гипотезы о равномерном распределении генеральной совокупности. Сеть была оценена на связность и разработан простейший алгоритм определения связности сети. Так же был обоснован критерий минимальной достаточности количества экспертов для данной экспертной сети.
Полученные результаты были проанализированы и определены пути для дальнейшего улучшения качества экспертной сети по «энергосбережению».
ЛИТЕРАТУРА
1. Громыко Г. Л. «Теория статистики» 2-е изд., ИНФРА - М 2009г. - 480 с.
2. Гмурман В.Е. «Теория вероятностей и математическая статистика», Высшая школа, Москва 2004г. -407с.
3. Овчинников В.В.Монография «Глобальная конкуренция в эпоху многоукладной экономики» Москва, ИНЭС-МАИБ, 2011г. - 153 с.
4. Орлов А. И. «Организационно - экономическое моделирование. Экспертные оценки. Часть 2», МГТУ им. Баумана, Москва, 2011 - 566с.
5. Губанов ДА., НА. Коргин, ДА. Новиков, АН. Райков РОССИЙСКАЯ АКАДЕМИЯ НАУК Институт проблем управления «СЕТЕВАЯ ЭКСПЕРТИЗА» Москва 2011г. -165 с.
6. Сычев А.В., Фирстов Ю.П. Особенности динамики нового поколения знаний и технологий// Транспортное дело, №4, 2012
7. Лазарев И. А. Информация и безопасность. Композиционная технология информационного моделирования сложных объектов принятия решений.-М.: Московский центр научно-технической информации. 1997-336 с
8. Шаров А. А., Шрейдер Ю.А. Системы и модели -. М.: Сов. Радио. 1985.
9. Сычев А.В., Фирстов Ю.П. Индикатор потенциала инновационной деятельности
кластера кафедр// Вестник Адыгейского государственного университета,
№3, 2012
