CC BY
37
УДК 33 DOI 10.18522/0321-3056-2016-1-89-94
АНАЛИЗ ДВИЖУЩИХ СИЛ И МЕТОДОВ ЭКСПЕРТИЗЫ МОЛОДЁЖНЫХ ИННОВАЦИОННЫХ ПРОЕКТОВ
© 2016 г. Р.А. Хади
Хади Роман Ахмедович - Khadi Roman Akhmedovich -
директор ФГАННУ НИИ «Спецвузавтоматика», director of FSASE SRI "Spetsvuzavtomatika ",
ул. Города Волос, 6, г. Ростов-на-Дону, 344011. Goroda Volos St., 6, Rostov-on-Don, 344011, Russia.
E-mail: [email protected] E-mail: [email protected]
Проводится анализ типовой процедуры экспертизы в рамках молодёжных инновационных конкурсов, а также затруднений, которые испытывают эксперты и организаторы подобных конкурсов. Исследуются движущие силы экспертизы молодёжных инновационных проектов в образовательной среде и методы оценивания. Рассматривается способ оценки качества подобных конкурсных мероприятий на основе сочетания анализа единства мнений экспертов дополненного оценкой качества их работы.
Ключевые слова: инновации, конкурс, экспертное сообщество, экспертиза, молодёжь, метод отбора, метод оценки качества.
The author analyzes the typical procedure of examination in the framework of youth competitions for innovation and prepare an analysis of the difficulties experienced by the experts and organizers of such competitions. Powerful drivers for examination of innovation projects in the educational environment and the analysis of assessment methods are provided. The way of assessing the quality of these competitive events through a combination of analysis supplemented by expert consensus accompanied with the assessment of their work quality is considered.
Keywords: innovations, competition, expert community, examination, youth, method of selection, quality assessment method.
Практика использования экспертов и экспертного знания в процессах принятия управленческих решений имеет весьма давнюю историю. Под экспертизой здесь и далее понимается процедура, когда одна группа людей, называемая лицами, принимающими решения, запрашивает суждение по тому или иному вопросу у другой группы лиц, называемых экспертами, в целях выработки и принятия по этому вопросу соответствующего решения. В ходе экспертизы все члены группы высказывают свое мнение. Затем на их основе принимается общее групповое решение. Ярким примером является судейство в фигурном катании: все эксперты высказывают свое мнение, после чего в результате обработки судейских оценок получается итоговый результат.
Идеологической основой метода экспертных оценок служит гипотеза, что коллективное мнение предпочтительнее индивидуального. В большинстве случаев это так и есть, хотя истории известны ситуации, в которых такие решения оказывались ошибочными. В случае, когда используется открытый метод идентификации решений, существует решение этой проблемы в виде учёта так называемого «чёрного лебедя» (негативного маловероятного события,
наступление которого отвергается всеми экспертами, кроме одного). Существует несколько способов работы с информацией, которая может быть использована экспертной группой [1, 2].
Например, экспертной группе можно сообщить некоторую шкалу числовых значений оцениваемого фактора. В спортивной гимнастике используется десятибалльная шкала с шагом 0,1 балла. Эксперты высказывают свое суждение в виде соответствующего числа в рамках предложенной им шкалы. Примером является шкала Лайкерта, которая часто используется в опросниках и анкетных исследованиях [3]. По ней испытуемый оценивает степень своего согласия или несогласия с каждым суждением от «полностью согласен» до «полностью не согласен». Сумма оценок каждого отдельного суждения позволяет выявить установку испытуемого по какому-либо вопросу. Однако порядок задан внутри шкалы для одного человека, а не между людьми. По этой причине «пятерка», поставленная одним респондентом, не соответствует большему значению какого-либо критерия, чем «четверка» другого. Да и в сознании одного человека порядок может не существовать - центральный пункт оценивания может означать что угодно,
а крайние значения приобретают особый эмоциональный смысл. Некоторые эксперты или избегают их выбирать или, наоборот, пользуются слишком часто. Нередко балл, находящийся рядом с экстремальным, имеет больший вес на шкале и это сразу заметно в гистограмме оценок по критериям.
Еще один способ оценивания - расстановка объектов по местам, называемый ранжировкой. Руководители экспертизы могут разбить всю совокупность объектов на отдельные классы или подмножества по каким-либо признакам, т. е. классифицировать их. Например, разбиение перед соревнованиями спортсменов или команд на группы по территориальному или игровому признакам. Возможно также попарное сравнение оцениваемых объектов, при котором эксперт сообщает, какое из двух, по его мнению, предпочтительнее другого.
Суждением, сообщаемым нам экспертом, будет оценка в баллах или их расшифровка, называемое отношением. Задача, стоящая перед группой экспертов, заключается в выборе такого отношения, которое в том или ином смысле, в зависимости от ситуации, является средним из отношений, предложенных всеми экспертами.
В рамках данного исследования рассмотрены открытые конкурсные процедуры, подобные тем, что используются в современных молодёжных инновационных конкурсах «СтартапТур» и «Молодёжный инновационный конвент», направленных на выявление и поддержку молодых ученых, стремящихся самореализоваться через инновационную деятельность.
После конкурсного отбора каждый победитель программы получает финансовое вознаграждение, которое позволяет ему выполнить представленный проект. Для выбора победителей, как правило, используются механизмы открытого голосования в рамках экспертных советов, созданных организационными комитетами на аккредитованных мероприятиях. Каждый из экспертов по нескольким критериям оценивает представленный участником конкурса проект, используя числовую шкалу (как правило, от 0 до 10 или от 1 до 5). Поскольку рейтинговые шкалы подобны шкалам Лайкерта, а оценки экспертов субъективны, конкретные минимальные и максимальные величины баллов, которые могут быть выставлены, приняты нами как не влияющие существенно на сам процесс голосования.
Для практической оценки качества конкурсных процедур и движущих сил экспретизы в рамках данного исследования использовались обезличенные данные пяти различных конкурсных процедур, проведенных в удалённых друг от друга регионах
Российской Федерации в близкие друг к другу периоды времени.
Движущая сила экспертизы молодёжных инновационных проектов в образовательной среде
Принимая решение, человек, не вдаваясь в излишние подробности, окидывает взглядом ситуацию в целом и выбирает приемлемый вариант [3]. Во многих случаях организация экспертных процедур и сам процесс голосования определяются традициями, самим объектом экспертизы и возможностями обработки полученной информации.
Еще несколько лет назад участие в экспертизе молодёжных проектов давало экспертам возможность не просто лоббировать понравившиеся проекты, знакомых участников или повышать таким образом репутации родного вуза, но различные программы для некоторых экспертов представлялись еще одним (зачастую, одним из очень немногих) источником личного финансирования. Известны случаи, когда научные руководители разделяли с участником вознаграждение, выдаваемое региональными властями победителям инновационных конкурсов за проведение его исследовательской работы. Виной тому, безусловно, сложившиеся на тот момент макроэкономические условия и неудовлетворительное социальное положение сотрудников вузовской науки. Сегодня таких случаев намного меньше, но работа экспертов в основной своей массе не осталась лишенной недостатков фаворитизма и непотизма.
Даже несмотря на изменившуюся расстановку приоритетов и интересов, практически ни один из экспертов из вузовской среды не имеет возможности принимать абсолютно независимые решения. Эксперты, которые не имеют собственных учеников и прямой связи с участниками конкурса, как правило, представляют какую-либо организацию либо состоят в профессиональном сообществе, другие участники которых ожидают от эксперта «помощи» в продвижении аффиллированных участников. Такой формат общественного давления представляет собой сегодня основную движущую силу экспертизы.
Со стороны «своих» участников сформированы мнения и ожидания, которых экспертам сложно избежать - каждый из участников считает, что если его научный руководитель может лоббировать его проект, значит, он должен это сделать.
Аналогично, знакомые и аффиллированные научные руководители, руководители научных и предпринимательских проектов также ожидают помощи от экспертов, приглашенных для судейства.
Избежать подобного общественного давления весьма сложно, а нереализованные ожидания могут привести к конфликтам, в том числе с весьма негативными последствиями для самого эксперта. Известны случаи, когда руководители вузов угрожают и шантажируют своих сотрудников, требуя поддержки проектов из числа участников-студентов и аспирантов.
Когда участником является сотрудник общего с экспертом научного проекта, выгоды для эксперта заключаются не в получении средств гранта на личные нужды, а в увеличении доходов участника, - в этом случае часть его доходов в рамках научного
проекта пропорционально уменьшается, совершенно легально освобождая средства для эксперта или других участников проекта.
Всё это представляет эксперта как ключевой элемент системы голосования [4], который оказывается по ряду причин подвержен многофакторному общественному давлению (рис. 1), а сам эксперт оказывается в роли профессионального лоббиста множества разнонаправленных интересов. Под лоббированием понимается личное влияние на конкурсную процедуру в рамках допустимого законом и условиями конкурса.
СВОИХ НЕ БРОСАЮТ!
Знают, что эксперт представляет не только себя, но и своих учеников и свою организацию, а значит, будет помогать «своим»
ТЫ - МНЕ, Я - ТЕБЕ!
Элемент «круговой поруки» в вузовской среде. Я тебе помогаю написать заявку на грант, а ты помоги выиграть конкурс моему аспиранту. Ценность для эксперта не финансы, а хорошие отношения с научным руководителем.
МОЖЕТ, ЗНАЧИТ ДОЛЖЕН!
Сформировано мнение, что раз «может», значит и «должен» поддержать своих участников. Тем
более, это может быть частью зарплаты аспиранта на кафедре или в научном проекте.
ЧЕЙ СОТРУДНИК? НАШ ИЛИ НЕТ?!
В руководстве сформировано мнение, что самоидентификация эксперта с организацией, в которой он трудится, выше правил честного и справедливого отбора. Руководители организаций рассматривают конкурсные отборы как элемент престижа и репутации организации, предпочитая использовать административные пути их усиления вместо повышения качества подготовки участников.
Рис. 1. Схема заинтересованных сторон и общественного давления, которое они создают
Общественное давление всё равно берёт верх в большинстве случаев конкурсных процедур, поскольку у эксперта есть возможность убедить себя в том, что он совершает благое дело, помогая своим коллегам или подопечным.
Ситуация не меняется и не зависит от типа конкурса, места его проведения или организатора, а с учётом общей макроэкономической обстановки скорее всего будет только усугубляться [5].
Следует отметить, что научная коммуникация в региональном научном сегменте зачастую строится
прежде всего на мотиве избегания неудачи, поэтому первой реакцией на любое новшество является критика, которая при этом носит уничтожающий характер. Здесь наше мнение о научных коммуникациях на постсоветском пространстве совпадает с мнением ряда социологов [6]. Эксперт заранее нацелен на то, чтобы отыскать недостатки, уличить в ошибках и незнании, обвинить в отсутствии новизны или актуальности. Порой чем интереснее работа, тем больше критических замечаний она вызывает, а откровенно средний проект может пройти
экспертизу без нареканий. Для некоторых экспертов иногда достаточно найти единственный огрех в работе, который перечеркнет все позитивные моменты проекта.
При этом из критики исключаются «свои люди», ведь каждый эксперт понимает, что критическое отношение фактически вызывает агрессивное поведение, которое будет иметь последствия за рамками научной дискуссии, причём иногда очень длительное время. Отсутствие явной критики в этом случае вовсе не означает позитивную обратную связь участнику конкурса. Эксперты часто формулируют своё отношение к подобным работам таким образом: «да, голосовал, но работа абсолютно никакая». В итоге на выбор экспертной группы влияет мощная отрицательная обратная связь.
Избежать воздействия этого негативного фактора возможно с помощью частой ротации состава экспертных комиссий, поскольку отсутствие для эксперта гарантии попадания в экспертный совет при следующем голосовании освобождает его от длительного общественного давления перед конкурсом и снижает вероятность предварительного сговора.
Анализ методов оценивания
Каждый эксперт склонен при голосовании занижать либо завышать оценки. Субъективный подход заложен в самой природе количественной оценки сложных вещей - оптимистичность или пессимистичность численной оценки больше зависит от текущего состояния эксперта, чем от измеряемых им таким образом объектов. Невысокая повторяемость подобных оценок объясняется еще и тем, что человеку свойственно сравнивать объекты между собой, а не виртуальной количественной шкалой.
Тем не менее если необходимо сравнить (относительно друг друга) мнения экспертов по поводу оцениваемого объекта, то следует понимать, к какому поведению склонен эксперт. Для этого обычно используют гистограмму оценок либо упрощенное представление - медиану числового ряда. Например, на рис. 2 показано, что эксперт участвовал в голосовании, но оценки выставил только нескольким участникам, явно завышая их, что не могло не отразиться на гистограмме. Медиана оценок такого эксперта равна 9. Значение медианы для эксперта, не лоббирующего конкретные проекты, как правило, находится в числовом диапазоне от 3 до 7 (см. таблицу оценок и рис. 3).
Оценка единства мнений разных экспертов для одного проекта по каждому из критериев оценивания позволяет понять, присутствует ли лоббирование проектов отдельными группами экспертов. В
данном случае это заметно невооруженным глазом, но просматривать несколько десятков оценок на каждом конкурсном отборе - довольно утомительная работа для куратора, к тому же с высокой вероятностью ошибки аналитика.
Оценки одного и того же проекта разными экспертами
Эксперт Критерии
1 2 3 4 5 6 7
1 8 9 9 10 8 9 9
2 4 5 4 5 4 4 6
3 3 4 4 4 2 4 4
4 5 5 5 4 4 5 7
I ь 14
1 2. Ю 8 6 4 2-
о1-■-И_
О 2 4 6 Я 10
Рис. 2. Гистограмма оценок «эксперта-лоббиста»
У1 Эксперты
1 2 3 4 5 6 7
Рис. 3. Диаграмма оценок экспертов с высокой степенью разногласий
Диаграмма распределения оценок экспертов позволяет быстрее понять, едины ли они во мнениях (рис. 4). Однако когда победители выбраны заранее (не на основе голосования, а каким-либо иным способом), а оценки составлены искусственно и внесены в систему, чтобы ранжировать победителей, представление в виде диаграммы оказывается почти бесполезным.
^^ I ■ Эксперты
|||||||
о ' ' ' ' ' ' '
1 2 3 4 5 6 7
Рис. 4. Диаграмма оценок экспертов с низкой степенью разногласий
Дело в том, что разность мнений экспертов обычно подкреплена разностью интересов их самих. Равномерное распределение интересов достигнуть на практике возможно только с помощью перекрёстных переговоров между экспертами. Если использовать обычную математическую дисперсию как признак неравномерности числового ряда экспертных оценок, можно построить график, на котором зафиксировать участников конкурса в порядке от победителя с наивысшими баллами до остальных участников с низшими баллами оценки и наблюдать степень согласованности между экспертами по каждой позиции. Такое представление позволяет оценить, насколько согласованным среди экспертов был выбор победителей в проведенном конкурсе.
Данное положение дел подсказывает нам способы оценивания эффективности конкурсного отбора в целом (а в ряде случаев, и целесообразности привлечения отдельных экспертов), используя простые математические операции: подсчёт медианы числового ряда и дисперсии значений экспертных оценок.
Приняв низкие значения дисперсии экспертных оценок за высокую степень единства мнения, а значения дисперсии медиан всех оценок по каждому из экспертов за качество самой экспертизы (не допускающей значительных отклонений от общепризнанных стандартов), возможно построить квадрант оценки эффективности конкурсного отбора.
На вертикальной оси квадранта в этом случае должны быть расположены значения меры единства мнений по критериям оценки (их следует оценивать независимо друг от друга), а на горизонтальной оси - значения единства по медиане оценок каждого из экспертов (рис. 5).
Отдельные сегменты квадранта в этом случае можно сопоставить с типовыми ситуациями, в ко-
торые попадают эксперты и организаторы конкурса. Например, при высокой степени единства мнений по отдельным критериям оценки и низком единстве (высоких значениях дисперсии) медианы экспертных оценок можно считать, что организаторы конкурса имеют дело с предварительным сговором, в ходе которого в он-лайн системе от имени экспертов были выставлены усредненные оценки, дополненные «поправочными коэффициентами» (сюда по этим критериям попал конкурс из тестовой выборки под номером 3).
предварительный искусственность
=t сговор внесенных оценок
3
о ю 3 2
лоббирование справедливое
отдельных участников оценивание
4
1
о 5
3
о
больше разногласий больше единства
Единство по медиане оценок
Рис. 5. Квадрант единства экспертных мнений по критериям и по медиане оценок
В случае, если и медианы экспертных оценок были очень близки друг к другу, можно говорить об искусственности оценок в принципе - это отдельный сегмент квадранта (такое было замечено в конкурсах 1 и 2). Большое количество разногласий в медианах экспертных оценок и невысокое единство мнений по критериям оценки может говорить о лоббировании экспертами отдельных участников (данные конкурсов 4 и 5).
К сожалению, в сегмент «справедливое оценивание» не попал ни один из рассмотренных конкурсов. Вполне возможно, что это суждение сделано из-за ограничений самого способа анализа или формата измерений. Например, очевидно, что обобщенный результат конкурсного мероприятия может быть представлен как пересекающееся объединение результатов мероприятий меньшего размера, классифицированный отлично от других подмножеств. Однако предложенный метод не предполагает указания «склонности» к определенному классу, фиксируя лишь превалирующие свойства.
Для проверки данной двумерной шкалы мы использовали сведения о пяти конкурсах, проведенных в один конкурсный период в пяти различных регионах. Конкурсные работы оценивались экспертными комиссиями по набору критериев, касающихся научной новизны и актуальности проектов, а сами эксперты выставляли баллы от 0 до 10 по каждому критерию каждому участнику.
Заключение
Обобщив полученные результаты, можно утверждать, что для оценки качества конкурсного отбора вполне применим анализ единства мнений экспертов, дополненный оценкой качества работы экспертов. На основе последнего можно рекомендовать замену отдельных экспертов в жюри и осуществлять контроль за влиянием личных и групповых интересов на качество конкурсных процедур. Частая ротация состава экспертной комиссии относительно экспертов, использующих своё положение для лоббирования отдельных проектов, позволяет избежать воздействия всей совокупности рассмотренных негативных факторов.
Кроме того, имеет место некоторое количество независимых наблюдений. Например, общее единство мнений разных экспертов для одного проекта по каждому из критериев оценивания позволяет понять, присутствует ли лоббирование проектов отдельными группами экспертов, а количество примитивных оценок (однородных, т. е. вида все «пятерки», все «семерки» и близкие к ним, с низкой дисперсией числового ряда) по всем критериям позволяют определить предварительный сговор экспертов между собой.
Также выявлено, что эксперты фактически не пользуются осмысленными позициями баллов, располагая ими в соответствии со своими личными представлениями об оценках и опираясь больше на количественную составляющую, чем на качественную ранжировку (принцип Лайкерта). По этой причине для объективной оценки единства мнений в последующих исследованиях необходимо нормировать значения, в том числе и с учётом медианы экспертных оценок, либо использовать системы ранжирования (интуитивно понятные экспертам) вместо простых численных оценок.
С помощью оценки медианы эксперта и конформности [7, 8] его мнения с другими экспертами возможно оценить, насколько эксперт свободен от
общественного давления в выражении своего мнения. С другой стороны, следует помнить, что излишне высокая конформность мнения также является негативным фактором по отношению к инновационным проектам (приводящим к отверганию принципиально новых, но потенциально выгодных идей).
Литература
1. Камерон К., Куинн Р. Диагностика и изменение организационной культуры. СПб., 2001. 320 с.
2. Орлов А.И. Экспертные оценки. М., 2002. 240 с.
3. URL: https://ru.wikipedia.org/wiki/ Шкала_Лай-керта (дата обращения: 10.02.2016).
4. Ломов Б. Ф. Человек и техника. Очерки инженерной психологии. М., 1966. 463 с.
5. BuryH., WagnerD. Kemeny's median algorithm. Application for determining group judgement // Proceedings of IIASA, Laxenburg, 2002. 301 p.
6. URL: http://alexwin1961.livejournal.com/294227. html (дата обращения: 10.02.2016).
7. Аронсон Э. Общественное животное. Введение в социальную психологию. М., 1998. 517 с.
8. Плотницкий ЮМ. Модели социальных процессов. М., 2001. 297 с.
References
1. Kameron K., Kuinn R. Diagnostika i izmenenie or-ganizatsionnoi kul'tury [Diagnostics and Change of Organizational Culture]. Saint Petersburg, 2001, 320 p.
2. Orlov A.I. Ekspertnye otsenki [Expert Assessments]. Moscow, 2002, 240 p.
3. Available at: https://ru.wikipedia.org/wiki/ Шкала_Лайкерта (accessed 10.02.2016).
4. Lomov B.F. Chelovek i tekhnika. Ocherki inzhenernoi psikhologii [Man and Technology. Essays on Engineering Psychology]. Moscow, 1966, 463 p.
5. Bury H., Wagner D. Kemeny's median algorithm. Application for determining group judgement. Proceedings of IIASA. Laxenburg, 2002, 301 p.
6. Available at: http://alexwin1961.livejour-nal.com/294227.html (accessed 10.02.2016).
7. Aronson E. Obshchestvennoe zhivotnoe. Vvedenie v sotsial'nuyu psikhologiyu [Public Animal. Introduction to Social Psychology]. Moscow, 1998, 517 p.
8. Plotnitskii Yu.M. Modeli sotsial'nykh protsessov [Models of Social Processes]. Moscow, 2001, 297 p.
Поступила в редакцию 17 февраля 2016 г.
