CC BY
24Современная научная экспертиза
В.А. Жмудь 1 -2- 3 4
1 Новосибирский государственный технический университет, Россия 2 Институт лазерной физики СО РАН, Россия 3 Сибирский филиал Федерального государственного бюджетного учреждения науки Геофизической
службы СО РАН 4 АО «Новосибирский институт программных систем»
Аннотация. Экспертиза проектов, научных статей, диссертаций, образовательных и научных организаций, направлений подготовки студентов, научных журналов и т. п. стала в последнее время одним из важнейших факторов развития науки и образования. Статья ставит вопрос о том, насколько объективна экспертиза, что может повлиять на её объективность, какие пути могут быть предложены для улучшения ситуации.
Ключевые слова: наука, образование, научный журнал, научная организация, образовательная организация, публикация, проект, экспертиза
месту выполнения, может осуществлять не только доктор наук, но и кандидат, и человек без степени, ведь это не диссертационный совет, а только обсуждение в организации. В этом случае люди без докторской степени ощущают, что это, вероятно, их последняя возможность высказать критическое замечание по данной диссертации. По этой причине они зачастую высказывают наиболее острые критические замечания, критикуя гораздо жестче, чем это делают доктора наук.
Человек, не имеющий достаточного количества публикаций в значимых базах данных, остро чувствует этот недостаток собственных научных результатов, поэтому такой специалист чаще всего при рассмотрении работ других сотрудников острее видит аналогичный недостаток в таких работах, чаще ставит вопрос о таких публикациях и о цитировании наиболее остро. Если ученый с высокой репутацией смотрит на ситуацию обсуждения (или экспертизы) сверху вниз, с позиции «конечно, это не то, чего я достиг, но с этим вполне можно согласиться», то человек без такой репутации смотрит с позиции «интересное дело, по достижениям это ничуть не лучше, чем у меня, а вот поди ж ты, этот человек хочет получить какие-то блага, которые мне пока не дают». Подобный поборник справедливости на деле является ревнителем высоты выставляемого порога. Не напрасно слово «ревнитель» является однокоренным слову «ревность», т. е. фактически зависть формирует высокую требовательность. Данная статья обсуждает это на примерах.
Введение
Экспертиза бывает честная и не очень. Но даже самая честная экспертиза не всегда справедливая. В данной статье мы не обсуждаем случаи коррумпированной экспертизы, когда эксперт имеет основания для формирования положительного или отрицательного заключения. Эти случаи нам практически не известны, да и ничего интересного в них нет. Данная статья обсуждает те случаи, когда эксперт объективно не заинтересован ни в положительном, ни в отрицательном заключении, но все же заключение может оказаться не справедливым.
Причины могут быть психологические: эксперт получает определённое удовольствие, находя недостатки в проекте или статье, или в диссертационной работе. Указывая на недостатки чужой работы, оппонент или эксперт как бы демонстрирует автору или окружающим, или тем, что будет читать его заключение, что он является большим специалистом в данном вопросе, демонстрирует собственную значимость. Дейл Карнеги в своей знаменитой книге отмечал, что потребность в ощущении собственной значимости является одной из важнейшей потребности каждого человека, даже если он не отдаёт себе в этом отчета [1]. Поэтому наиболее жесткими зачастую бывают экспертизы от экспертов, которые не обладают собственными общепризнанными достижениями. Это объяснимо: люди, которые свою значимость уже доказали, не нуждаются в мелких подтверждениях этого. Академики и профессора достаточно снисходительно относятся к тому, что написано в диссертациях, они готовы простить мелкие неточности, а самыми нетерпимыми критиками оказываются те, кто сам ещё не защитил диссертацию этого ранга (кандидатскую или докторскую), или защитил её не так давно.
Критику подготовленной докторской диссертации, заслушиваемой в коллективе по
1. Работа над ошибками
Научные фонды ранее не информировали авторов о причинах отказа в поддержке их проектов, но в последние десятилетия ситуация изменилась, авторы проектов могут прочитать рецензии, на основании которых им отказали в поддержке. Естественно, авторы полагают, что после осуществления «работы над ошибками» они могут написать новый проект, более
качественный, после чего они вполне могут получить финансирование.
Личный опыт показывает противоположную ситуацию. После изучения замечаний, которых было не так уж много по более ранним проектам, автор вносил дополнения и изменения, которые устраняли все указанные недостатки.
Например, когда руководитель получил несправедливое замечание, что проект нехорош только тем, что не чувствуется, что у руководителя имеется опыт руководства студентами, он огорчился, что не написал о двадцатилетнем опыте руководства студентами и об опыте руководства аспирантами, об их защитах, о преподавательской деятельности, не подкрепил это документами и ссылками на совместные публикации. Решает руководитель, что надо эти недостатки исправить, остальное сделать не хуже, и заново подать улучшенный проект.
На следующий год на указанные и исправленные недостатки уже ни один из рецензентов внимания не обращает, но делают замечания по другим показателям. Чем сильнее улучшается, по мнению автора, его проект, тем больше замечаний он получает. Первый проект получал такие несущественные замечания, исправить которые казалось весьма просто. Последующие проекты получают всё более ожесточенные и жесткие рецензии, а самые последние рецензии такие, что вообще хоть уходи из науки и из образования навсегда, читать подобные рецензии унизительно, они написаны подчас в оскорбительной манере. Например, человеку, выполнившему (в том числе и в качестве руководителя) несколько фундаментальных и ряд прикладных исследований, предлагается «потренироваться на простеньких задачках». Как это воспринимать?
2. Анализ причин отказа
Приходилось читать самые разнообразные причины отказа в выдаче грантов. Что-то можно вполне признать. Но вот любопытные образчики встречаются, на которые не знаешь уже, как и реагировать.
Ниже я приведу лишь наиболее странные замечания, накопленные за 11 лет подачи проектов в РНФ и РФФИ, не подумайте, что эти замечания относятся к одному проекту и к одному периоду.
Один эксперт написал, что сомнительно, что руководитель способен выполнить проект, поскольку он уже больше пяти лет не руководил никакими проектами от данного фонда. Ну так вы десять лет не давали финансирования, не поддерживали проекты. Как можно знать, что руководитель не справится, если вы не пробовали? Точнее, пробовали более десяти лет
назад, и справлялся отлично руководитель, нареканий не было.
Пишет эксперт отказ по той причине, что руководитель не определился, в одном месте он написал, что будет опубликовано не менее 22 статей, в другом - 22 или более, а в таблицу записал 22 статьи. То есть получается, что руководитель сам не знает, что он обещает. Как к таком относиться? Руководитель обещает 22 статьи, а также обещает, что этим не будет ограничиваться, если это получится. То есть обещано ровно 22 статьи гарантировано, остальное - бонусом. Так нельзя обещать, да? Если руководитель так пишет, значит, он неадекватен?
Один эксперт пишет, что проект не представляет собой ничего сверхамбициозного, поэтому не целесообразно его поддерживать.
Другой эксперт пишет, что обещания излишне амбициозные, поэтому сомнительно, что проект может быть выполнен успешно.
В другой ситуации эксперт пишет, что хотя план первых двух лет написан достаточно детально, план третьего года недостаточно детален, он очерчен лишь в общих чертах. Но ведь до третьего года ещё далеко, детальный план будет зависеть от результатов первых двух лет. Другой эксперт пишет, что хотя все три года расписаны детально, в проекте нет элемента научной неожиданности, это обычное инженерное исследование, поэтому никакой науки в проекте не просматривается.
Один эксперт отметил, что руководитель запутался в информации о месте работы: в одном месте заявки он пишет, что работает в Новосибирском государственном техническом университете, а в том месте, где надо писать об опыте педагогической работы, руководитель написал, что начинал преподавать в 1995 году в Новосибирском государственном университете. И с победным тоном такой эксперт пишет: «Это же разные университеты! Руководителю проекта следует быть более внимательным и не допускать подобных неточностей!» Да вы что! А я так и не знал, что это - разные университеты! Неужели нельзя допустить, что руководитель начинал преподавать в 1996 году в НГУ, а затем с 2009 года стал преподавать в НГТУ? И между прочим, достаточно длинный период был (вплоть до прошлого года), когда руководитель преподавал и в НГУ также, по совместительству. Что здесь неправда?
Встречаются эксперты, которые отмечают, что по предлагаемой тематике у руководителя проекта нет достаточного количества значимых публикаций, следовательно, автор неспециалист в этом направлении. Но ведь предлагается новое исследование, как могут быть публикации по новой тематике, которая предлагается впервые? Разве недостаточно, что есть публикации, подтверждающие компетенции во всех областях, которые требуются для освоения этой
новой тематики? Наверное, в любой области науки и техники те, кто впервые успешно решили любую задачу, ко времени начала работы над этим проектом не имели публикаций по этой тематике, ведь иначе просто и быть не может.
Замечания подобного содержания не мешает другому эксперту в своей рецензии отмечать, что тематика проекта совпадает с тематикой уже опубликованных статей, поэтому в проекте не может быть ничего нового. Но ведь если статьи в области тематики, это не означает, что в той же самой области нельзя сделать что-то новое, получить принципиально новые результаты. Так что и такое замечание не понятно. Если руководитель, например, хочет создать более точный измерительный инструмент, то, разумеется, наличие у него публикаций по измерениям в этой области вполне могут быть, и это логично, но новые результаты, которые состоят в достижении более высокой точности, от этого не перестают быть новыми.
Встречаются эксперты РФФИ, которые говорят, что руководителю проекта лучше бы потренироваться выполнять прикладные работы, и советуют писать в РНФ. А в этом году эксперт рекомендовал потренироваться на фундаментальных работах и рекомендует писать в РФФИ - это при том, что РФФИ перестал поддерживать инициативные проекты, и об этом эксперту прекрасно известно, судя по срокам рассмотрения заявки. И в каком сне эксперту привиделось, что фундаментальные исследования делать намного легче, чем прикладные? Мне доводилось участвовать и в тех, и в других, в том числе и в качестве руководителя (успешного), никак не могу согласиться, что прикладные исследования сложнее. Наоборот, ведь в прикладных исследованиях все принципы действия всех узлов и систем известны, необходимо только решить новую задачу известным способом с предсказуемым результатом. А в фундаментальных исследованиях необходимо сделать то, что никто никогда ранее не делал, хотя для прогноза успеха также должны иметься достаточные основания, но однозначно фундаментальные исследования сложнее, они должны быть дороже. А тот факт, что РФФИ давал меньшие суммы на проекты, чем РНФ -это просто так сложилось, фонды разные и правила у них разные. Причем РФФИ практиковал ещё давать меньшую сумму, чем запрашивал руководитель проекта, но при этом требовать выполнения проекта на 100%, что, по-видимому, как минимум странно.
А был ещё, помнится, пакет программ ФЦП, где оценивалась ещё и сумма, запрашиваемая руководителем, и эта сумма являлась одним из критериев поддержки или отказа. Если проект хороший, но экспертам казалось, что запрашиваемая сумма велика, причем не в том
смысле, что она не обоснована, а просто она большая, не слишком сильно отличается в меньшую сторону от максимальной суммы гранта, то выставлялись низкие были по этому показателю, и проект мог проиграть только по тому, что запросил большую сумму. Аналогично, были примеры, когда проекты побеждали только потому, что руководители запрашивали очень низкую сумму. Были в те времена проекты, которые выполнялись за 10 рублей и даже за одну копейку. Это в том случае, когда выполнение проекта само по себе было большим подспорьем для будущего вхождения в очень желательный круг исполнителей. К счастью, это прекратили сначала тем, что установили нижний порог стоимости работ, а потом и вовсе исключили стоимость проекта из перечня индикаторов качества проекта.
Некий эксперт сообщил, что поскольку руководитель проекта уже имеет другие проекты, то сомнительно, что руководитель будет уделять достаточно времени данному проекту, поэтому надо отказать (при условии всех положительных оценок по всем остальным пунктам). Но встречалось ведь и такое замечание (от другого эксперта другому проекту), что поскольку у руководителя нет других тематик исследования, то сомнительны способности данного руководителя руководить каким-либо проектом. Интересен тот факт, что условия подачи заявок на конкурс не запрещают руководителю быть руководителем другого проекта по другому фонду. Если имеет место то, что не запрещено, почему такое может служить поводом для отказа в финансировании?
Один эксперт пишет, что руководитель ставит слишком амбициозные задачи в плане публикаций: не имея публикаций в первом квартиле он обещает сделать не менее двух таких публикаций в год. И что? Ну извините, не давали финансирования, работали мы без финансирования, в данном случае это означает бесплатно, инициативно, за свой счет. И делали публикации в третьем и четвертом квартилях, потому что журналы из первого и второго квартиля наши статьи приглашали, и сейчас приглашают, только требуют оплату публикаций, а эта оплата составляет порядка полторы-две тысячи евро. Не можем мы позволить себе такие публикации при отсутствии финансирования на научные исследования. Если нам дадут финансирование на научные исследования, мы сможем оплатить, даже если таковая оплата не входит в смету затрат - из своей зарплаты оплатим, так или иначе решим вопрос: раз уж мы пообещали, то мы это сделаем, чего бы это ни стоило. Только почему уважаемый эксперт считает заявителя проекта обманщиком? Имеются факты, когда мы обманывали? Нет таких фактов. Мы всегда все проекты выполняли. Но эксперт может
позволить себе сомневаться в выполнении нами наших обещаний только лишь потому, что раньше мы таких статей не публиковали. Ну ведь всегда что-то происходит в первый раз! Давайте всё и всегда будем расценивать по таким критериям, да? Давайте нашим спортсменам, которых мы отправляем на различные чемпионаты, будем отказывать, тотально всем, кто раньше не завоевывал первые места, будем говорить: «Сомневаюсь, что вы завоюете первое место, ведь раньше вы никогда первое место на чемпионате такого уровня не завоевывали!». Сказали бы нашим конструкторам: «Сомневаюсь, что ракета взлетит, ведь это первая в мире ракета», и не было бы космонавтики. Давайте пусть в роддоме врач скажет: «Сомневаюсь, что вы сможете родить, ведь вы никогда не рожали раньше!», так что ли?
А другой эксперт пишет при оценке другого проекта, что авторы запланировали индикаторы, которые не слишком сильно (всего лишь вдвое) отличаются от обычных их достижений за такой же период времени, поэтому нет никаких оснований давать им деньги, ведь они и без денег что-то делали, пусть и дальше делают. Не видим рывка, не видим существенного улучшения ситуации по достижениям, значит, не будем финансировать.
Вы уж определитесь, что вам надо - рывок или повторение полученных результатов на новом уровне? Если нужен рывок, тогда отличие запланированного от достигнутого -это хорошо, и большое отличие - это лучше, чем несущественное отличие. Если же вы хотите, чтобы в случае получения финансирования коллектив получал
достижения, несущественно отличающиеся от тех, которые они имели без финансирования, тогда поддерживайте те проекты, где индикаторы не слишком отличаются от достигнутых ранее.
Складывается ощущение, что эксперты преследуют одну цель - отфутболить. Сделать вид, что финансирование науки осуществляется, что инициатива поддерживается, а на самом деле денег не давать.
Один большой специалист, регулярно получающий финансирование, сообщил, что никогда никто из нас, простых соискателей грантов, ничего не получит, пока не сделает что-то стоящее и не докажет, что оно работает, что оно новое, полезное, нужное, готовое к внедрению. Это же опять принцип: «лекарств на всех не хватит, поэтому лечить будем только здоровых». Если люди уже что-то сделали и это окупается, тогда зачем им финансирование? Ведь их исследование окупается. Вот и пусть следующие исследования финансируют из получаемой прибыли. Их финансировать не надо. Максимум достаточно снизить налоги, или вовсе освободить от налогов. А деньги
зачем вкладывать в то, что уже приносит деньги? Идея такая: дайте нам что-то принципиально новое, но, чтобы оно было уже сделано, но так, чтобы оно не было обременено никакими обязательствами ни перед какими другими инвесторами. И как это возможно? Если что-то новое сделано, значит, за это кто-то уже заплатил. Значит, это не является свободным от обременения. Вы можете финансировать доработку или модификацию уже готовой или частично готовой продукции, но тогда прибылью надо будет делиться с теми, кто финансировал предшествующие работы.
А потом возникают статьи, в которых группа авторов благодарит два или даже три разных фонда, пишет, что данная работа поддержана четырьмя проектами, двумя из РФФИ, и двумя из РНФ. Разве это не безобразие? Разве это не дублирование финансирования одной и той же работы из разных источников? Где были эксперты, которые это допустили? Где были рецензенты, которые разрешили опубликовать такие статьи?
Но абсолютно убивают два вида отказа от поддержки от двух разных экспертов по двум разным проектам. С этим мы познакомились в этом году. Один эксперт отметил, что хотя у руководителя имеется достаточно много публикаций за последние пять лет (почти семьдесят), но только лишь полсотни из них входят в базы Scopus и Web of Science, причем только десять из них относятся к первому квартилю. Это эксперту сильно не понравилось. А что здесь может не понравиться? В чем вообще проблема? Отказали, не дали финансирования.
А другому руководителю другой эксперт отказал по той простой причине, что в его списке наиболее важных публикаций присутствуют только публикации, входящие в первый квартиль баз данных Scopus и Web of Science.
То есть и так плохо, и этак плохо, а как хорошо тогда? Вообще не существует алгоритма, чтобы эксперты дали положительное заключение?1
Меня будут опровергать, что ведь существуют победители. Да, существуют. Озвучьте причины, сообщите, какими такими качествами отличаются эти проекты, получившие поддержку от проектов, отклоненных по причинам, которые указаны выше? Географическим положением организации-заявителя? В условиях РФФИ не скрывали, что предпочтение будет отдано проектам, представленным от Москвы и Санкт-Петербурга.
1 Есть также сведения, что одна из последних экспертиз одного из конкурсов РФФИ заключалась в том, что вместо рецензии на проект была просто скопирована часть заявки.
Одной из рассмотренных причин уже полностью достаточно для отказа, а одну из таких причин можно указать к абсолютно любому проекту. Вы можете получить все положительные отзывы, например, три положительных отзыва, положительных в целом, однако если в таких положительных отзывах встречается частица «но» и после неё хотя бы что-то ещё, тогда такой положительный отзыв автоматически трактуется как отрицательный.
Любое «но». Может быть так и писать уже: «Великолепный проект, но время в Москве отличается на четыре часа от времени в Новосибирске», почему нет? Давайте отказывать по таким причинам? Если наличие статей не из первого квартиля (при наличии также и из первого квартиля тоже, причем, в достаточном количестве!) является причиной отказа, но и отсутствие таких статей при тех же прочих условиях также является причиной отказа.
Руководители проекта могут направлять свои возражения и разъяснения по полученным рецензиям, но эти возражения и разъяснения не могут служить основанием для пересмотра решения. Отлично! Вы можете обжаловать решение, но оно обжалованию не подлежит, поскольку окончательное.
Хотелось бы верить, что люди, которые не удовлетворены количеством и качеством публикаций, сами в аналогичные периоды имеют никак не меньшее количество публикаций такого же или более высокого ранга. Иначе как они могут считать рассмотренный ими уровень недостаточным? Хотелось бы верить, но не верится, почему-то.
Эти сомнения подпитываются тем, что доктора наук (среди них есть и академики, и члены-корреспонденты) в университетах и институтах РАН получают иногда письма и инструкции о том, как поднять публикационную активность и как вообще писать научные статьи, и эти инструкции написаны зачастую кандидатами наук, не обладающими сколь-нибудь значительным багажом научных публикаций в указанных базах данных, про которые они сами же и пишут. Противоречие какое-то получается, пишет человек, что все публикации, кроме публикаций в самых высших двух квартилях, являются мусорными, заглядываете вы на сайт этих баз, смотрите публикации этих авторов, а их и нет, или есть одна-две в журналах с самым низким квартилем. Зачем же нас учат люди, которые сами не умеют делать то, чему они нас обучают? Поэтому и порождается подозрение, что и оценивают наши проекты люди, которые сами подобных показателей не имеют и подобных проектов не выполняют. Потому что не чувствуется в них ни капли сочувствия к людям, старающимся поднимать и развивать
отечественную науку. А к коллегам у любого ученого, как правило, сочувствие имеется. И уважение. А если уважение есть, тогда не будет адекватный человек так троллить руководителя инициативного проекта, говоря, что надо отказать в финансировании потому, что у руководителя есть не только публикации из высшего квартиля, но ещё и менее высокорейтинговые публикации.
3. Из личного опыта написания
ЭКСПЕРТНЫХ ЗАКЛЮЧЕНИЙ
Все механизмы экспертизы раскрывать не следует. Но мне приходилось писать и положительные рецензии, и отрицательные, на проекты, где запрашивается весьма большая сумма. Причины отрицательных заключений, например, были такие.
> Заявитель ошибочно оставил смету затрат (ошибка составила 150%, т.е. в 2,5 раза расхождение между запрашиваемой суммой и сметой затрат).
> Заявитель достоверно не обладает требуемыми компетенциями (например, суть проекта непременно предполагает получение международных патентов и опубликование статей, а в команде исполнителей ни у кого нет ни одного зарегистрированного результата интеллектуальной деятельности вообще, а также нет ни у кого ни одной научной статьи).
> Недостоверно представленные сведения (не совпадают сведения в разных пунктах, например, в одном пункте авторы указывают, что имеют патенты на тему предлагаемого проекта, а в пункте, где требуется указать перечень имеющихся патентов, стоят прочерки).
> Явное дублирование (например, авторы ссылаются, что уже получили гранты на похожие исследования, детальное изучение сути этих грантов и сопоставление с предлагаемым проектом показывает, что это по содержанию и основным показателям одна и та же работа).
> Несоответствие целей и задач проекта целям и задачам программы финансирования (например, программа предназначена для создания новых научных разработок, обладающих потенциалом масштабирования, а проект состоит в приобретении стандартного оборудования для решения стандартной задачи на одном конкретном предприятии).
> Несоответствие заявленных возможностей окупаемости с фактическими возможностями (например, авторы проекта утверждают, что наиболее важные мировые конкуренты, работающие на рынке этих продуктов более десяти лет, широко известные в мире, на подобных разработках зарабатывают некоторую сумму, отнесённую к количеству проектов или к периоду времени, например, за год, а сами утверждают, что окупаемость их ещё не выполненной разработки от никому не
известного разработчика будет в 10-20 раз выше этого показателя).
> Нереальные показатели окупаемости (например, заявители проекта просят 40 млн. руб., а обещают, что их проект будет приносить прибыль в год порядка 4 млрд. руб., что не подтверждается никакими приблизительными расчетами даже по порядку величины).
> Необоснованная документация и грубые ошибки в важных утверждениях (например, к проекту прилагается согласие на софинан-сирование от некоторой организации, подписанное заместителем генерального директора, а также доверенность на подписание такого согласия данным заместителем генерального директора, и в этой доверенности сказано, что она действительна лишь в отношении сделок на сумму не выше некоторой, и эта сумма вдвое ниже той, на которую подписано согласие на софинансирование).
Безусловно, были и другие причины отрицательных отзывов, не следует думать, что мои экспертизы были излишне мягкими. Но каждый раз это были действительно причины, достаточные, на мой взгляд, основания, а не мелкие придирки. Обязанность эксперта состоит в том, чтобы объективно отметить все положительные и отрицательные стороны проекта, в его обязанности не входит выдумывать необоснованные придирки.
4. Рецензенты журналов
Рецензенты журналов подменяют собой научную общественность, при том, что они чаще всего не являются специалистами в теме статьи.
У меня был случай: мы написали статью о методе сжатия информации, которая представляет собой результаты измерения колебаний земной коры, измерения делаются с помощью лазерного измерителя микродеформаций коры, расположенного в центре горы на глубине 100 м. Статья очень полезная и обоснованная. Рецензент написал «Авторы пытаются решить благородную, но не разрешимую информацию сжатия данных без потери информации. Как известно, невозможно сократить объем передаваемых данных без потери информации. Поэтому статью следует отклонить».
Я в ответе редакции написал: «Как известно, имеются методы сжатия информации без потерь. К сожалению, рецензент не информирован в этих вопросах. Отметим, для примера, что любой из архиваторов, которые сейчас используются каждым продвинутым пользователем, делает именно это — он сокращает объемы файлов абсолютно без потери информации. Делается это так: отыскиваются наиболее часто повторяющиеся комбинации, и заменяются более короткими комбинациями, смысл которых известен при
кодировании и при декодировании. Так ещё в начале 20 века телеграфисты догадались длинные и часто встречающиеся фразы, например «Поздравляю с днем рождения!», «Поздравляю с юбилеем!», «Желаю счастья», «Поздравляю с бракосочетанием» и так далее не передавать полностью, а заменять короткими сочетаниями знаков».
Рецензент мне не ответил, я написал в редакционную коллегию, чтобы они рассмотрели рецензию и мой ответ, но редакционная коллегия ответила следующее: «Рецензент является достаточным специалистом в предметной области статьи, поэтому редакционная коллегия не видит смысла в повторном рецензировании».
Другой пример. Редактор уважаемого журнала обратился с просьбой представить статью, поскольку «портфель журнала пустоват». Предоставили статью, в которой впервые был описан высокоточный и при этом широкополосный метод измерения фаз. Метод апробирован в действующей аппаратуре, представлены в статье были и методы испытаний, и результаты метрологической аттестации, т. е. статья была достаточно обоснованной. Редактор в ответ выдвинул около пятнадцати замечаний. Авторы по всем этим замечаниям статью доработали, хотя и не со всеми замечаниями были согласны. В ответ получили ещё столько же уже других замечаний. Снова доработали статью, после чего от главного редактора (который сам просил предоставить статью, напоминаем), получили письмо такого содержания, что если после всей переписки авторы по-прежнему хотят опубликовать статью в этом журнале, тогда она будет направлена рецензентам, как полагается. Мы были в шоке. Ведь мы получали два пакета замечаний, что же тогда это было, если не результат работы рецензентов? Сам главный редактор взял на себя функции рецензента? Да на здоровье, но рецензия должна содержать сразу полный перечень всех недостатков, найденных рецензентом в статье, если эти недостатки могут быть исправленными, либо, если по мнению рецензента статью исправить невозможно, или она не соответствует профилю журнала, тогда надо сразу отвечать так, что журнал не возьмет статью ни при каких обстоятельствах, желательно дать аргументацию (или можно не давать, если речь о несоответствии темы). В заключении рецензента должно быть сказано либо «статья нуждается в доработке», либо «статья не может быть принята», либо «решение о возможности опубликования может быть принято только после рассмотрения исправленного варианта статьи». Нет у рецензента права издеваться над авторами, ведь авторы статьи - это коллеги, которые работали и получили какой-то
результат. Если статья не подходит, это следует писать в корректной и уважительной форме.
Был и такой случай. Организаторы конференции объявили, что если статья пройдет успешно рецензирование, то после оплаты оргвзноса (который был вдвое больше традиционной суммы для конференции такого ранга) авторы получат возможность не только опубликовать краткую версию статьи в сборнике трудов конференции, но ещё и бесплатно дополнительно опубликовать расширенную версию статьи в периодическом журнале достаточно высокого ранга. Расширенная статья была направлена в редакцию журнала. Редакция попросила, чтобы совпадения с ранее опубликованной краткой статьи не превышали 30%. Это было сделано. После этого редакция указала на 30% совпадающего текста (это был текст, содержащий обоснование актуальности, постановку задачи и некоторая библиография), и попросили убрать совпадения полностью. После того, как это было сделано, рецензенты прислали требование добавить
экспериментального материала и формул. Когда и это требование было выполнено, мы получили ещё 38 самых различных замечаний. Для устранения некоторых замечаний потребовалось бы заново выполнить разработку и получить принципиально новые результаты. Таким образом, журнал организовал рецензирование и переписку, заведомо обреченную на отказ в опубликовании. Можно задаться вопросом о том, для чего это было сделано. Очевиден ответ. Во-первых, редакция журнала, частично состоящая из устроителей конференции, таким образом подняли рейтинг конференции в её анонсах, а также дополнительно прорекламировали собственный журнал. Во-вторых, в портфеле журнала появилась статья, отклонённая рецензентами, это в некоторых случаях важно для журнала. Когда внешние эксперты оценивают качество журнала, редакционная коллегия доказывает подобными документами, что журнал осуществляет дотошное рецензирование, показатель этого -количество отклонённых статей.
Отрицательные решения формально повышают ценность любого эксперта. Если эксперт всегда даёт положительные заключения, он может утратить доверие к себе. Если время от времени эксперт выдаёт отрицательные заключения, доверие к нему растёт. Это касается любой экспертизы, будь то рецензент журнала, официальный оппонент, эксперт из экспертного совета ВАК, эксперт РФФИ, эксперт РНФ, рецензент любого инвестиционного фонда, любой инстанции или организации.
Мало того, если эксперт всегда слишком строг или всегда слишком мягок, всегда имеется возможность манипулирования экспертами.
Если руководство экспертной командой хочет проект завалить, оно назначает жестких экспертов, если же требуется поддержка проекта, руководство назначает мягких экспертов. Поэтому любая экспертиза может быть организованной по мотивации, далёкой от объективной. Я сам был по молодости объектом использования в подобных целях, поскольку один коллега, зная о моей дотошностью, предлагал мне на рецензирование такие статьи, которые желательно отклонить, и я всегда находил достаточное количество недостатков в таких статьях (причем находил абсолютно честно и непредвзято). Статьи, в которых редакция была заинтересована, мне на рецензирование просто не попадали. Если требовать от статьи полной доказательности всех выдвигаемых тезисов, то отклонить можно практически любую статью. Не могу утверждать, что в любой статье всегда можно найти что-то ценное, поскольку существуют и пишутся статьи, являющиеся полностью плагиатом, или статьи, не сообщающие вообще ничего ценного, нового или интересного. Но если статья кажется недостаточно хорошей, можно допустить, что эксперт не оценил по достоинству что-то ценное, что ему просто непонятно по причине его недостаточной компетенции в данном узком вопросе, ведь он не может быть специалистом по всем вопросам даже в области своей основной тематики.
5. Предложения
Какие можно сделать предложения в данной ситуации? Если вы не удовлетворены результатами экспертизы, вы можете написать свое возражение, но оно ни на что не повлияет. Это общий принцип всех видов экспертиз, всегда и везде.
Если вам не дают средств на реализацию предложенного вами проекта, следовательно, реализация этого проекта государству не нужна. Если вам отказывают в опубликовании статьи, надо это понимать так, что данную статью публиковать не надо, она никому не нужна.
Получившему отказ раньше предлагалось изучить причины отказа, исправиться и получить в следующий раз поддержку. Не можем давать такой совет, убеждены, что в наше время это не работает.
Были совместные проекты, финансируемые двумя государствами, нашим и иностранным. Иностранный фонд оценил наш проект как лучший в своей группе наук, т.е. он занял первое место по техническим наукам. Наши эксперты в поддержке отказали. Финансирование выделяется лишь в том случае, если в обоих странах проект получит поддержку. Как может самый лучший в одной стране проект оказаться одним из самых плохих в другой стране при объявлении совместного конкурса, ведь условия конкурса в обеих
странах одинаковые? Значит, эксперты не одинаковые.
Заключение
Отсутствие финансирования не означает, что ученые не работают. Работают, конечно, пока на работу пускают их.
Но при этом также происходит и перекачка государственных средств, которые должны расходоваться на науку в зарубежные фонды (платные каталоги) под названиями Scopus и Web of Science, которые являются коммерческими проектами. Ещё значительная часть этих денег оседает в руках посредников, которые создают сайты, на которых уверяют, что они гарантируют опубликование статей в журналах любого квартиля, каждый квартиль имеет свою цену. Безусловно, когда мы говорили о стоимости публикации, мы имели в виду не эти сайты-посредники, к которым мы не рекомендуем обращаться никому [2-7]. Это всего лишь платные переводчики писем, в лучшем случае. Если сам журнал берёт 2000 евро за публикацию, то этот сайт возьмет в 1,5-2 раза больше, потому что им же самим тоже нужна прибыль. Также эти сайты беззастенчиво обманывают своих посетителей, например, указывая про некоторые журналы, что они имеют некоторый квартиль, который не соответствует истине. Настоящие ученые проверяют квартиль журнала на проверенных международных сайтах, где эта информация размещается непосредственно организацией, вычисляющей эти квартили. Также в отношении всех вопросов опубликования следует обращаться непосредственно в редакцию, следует все условия опубликования узнавать на сайте данного журнала, обращаться надо по адресу, который указан на этом сайте. В августе прошлого года было подсчитано, что на фейковые «мусорные» публикации ушло не менее одного миллиарда рублей из государственных фондов поддержки научных исследований [8]. Вот такие эксперты у нас. Подарили один миллиард рублей мошенникам, осуществляющим публикации по мошенническим схемам, и не дают поддержки тем, что десятки лет подряд публикует статьи, содержащие проверенные новые сведения, публикует их в нормальных журналах, имеет достаточную публикационную активность, выполняет достаточно актуальные исследования и публикует лишь проверенные испытаниями сведения.
Наверное, пора что-то решать с корпусом экспертов. Кардинально решать, не на словах, а на деле. Ведь если миллиард рублей потратили впустую, кто-то же ответственен за это?
Между прочим, выявлены конкретные люди, виновные в опубликовании фейковых публикаций за деньги [8]. Но эти публикации остались в их «научном багаже», они позволяют
им по-прежнему получать гранты, тратить их часть на опубликование новых фейковых публикаций, защищать на основании этих фейковых публикаций диссертации и получать на этом основании новые должностные повышения.
Будет ли так продолжаться и дальше? Как сказала мама главного героя фильма «Ирония судьбы или с лёгким паром» в конце фильма: «Поживём - увидим».
ЛИТЕРАТУРА
[1] Карнеги Д. Как завоевывать друзей и оказывать влияние на людей. Из-во Попурри. 2018.
[2] Жмудь В. А. Сомнительные услуги на рынке псевдонаучных публикаций. Автоматика и программная инженерия. 2017. № 1 (19). С. 110— 130.
http://jurnal.nips.ru/sites/default/files/%D0%90%D0 %B8%D0%9F%D0%98- 1-2017-13.pdf
[3] Жмудь В. А. Что делать, чтобы коммерческая «помощь отечественной науке» не мешала ее развитию. Автоматика и программная инженерия. 2016. № 4 (18). С. 149—162. http://jurnal.nips.ru/sites/default/files/%D0%90%D0 %B8%D0%9F%D0%98-4-2016-18 0.pdf
[4] Жмудь В. А. Цели и результаты соревнований по импактфакторам и h-индексу. Автоматика и программная инженерия. 2016. № 4 (18). С. 104— 127.
http://jurnal.nips.ru/sites/default/files/%D0%90%D0 %B8%D0%9F%D0%98-4-2016-16.pdf
[5] В.А. Жмудь. Вскрытие схем нецелевого извлечения крупных сумм из государственного бюджета в сферу лженауки. Автоматика и программная инженерия. 2019. № 2 (28). С. 113— 132.
http://www.jurnal.nips.ru/sites/default/files/AaSI-2-2019-13 0.pdf
[6] В.А. Жмудь. Мусорные публикации-клоны и их вредное влияние на науку и образование. Автоматика и программная инженерия. 2019. № 2 (28). С. 133—149. http://www.jurnal.nips.ru/sites/default/files/AaSI-2-2019- 14 0.pdf
[7] В.А. Жмудь. Об источниках и результатах хищных журналов и хищных издателей: язычество в науке. Автоматика и программная инженерия. 2020. № 4 (34). С. 27—46. http://jurnal.nips.ru/sites/default/files/AaSI-4-2020-
3 0.pdf
[8] Иностранные хищные журналы в Scopus и WoS: переводной плагиат и российские недобросовестные авторы. Комиссия РАН по противодействию фальсификации научных исследований. При участии А.А. Абалкиной, А.С. Касьяна, Л.Г. Мелиховой. https://kpfran.ru/wp-content/uploads/plagiarism-by-translation-2.pdf
п 1Л
Вадим Жмудь - заведующий Поступила 20.04.2021.
кафедрой Автоматики
НГТУ, профессор, доктор технических наук.
E-mail: oao nips@bk.ru
630073, Новосибирск, просп. К.Маркса, д. 20
Modern Scientific Expertise
V.A. Zhmud 12 3 4 1 Novosibirsk State Technical University, Russia 2 Institute of Laser Physics SB RAS, Russia 3 Siberian Branch of the Federal State Budgetary Institution of Science of the Geophysical
Service of the SB RAS 4 Novosibirsk Institute of Software Systems
Abstract. Examination of projects, scientific articles, dissertations, educational and scientific organizations, areas of training students, scientific journals, etc. has recently become one of the most important factors in the development of science and education. The article raises the question of how objective the examination is, what can affect its objectivity, what ways can be proposed to improve the situation.
Key words: science, education, scientific journal, scientific organization, educational organization, publication, project, expertise
References
[1] Karnegi D. Kak zavoyevyvat' druzey i okazyvat' vliyaniye na lyudey. Iz-vo Popurri. 2018.
[2] Zhmud V. A. Somnitel'nyye uslugi na rynke psevdonauchnykh publikatsiy. Avtomatika i programmnaya inzheneriya. 2017. № 1 (19). S. 110130.
http://jurnal.nips.ru/sites/default/files/%D0%90%D0 %B8%D0%9F%D0%98-1 -2017-13.pdf
[3] Zhmud V. A. Chto delat', chtoby kommercheskaya «pomoshch' otechestvennoy nauke» ne meshala yeye razvitiyu. Avtomatika i programmnaya inzheneriya. 2016. № 4 (18). S. 149-162. http://jurnal.nips.ru/sites/default/files/%D0%90%D0 %B8%D0%9F%D0%98-4-2016-18_0.pdf
[4] Zhmud V. A. Tseli i rezul'taty sorevnovaniy po impaktfaktoram i h-indeksu. Avtomatika i programmnaya inzheneriya. 2016. № 4 (18). S. 104127.
http://jurnal.nips.ru/sites/default/files/%D0%90%D0 %B8%D0%9F%D0%98-4-2016-16.pdf
[5] V.A. Zhmud. Vskrytiye skhem netselevogo izvlecheniya krupnykh summ iz gosudarstvennogo byudzheta v sferu lzhenauki. Avtomatika i programmnaya inzheneriya. 2019. № 2 (28). S. 113132.
http://www.jurnal.nips.ru/sites/default/files/AaSI-2-2019-13_0.pdf
[6] V.A. Zhmud. Musornyye publikatsii-klony i ikh vrednoye vliyaniye na nauku i obrazovaniye. Avtomatika i programmnaya inzheneriya. 2019. № 2 (28). S. 133-149. http://www.jurnal.nips.ru/sites/default/files/AaSI-2-2019- 14_0.pdf
[7] V.A. Zhmud'. Ob istochnikakh i rezul'tatakh khishchnykh zhurnalov i khishchnykh izdateley: yazychestvo v nauke. Avtomatika i programmnaya inzheneriya. 2020. № 4 (34). S. 27-46. http://jurnal.nips.ru/sites/default/files/AaSI-4-2020-3_0.pdf
[8] Inostrannyye khishchnyye zhurnaly v Scopus i WoS: perevodnoy plagiat i rossiyskiye nedobrosovestnyye avtory. Komissiya RAN po protivodeystviyu fal'sifikatsii nauchnykh issledovaniy. Pri uchastii A.A. Abalkinoy, A.S. Kas'yana, L.G. Melikhovoy. https://kpfran.ru/wp-content/uploads/plagiarism-by-translation-2.pdf
Vadim Zhmud - Head of the Department of Automation in NSTU, Professor, Doctor of Technical Sciences. E-mail: oao nips@bk.ru
630073, Novosibirsk, str. Prosp. K. Marksa, h. 20
The paper has been received on 20/04/.2021.
