CC BY
61
Код УДК: 014.3
Обсуждение статьи Д. В. ЗОЛОТАРЕВА
«подходы к решению проблемы двойного учета научных статей при оценке результативности научных организаций»
Докладчик
Золотарев Дмитрий Васильевич, кандидат экономических наук, заведующий сектором проблем науки и инноваций в условиях глобализации, Российский научно-исследовательский институт экономики, политики и права в научно-технической сфере (РИЭПП), Москва, Россия, zolotarev@riep . rn .
Аннотация
Обсуждаются подходы к учету научных статей . Основное внимание в докладе уделено методу фракционного счета статей Определено, что метод пропорционального фракционного учета статей концептуально разделяет научный результат, если статья написана несколькими авторами из разных организаций Предлагается пропорциональный фракционный метод учета, основанный на нормализации аффилиаций авторов каждой статьи, объединять с равномерным фракционным счетом, основанном на пересечении множеств Это может дать положительный эффект, дополнив информацию о долях статей, причисляемых организациям, сведениями о наиболее ценных коллаборациях . Участниками отмечено, что необходимо дальнейшее исследование рассматриваемых вопросов
Ключевые слова
Методы учета научных статей, пропорциональный фракционный метод учета, равномерный фракционный метод учета, Web of Science, комбинаторика .
The discussion of the article of D. V. Zolotarev «APPROACHES TO SOLVE THE PROBLEM OF DOUBLE-COUNTING SCIENTIFIC ARTICLES WHEN EVALUATING THE EFFECTIVENESS OF SCIENTIFIC ORGANIZATIONS»
Keynote speaker
D . V. Zolotarev, Candidate of Sciences (PhD) in Economics Unit Head, Russian Research Institute of Economics, Politics and Law in Science and Technology (RIEPL), Moscow, the Russian Federation, zolotarev@riep . ru .
Abstract
Approaches to the counting of scientific articles are discussed . Principal attention in the report is paid to fractional counting . It is designated that the method of proportional fractional counting conceptually splits up a scientific result if an article is
Подходы к решению проблемы двойного учета научных статей 229
written by several authors . A combination of proportional fractional counting based on normalization of the affiliations of each article’s author(s), and equal fractional counting based on crossing arrays is suggested . This may have a positive effect, combining the information on an organization’s share of articles and the most valuable collaborations . Participants have pointed that the further research of the raised questions is needed
Keywords
Scientific article counting methods, proportional fractional counting, equal fractional counting, Web of Science, combinatorics .
25 сентября 2015 г в РИЭПП прошел круглый стол, «Подходы к решению проблемы двойного учета научных статей при оценке результативности научных организаций» . С основным докладом выступил заведующий сектором проблем науки и инноваций в условиях глобализации, кандидат экономических наук Дмитрий Васильевич Золотарев . В обсуждении приняли участие:
Грибовский Андрей Владимирович - кандидат экономических наук, заведующий отделом проблем интеграции науки и образования, РИЭПП;
Дмитренко Мария Александровна - научный сотрудник, РИЭПП;
Калюжный Кирилл Александрович - кандидат политических наук, и . о . заведующего отделом проблем развития информационной среды и инфраструктуры науки, заведующий сектором мониторинга информационной среды науки, РИЭПП (ведущий круглого стола);
Клыпин Андрей Владимирович - кандидат экономических наук, заведующий сектором социально-экономических проблем развития научнотехнологической сферы
Пахомов Александр Юрьевич - кандидат биологических наук, заместитель начальника отдела наук о Земле управления по взаимодействию с РАН и обеспечению деятельности научно-координационного совета ФАНО России;
Соколов Дмитрий Васильевич - заведующий сектором анализа международного опыта управления наукой и инновациями, РИЭПП;
Ушакова Светлана Евгеньевна - кандидат экономических наук, заведующая сектором оценки состояния и тенденций развития ресурсного обеспечения и объектов НТК и НИС, РИЭПП;
Чеченкина Татьяна Валерьевна - старший научный сотрудник, РИЭПП.
Калюжный К. А.: Уважаемые коллеги, сегодня у нас на повестке один вопрос: обсуждение статьи нашего коллеги Золотарева Дмитрия Васильевича «Подходы к решению проблемы двойного учета научных статей при оценке результативности научных организаций» . Безусловно, тема интересная для каждого исследователя, который публикует свои научные работы Действительно, существует несколько подходов, несколько возможных сценариев определения того, какая организация наиболее успешна в своей научной деятельности . Я думаю, сейчас мы
230
Обсуждение статьи Д. В. Золотарёва
об этих подходах поговорим, и каждый из нас выскажет свое мнение и даст оценку. Прошу Вас, Дмитрий Васильевич .
Золотарев Д. В.: Благодарю Вас . Уважаемые коллеги, надеюсь, что тема будет всем интересна и обсуждение будет живым и насыщенным . Ни для кого не секрет, что вопрос учета статей - вопрос актуальный и очень важный . Его важность может быть обусловлена с разных позиций: с точки зрения ученых, с точки зрения научных организаций, с точки зрения стран, с точки зрения межстрановых взаимодействий и сопоставлений . Поэтому, я думаю, что в современных условиях, когда объем статей ежегодно растет в мире и в каждой отдельной стране, и статья является одним из ключевых измерителей результатов труда ученого, тема требует исследования, требует обсуждения В первую очередь, хотелось бы обсудить подходы к учету научных статей В отечественной и зарубежной литературе очень большое внимание уделяется этим подходам . Первый подход - полный счет. Суть его заключается в том, что научная статья, написанная в соавторстве, причисляется каждому соавтору в размере единицы Второй подход - прямой счет На мой взгляд, самый неперспективный и самый, наверное, отсталый подход Его суть заключается в том, что единица за статью причисляется только одному из авторов: либо первому в списке авторов, либо ответственному автору. В англоязычной литературе это - corresponding author. Третий подход - это фракционный счет, когда статья, написанная в соавторстве, равными или пропорциональными долями причисляется каждому соавтору Например, пять авторов написали статью, и каждый из авторов в своем резюме или портфолио учитывает 1/5 долю статьи . Если речь идет об организациях, то может быть использовано два метода в рамках фракционного счета: 1) каждая организация получает по 1/5 статьи (если 5 авторов из 5 организаций); 2) если пять авторов представляют 4 организации, доля делится пропорционально: одна из организаций получит 2/5 доли статьи, остальные по 1/5 .
Именно метод фракционного счета мне бы хотелось рассмотреть более подробно
В РИЭПП разработана методика в соответствии с фракционным подходом, и центральной формулой этой методики является формула (1)
^ = 1
J=1 R,
n
i
(1)
Ключевым объектом счета является аффилиация, то есть связь автора с организацией . Мне бы не хотелось долго задерживаться на этой формуле, потому что она представляет формализованное описание метода фракционного счета . Основное внимание следует уделить схеме (рис . 1), которая иллюстрирует формулу и объясняет суть формулы
Допустим, мы имеем пять авторов из трех организаций Три автора указали, что они имеют связь (работают, работают по совместительству, проходили стажировку и т д ) с организацией номер один Два автора
Подходы к решению проблемы двойного учета научных статей 231
Рис. 1. Интерпретация связей (аффилиаций) авторов и организаций из описания гипотетической статьи
указали, что они имеют связь с организацией номер два, и один автор указал, что он имеет связь с организацией номер три . Таким образом, всего аффилиаций получается шесть: к первой организации приходит три связи, то есть три аффилиации; ко второй организации приходит две, к третьей одна Таким образом, получается, что первая организация получает 3/6 доли статьи (половину), вторая организация получает 2/6 (треть), третья организация получает 1/6 . Правильный этот метод или нет - однозначного ответа на этот вопрос нет.
На мой взгляд, при видимых положительных чертах фракционного счета, которые заключаются в следующем: если мы ведем речь об организациях, то именно пропорциональный учет (когда от количества авторов в организации зависит, какую долю статьи получит организация) является самым правильным, самым справедливым Но в этом случае, особенно если эта методика войдет в практику учета статей органами исполнительной власти, может привести к негативным последствиям По моему мнению, с точки зрения ученых, в случае фракционного счета, коллаборации будут невыгодны, потому что автор в своем резюме (портфолио) не может указывать статьи, написанные в соавторстве, целиком, и общее количество статей существенно сократится . В то же время, организациям будет выгодно приписывать авторов в статью, и тех, кто не работал, чтобы получить большую долю статьи Третий недостаток заключается в том, что сами авторы будут стремиться не включать других исследователей в свою работу, чтобы получить себе общий счет, целую статью, а не ее долю . Минус «моноавторских» статей, на мой взгляд, в том, что здесь работает принцип: «одна голова - хорошо, а две - лучше» . Всегда в коллаборациях рождаются более содержательные идеи, более всеобъемлющие, проблема может быть рассмотрена с разных сторон, и моноавторские статьи проигрывают статьям коллективным Но самое опасное последствие, на мой взгляд, это нивелирование колла-боративных научных результатов . Если в статье, написанной большим количеством авторов, содержится некая идея, некая мысль, некий на-
232
Обсуждение статьи Д. В. Золотарёва
учный результат, то фракционный подход имеет в своей основе, что этот целостный результат надо раздробить на какие-то части, и эти части раздать по организациям . В действительности нет никакого разделения научного результата: каким он был, таким и останется в статье, но сам подход приводит к тому, что этот результат как бы дробится на части Получается, этот подход говорит о том, что коллаборации не так нужны, потому что нужно понять, как отдельные организации выстраиваются в рейтинг Может быть, это ошибочное мнение, но это мое личное мнение Можно представить ситуацию, когда автор, который не является высокорейтинговым ученым, известным ученым, вносит больший вклад в статью, чем именитый ученый, при этом работа ведется в коллабора-ции и фракционный счет совершенно не учитывает этого Может быть из пяти авторов, которые пишут статью, один ее писал, а остальные ему помогали, а статья делится на равные доли . На мой взгляд, это вопрос дальнейшего исследования, здесь нужны квалиметрические методы Следующий подход, второй, имеет в своей основе принцип «от общего к частному», предыдущий имел в своей основе принцип «от частного к общему» . На мой взгляд, ценность этого подхода заключается не в том, что он использует фракционный счет, а в том, что этот подход может показать, где есть пересечение между организациями, где есть коллабо-рации . Если первый подход предполагает разрыв долей статей по организациям, разведение внутри коллаборации организаций, которые в ней участвуют, то второй подход помогает увидеть пересечение
Рис. 2. Фракционный счет: от общего к частному
Рис . 2 показывает, что если мы имеем коллаборацию с семью организациями, то каждая организация вносит одинаковый вклад На самом деле, это не так . Если осуществлять поиск в Web of Science по взаимодействиям между семью организациями, нужно построить 127 запросов с помощью операторов «и», «или», «нет» и, тогда мы найдем группы, где в коллаборациях участвуют семь организаций, группы из шести организаций, пяти, четырех, трех, двух . И естественно, так же мы можем найти
Подходы к решению проблемы двойного учета научных статей 233
через поисковые запросы Web of Science, те статьи, которые написаны каждой из этих организаций без соавторства .
Этот подход, на мой взгляд, тоже имеет некоторые минусы. Во-первых, как говорилось, фракционный счет предполагает два метода - это равномерное распределение долей статьи или пропорциональное разделение . Так вот второй подход позволяет рассчитать доли статей равномерно: каждая организация получает равную долю статьи . Если семь организаций присутствует, каждая получает 1/7 долю статьи . Это минус, потому что это менее справедливое распределение долей статьи Второй минус заключается в необходимости дополнительного инструментария для такого расчета
Как уже отмечалось, существует три общих подхода к учету статей . Отдать предпочтение какому-то одному методу в рамках этих подходов нельзя . Поэтому необходимо разрабатывать дополнительные, синтетические методы, основанные на имеющихся подходах Если вернуться к тем двум методам, которые обсуждаются в статье, то следует отметить, что они взаимодополняемы, потому что, если первый метод, разрывая статью на доли, препятствует, таким образом, коллаборациям, второй метод заполняет эти разрывы и устраняет пустоты, которые возникают при использовании первого метода
Многие зарубежные авторы предлагают использование математических моделей . Но эти модели по большей части теоретические и сложно применимы к практике . Самая большая проблема в том, что модели построены ради моделей . А какую проблему эта модель решает и где ее можно использовать, как правило, в большинстве статей не указывается Поэтому моделирование в учете статей нужно, но оно должно быть целевым, должна быть поставлена, в первую очередь, цель, ради которой эта модель разрабатывается, и под эту цель должна быть разработана модель
В качестве выводов и рекомендаций по дальнейшим исследованиям можно предложить, что если фракционный счет будет учитываться в государственном управлении в сфере науки и инноваций или науки и технологий, то необходимо во взаимодействии с Web of Science органам исполнительной власти разрабатывать профили организаций в базе данных Web of Science . Тогда фракционный счет можно использовать, и это будет совершенно несложно Но есть сомнения в том, что фракционный счет будет широко применим, его применение нужно еще более продуманно обосновывать
Еще есть один фактор, который говорит в пользу фракционного счета - это майские указы Президента (2012 г. ), в которых значится показатель «2,44» . И чтобы понимать, кто в России в этот показатель вкладывает больше, необходимо именно фракционным счетом учитывать статьи Однако этот вопрос тоже вызывает сомнения, и некоторые эксперты говорят о том, нужно использовать целочисленный счет Тогда долю вклада организации считать не от общего числа статей по России, которое есть в Web of Science, а общую долю каждой организации считать от суммы статей, которые получены с двойным и тройным учетом
234
Обсуждение статьи Д. В. Золотарёва
Основной мой вывод заключается в том, что нужно продолжать исследования по учету статей различными методами .
Дальнейшие исследования должны идти по пути конкретизации учета статей в различных науках . Это реализовано, например, в инструментарии Thomson Reuters «InCites», где считается нормализованное количество статей и цитирования данных статей в разных областях знания . Результаты говорят о том, что различия очень существенны, и подходить с одним методом учета ко всем статьям из всех областей науки нельзя .
В действительности, все, что здесь обсуждается, известно давно в наукометрии . И, учитывая это, мне кажется, все равно должна быть возможность разработать некий универсальный метод, который будет применим для всех дисциплин и для междисциплинарных исследований в том числе . Благодарю за внимание .
Калюжный К. А.: Спасибо, Дмитрий Васильевич . Пожалуйста, вопросы
Пахомов А. Ю.: Дмитрий Васильевич, во-первых, большое спасибо за приглашение . Такой вопрос: все исследования, как я понимаю, основаны на базе данных Web of Science . Но Вы, наверное, прекрасно понимаете, что есть большая разница между статьями, которые учитываются в Web od Science и Scopus? И что тот же самый автор может, допустим, в одной системе иметь один рейтинг, в другой - другой, причем разница, по моим оценкам, может быть процентов 30-40. Соответственно, следующий вопрос: планируется ли или, все-таки, не планируется проведение подобных исследований по данным Scopus?
Золотарев Д. В.: Пока не планируется . Мои исследования направлены на разработку метода . Я думаю, если метод в одной системе будет работать, то, скорее всего, он будет работать и в другой, потому что учет распределения статей по авторам все-таки в разных системах один -и в РИНЦ, и в Scopus .
Пахомов а. Ю.: Кстати, почему бы не взять РИНЦ?
Золотарев д. В.: Очень простой ответ - в Web of Science очень удобный инструментарий, там удобнее производить поиск, удобнее производить как раз поиск множеств с помощью логических операторов В РИНЦ сложно это сделать
Пахомов А. Ю.: Согласен в том, что он проще, и, наверное, Вы прекрасно знаете, что у Академии наук есть договоренность с Thomson Reuters о том, что основная часть базы данных РИНЦ будет включена в Web of Science, на платформу Core Collection? Вы слышали об этом?
Золотарев д. В.: Нет, я слышал о том, что будет сначала российская площадка, а потом, что в Core Collection будет включаться часть журналов из российской площадки
Пахомов А. Ю.: Да, что со временем это будет российская площадка, из которой будет осуществлен переход, чтобы был какой-то учет То же самое, что есть в Корее, Китае и так далее Последний вопрос: аффилиа-ции бывают нормальные, а бывают, как Вы сами понимаете, фиктивные Можно ли с помощью Вашего метода фракционирования, допустим, каким-либо образом отсекать фиктивные аффилиации?
Подходы к решению проблемы двойного учета научных статей 235
Золотарев Д. В.: Спасибо большое, Александр Юрьевич, за очень интересные вопрос . Нет, над этой проблемой я даже не задумывался . Я думаю, что нельзя с помощью описанных методов отсекать фиктивные аффилиации, поскольку метод использует данные пост-фактум: то, что указано в статье А каким образом автор указал в статье аффилиа-цию с организацией - не учитывается . И, мне кажется, здесь нужны другие данные для расчета . То есть не написанная уже статья, которая есть в системах баз данных, а процесс написания, процесс включения автора в статью
Это большая проблема, и как ее решать, особенно пост-фактум, когда мы имеем статью и фамилию, и имеем обозначение, что эта фамилия относится к организации, не совсем ясно Наверное, только с помощью звонков авторам, которые вызывают сомнения, и предложения ответить на несколько каверзных вопросов, например: «Что Вы можете сказать об этой фразе на странице 10 Вашей статьи?» .
Пахомов А. Ю.: Понятно, спасибо большое за ответ.
Золотарев д. В.: Спасибо большое за вопрос
Калюжный К. А.: Коллеги, пожалуйста, еще вопросы .
Ушакова с. Е.: Прежде всего, я хочу поблагодарить докладчика за очень интересный доклад на интересную тему, очень актуальную в настоящее время И у меня возник ряд вопросов, может быть, я сразу их задам Первый вопрос у меня по тем методикам, которые Вы представили в своем докладе и в статье, соответственно Вы сказали о первом подходе, что это была разработка нашего института А второй подход тоже, так сказать, родился в недрах нашего института, или уже существует такой подход, или это Ваша идея?
Золотарев д. В.: Я сразу могу ответить, что это моя идея
Ушакова с. Е.: Понятно . Со вторым подходом ясно, по поводу первого: скажите, пожалуйста, проходила ли какая-то апробация, Вы пробовали произвести какой-нибудь расчет на каком-то массиве данных? Работает ли это?
Золотарев д. В.: Нет, пока не пробовали Апробация проходила только на отдельных статьях По описанию одной статьи смотрели количество авторов, аффилиаций и организаций Согласен, что надо обязательно делать по массивам, потому что неизвестно, какие будут результаты Но я знаю, что эту методику уже используют в ГПНТБ и по ней считают «очищенное» количество статей, и она работает, во всяком случае, математически . То есть если они рассчитывают «очищенное» количество статей по каждой организации, а потом суммируют их, то получается то число, которое в Web of Science указано для России . Математически она работает
Ушакова с. Е.: Понятно . Еще такой вопрос возник: в настоящее время научные организации уже заполняют какие-то формы статистической отчетности для оценки их работы? Вы в своей статье упоминали, что существует ряд проблем с самими формами этой отчетности: некоторые пункты, которые касаются количества статей, не позволяют избегать этого двойного и тройного счета Скажите, пожалуйста, у Вас
236
Обсуждение статьи Д. В. Золотарёва
есть какие-то рекомендации, как можно было бы улучшить эти формы для того, чтобы можно было избегать этих проблем?
Золотарев Д. В.: Да, спасибо большое за хороший вопрос . Я думал на эту тему. Сейчас в утвержденной форме, которой отчитываются организации перед Минобрнауки России, есть строчка в табличке, где написано, что они должны указать количество статей в Web of Science . Таким образом, мы получаем поток из всех организаций, число всех статей от каждой, и если они написаны в соавторстве, то при суммировании мы, соответственно, получаем больше, чем на самом деле, статей Я боюсь давать эту рекомендацию, потому что не знаю, будет ли эта формула действительно работать, начнет ли она функционировать на территории России . Если начнет, то под нее надо подстраивать эти формы отчетности и вписывать не количество статей написанных, а доли статей, чтобы организация, перед тем как заполнить форму, сначала посчитала «очищенное» число по этой формуле, а потом уже указала то значение, которое получится . Это одна рекомендация, но я бы не хотел ее давать .
Ушакова С. Е.: У меня еще такой вопрос: как лично Вы относитесь к количественной оценке результативности труда ученых и научных организаций и, соответственно, какое место должна занимать экспертная оценка?
Золотарев д. В.: Спасибо большое за этот тоже очень интересный вопрос . И очень сложный, потому что никто, как мне кажется, не сможет дать ответ на него: действительно, только мнение может быть Я думаю, что количественная оценка первична. Необходимо сначала посчитать число механистическим путем, без учета, скажем, ценности статьи Две статьи в Web of Science, в одном и том же журнале, высокорейтинговом, с высоким импакт-фактором, могут существенно различаться по вкладу в науку, это безусловно . Но при количественном учете они будут равнозначны . То есть их качественная оценка не производится с помощью этих методов . Экспертная оценка по природе субъективна, экспертные оценки очень сложно использовать . Каких экспертов привлекать, на каком этапе, что они должны оценивать; ведь им кто-то должен сказать -видимо, эксперт более высокого уровня - на что надо обращать внимание при даче своих рекомендаций Иначе без формализации экспертной оценки, скорее всего, она будет не операбельна, с ней невозможно будет работать Это будет некий текст, а если экспертов много и объектов оценки тоже много, это превратится в огромный поток материала без структуры, где будут содержаться мнения экспертов . Обрабатывать эту информацию и учитывать ее будет практически невозможно Экспертные оценки нужны, но, я думаю, их нужно внедрять в количественные методы И здесь хороши методы квалиметрии Но все-таки я бы ставил экспертные оценки на последнее место не потому, что я так не доверяю экспертам, а потому что с ними очень сложно работать Очень большое количество научных организаций должны понимать, за что и как их оценивают
Ушакова С. Е.: Благодарю за ответ.
Калюжный К. А.: Спасибо . Пожалуйста, кто еще?
Подходы к решению проблемы двойного учета научных статей 237
Грибовский А. В.: Дмитрий Васильевич, тоже хочу поблагодарить за очень интересный доклад . И вот у меня возник такой вопрос: существуют ли случаи использования комбинированных подходов к оценке научных организаций в других странах?
Золотарев Д. В.: Спасибо большое за вопрос . Сразу скажу, что то, как производится учет в разных странах, я не изучал, но я знаю, что рейтинговые агентства, на которые многие ориентируются, используют целый счет статей . Научные исследования, в основном, посвящены фракционному учету статей С целым счетом все понятно, там ничего сложного нет Но, кстати, у целого счета тоже может быть два подхода, если речь идет об организации: организации может приписываться за одну статью по единице, по одной статье, или организации может приписываться по несколько единиц в зависимости от количества авторов На мой взгляд здесь важно единообразие . Единообразие должно быть для самого верхнего уровня, когда сравниваются разные страны . И это делают рейтинговые агентства . Мы можем сравнить страны по вкладу в науку с помощью этих агентств . Это первое . Второе: если, например, фракционный счет используется в государственном управлении, то это дело органов государственной власти, которые используют этот метод Для сравнения на других уровнях - экспертная оценка, научные исследования, опять же - независимые рейтинги - могут использовать тот счет, который им удобен, который они считают более правильным и более обоснованным То есть, нет никакого противоречия, если используются разные методы учета . Фракционный счет нужен для того, чтобы понимать, как распределять бюджетные средства между организациями . А для того, чтобы построить рейтинги, наверное, действительно правильно использовать целый счет. Я бы так ответил на Ваш вопрос, Андрей Владимирович .
Калюжный К. А.: Спасибо, Дмитрий Васильевич . У кого еще вопросы есть?
соколов д. В.: У меня есть еще несколько вопросов, которые логично связаны с выступлением Дмитрия Васильевича
Почему в статье рассмотрен подробно только фракционный счет и не рассмотрены два других подхода: целый и прямой?
Золотарев д. В.: Спасибо большое Мне кажется, что достаточно ясно было прокомментировано, но еще один аргумент
Общий и прямой счет мне не интересны как исследователю, потому что там нечего исследовать С точки зрения управления, я попытался объяснить, почему используется фракционный счет, достаточно подробно, но еще раз очень кратко Фракционный счет позволяет выделить организации более справедливо, на мой взгляд, чем общий счет, и прямой счет, когда статья относится только к одному автору, мне кажется, вообще не имеет права на существование, потому что отрицает вклад других авторов Он совершенно несправедливый, неправильный, мне кажется, что его нельзя использовать в принципе, категорически неверный При его использовании много может быть последствий: может, например, отбивать интерес у молодых ученых . Карьера ученого часто начинается с того, что он публикует статьи в соавторстве со своим руководителем,
238
Обсуждение статьи Д. В. Золотарёва
и он значится в авторах не первым . Если молодой ученый пишет статью «впустую», не работая на свой рейтинг, то зачем ему вообще это делать? Это не стимулирует совсем . Хотя бы с вот этой позиции . Спасибо за вопрос
Калюжный К. А.: Спасибо, Дмитрий Васильевич .
Ушакова С. Е.: Можно еще маленький вопрос? Я глубоко не занималась этой проблемой, но мне интересно, если фамилии авторов идут по алфавиту, то это тоже принятая форма . То есть получается, что если такой принцип взят при опубликовании статьи, то тут смысл вообще теряется?
Золотарев Д. В.: Да, совершенно верно . Вот поэтому я и говорю, что прямой счет характеризуется с отрицательной точки зрения
Калюжный К. а.: Коллеги, задавайте еще вопросы или переходим к обсуждению . Да, пожалуйста, Андрей Владимирович .
Клыпин А. В.: У меня будет небольшой вопрос, связанный с формулой . Рассматривали ли Вы, Дмитрий Васильевич, возможность применения фракционного счета только к организации, в которой несколько авторов участвовало в написании статьи . На мой взгляд, проблема учета статьи, в том случае, если эта статья написана авторами из разных организаций, не возникает, потому что единицы в первом случае прибавятся (если статья написана тремя авторами из разных организаций, то у каждой организации будет по единице), а во втором случае будет по 0,3 доли . То есть, в конечном счете, каждая из организаций получит одинаковое количество долей в общем счете, потому что мы говорим именно об этих организациях сейчас в рейтинге А вот как раз в том случае, если из одной организации указано несколько авторов, понятно, что тогда получается, что не одна статья будет в рейтинге, а три статьи, если три автора . Имеются ли какие-либо соображения насчет фракционного счета именно в том случае, если несколько авторов в одной организации?
Золотарев д. В.: Это, на самом деле, уже рассмотрено Дело в том, что если мы используем фракционный счет, и статья используется только для учета статей организаций, и статья написана несколькими авторами из одной организации, то организация получает единицу, она не делится никак Если мы хотим разнести эту статью между авторами из этой организации и рассматриваем на уровне авторов, а не организации, то каждый автор получает по 1/3 статьи . Если Вы говорите, что три автора представляют три разных организации и написали одну статью, то по единице относится не во фракционном счете, а в целочисленном По 1/3 - именно во фракционном счете . Но если три организации, и из одной из них, например два автора, а из двух - по одному, то в этом случае мы имеем четыре аффилиации и должны статью делить не на три, а на четыре доли . Тогда одной организации - 2/4 и двум организациям по 1/4, в зависимости от вклада организации в виде авторов: сколько авторов из организации участвуют в написании статьи - столько долей и отнесется к организации
Клыпин А. В.: То есть эта формула эту проблему уже решила, и она не возникает?
Подходы к решению проблемы двойного учета научных статей 239
Золотарев Д. В.: Если эта формула используется для организации, то этой проблемы не существует.
Клыпин А. В.: Ясно . А есть ли идеи по поводу учета количества авторов, в зависимости от указания их в статье в определенной последовательности? Обычно как происходит в публикации: первый автор -это автор, вклад которого является наиболее значимым по разным показателям . Это может быть высокая должность этого автора, поэтому он и первым стоит, а может быть, действительно автор вложил больший результат в общую работу. Такое бывает на первом этапе работы, в дальнейшем развивается уже все так, что авторов можно и поменять местами . Но, в конечном счете, традиционно получается так, что первый автор - это автор, внесший по общим показателям наибольший результат в работу. Имеются ли какие-то соображения, по поводу того, как можно учесть последовательность авторов при расчете этого показателя?
Золотарев д. В.: Нет, не рассматривалась, но очень интересно будет рассмотреть . Это как раз к вопросу о квалиметрии . Потому что, квали-метрию вряд ли можно назвать наукой, она может быть междисциплинарным направлением в науке, которое измеряет качество количеством, в количественных единицах, количественном выражении и, как Вы сказали, вклад авторов по убыванию в зависимости от расстановки их в статье - это очень интересная идея, и она имеет место на существование и развитие . Но пока нет, она не рассматривалась . Спасибо большое .
Клыпин А. В.: Спасибо .
Калюжный К. А.: Дмитрий Васильевич, скажите, а вот фракционный способ учитывает ситуацию, когда один автор указывает свою принадлежность к нескольким организациям? Как в этом случае рассчитывается вес организации?
Золотарев Д. В.: Слайд, на котором изображена схема (рис . 1), как раз и показывает это . Автор № 5 указал аффилиацию с двумя организациями - организация № 1 и организация № 2 .
Калюжный К. А.: Это будут равновесные аффилиации?
Золотарев Д. В.: Да, равновесные, совершенно верно . Это имеет отношение к тому вопросу, который задавал Александр Юрьевич: как учитывать . Если от одного автора идут к разным организациям две аф-филиации, то они равнозначно учитываются в расчете долей Спасибо
Калюжный К. А.: Спасибо .
Ушакова С. Е.: Я в продолжение этого вопроса . Есть ли какое-то измерение того факта, что в одной организации человек работает на полную ставку (как основное место), а в другой организации он, допустим, в качестве приглашенного консультанта или на 1/4 ставки . Учитывается ли это как-то с точки зрения научных организаций, не учитывается, и нужно ли это учитывать?
Золотарев Д. В.: Насколько я знаю, не учитывается никак сейчас И приведенная схема не даст нам понять, какая из этих связей наиболее значимая, но мне кажется, что это должно оставаться на совести автора Если работа, которую он ведет, будучи занятым на полной ставке в организации, касается его деятельности в этой организации, то значит,
240
Обсуждение статьи Д. В. Золотарёва
вторую организацию он не должен указывать . Даже если тематика одна и та же, но работа осуществлена на базе этой организации . Наоборот, там, где он на 1/4 ставки читает одну лекцию в год, но он провел какое-то исследование со студентами или с коллегами по кафедре (если это какой-то ВУЗ), то тогда он не имеет права указывать основное место работы, морального права . Еще мы обсуждали с коллегами в РИЭПП проблему низкой культуры оформления статей в России . Для российских авторов суть на первом месте, а форма - на втором месте, на третьем, вообще на последнем месте И вот это, наверное, неправильно, особенно сейчас, с развитием методов наукометрии, откладывать это на последние места нельзя И вот эти вещи нужно ставить если не на первое место, то сразу после содержания, на них нужно обращать внимание . Спасибо большое, это очень важный вопрос
Калюжный К. А.: Спасибо . Еще есть у кого-то вопросы? Дмитрий Васильевич, присаживайтесь . Спасибо за Ваше выступление . Теперь перейдем к обсуждению Есть ли у кого-либо желание прокомментировать сегодняшнюю нашу тему?
Ушакова С. Е.: Я хотела сказать, что да, безусловно, проблема количественной оценки результатов труда ученых и научных организаций очень остро стоит, особенно на фоне развития информационных технологий и конкуренции научных организаций за финансовые ресурсы Но, тем не менее, я бы хотела сказать о мировом опыте Дело в том, что не во всех странах используются количественные методы оценки научных организаций . Насколько я знаю, например, во Франции и Великобритании происходит исключительно экспертная оценка научных организаций, они не доверяют количественным методам . А в некоторых странах, например, в Нидерландах, в Австралии, в Германии существует комбинированная система оценки, то есть это количественная и экспертная система оценки С моей точки зрения, все-таки лучше доверять комбинированной системе оценки, и, наверное, вы со мной согласитесь Дмитрий Васильевич, Вы упомянули такую проблему, что сложно встроить экспертную систему оценки в количественную из-за того, что сложно формализовать субъективные отзывы о работе той или иной научной организации и отдельного научного сотрудника Но это просто как небольшая идея, не новая идея и, я думаю, скорее всего, таким методом пользуются в странах, где сочетают экспертную и количественную оценку Это балльная система, когда экспертам высылается какая-то форма, и они (может быть анонимно) заполняют форму, выставляя баллы, то есть оценивают по каждому параметру организацию по 5-ти или 10-ти балльной системе и потом, эта экспертная оценка перетекает в количественную Это все, что я хотела добавить к сегодняшнему обсуждению Спасибо
Пахомов А. Ю.: Небольшое пожелание с моей стороны . Во-первых, такой момент. Конечно, оценка будет проводиться . И, скорее всего, именно те методы, которые сейчас существуют, не поменяются А второй момент: все-таки в будущем, наверное, имеет смысл дополнить целый счет фракционным методом, но в данном случае, мне кажется, очень большое значение имеет возможность добавления к этому методу
Подходы к решению проблемы двойного учета научных статей 241
веса статьи, определяемого его значимостью (например, импакт-фактор журнала, где опубликована статья) . Например, статья в Nature более весома, чем статья в любом другом журнале . То, что касается экспертного подхода . Однозначно он сохранится, другое дело: на каком уровне мы берем экспертный подход . Одно дело, когда мы берем экспертный подход, допустим, на уровне оценки деятельности небольшого научного коллектива (это действительно может быть сложно, могут быть противоречия, потому что разные научные школы и т. д . ) . Другое дело, когда мы рассматриваем вопрос на уровне организаций . Здесь такой момент: есть организации, которые, например, работают по узкой тематике, как мы можем их оценить? Только при помощи экспертного подхода . Опять же здесь тоже нет встроенной системы, которая бы оценивала чисто статистически, как и статьи, другие результаты труда, например, патенты и т. д . Пока нет методики, даже хотя бы какого-то проверенного метода, который работает с весами статей, то без экспертов мы просто не обойдемся .
То, что касается фракционного метода - у меня есть небольшое пожелание: пытаться выявить фиктивные аффилиации, может быть найти какой-то подход Предложение такого учета существенно бы повысило практическую значимость данного метода . Спасибо за внимание .
Калюжный К. А.: Спасибо, Александр Юрьевич . Кто еще хочет высказаться?
Чеченкина Т. В.: Можно «техническое» замечание, не относящееся к этой статье? Дело в том, что мы наступаем на те же грабли, что и на предыдущем семинаре: тогда мы шокировали г-на Богорова из Thomson Reuters, когда он узнал, что то, что в «InCites» можно сделать за пять минут, наш институт делал пять человеко-месяцев, потому что мы вручную обрабатывали 29 000 записей . Так и в этом случае, вся часть, касающаяся комбинаторики, построена на том, что у нас нет полного доступа к функциям Web of Science . Именно поэтому мы можем ограничиться семью, максимум - девятью организациями Поскольку если мы возьмем 20 таких организаций, это будет уже миллион запросов, 30 организаций - миллиард запросов . Я считаю, что нам надо как-нибудь обратиться через Министерство, чтобы у нас была возможность «выгрузить» всю эту базу со статьями Тогда мы можем сделать все, что угодно, за один проход алгоритма Например, решить задачу, предложенную Андреем Владимировичем Клыпиным - присвоить веса авторам в зависимости от расположения в списке Все это делается элементарно, если у нас есть информация Поэтому я считаю, что нам надо озадачиться получением полного доступа и уже не тратить время на какие-то изыски, а работать на конкретную цель Спасибо
Калюжный К. А.: Спасибо, Татьяна Валерьевна. Действительно, очень ценное для нас практическое предложение, которое будет востребовано любым исследователем или группой исследователей
Подведем итоги
Я думаю, что направлением дальнейших исследований в рамках сегодняшней тематики должна стать выработка некоего подхода, учитывающего качество статей . То есть квалиметрия - это та перспективная
242
Обсуждение статьи Д. В. Золотарёва
вещь, которая должна заменить превалирующие сегодня количественные методы оценки . Возможно, для решения этой задачи стоит обратить внимание на то, что у, так называемых, поисковых систем в Интернете стоит примерно та же проблема - оценить качество текстов . Есть серьезные наработки - у Яндекса и у Google, имеющие в своей основе какие-то научные исследования, даже патенты, быть может, в этом направлении нужно двигаться и как-то взаимодействовать с ними . На этом мы завершаем наш круглый стол Всем спасибо, до новых встреч
