CC BY-NC-ND
21
УДК 378.2:001.8
DOI: 10.28995/2073-6401-2019-2-103-114
Проблемы применения наукометрических методов к измерению эффективности публикационной активности вузовских преподавателей
Елена А. Гришина
Российский государственный гуманитарный университет, Москва, Россия, egrishina@yandex.ru
Аннотация. В статье рассматриваются плюсы и минусы использования наукометрии для изучения развития науки, в том числе вузовской. Говорится об истоках наукометрии как части науковедения в России и за рубежом. Отмечается, что уже в 60-е годы ХХ в. использование Science Citation Indех служило довольно эффективным инструментом для исследования развития науки. В настоящее время возможности наукометрии стали существенно шире, этому способствует развитие информационных технологий. Параллельно с развитием наукометрии происходят абсолютизация количественных данных, формализация и обезличивание информации. Особенно это касается вузовской науки. На основании серии глубинных интервью автор анализирует мнения и оценки вузовских преподавателей и научных работников по поводу наукометрии как критерия эффективности деятельности профессорско-преподавательского состава. Выявляется, что практики применения наукометрических методов часто носят упрощенный и односторонний характер. Жесткие требования соответствия наукометрическим критериям приводят к формализации публикационной активности, формируется специфический рынок услуг по повышению индексов цитирования и оказанию любых «публикационных услуг» (подготовка и размещение статей в журналах ВАК, Scopus и пр.).
Ключевые слова: наукометрия, наукометрические методы, индекс цитирования, публикационная активность, абсолютизация количественных показателей
Для цитирования: Гришина Е.А. Проблемы применения наукометрических методов к измерению эффективности публикационной активности вузовских преподавателей // Вестник РГГУ. Серия «Философия. Социология. Искусствоведение». 2019. № 2. С. 103-114. DOI: 10.28995/20736401-2019-2-103-114
© Гришина Е.А., 2019 ISSN 2073-6401 • Серия «Философия. Социология. Искусствоведение». 2019. № 2
Issues of the scientometric methods application
in measurement of efficiency of the higher school lecturers publication activity
Elena A. Grishina
Russian State University for the Humanities, Moscow, Russia, egrishina@yandex.ru
Abstract. Article analyzes pluses and minuses of use of a scientometrics for studying the science development. It says about scientometrics sources as parts of science of science in Russia and abroad. It is noted that in the 60th years of the 20th century the use of "Science Citation Index" served as quite effective tool for a research of the science development. Currently, the possibilities of ascientometrics have become significantly wider, it is promoted by information technology development.
In parallel with the development of a scientometrics there is the absolutization of quantitative data, formalization and depersonalization of information. Especially it concerns the higher school science. On the basis of a series of deep interviews the author analyzes the higher school teachers and researchers opinions and estimates concerning ascientometrics as the performance criteria for faculty members. It is revealed that practice of applying scientometric methods are often simplified and one-sided. Strict requirements on compliance with scientometric criteria lead to formalization of publication activity. The specific market for services on rising the citation indexes and rendering any "publication services" is formed (preparation and placement of articles in the VAK magazines, SKOPUS and so forth).
Keywords: scientometrics, scientometric methods, index of citing, publication activity, absolutization of quantitative indices
For citation: Grishina EA. Issues of the scientometric methods application in measurement of efficiency of the higher school lecturers publication activity. RSUH/RGGU Bulletin."Philosophy. Sociology. Art Studies" Series. 2019;2: 103-114. DOI: 10.28995/2073-6401-2019-2-103-114
Publish or perish (публикуй или погибнешь) Расхожая фраза, бытует в англо-американских научных кругах
Хиршем Першинг не собьешь... Новая поговорка, бытует в российских научных кругах
Введение
Возможно, что эпиграфы к данной статье покажутся кому-то эпатажными. Но они во многом отражают суть тех проблем, кото-
рые предлагаются к рассмотрению в рамках данной статьи. Процессы, происходящие в стране в области образования и науки, не радуют давно. Реформам не видно конца и края. Налицо парадокс: с высоких трибун звучат победные реляции, в профессиональном сообществе «зашкаливают» негативные эмоции. Особенно много нареканий вызывает крайне формализованный (наукометрический) подход к определению качества работы сотрудников вузов. Автором была выполнена серия интервью с преподавателями московских вузов (п=10). Приведенные высказывания адекватно иллюстрируют отношение профессорско-преподавательского состава к ситуации.
Все сложнее становится... Думал, перестройка закончилась - так нет (выругался. - Е. Г.), извините меня, слов других не нахожу, реформы, реформы, министерства перекраивают, то ФАНО, то еще что-нибудь на нашу голову. Я вот преподаю на полставки - с меня требуют какое-то повышение квалификации. Как работать в таких условиях?.. (мужчина, 71 год, главный научный сотрудник, д-р физ.-мат. наук, член-кор. РАН)1.
У нас собираются опять сокращать штаты. Я не понимаю ничего (некоторое время молчит). Чего мы хотим? И так уже нагрузка очень большая. А тут вообще пошли разговоры, что. лекции по базовым курсам на видео запишут и в профессуре необходимость отпадет. А семинары будут аспиранты вести и ассистенты (смеется). Глупость, конечно. Но сегодня всего можно ожидать.» (женщина, 48 лет, преподаватель вуза, канд. филос. наук, профессор)2.
Сколько можно переделывать рабочие программы. Что в них меняется? Да толком ничего. Порядок разделов и таблиц меняем. Время только тратим. Самое главное - по содержанию чтобы было нормально, но это как раз для проверяющих не важно, важны чисто формальные параметры. Сокращают и сокращают - и часы и людей. Про публикации что сказать - это отдельная песня. Вынуждены что-то изображать, конечно. Но, сами подумайте, что значит для физика написать полезную статью, не для отчета только. А мусора и без меня достаточно публикуют. Нельзя так подходить к оценке качества работы. Может одна небольшая статья больше значить, чем двадцать пять. Нужны не только Хирши и РИНЦы. Экспертные оценки нужны. А кто будет этим заниматься? (мужчина, 47 лет, преподаватель вуза, канд. физ-мат. наук, доцент)3.
1 Интервью 4, архив автора.
2 Интервью 1, архив автора.
3 Интервью 5, архив автора.
Об истоках и содержании отечественной наукометрии
Чтобы увидеть проблему наукометрии целиком, представляется необходимым совершить некий исторический экскурс к истокам науковедения. Это относительно молодая область знания. Начало «науки о науке» принято относить к выходу в свет книги Дж. Бернала, где автор рассматривает различные аспекты состояния и развития науки того времени, в том числе обращается к анализу практик проведения научных исследований в Британии и задается вопросом: какое место наука занимает в обществе, что она делает в обществе, что должна делать и как это можно изучать [1]. Существенное развитие науковедение получило в 60-е годы ХХ в. Так, Д. Прайс опубликовал свою книгу «Наука со времен Вавилона» [2], где попытался проанализировать динамику роста научных журналов с Нового времени и интерпретировать науку как объект исследования. В 1961 г. в Калифорнии был организован Институт научной информации, который возглавил Ю. Гарфилд. Именно здесь был разработан и предложен научному сообществу так называемый Индекс научных ссылок (Science Citation Iпdех, сокращенно SCI), который оказался довольно эффективным инструментом исследования развития науки.
Если говорить об истоках применения наукометрических подходов к науке в нашей стране, то первопроходцем в этом направлении можно считать В. Налимова4, который и ввел термин «наукометрия» в научный оборот. В его статье «Количественные методы исследования процесса развития науки» [3] формулируется концепция наукометрии: что именно целесообразно измерять, каким способом это возможно сделать, какие значение и смысл можно придавать полученным показателям. В качестве значимых задач наукометрии выделялись: изучение структуры и организации науки; оценка эффективности труда научных коллективов и научных работников; выявление факторов, влияющих на эффективность; исследование проблемы подбора и подготовки кадров. На этом основании наукометрия как количественная методология помогла бы прогнозировать развитие науки и даже управлять этим процессом [3 с. 38-47]. Позднее группой авторов во главе с Налимовым была предложена информационная модель процесса развития науки, в которой публикации выступают как основной носитель научной информации, журналы выступают как интерактивные каналы связи и обмена информацией, а библиографические ссылки выступают в роли особого языка для циркулирующей науч-
4 В.В. Налимов, (1910-1997). Профессор Московского государственного университета.
ной информации, показывающей влияние публикаций на развитие научных информационных потоков. В 1969 г. в свет выходит монография «Наукометрия. Изучение развития науки как информационного процесса» [4], где концепция наукометрии изложена наиболее полно и подробно. Это была первая в мире полная монография, посвященная количественным методам изучения развития науки. В ней рассматриваются такие показатели, как рост числа публикаций, количества научных журналов, увеличение ассигнований на науку. Наработки западных коллег тщательно изучались и брались на вооружение отечественными учеными, но не без доли критицизма: «Его (Д. Прайса) формулировки, правда, несколько парадоксальны: "...главной конечной целью работы ученого является статья, которую он публикует", "...ученый нуждается в том, чтобы писать, а не читать; инженер - в том, чтобы читать, а не писать"» [4 с. 43].
Возможности Science Citation Iпdеx рассматривались отечественными специалистами, в частности: 1) для поиска научной информации по определенным вопросам; 2) для изучения развития определенных идей и объективной оценки их значимости; 3) для изучения общих закономерностей распределения и старения научных публикаций» [5 с. 39-49]5.
Итак, наукометрический анализ в России имеет глубокие и давние корни. В настоящее время возможности наукометрии стали существенно шире, этому способствуют развитие информационных технологий, колоссальные информационные потоки и массивы данных, которые могут быть подвергнуты обработке и использованы для построения гносеологических моделей и прогностических сценариев в области развития отечественной и мировой науки. Но есть и другая «сторона медали». Многие исследователи наукометрии (или «библиометрии») утверждают, что наукометрические методы абсолютно недостаточны для объективной оценки реального научного вклада, привносимого конкретными учеными. Параллельно с развитием наукометрии происходят абсолютизация количественных данных, формализация и обезличивание информации, практически - ее содержательное опустошение. Особенно это касается вузовской науки.
Автор настоящей статьи уже высказывала мнение по поводу ошибочности и непродуктивности попыток резко переместить «фокус» отечественной науки с академической на вузовскую и университетскую [6 с. 34-41]. Но Министерство науки и высшего образования РФ настоятельно рекомендует при определении рей-
5 Заметим, что речь ни в коем случае не идет об использовании данного индекса для измерения эффективности научной работы «отдельно взятого» ученого или преподавателя!
тинга вуза учитывать публикационную активность преподавателей, индексы цитируемости, в том числе индекс Хирша и другие наукометрические показатели. Публикации индексируются и оцениваются в индексах научного цитирования: международные базы Web of Science, Scopus и национальный индекс РИНЦ (Российский индекс научного цитирования). С этим напрямую связываются финансирование вуза и соответственно заработная плата преподавателей.
Безусловно, преподаватель вуза может и должен в той или иной мере включаться в научно-исследовательскую работу, быть в курсе последних научных достижений в своей области, в противном случае он деградирует как профессионал. И преподаватели с этим согласны, но...
Публикации - да, нужны, но на качество мало обращают внимания, больше на место публикации. Импакт фактор и т. д. Мы стали больше тратить времени на это, нормальную статью по философии трудно написать. Это время нужно и хотя бы какие-то мысли оригинальные свои. А переписывать одно и то же скучно, но, если честно, приходится иногда - стилистику изменить, что-то добавить - вот и готово. Теперь при аттестации будут Хирш учитывать. Ничего, что-нибудь придумаем. (женщина, 48 лет, преподаватель вуза, канд. филос. наук, профессор)6.
Преподаватели вузов сегодня являют собой ярчайший пример наиболее уязвимой части отечественной интеллигенции. Выдвигаются все новые и новые требования, связанные с «научной активностью», - участие в конференциях, в том числе международных, но получить возможность поехать в оплачиваемую вузом командировку крайне сложно. Кроме того, работа современного преподавателя сопряжена с постоянным самообучением: приходится перерабатывать колоссальные объемы информации, чтобы быть осведомленным о тех новациях, которые постоянно возникают в поле преподаваемой дисциплины, и иметь возможность дать им соответствующую оценку. А это значит - читать научную литературу, просматривать соответствующие информационные ресурсы Интернета, вести онлайн-переписку со студентами. А еще постоянные консультации по поводу курсовых и дипломных работ7, индивидуальные консультации, переэкзаменовки и многое другое. А тут еще эффективный контракт, который выдвигает совершенно определенные, довольно высокие требования, которые далеко не всегда приводят к позитивным результатам.
6 Интервью 1, архив автора.
7 На эти консультации уходит гораздо больше времени, чем запланировано в учебных планах, но это время никак не учитывается официально. Переэкзаменовки тоже не входят в учебный план и не учитываются.
Сегодня полночи не спал, писал очередную статью. А что делать -эффективный контракт - лопни, но держи фасон. Ну и что мы пишем? Это науке мало что дает, я ведь почитываю, что сейчас публикуют по социологии - много чепухи. И это мягко сказано. Вообще - платные публикации - возьмут, что угодно, лишь бы заплатили. А зарубежные публикации - это совсем малооправданно, вообще нас никто не читает. Эти вузовские сборники, коллективные монографии, друг друга цитируем. Зачем? Макулатура! Бумаги жалко! (мужчина, 51 год, преподаватель вуза, канд. социол. наук, доцент)8.
Повышение требований к публикационной активности спровоцировало формирование специфического сегмента «рынка публикационных услуг», который довольно давно и совершенно открыто функционирует в Интернете наряду с сегментом по подготовке курсовых, дипломов и диссертационных работ. Похоже, что в этом «бизнесе» задействованы одни и те же люди. Автором выполнен «пилотажный» анализ подобных интернет-ресурсов на сервисе Яндекс9. Итак, на запрос по ключевым словам «публикация ВАК срочно» получено 87 млн ссылок, на ключевые слова «публикация Scopus быстро» - 49 млн ссылок, на «повысить индекс Хирша платно» - 68 млн ссылок (дата обращения 11 марта 2019). Стабильное существование такого обширного рынка поддерживается спросом, а также весьма грамотными и профессиональными приемами продвижения. Для анализа было отобрано 50 ссылок, которые ярко демонстрируют специфику этого «бизнеса».
Приведем несколько примеров. Вот как выглядит рекламный текст на странице структуры, предлагающей публикации в журналах, входящих в список ВАК:
Публикация в журнале ВАК. Любой специальности. Фиксированная цена 8000 рублей. Срочная публикация в течение месяца. Как мы работаем: 1) подбор журнала ВАК за 1 час; 2) справка о принятии статьи в течение 2 часов; 3) опубликуем статью за 3 дня 10.
Страница интерактивная, на ней указан телефон для связи. Это довольно типичный ресурс, отличия можно обнаружить лишь в формулировках рекламных предложений и ценах, которые зависят от «веса» журнала, его импакт-фактора и научного авторитета. По
8 Интервью 7, архив автора.
9 Проанализировано 50 предложений по подготовке, редактированию и публикации статей ВАК, Scopus и по повышению индекса Хирша.
10 Публикация в журналах ВАК по любой специальности [Электронный ресурс]. URL: http://institut.rinolens.ru/ (дата обращения 10 марта 2019).
тому же принципу работают многие другие подобные ресурсы11. Интересно, что по всем законам маркетинга, используется практика бонусов, акций и скидок. Вот типичное предложение повысить пресловутый индекс Хирша12 - к вашим услугам множество вариантов. Будущему клиенту объясняют технологию работы:
1. Заполните заявку. После заполнения заявки менеджер свяжется с вами и вышлет коммерческое предложение с несколькими вариантами повышения. 2. Согласование плана цитирований. Выберите оптимальный вариант повышения из коммерческого предложения. Подтвердите или уточните список цитируемых публикаций, предложенный менеджером. 3. Предоплата и запуск цитирования. После предоплаты менеджер передаст согласованный план цитирований авторам в работу. Новые цитирования будут появляться в РИНЦ каждые 3-4 недели. 4. Обновление индекса Хирша и доплата. После появления цитирований в РИНЦ необходимо обновить индекс Хирша и внести доплату. Супер предложение! Оставьте заявку прямо сейчас и получите коммерческое предложение со скидкой 10%. Предложение действует до конца дня!
Не правда ли, напоминает работу интернет-магазина? Цены разные: от 500 руб. за одно цитирование до 2000 руб., если срочно. Надо сказать, что спрос на подобные услуги достаточно высок, клиенты остаются вполне довольны. Вот несколько клиентских отзывов о работе так называемой Коллегии независимых авторов «Научник»13:
Заказывали статью и публикацию в ВАКовском журнале. Сделали все как обещали и в срок. Мы все остались очень довольны. Молодцы! Успехов и развития Вам!
Благодарю за профессиональное написание статьи для журнала ВАК! У рецензента замечаний не возникло и статья принята к публикации! Большое спасибо за помощь!
Очень быстрая помощь в публикации. Печатный экземпляр уже получила, спасибо!
11 ВАКПРОФИ [Электронный ресурс]. URL: www.vakprofi.ru (дата обращения
10 марта 2019).
12 Это «объявление» собрано автором из множества подобных предложений и предлагается читателям статьи как некий «типаж», характерный для рекламы подобных услуг.
13 Хирш значения не имеет: только каждый пятый ученый с высоким Хиршем победил на выборах в РАН [Электронный ресурс]. URL: https://indica-tor.ru/article/2016/11 /01/hirsh-znacheniya-ne-imeet/ (дата обращения
11 марта 2019).
Представляется, комментарии для подобных способов повышения эффективности научной работы излишни. Выйти из этого порочного круга крайне сложно. Но сопротивление наукометрии начинает возрастать. Активная критика в адрес наукометрических индикаторов была выдвинута в первую очередь математиками (что несколько неожиданно) - это представители Международного математического союза, Международного совета промышленной и прикладной математики, Института математической статистики. С точки зрения специалистов, применение количественных критериев (Хирш, и пр.) требует большой осторожности: «...среднее улавливает небольшую часть информации об этом распределении, являясь поэтому довольно грубой оценкой.» [8].
Многие ученые и специалисты сегодня склоняются к мнению, что цитируемость - в том числе индекс Хирша - не является очевидным критерием научности публикации. Так же как количество публикаций не может быть абсолютным показателем результативности работы ученого. Опираться на эти показатели - значит провоцировать исследователей на публикации поверхностных статей или сходных статей в разных журналах с незначительными отличиями в текстах. Не говоря уже об использовании описанных выше публикационных услуг. Заметим, что науке известен не один пример, когда одна публикация «переворачивала» целые научные парадигмы. Поэтому количественные показатели не могут выступать универсальным критерием, поскольку не отражают качества публикаций.
Еще один пример, который хочется привести, - это результаты выборов в Российскую академию наук 2016 г. РАН можно принимать за носителя высших критериев научности. Так вот, по итогам выборов 2016 г. в РАН пришли 176 новых академиков и 323 члена-корреспондента. Наукометрические показатели кандидатов не выступали решающим аргументом для экспертов, поскольку индекс Хирша был выше 30 только у 4% от всех зарегистрированных кандидатов14.
Что касается оценки труда преподавателей вузов - здесь ситуация еще сложнее. Работа профессорско-преподавательского состава состоит не только в передаче знаний, но, волей-неволей, в трансляции ценностей, формировании мировоззрения студентов. Это ежедневный незаметный труд, который не может быть учтен никакими индексами и коэффициентами. Это мнение все чаще артикулируется в профессиональном сообществе:
14 Хирш значения не имеет: только каждый пятый ученый с высоким Хиршем победил на выборах в РАН [Электронный ресурс]. URL: https://indica-tor.ru/article/2016/11 /01/hirsh-znacheniya-ne-imeet/ (дата обращения
11 марта 2019).
Безусловно, критерии должны быть исчисляемыми. Но ведь наиболее важные качественные результаты вуза как социального института (например, перспективность научных прорывов или вклад педагогов в развитие личностей обучающихся) невозможно точно измерить. Тем не менее, некоторые исчисляемые индикаторы (критерии, показатели) косвенно могут свидетельствовать об уровне наших достижений. Итак, оценивание по формализованным (исчисляемым) критериям -это сущностно ущербный, но единственно возможный в современном мире подход [9].
Существующая система рейтингов вузов строится преимущественно по количественным критериям, и это вполне устраивает некоторые вузы:
.важно заметить, что важной составляющей рейтингов является цитируемость результатов исследований, а также репутация, которая создается годами. С этим во многом связано то, что ВШЭ - это молодой университет. При этом с каждым годом вуз повышает результативность, в том числе благодаря модели НИУ. В течение еще двух лет НИУ ВШЭ будет участником программы, и за это время университету необходимо повышать эффективность всех показателей, а также развиваться в сторону увеличения присутствия на мировом рынке образовательных услуг [10].
Автор настоящей статьи полагает, что проблема количественного подхода к измерению эффективности труда преподавателей лежит еще и в ценностно-этической плоскости - термины «образование» и «образовательные услуги» несут в себе различную смысловую нагрузку, так же, как «рейтинг» и «репутация». Сложновато и не всегда возможно «алгеброй гармонию измерить».
Заключение
Полноценное использование наукометрических подходов может многое дать для изучения развития науки, как в глобальном масштабе, так и на локальном уровне. Но именно полноценное использование! С привлечением дополнительных методик качественного характера. Пока практика показывает, что наукометрические приемы используются «контролирующими органами» односторонне, как очень примитивный инструмент, что-то вроде кувалды, которой можно скорее разрушить, чем создать. Интересно, что противостояние профессионального сообщества нашествию наукометрии все больше приобретает характер некоторой игры - то ли в прятки, то ли в догонялки, а скорее всего - в казаки-разбойники.
И чувство юмора здесь есть только у одной из сторон. В заключение приведем цитату из интервью, проведенного автором с одним из московских профессоров, доктором физико-математических наук.
Преподаю, но немного, на четверть ставки. Мне кажется, что все нормально в образовании. Студенты продвинутые, правда, ленивы - но так всегда было. Их в тонусе нужно держать - как всегда - кнутом и пряником. У нас не зазеваешься - что-то прогулял или не сделал -потом трудно будет успеть за другими. У нас в институте тоже эта наукометрия, но в разумных пределах. Только зачем наши ученые должны свои научные «находки» публиковать в иностранных журналах? Да еще за деньги.15
Литература
1. Бернал Дж. Наука в истории общества. М.: Изд-во иностранной литературы, 1956.
2. Prise DJ. de Solla. Science Sinse Babylon. New Haven, Conn.: Yale University Press, 1961. 149 p. [Электронный ресурс]. URL https://www.questia.com/read/334133/ science-since-babylon (дата обращения 12 марта 2019).
3. Налимов В.В. Количественные методы исследования процесса развития науки // Вопросы философии. 1966. № 12. С. 38-47.
4. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития наук как информационного процесса. М.: Наука, 1969.
5. Гиляревский Р.С., Мульченко В.М, Терехин А.Т., Черный А.Н. Опыт изучения «Science Citation 1^ех» // Прикладная документалистика. М., 1968. С. 39-59.
6. Гришина Е.А. Научная интеллигенция: противоречия социальной идентификации // Социологические исследования. 2008. № 3. С. 34-49.
7. Игра в цыфирь, или Как теперь оценивают труд ученого: Сборник статей о биб-лиометрике. М.: МЦНМО, 2011.
8. Жуков Д. По каким критериям государство оценивает научные достижения вуза и отдельного учёного? [Электронный ресурс]. URL: http://nexpol.blogspot. com/2013/12/blog-post_21.html (дата обращения 13 марта 2019).
9. Великая Е.В. Модель «национального исследовательского университета» (на примере НИУ «Высшая школа экономики») // Вестник РГГУ. Серия «Философия. Социология. Искусствоведение». 2016. № 2. C. 112-117.
References
1. Bemal J. Science in history of society. Moscow: Publishing house of foreign literature, 1956. (In Russ.)
15 Интервью 9. Архив автора. ISSN 2073-6401 • Серия «Философия. Социология. Искусствоведение». 2019. № 2
2. Prise DJ. de Solla. Science Since Babylon. New Haven, Conn.: YaleUniversity Press, 1961. 149 p. [Internet]. URL: https://www.questia.com/read/334133/science-since-babylon (data obrashcheniya 12 March 2019).
3. Nalimov VV. Quantitative methods of a research of development of Science. Voprosy filosofii.1966;12:38-47.
4. Nalimov VV., Mulchenko ZM. Scientometrics. Studying of development of sciences as information process. Moscow: Nauka Publ.; 1969.
5. Gilyarevsky RS., Mulchenko VM, Terekhin AT., Black AN. Experience of Studying of "Science Citation Index". Prik/adnaya dokumenta/istika. Moscow, 1968. P. 39-59.
6. Grishina EA. Scientific intellectuals. Contradictions of social identification. Sotsio/ogicheskiye iss/edovaniya. 2008;3:34-49.
7. Playing the game of numerature (tsifir'), or How the work of a scientist is nowadays evaluated. Collection of articles on bibliometrics. Moscow: MCCME Publ.; 2011. 72 p.
8. Zhukov D. By what criteria does the state estimates scientific achievements of higher education institution and of the certain scientist? [Internet]. URL: http://nexpol. blogspot.com/2013/12/blog-post_21.html (data obrashcheniya 13 March 2019).
9. Velikaya EV. The model of "National Research University" (by an example of NRU "Higher School of Economics"). RSUH/RGGU Bulletin. "Philosophy. Sociology. Art Studies"Series. 2016;2:112-17. (In Russ.)
Информация об авторе
Елена А. Гришина, доктор социологических наук, профессор, Российский государственный гуманитарный университет, Москва, Россия; 125993, Россия, Москва, Миусская пл., д. 6; egrishina@yandex.ru
Information about the author
Elena A. Grishina, Dr. of Sci. (Sociology), professor, Russian State University for the Humanities, Moscow, Russia; bld. 6, Miusskaya Sq., Moscow, Russia, 125993; egrishina@yandex.ru
