CC BY-NC-ND
75
Наука
Детерминанты продуктивности научных исследований в сфере высшего образования:
эмпирический анализ
Дж. Джейкоб*, М. Ламари**
Роль высшего образования в производстве новых знаний неуклонно растет. Вместе с тем исследования продуктивности университетских ученых пока не многочисленны, хотя их результаты имеют критическое значение для научной политики.
В статье на примере канадских университетов оценивается роль разных факторов в повышении результативности исследователей: объема финансовой поддержки, ее источников, возраста и пола ученых, языка преподавания, размера учебного заведения.
40 | ФОРСАЙТ | Т. 6. № 3 | 2012
* джейкоб джоан — менеджер по оценке проектов.
E-mail: johann.jacob@enap.ca
** ламари Моктар — директор. E-mail: moktar.lamari@enap.ca
Центр экспертизы исследований и оценки программ, Национальная школа государственного управления (Centre dexpertise et de recherche en evaluation de programmes (CREXE), Ecole nationale dadministration publique), Университет Квебека, Канада
Адрес: 555, boulevard Charest Est, Quebec (Quebec) G1K 9E5
Ключевые слова
университетские исследования; библиометрические индикаторы; финансирование исследований; продуктивность ученого; оценка эффекта; импакт-фактор.
Прогресс научных исследований сферы образования во многом достигнут благодаря таким ведущим ученым, как психолог Ж. Пиаже и экономист Дж. Хекман, лауреат Нобелевской премии. Их работы оказали серьезное влияние на подходы к развитию человеческого капитала; как следствие, возросли оценки эффектов, производимых вузовской наукой в отношении общественного благосостояния. Пиаже проанализировал факторы, способствующие более эффективной передаче знаний [Piaget, 1972], а Хекман — социально-экономические показатели формирования человеческого капитала, доказав, что социальные эффекты процесса обучения обратно пропорциональны возрасту учащегося [Heckman, Cameron, 2001]. Эти достижения послужили основой для дальнейших изысканий в рассматриваемой сфере, а многочисленные публикации по их результатам стали аргументом в пользу выделения целевого государственного финансирования на исследования сферы образования, объемы которого постоянно росли [Edwards, 2000; Mortimore, 1999].
Тем не менее вклад университетских ученых в получение новых знаний не всегда соответствует ожиданиям [Carayol,Matt,2006; Adams, Griliches, 1996, 1998, Mortimore, 1999]. Необходимость оптимизации расходования средств вынуждает спонсирующие организации корректировать стратегии их распределения, включая критерии финансирования вузовской науки. Соотношение расходов на научную деятельность (гранты, обеспечение инфраструктурой, подготовка кадров и т. п.) и ее результатов (продуктивность, цитирование, эффект и др.) становится стратегическим аспектом принятия государственных решений, оказывающих влияние на развитие инноваций и компетенций. Оказавшись в фокусе внимания специалистов в области оценки научной политики, продуктивность ученых была установлена в качестве критерия для государственного инвестирования в науку [Walbergetal., 1977, 1981; Smith, Caulley, 1981]. Данной теме посвящен ряд исследований, в основном в странах-членах ОЭСР — Франции [Carayol, Matt, 2006; Turner, Mairesse, 2003], США [Bozeman, Gaughan, 2007; Adams, Griliches, 1998], Италии [Abramo et al., 2009], Новой Зеландии [Goldfinch, 2003], Великобритании [Elton, 2000], Австралии [Marinova, Newman, 2008] и ЕС [Defazio et al., 2009].
Несмотря на изобилие эмпирических изысканий в отношении публикационной активности, лишь немногие из них оценивают ее применительно к образовательной сфере [Clark, Guba, 1976; Eash, 1983; Gordon et al., 1984; Kroc, 1984; Walberg et al., 1977; West, 1978]. При этом создается впечатление, что они ограничиваются анализом цитирования некоторых известных специалистов в данной области [Walberg et al., 1977] или компиляцией цитат из отдельных статей [Smith, Caulley, 1981; Walberg et al., 1981]. Ряд авторов попытались оценить влияние публикаций в образовательных журналах [Campbell, 1979; Campanario et al., 2006; Luce, Johnson, 1978; Mayo et al., 2006; Orr, 2004; Smart, Elton, 1981; Haas et al., 2007]. Работ, посвященных детерминантам результативности вузовских ученых, нам выявить не удалось.
На восполнение упомянутого пробела направлено предпринятое нами исследование.
Наука
Помимо идентификации факторов, определяющих продуктивность университетской науки, мы попытались оценить, насколько эффективно используются выделенные на нее средства. Анализ проводился на примере научных сотрудников университетов канадской провинции Квебек. Информационной основой служили детализированные хронологические данные о затратах на исследования и их результирующие показатели (последние измерялись с помощью библиометрических индикаторов). Мы исходили из предположения, что продуктивность исследовательских проектов в значительной степени определяется объемом и источниками финансирования.
Концептуальные рамки и детерминанты продуктивности
Теоретическая основа
Развитие практики измерений производительности научных исследований во многом обусловлено влиянием эконометрических моделей, устанавливающих на макроэкономическом уровне связь между результатами научной деятельности, экономическим ростом и улучшением благосостояния общества, включая здравоохранение, уровень доходов, качество жизни и т. д. Говоря более конкретно, с точки зрения задач нашего анализа особый интерес представляет модель, описывающая микроэкономический процесс трансформации затрат (финансовых, кадровых, организационных и др.) в измеримые продукты (например новые знания, статьи, монографии, инновации и др.). Наши рассуждения основаны на работах Дж. Адамса и Ц. Грилихеса [Adams, Griliches, 1996, 1998], приравнивающих продуктивность (с помощью известных экономической науке производственных функций, логарифмическая спецификация которых позволяет оценить коэффициенты эластичности результатов исследовательской деятельности) к затратным переменным, в частности финансовым ресурсам, человеческому капиталу (квалификация, возраст, пол, статус исследователей и т. п.) и к другим активам, связанным с научными дисциплинами или организациями (научными группами, лабораториями, кафедрами и т. д.). Линейная регрессия позволяет оценить динамику отдачи от масштаба на основе проанализированных результатов [Adams, Griliches, 1998].
Методологическая основа
Как в абсолютной, так и в динамической перспективе оценка политики позволяет судить об адекватности, эффективности и значимости государственной поддержки научной и инновационной деятельности [Marinova, Newman, 2008; Hicks et al., 2004; Abramo et al., 2009; Geuna, Martin, 2003]. В ряде стран для демонстрации эффектов исследований, выполненных за государственный счет, в отношении производства знаний, создания инноваций и распространения новых технологий используются методы оценки на основе фактических данных. При этом расходы на науку напрямую связываются с ее «продуктом». Распространена практика оценки отдачи финансирования (включая персональные, возобновляемые, смешанные гранты) с точки зрения произво-
2012 | Т. 6. № 3 | ФОРСАЙТ I 41
Наука
дительности (качества и объема научных результатов) [Adams, Griliches, 1998]. Оценка программ позволяет формализовать связи затрат, результатов и внешнего влияния в рамках логической модели и программ, выявить корреляцию между этими параметрами, которая часто формулируется в терминах связи полученных результатов с политикой государства.
Первые попытки ранжирования университетских подразделений по производительности опирались на опросы экспертов, которые выделяли лучшие, по их мнению, факультеты, кафедры и т. п. [Walberg, 1972; Cartter, 1977; Ladd, Lipset, 1979; Blau, Margulies, 1975; Sieber, 1966]. Позднее стали использоваться показатели публикационной активности — количественные (число индивидуальных и совместных статей) и качественные (например, эффект, цитирование). Наибольшее распространение при оценке авторитета ученого или публикации получил импакт-фактор [Brainerd, 2006; Campanario et al., 2006; Glanzel, Moed, 2002]. Он служит индикатором влияния той или иной работы на изданные впоследствии материалы, измеряемого числом цитирований.
Для получения более полной картины, помимо числа статей, научная производительность организации оценивается по выступлениям ее сотрудников на конференциях или семинарах; средствам, полученным от институтов, не относящихся к финансирующим организациям, и др. [Denton et al., 1986; Eash, 1983]. Дополнительными количественными характеристиками влияния исследовательских работ являются:
• уровень цитирования в расчете на публикацию;
• процент высокоцитируемых работ ученого;
• средний (медианный) импакт-фактор совокупного количества статей ученого;
• средний стандартизованный рейтинг журналов, печатающих автора;
• соотношение персонального импакт-фактора конкретного ученого либо издававших его работы журналов с медианными значениями в сфере его деятельности [ Costas et al., 2010].
Для корректировки ошибок, связанных с расчетом определенных индикаторов, разработаны такие показатели как e-индекс, g-индекс, H-индекс, уровень цитирования с учетом возраста [Ouimet et al., 2011].
Детерминанты продуктивности университетских исследований
Рассматриваемые в литературе многочисленные факторы, определяющие продуктивность научной деятельности, можно разделить на три основные категории: индивидуальные характеристики ученых, показатели финансирования и организационный контекст. Рассмотрим их подробнее, начав с первых.
Связь между возрастом и производительностью ученых неоднократно была предметом эмпирического анализа [Gordon et al., 1984; Gingras et al., 2008; Lehman, 1953]. Большинство авторов полагают, что возраст научного работника косвенно свидетельствует о его опыте и объеме накопленных знаний, однако мнения о наиболее «плодовитом» возрастном периоде расходятся. Одни считают, что это промежуток между сорока-пятьюдесятью [Lehman, 1953] или
42 | ФОРСАЙТ | Т. 6. № 3 | 2012
пятьюдесятью-шестьюдесятью годами [Gingras et al.,
2008], отмечая, что по прохождении этого временного отрезка исследовательская производительность многих специалистов постепенно снижается; они переходят на административную работу или сосредотачиваются на повышении качества, а не на увеличении числа публикаций. С другой стороны, Р. Костас и его коллеги убеждены, что наиболее «плодотворными» являются самые молодые кадры, обосновывая это тем, что последние стремятся сделать выдающуюся научную карьеру [Costas et al., 2010].
Другой значимый фактор продуктивности — пол исследователя. В работе [Levin, Stephan, 1998] отмечается, что женщины публикуются меньше, чем коллеги-мужчины. В числе причин называются: семейные обязанности, недостаточное участие в научных сетях (где доминируют мужчины) или неадекватное представительство в административных кругах, распоряжающихся бюджетами на исследования. Однако многообразие ситуаций и контекстов не позволяет получить однозначного эмпирического подтверждения тому, что женщины-ученые менее результативны, чем мужчины.
К организационным характеристикам, определяющим результативность ителедований, относят размер, репутацию и структуру университета [Broder, 1993]. Ученые в крупных, престижных университетах получают преимущества за счет позитивных экстерналий, которые стимулируют к написанию большего числа статей и достижению высоких показателей цитирования. Принадлежность к таким учебным заведениям позволяет кооперировать с известными учеными; предоставляет широкие возможности добиться издания собственных работ; дает шанс получить привилегированную, перспективную должность и, как следствие, существенно повысить свою квалификацию [Gordon et al., 1984]. Позиции англоязычных университетов в международных рейтингах по научной продуктивности зачастую выше, чем франко- или германоязычных. Отметим, что упомянутые рейтинги не всегда объективны, в частности потому, что не учитывают в достаточной степени работы на других языках, кроме английского, который доминирует в базах данных, индексирующих научные публикации.
Финансовые аспекты составляют основное содержание многих эмпирических работ [Carayol, Matt, 2006; Adams, Griliches, 1996, 1998], в которых доказывается, что производительность ученых в значительной степени определяется стратегиями и приоритетами, в соответствии с которыми спонсирующие организации предоставляют средства [Auranen, Nieminen, 2010]. Выявлено, что источники финансирования (гранты либо поддержка со стороны государственного или частного сектора) оказывают неодинаковое влияние на производственные показатели ученого. Наиболее плодовитыми являются те, кто сочетает исследования, предполагающие оплату по результатам (через гранты), с работами по государственным и корпоративным договорам [Bozeman, Gaughan, 2007].
Исходя из приведенных выше рассуждений, в качестве индикаторов, потенциально детерминирующих
производственные показатели университетской науки, нами выбраны следующие переменные:
• персональные (возраст и пол);
• институциональные (основной язык преподавания и размеры учебного заведения);
• финансовые характеристики, в частности источники поддержки (общий объем; средства, полученные от научных фондов и советов; ассигнования со стороны федеральных и региональных органов власти; корпоративные инвестиции).
Информационная база и объяснительная модель
Виды данных и их источники
Проводя статистический анализ, мы оперировали двумя категориями данных: сведения о финансировании и библиометрические индикаторы. Информация о выделенных средствах получена из административной и статистической отчетности высших учебных заведений, интегрированной в Информационную систему по университетским исследованиям (Information System for University Research, SIRU), поддерживаемую квебекским Министерством образования, досуга и спорта (Quebec Ministry of Education, Recreation and Sports). Система ежегодно обновляется при участии администраций квебекских университетов, ответственных за организацию исследований. Библиометрические показатели взяты из системы Web of Science, индексирующей статьи более чем из 11 000 научных журналов по широкому спектру дисциплин. Такие индикаторы более надежны, чем декларативные, неверифицируемые данные обследований, основанные на ответах, которые выбираются респондентами по своему усмотрению.
Дополнительным источником финансовой и библиометрической информации служила база данных Expertise recherche Quebec (www.erq.gouv.qc.ca), содержащая сведения о более чем 13 тыс. ученых, работающих в учреждениях высшего образования провинции Квебека.
Как и в аналогичных исследованиях [Carayol, Matt, 2006; Adams, Griliches, 1996, 1998], ученые, входящие в выборку, отбирались по трем критериям: принадлежность к образовательному факультету или кафедре любого квебекского университета; получение финансирования (грант или иные варианты); наличие публикаций за определенный период работы, включенных в базы индексирования авторитетных журналов. Говоря более конкретно, учитывались специалисты, получившие поддержку из одного или более источников, входящих в перечень SIRU (грант, корпорация, государственное ведомство, общественная организация, фонд и др.) в период между 2001 и 2007 гг., и издавшие (самостоятельно или в соавторстве) хотя бы одну работу, проиндексированную в Web of Science в 20022008 гг. Ученые, отвечавшие лишь одному из двух упомянутых условий, в выборку не включались. В целях повышения качества анализа мы добавили годичный интервал, учитывающий временной лаг на подготовку статей между моментом получения финансовой поддержки и датой их выхода в свет [Adams, Griliches, 1998]. Всего были отобраны 194 преподавателя, ведущие научную деятельность в 16 квебекских вузах,
наука
причем все они имели ученую степень (PhD или ее эквивалент). Средний возраст представителей изучаемой когорты составил 53 года, а соотношение женщин и мужчин — 54% на 46%. Почти четверть исследователей (26%) работают в англоязычных университетах, две трети (66%) — сосредоточены в крупных вузах (критерием выделения последних служило наличие медицинского факультета). Приведенные параметры выборки отвечают критериям репрезентативности в терминах возраста, пола и работы в учебных заведениях, определенным ранее в ходе обследования научного персонала вузов и колледжей (University and College Academic Staff Survey, UCASS), выполненного по заказу Конференции ректоров и руководителей университетов Квебека (Conference of Rectors and Principals of Quebec Universities, CREPUQ).
Библиометрические индикаторы включают количество публикаций (индивидуальных и совместных), число цитирований, импакт-фактор, H-индекс. При их расчете учитывались следующие категории работ: научные статьи, заметки и обзоры [Moed, 1996]. Структура объяснительных переменных, задействованных в анализе, представлена в табл. 1, а показатели объемов финансирования — в табл. 2.
Модель
Объяснительная модель представляет собой линейное уравнение, позволяющее проанализировать характеристики продуктивности с помощью переменных, измеряющих привлеченные для производства знаний затраты. Такая модель неоднократно использовалась при оценке влияния объемов инвестиций на производительность исследований [Adams, Griliches, 1998; Bozeman, Gaughan, 2007; Carayol, Matt; 2006; Feldman, Lichtenberg, 1998]. В указанных работах применены логарифмические преобразования ключевых переменных, обеспечивающие интерпретацию коэффициентов регрессии, таких как индикаторы «нормы отдачи с изменением масштаба производства» или коэффициенты эластичности, устанавливающие связь между затратами и выходными показателями. Таким образом, расчеты поддаются трактовке во всех случаях, когда зависимые и независимые переменные преобразовываются в логарифм. Модель выражается формулой:
Q = F (K, L, C), (1)
где Q — значение измеренных результатов (число статей, эффект и т. д.), K — вектор финансовых затрат, L — вектор затрат в терминах характеристик человеческого капитала, а C — вектор контекстуальных организационных характеристик (в том числе, размер университета, язык преподавания, экстерналии).
После логарифмической трансформации уравнение (1) принимает вид:
ln F (K, L, C) = в ln K + a ln L + ш ln C + £, (2)
где параметры в, а и ш — подлежащие оценке коэффициенты регрессии, а £ — остаточный член. Параметры в, а и ш можно интерпретировать в терминах эластичности — относительной дисперсии результатов (в процентах), вытекающей из аналогичного показателя затрат. Приведенные коэффициенты оце-
2012 | Т. 6. № 3 | ФОРСАЙТ I 43
Наука
Табл.1. Описание переменных, использованных в данном исследовании
Переменная Описание Мин. значение Макс. значение Медиана стандартное отклонение
Зависимые переменные
Общее число публикаций (20022008)* Количество научных публикаций, написанных каждым ученым. i 94 4.5 7.864
Число совместных публикаций (20022008)' При расчете данного показателя учитывается доля публикации, написанная соответствующим автором: если статья имеет нескольких соавторов, вклад делится между ними поровну. 0.147 25 1.7 2.319
Число цитирований Число цитирований, полученных статьей в течение пяти лет после ее публикации, для всех соавторов. 0 18.3 0.7 1.99
Импакт-фактор Показатель авторитетности научных журналов, в которых были опубликованы статьи вошедших в выборку ученых. Импакт-фактор ежегодно рассчитывается Институтом научной информации (Institute for Scientific Information, ISI). 0 3.6 0.6 0.673
H-индекс Данный индекс отражает как количество публикаций, так и число цитирований в расчете на одну публикацию. Рассчитывается с учетом максимального количества статей, опубликованных ученым, и числа цитирований каждой статьи. 0 11 1.56 1.672
Независимые переменные
Совокупный объем финансирования (2001-2007)* Общий объем грантов на выполнение научных исследований, полученных каждым ученым (канадских долл.) 50 449 7 796 584 465 151 801 139.48
Ассигнования правительства провинции (20012007)* Общий объем грантов на выполнение научных исследований, полученных каждым ученым от правительства провинции (канадских долл.) 0 7 241 456 186 001 598 021
Ассигнования федерального правительства (2001-2007)* Общий объем грантов на выполнение научных исследований, полученных каждым ученым от федерального правительства (канадских долл.) 0 1 909208 181371 263 702
Средства, Общий объем грантов на выполнение
полученные от корпораций (20012007) научных исследований, полученных каждым ученым от частных компаний (канадских долл.) 0 263 767 8 686 32 992
Средства, полученные от финансирующих советов, и гранты на научные исследования (2001-2007)* Общий объем средств, полученный от финансирующих советов, или в виде грантов на выполнение научных исследований (2001-2008, канадских долл.) 0 1 513 752 219387 224 937
Возраст Возраст исследователя (количество полных лет) в 2008 г. 43 72 53.24 9.82
Пол Пол исследователя. Дихотомическая переменная: мужской=0, женский=1. 0 1 0.54 0.5
Язык преподавания в университете Дихотомическая переменная: французский=0, английский=1 0 1 0.26 0.439
Принадлежность к крупному университету (имеющему медицинский факультет) Дихотомическая переменная: нет=0, да=1 0 1 0.66 0.474
* Перед использованием в регрессионной модели переменные с данной показательной функцией были преобразованы в натуральный логарифм.
Табл. 2. Показатели финансовой поддержки исследователей, вошедших в выборку: 2001-2007
наименование показателя В расчете на одного исследователя (канадских долл.) стандартное отклонение (канадских долл.)
средний максимальный
Совокупный объем финансирования 465 151 7.8 млн 801 139
Ассигнования правительства провинции Квебека 186 001 7.2 млн 598 021
Ассигнования федерального правительства 181 371 263 767 263 702
Средства корпораций 8 686 1.9 млн 32 992
44 | ФОРСАЙТ | Т. 6. № 3 | 2012
ниваются посредством эмпирических данных. Оценка коэффициентов регрессии проведена с использованием метода обычных наименьших квадратов, который также применялся для объяснения продуктивности по пяти индикаторам:
• фактическое количество публикаций;
• H-индекс;
• доля совместных работ (относительный вес статей, написанных в соавторстве);
• число цитирований на одного ученого;
• импакт-фактор.
Каждая из упомянутых характеристик, служащих зависимыми переменными, обладает преимуществами и недостатками. Они не измеряют в точности одни и те же факторы, но тем не менее поддаются корреляции, что не влияет на валидность результатов нашего анализа.
Результаты и их интерпретация
Ниже изложены результаты статистических измерений, которые предполагали оценку выделяемых средств, как по совокупному объему, так и с распределением по источникам (исследовательские советы, федеральные и региональные органы власти, частный сектор). Мы провели факторный анализ зависимых переменных с целью структурирования объясняющих их индикаторов в подмножества коррелятов для измерения производительности (табл. 3). Выявлены два фактора, объясняющих 85% дисперсии значений переменных. Первый охватывает общее число статей, долю совместных работ и H-индекс; он позволяет предположить, что публикационная активность ученых более чем на 50% определяется количественными характеристиками. Второй фактор связан с качеством работ, измеряемым через цитирование и влиятельность издавших их журналов, объясняя треть дисперсии показателей продуктивности ученых. Полученные выводы свидетельствуют, что количество статей не гарантирует успех в терминах цитирования и научного влияния. Отметим, что они согласуются с выводами, описанными в работе [Costas et al., 2010], где аналогичный факторный анализ проводился отдельно по качественным и количественным параметрам, несмотря на то что H-индекс объединяет обе категории.
В табл. 4 и 5 приведены результаты оценки финансирования по двум версиям объяснительной модели — упрощенной (агрегирующей показатели валовых инвестиций в единую переменную) и детализирующей (с распределением полученных средств по источникам и объемам). Этим расчетам предшествовала специальная обработка данных в целях минимизации
Наука
влияния факторов, снижающих статистическую валидность анализа и регрессий, которые описывают детерминантную связь между объясняемыми и объяснительными переменными. Прежде всего, обрабатывались резкие отклонения. По каждой переменной выявлены и верифицированы случаи выхода за рамки стандартного отклонения ±3.3, часть которых были скорректированы, а остальные исключены. Особое внимание уделялось оценке соответствия распределения изучаемых переменных нормальному характеру. Тесты на асимметричность и эксцессы продемонстрировали весьма приемлемые характеристики по всем переменным. Повышению качества распределения изучаемых переменных способствовали и логарифмические преобразования, предназначенные для интерпретации коэффициентов эластичности и регрессии, а также корректировки искажения данных. Значения индикатора F в различных регрессионных таблицах свидетельствуют об адекватности выбранных объяснительных показателей для изучения зависимых переменных. Для выявления возможной мультиколлинеарности были проанализированы коэффициенты корреляции между различными объяснительными переменными. Результаты оказались однозначными: ни один коэффициент не превышает 0.7. Наконец, для различных регрессий тестировался фактор роста дисперсии (variance inflation factor, VIF); ни по одной из объяснительных переменных его значение не превысило 3, что свидетельствует об отсутствии риска мультиколлинеарности.
Эффект агрегированного финансирования
Табл. 4 содержит результаты регрессионного анализа совокупных вложений. Общие показатели отдачи, оцененные в диапазоне от «высокой» до «средней» (значение параметра R2 — 23-29%) при статистически значимом параметре Fs подтверждают адекватность используемой эмпирической модели. Коэффициенты регрессии, приведенные в таблицах, не стандартизованы.
Коэффициент регрессии отражает эластичность (связь относительных дисперсий результатов и затрат). Все значения этого показателя для переменной, характеризующей совокупный объем инвестиций в расчете на одного ученого, являются положительными (варьируются от 0.17 до 0.32) и статистически значимыми, что доказывает значимость влияния финансирования на продуктивность исследований. Так, становится очевидным, что 10%-е увеличение финансирования обусловливает прирост числа публикаций на 3%, медианного H-индекса, числа совместных ра-
Табл. з. Факторный анализ зависимых переменных (с использованием варимакс-вращения и нормализации Кайзера)
Показатели за 2002-2008 гг. Факторы (объясняющие 85% дисперсии)
Число публикаций (53% дисперсии) Качество публикаций (32% дисперсии)
Число публикаций 0.973
Число совместных публикаций 0.963
H-индекс 0.885
Число цитирований 0.889
Импакт-фактор 0.870
2012 | Т. 6. № 3 | ФОРСАЙТ I 45
Наука
Табл. 4. Детерминанты продуктивности: упрощенная модель (регрессия наименьших квадратов)
Общее число публикаций (ln) H-индекс(ln) совместные публикации (ln) Цитирование Импакт-фактор (lnf
Независимые переменные B (СО) B (СО) B (СО) B (СО) B (СО)
Константа -1.98*** (0.744) -0.411 (0.76) -1.6*** (0.51) -0.83 (0.648) 0.40 (0.38)
Индивидуальные факторы
Возраст -0.015*** (0.005) -0.019* (0.05) -0.11*** (0.04) -0.15*** (0.005) -0.006* (0.003)
Пол (женский=1; мужской=0) -0,15 (0,106) - 0,17 (0,09) -0,06 (0,74) -0,26 (0,09) -0,07 (0,054)
Организационные факторы (характеристика университета)
Язык преподавания (английский=1, французский=0) 0.492*** (0.126) 0.395*** (0.102) 0.343*** (0.088) 0.61*** (0.11) 0.153*** (0.05)
Размер университета (крупный=1, малый=0) 0.202* (0.107) 0.096 (0.10) 0.157** (0.074) 0.02 (0.09) 0.045 (0.55)
Финансовые факторы (гранты, канадских долл.)
Общий объем в 2001-2007 гг. (ln) 0.315*** (0.52) 0.169*** (0.051) 0.21*** (0.03) 0.15*** (0.04) 0.11*** (0.027)
R2 0.29 0.28 0.26 0.23 0.27
Статистическая значимость 0.000*** 0.000*** 0.000*** 0.000*** 0.000***
F 13.5 8.62 12.16 9.8 3.22
N 187 167 185 174 112
*** p< 0,01; ** p<0,05, * p<0,1 СО = стандартная ошибка ln = натуральный логарифм
бот и цитирований — на 2 и, наконец, медианного импакт-фактора — на 1%. Приведенные величины характеристик эластичности в целом соответствуют оценкам, выполненным с использованием сходных данных в США [Adams, Griliches, 1998]. Данный факт говорит о том, что с ростом «масштабов производства» и, следовательно, увеличением финансового обеспечения науки «норма отдачи» падает.
В отношении влияния индивидуальных характеристик на продуктивность научных кадров анализ показал, что с увеличением возраста она снижается. Иными словами, чем моложе ученый, тем больше он производит. Вместе с тем существенного влияния пола на переменные продуктивности не выявлено.
Следующий влиятельный фактор — институциональные характеристики учебных заведений. Как правило, исследователи из англоязычных университетов (McGill, Concordia, Bishop’s) публикуются и цитируются чаще, а их статьи имеют более высокий импакт-фактор. Данный факт не вызывает удивления, так как журналы, индексируемые в использованной нами базе данных Web of Science, являются преимущественно англоязычными. Аналогично, сотрудники крупных вузов, в структуре которых присутствует факультет медицины, издают больше работ по сравнению с коллегами из вузов меньшего размера. Одно из возможных объяснений — учебные заведения первой из упомянутых категорий отличаются повышенной
Табл. 5. Детерминанты продуктивности: расширенная модель (регрессия наименьших квадратов)
Общее число публикаций (ln) H-индекс(ln) совместные публикации (ln) Цитирование Фактор эффекта (ln)
независимые переменные B (СО) B (СО) B (СО) B (СО) B (СО)
Константа 0 48 (0.58) 0 53 (0.54) 0 55 (0.4) 0 29 (0.49) 0 78** (0.3)
Индивидуальные факторы
Возраст -0.01*** (0.006) Г'- © о (0.006) -0.003 (0.004) -0.011 (0.005) -0.07* (0.03)
Пол (женский=1; мужской=0) - 0.18* (0.1) -0.19** (0.09) -0.07 (0.07) -0.044 (0.092) -0.08 (0.053)
Организационные факторы (характеристика университета)
Язык преподавания (английский=1, французский=0) 0.49*** (0.132) 0.369*** (0.104) 0.351*** (0.091) 0.59*** (0.11) 0.159*** (0.057)
Размер университета (крупный=1, малый=0) 0.24** (0.1) 0.13 (0.097) 0.18** (0.076) 0.043 (0.094) 0.078 (0.054)
Финансовые факторы (объем грантов)
Академические фонды и советы (ln) 0.132*** (0.037) 0.08*** (0.03) 0.088*** (0.026) 0.072** (0.032) -0.003 (0.016)
Федеральное правительство (ln) 0.03 (0.02) 0.03 (0.02) 0.01 (0.01) 0.023 (0.017) 0.011 (0.013)
Правительство провинции (ln) 0.028** (0.015) 0.03 (0.023) 0.024** (0.01) 0.003 (0.012) 0.007 (0.007)
Частный сектор (ln) 0.008 (0,016) 0.008 (0.015) -0.002 (0.11) -0.015 (0.014) 0.008 (0.008)
R2 0.26 0.29 0.24 0.23 0.14
статистическая значимость 0.000*** 0.000*** 0.00** 0.000*** 0.03**
F 7.35 5.54 6.55 6.213 2.28
N 174 145 165 174 112
*** р< 0,01; ** p<0,05, * p<0,1 СО = стандартная ошибка ln = натуральный логарифм
46 | ФОРСАЙТ | Т. 6. № 3 | 2012
Наука
престижностью и способны привлекать наиболее талантливых молодых ученых. Однако переменная размера не дает статистически значимых коэффициентов регрессии для H-индекса, количества цитирований и импакт-фактора. Это говорит о том, что качество публикаций не всегда зависит от размера заведения, в котором работает ученый.
Эффект источника финансирования
В целях более углубленной оценки вклада финансирования в продуктивность научной деятельности мы проанализировали его по четырем категориям источников:
• академическое, выделяемое финансовыми советами;
• ассигнования со стороны федерального правительства;
• выделение средств из регионального бюджета;
• поддержка со стороны корпораций и некоммерческих организаций.
Итоги соответствующих расчетов отражены в табл. 5. Из нее видно, что положительные статистические значимые коэффициенты регрессии имеются лишь для некоторых вышеназванных источников. Полученные данные свидетельствуют, что лишь академическая поддержка и гранты оказывают позитивный и статистически значимый эффект в отношении почти всех индикаторов продуктивности. Соответственно, ученые, получающие средства из этих источников, демонстрируют более высокую производительность; 10%-ное увеличение такой поддержки обеспечивает аналогичный рост числа статей. Что закономерно: публикация достигнутых результатов в научных изданиях — обязательное условие получения средства от этих субъектов. Поступления из этого источника также имеют значительное влияние в отношении H-индекса, количества совместных работ и цитирований.
Далее, выявлена положительная и статистически значимая связь числа статей (как индивидуальных, так и совместных) с объемом средств, выделяемых правительством Квебека. Другими словами, вклад со стороны федерального правительства и частного сектора не является вектором продуктивности. Возможно, причина в том, что в Квебеке принципиальные решения об адресатах поддержки и направлениях исследований принимаются на уровне провинции, однако это предположение требует уточнения.
Заключение
В данной работе проанализированы факторы, определяющие продуктивность исследований, выполняемых сотрудниками университетов. Как основной рассматривалась финансовая поддержка, которая оценивалась как в абсолютном отношении, так и с распределением по источникам. Кроме того, изучалось влияние и дру-
гих показателей, таких как возраст и пол ученых, язык преподавания и размер учебного заведения.
Результаты анализа подтвердили нашу гипотезу о том, что финансирование — ключевая составляющая вклада в продуктивность науки в целом и вузовской в частности. Наблюдается положительная связь между интенсивностью затрат и количеством изданных работ. Она подтверждается коэффициентами регрессии со значением менее 1, что означает снижение «нормы отдачи» при росте «масштабов производства». Установлено, что эластичность научной продукции по отношению к расходам на ее производство составляет примерно 0.32 в терминах числа публикаций. Иными словами, при прочих равных условиях 10%-й прирост выделяемых средств в среднем обеспечивает 3%-е увеличение объема исследовательских работ.
Для других детерминант наблюдаемая эластичность оказалась слабее — в диапазоне от 0.11 до 0.21. Таким образом, в соответствии с использованными индикаторами, влияние затрат на качество результатов может быть более или менее значительным. Можно утверждать, что расходы на эту деятельность стимулируют повышение числа статей (как индивидуальных, так и совместных). Однако с учетом индикаторов, отражающих научную ценность публикаций (H-индекс, цитирование, импакт-фактор), действенность данного «рычага» резко снижается.
В отношении источников финансирования, наиболее положительное влияние на продуктивность ученых продемонстрировала поддержка из регионального бюджета. Опять-таки, эта эффективность снижается (менее 1% прироста на 10%-е увеличение инвестиций), если принимать в расчет иные индикаторы, помимо общего числа публикаций.
Кроме того, подтверждена роль других детерминантов продуктивности ученых, таких как: возраст ученых, язык преподавания и размер учреждений, в которых они работают. В целом, более высокую производительность демонстрируют молодые кадры, а также исследователи из крупных университетов (имеющих подразделение по подготовке медиков) и/или преподающих на английском языке.
Выявленные в ходе нашего анализа закономерности целесообразно учитывать при экспертизе итогов реализации программ. Важно, чтобы принимались во внимание не только валовые показатели (количество подготовленных статей), но и качество этих публикаций (цитирование и реальные результаты, полученные на основе изданных работ), а также персональные характеристики авторов и организационный контекст. Тем самым разработчики инициатив по поддержке научных исследований получат максимально полную информацию, необходимую для повышения эффективности соответствующих программ. Ш
Abramo G., D’Angelo C.A., Caprasecca A. (2009) Allocative Efficiency in Public Research Funding: Can Bibliometrics Help? // Research Policy. Vol. 38. № 1. Р 206-215.
Adams J.D., Griliches Z. (1996) Research Productivity in a System of Universities // National Bureau of Economic Research Working Papers series. Vol. 5833. P 1-28.
Adams J.D., Griliches Z. (1998) Research Productivity in a System of Universities // Annales deconomie et de statistique. Vol. 49/50. P 127-164. Auranen O., Nieminen M. (2010) University Research Funding and Publication Performance — An International Comparison // Research Policy. Vol. 39. № 6. Р 822-834.
Blau PM., Margulies R.Z. (1975) The Reputations of American Professional Schools // Change. Vol. 6. № 10. P. 42-47.
2012 | Т. 6. № 3 | ФОРСАЙТ I 47
Наука
Bozeman B., Gaughan M. (2007) Impacts of Grants and Contracts on Academic Researchers’ Interactions with Industry // Research Policy. Vol. 36.
№ 5. Р. 694-670.
Brainerd C.J. (2006) Developmental Review’s Most Influential Articles // Developmental Review. Vol. 26. № 1. P. 1-14.
Campanario J.M., Gonzalez L., Rodriguez C. (2006) Structure of the Impact Factor of Academic Journals in the Feld of Education and Educational Psychology: Citations from Editorial Board Members // Scientometrics. Vol. 69. № 1. Р. 37-56.
Campbell R. (1979) Fifteenth Anniversary Perspective: A Critique of the Educational Administration Quaterly // Library Review. Vol. 15. № 3.
P. 1-19.
Carayol N., Matt M. (2006) Individual and Collective Determinants of Academic Scientists’ Productivity // Information Economics and Policy.
Vol. 18. № 1. P 55-72.
Cartter A. (1977) The Cartter Report on the Leading Schools of Education, Law and Business // Change. Vol. 9. № 2. P 44-48.
Clark D.L., Guba E.G. (1976) Studies of Productivity in Knowledge Production and Utilization by Schools, Colleges and Departments of Education // Research on Institutions of Teacher Education. Bloomington, IN: Indiana University.
Costas R., van Leeuwen T.N., Bordons M. (2010) A Bibliometric Classificatory Approach for the Study and Assessment of Research Performance at the Individual Level: The Effects of Age on Productivity and Impact // Journal of the American Society for Information Science and Technology. Vol. 61. № 8. Р. 1564-1581.
Defazio D.A., Lockett A., Wright M. (2009) Funding Incentives, Collaborative Dynamics and Scientific Productivity: Evidence from the EU Framework Program // Research Policy. Vol. 38. № 2. P. 293-305.
Denton J.J., Tsai C.-Y., Cloud C. (1986) Productivity of Faculty in Higher Education Institutions // Journal of Teacher Education. Vol. 37. № 5.
Р. 12-16.
Eash J. (1983) Educational Research Productivity of Institutions of Higher Education // American Educational Research Journal. Vol. 20. № 1.
Р. 5-12.
Edwards T. (2000) All the Evidence Shows...: Reasonable Expectations of Educational Research // Oxford Review of Education. Vol. 26. № 3-4.
Р 299-311.
Elton L. (2000) The UK Research Assessment Exercice: Unintended Consequences // Higher Education Quartely. Vol. 54. № 3. Р. 274-283.
Feldman M.P., Lichtenberg F.R. (1998) The Impact and Organization of Publicly-Funded Research and Development in the European Community // Annals of Economics and Statistics. Vol. 49/50. P. 199-222.
Garfield E. (1979) Citation Indexing — Its Theory and Application in Science, Technology and Humanities. New York, NY: John Wiley & Sons. Garfield E. (1990) How ISI Selects Journals for Coverage: Quantitative and Qualitative Considerations // Current Contents. Vol. 13. № 22. P 185. Geuna A., Martin B.R. (2003) University Research Evaluation and Funding: An International Comparison // Minerva. Vol. 41. № 4. Р. 277-304. Gingras Y., Lariviere V., Macaluso B., Robitaille J.-P. (2008) The Effect of Aging on Researchers’ Publication and Citation Pattern // PLoS ONE.
Vol. 3. № 12. Р 40-48.
Glanzel W., Moed H.F. (2002) Journal Impact Measures in Bibliometric Research // Scientometrics. Vol. 53. № 2. Р. 171-193.
Goldfinch S. (2003) Investing in Excellence? The Performance-based Research Fund and its Implications for Political Science Departments in New Zealand // Political Science. Vol. 55. № 1. Р 39-55.
Gordon N.J., Nucci L.P., West C.K., Hoerr W.A., Uguroglu M.E., Vukosavich P, Tsai S.-L. (1984) Productivity and Citations of Educational Research: Using Educational Psychology as the Data Base // Educational Researcher. Vol. 13. № 7. Р. 14-20.
Haas E., Wilson G.Y., Cobb C.D., Hyle A.E., Jordan K., Kearney K.S. (2007) Assessing Influence on the Field: An Analysis of Citations to Educational Administration Quarterly, 1979-2003 // Educational Administration Quarterly. Vol. 43. № 4. Р. 494-512.
Heckman J.J., Cameron S. (2001) The Dynamics of Educational Attainment for Blacks, Whites and Hispanics // Journal of Political Economy.
Vol. 109. № 3. Р. 455-499.
Hesli V.L., Lee J.M. (2011) Faculty Research Productivity: Why Do Some of our Colleagues Publish More than Others? // Political Science & Politics. Vol. 44. № 2. Р. 393-408.
Hicks D., Tomizawa H., Saitoh Y., Kobayashi S. (2004) Evolving Indicators, Bibliometric Techniques in the Evaluation of Federally Funded Research in the United States // Research Evaluation. Vol. 13. № 2. Р. 78-86.
Hesli V.L., Lee J.M. (2011) Faculty Research Productivity: Why Do Some of Our Colleagues Publish More than Others? // Political Science & Politics. Vol. 44. № 2. Р. 393-408.
Kroc R.J. (1984) Using Citation Analysis to Assess Scholarly Productivity // Educational Researcher. Vol. 13. № 6. Р 17-22.
Ladd E.C., Lipset S.M. (1979) The 1977 Survey of the American Professoriate // Chronicle of Higher Education. Vol. 17. № 18. Р 7-8.
Lariviere V., Macaluso B., Archambault Ё., Gingras Y. (2010) Which Scientific Elites? On the Concentration of Research Funds, Publications and Citations // Research Evaluation. Vol. 19. № 1. Р. 45-53.
Lehman H.C. (1953) Age and Achievement. Princeton, NJ: Princeton University Press.
Levin S.G., Stephan P. (1998) Gender Differences in the Rewards to Publishing in Academe: Science in the 1970’s // Sex Roles. Vol. 38. № 11/12.
Р. 1049-1064.
Lindsey D. (1978) The Scientific Publication in Social Science. San Francisco, CA: Jossey-Bass.
Luce T., Johnson D. (1978) Rating of Educational and Psychological Journals // Educational Researcher. Vol. 7. № 10. P 8-10.
Marinova D., Newman P. (2008) The Changing Research Funding Regime in Australia and Academic Productivity // Mathematics and Computers in Simulation. Vol. 78. № 2-3. Р 283-291.
Mayo C.R., Zirkel P.A., Finger B.A. (2006) Which Journals are Educational Leadership Professors Choosing? // Educational Administration Quarterly. Vol. 42. № 5. Р. 806-811.
Moed H.F. (1996) Differences in the Construction of SCI Based Bibliometric Indicators among Various Producers: A First Overview // Scientometrics. Vol. 35. № 2. Р. 177-191.
Mortimore P. (1999) Does Educational Research Matter? // British Educational Research Journal. Vol. 26. № 1. Р. 5-24.
Orr M. (2004) Political Science and Education Research: An Exploratory Look at two Political Science Journals // Educational Researcher. Vol. 33. № 5. Р. 11-16.
Ouimet M., Bedard P-O., Gelineau F. (2011) Are the H-Index and Some of Its Alternatives Discriminatory of Epistemological Beliefs and Methodological Preferences of Faculty Members? The Case of Social Scientists in Quebec // Scientometrics. Vol. 88. № 1. Р. 91-106.
Piaget J. (1972) L^pistemologie Genetique. Paris: Presses universitaires de France.
Sieber S.D. (1966) The Organization of Educational Research. New York, NY: Columbia University, Bureau of Applied Social Research.
Smart J.C., Elton C.F. (1981) Structural Characteristics and Citation Rates of Education Journals // American Educational Research Journal. Vol. 18. № 4. Р. 399-413.
Smith N.L., Caulley D.N. (1981) The Evaluation of Educational Journals Through the Study of Citations // Educational Researcher. Vol. 10. № 5.
Р. 11-24.
Turner L., Mairesse J. (2003) Explaining Individual Productivity Differences in Scientific Research Productivity: How Important are Institutional and Individual Determinants? An Econometric Analysis of the Publications of French CNRS Physicists in Condensed Matter: 1980-1997 (Working Paper). University of Sorbonne, France.
Walberg H.J. (1972) University Distinction in Educational Research: An Exploratory Survey // Educational Researcher. Vol. 1. № 1. Р. 15-16. Walberg H.J., Rasher S.P., Mantel H. (1977) Eminence and Citations in Educational Psychology // Educational Researcher. Vol. 6. № 3. Р. 12-13. Walberg H.J., Vukosavich P, Tsai S.L. (1981) Scope and Structure of the Journal Literature in Educational Research // Educational Researcher.
Vol. 10. № 8. P. 11-13.
West C.K. (1978) Productivity Ratings of Institutions Based on Publications in Journals of the American Educational Research Association: 19701976 // Educational Researcher. Vol. 7. № 2. Р. 13-14.
48 | ФОРСАЙТ | Т. 6. № 3 | 2012
Science
Factors Influencing Research Productivity in Higher Education:
An Empirical Investigation
Johann Jacob
Evaluation Project Manager. E-mail: johann.jacob@enap.ca Moktar Lamari
Director. E-mail: moktar.lamari@enap.ca
Centre dexpertise et de recherche en evaluation de programmes (CREXE), Ecole nationale dadministration publique,
Universite du Quebec, Canada
Address: 555, boulevard Charest Est, Quebec (Quebec) G1K 9E5
Abstract
Universities play an increasingly significant role in producing new knowledge. The relationship between research inputs (grants, infrastructure spending, training of researchers) and research outputs (number of publications, citation, impact) emerges, therefore, as a strategic issue for public decision-making on funding in support of innovation and the development of competencies. Despite the abundance of empirical works on the question of researcher productivity, there is a paucity of studies dealing with this issue in the context of higher eductaion.
This paper seeks to identify the factors that explain research productivity in higher education, using as a case study, the universities in Quebec-Canada. The main hypothesis is that productivity in scientific research is significantly influenced by the volume and origin of the funding sources mobilized to support scientific research performance. We analyzed data on 194 researchers for the period of 2001-2008. Individual publications in referred journals (number of publications, fractioned publications, citations, impacts) were used as indicators for research
productivity. Factor analysis and linear regression served as tools for evaluation.
Our findings imply that the volume of funding is not as influential as supposed. We revealed that age and language (Francophone versus Anglophone) of university instruction, and, in addition, the origin of funding do affect researcher productivity. Generally speaking, young researchers, as well as those affiliated with Anglophone or/and large universities tend to produce more publications. The gender of researcher does not seem to significantly influence the productivity variables.
The results of our analysis should motivate program evaluators who assess the benefits of public funding and intervention to support academic research. It is essential that evaluators do not only see these benefits in terms of number of publications produced, but also through the prism of publication quality (citations and outcomes generated) as well as individual and organizational attributes. In this way, those designing interventions to support research will benefit from the fully-fledged information necessary to improve program effectiveness.
Keywords
university research; bibliometric indicators; research funding; research productivity; impact evaluation; impact factor.
References
Abramo G., DAngelo C.A., Caprasecca A. (2009) Allocative Efficiency in Public Research Funding: Can Bibliometrics Help? Research Policy, vol. 38, no 1, pp. 206-215.
Adams J.D., Griliches Z. (1996) Research Productivity in a System of Universities. National Bureau of Economic Research Working Papers series, vol. 5833, pp. 1-28.
Adams J.D., Griliches Z. (1998) Research Productivity in a System of Universities. Annales deconomie et de statistique, vol. 49/50, pp. 127-164.
Auranen O., Nieminen M. (2010) University Research Funding and Publication Performance — An International Comparison. Research Policy, vol. 39, no 6, pp. 822-834.
Blau P.M., Margulies R.Z. (1975) The Reputations of American Professional Schools. Change, vol. 6, no 10, pp. 42-47.
Bozeman B., Gaughan M. (2007) Impacts of Grants and Contracts on Academic Researchers' Interactions with Industry. Research Policy, vol. 36, no 5, pp. 694-670.
Brainerd C.J. (2006) Developmental Review's Most Influential Articles. Developmental Review, vol. 26, no 1. p. 1-14.
Campanario J.M., Gonzalez L., Rodriguez C. (2006) Structure of the Impact Factor of Academic Journals in the Feld of Education and Educational Psychology: Citations from Editorial Board Members. Scientometrics, vol. 69, no 1, pp. 37-56.
Campbell R. (1979) Fifteenth Anniversary Perspective: A Critique of the Educational Administration Quaterly. Library Review, vol. 15, no 3, pp. 1-19.
2012 | Vol. 6. No 3 | FORESIGHT-RUSSIA I 49
Science
Carayol N., Matt M. (2006) Individual and Collective Determinants of Academic Scientists’ Productivity. Information Economics and Policy, vol. 18, no 1, pp. 55-72.
Cartter A. (1977) The Cartter Report on the Leading Schools of Education, Law and Business. Change, vol. 9, no 2, pp. 44-48.
Clark D.L., Guba E.G. (1976) Studies of Productivity in Knowledge Production and Utilization by Schools, Colleges and Departments of Education. Research on Institutions of Teacher Education, Bloomington, IN: Indiana University.
Costas R., van Leeuwen T.N., Bordons M. (2010) A Bibliometric Classificatory Approach for the Study and Assessment of Research Performance at the Individual Level: The Effects of Age on Productivity and Impact. Journal of the American Society for Information Science and Technology, vol. 61, no 8, pp. 1564-1581.
Defazio D.A., Lockett A., Wright M. (2009) Funding Incentives, Collaborative Dynamics and Scientific Productivity: Evidence from the EU Framework Program. Research Policy, vol. 38, no 2, pp. 293-305.
Denton J.J., Tsai C.-Y., Cloud C. (1986) Productivity of Faculty in Higher Education Institutions. Journal of Teacher Education, vol. 37, no 5,
pp. 12-16.
Eash J. (1983) Educational Research Productivity of Institutions of Higher Education. American Educational Research Journal, vol. 20, no 1, pp. 5-12.
Edwards T. (2000) All the Evidence Shows...: Reasonable Expectations of Educational Research. Oxford Review of Education, vol. 26, no 3-4, pp. 299-311.
Elton L. (2000) The UK Research Assessment Exercice: Unintended Consequences. Higher Education Quartely, vol. 54, no 3, pp. 274-283.
Feldman M.P., Lichtenberg F.R. (1998) The Impact and Organization of Publicly-Funded Research and Development in the European Community. Annals of Economics and Statistics, vol. 49/50, pp. 199-222.
Garfield E. (1979) Citation Indexing — Its Theory and Application in Science, Technology and Humanities. New York, NY: John Wiley & Sons.
Garfield E. (1990) How ISI Selects Journals for Coverage: Quantitative and Qualitative Considerations. Current Contents, vol. 13, no 22, p. 185.
Geuna A., Martin B.R. (2003) University Research Evaluation and Funding: An International Comparison. Minerva, vol. 41, no 4, pp. 277-304.
Gingras Y., Lariviere V., Macaluso B., Robitaille J.-P. (2008) The Effect of Aging on Researchers’ Publication and Citation Pattern. PLoS ONE, vol. 3, no 12, pp. 40-48.
Glanzel W, Moed H.F. (2002) Journal Impact Measures in Bibliometric Research. Scientometrics, vol. 53, no 2, pp. 171-193.
Goldfinch S. (2003) Investing in Excellence? The Performance-based Research Fund and its Implications for Political Science Departments in New Zealand. Political Science, vol. 55, no 1, pp. 39-55.
Gordon N.J., Nucci L.P., West C.K., Hoerr W.A., Uguroglu M.E., Vukosavich P, Tsai S.-L. (1984) Productivity and Citations of Educational Research: Using Educational Psychology as the Data Base. Educational Researcher, vol. 13, no 7, pp. 14-20.
Haas E., Wilson G.Y., Cobb C.D., Hyle A.E., Jordan K., Kearney K.S. (2007) Assessing Influence on the Field: An Analysis of Citations to Educational Administration Quarterly, 1979-2003. Educational Administration Quarterly, vol. 43, no 4, pp. 494-512.
Heckman J.J., Cameron S. (2001) The Dynamics of Educational Attainment for Blacks, Whites and Hispanics. Journal of Political Economy, vol. 109, no 3, pp. 455-499.
Hesli V.L., Lee J.M. (2011) Faculty Research Productivity: Why Do Some of our Colleagues Publish More than Others? Political Science &
Politics, vol. 44, no 2, pp. 393-408.
Hicks D., Tomizawa H., Saitoh Y., Kobayashi S. (2004) Evolving Indicators, Bibliometric Techniques in the Evaluation of Federally Funded Research in the United States. Research Evaluation, vol. 13, no 2, pp. 78-86.
Hesli V.L., Lee J.M. (2011) Faculty Research Productivity: Why Do Some of Our Colleagues Publish More than Others? Political Science &
Politics, vol. 44, no 2, pp. 393-408.
Kroc R.J. (1984) Using Citation Analysis to Assess Scholarly Productivity. Educational Researcher, vol. 13, no 6, pp. 17-22.
Ladd E.C., Lipset S.M. (1979) The 1977 Survey of the American Professoriate. Chronicle of Higher Education, vol. 17, no 18, pp. 7-8.
Lariviere V., Macaluso B., Archambault Ё., Gingras Y. (2010) Which Scientific Elites? On the Concentration of Research Funds, Publications and Citations. Research Evaluation, vol. 19, no 1, pp. 45-53.
Lehman H.C. (1953) Age and Achievement, Princeton, NJ: Princeton University Press.
Levin S.G., Stephan P (1998) Gender Differences in the Rewards to Publishing in Academe: Science in the 1970’s. Sex Roles, vol. 38, no 11/12, pp. 1049-1064.
Lindsey D. (1978) The Scientific Publication in Social Science, San Francisco, CA: Jossey-Bass.
Luce T., Johnson D. (1978) Rating of Educational and Psychological Journals. Educational Researcher, vol. 7, no 10, pp. 8-10.
Marinova D., Newman P. (2008) The Changing Research Funding Regime in Australia and Academic Productivity. Mathematics and Computers in Simulation, vol. 78, no 2-3, pp. 283-291.
Mayo C.R., Zirkel P.A., Finger B.A. (2006) Which Journals are Educational Leadership Professors Choosing? Educational Administration Quarterly, vol. 42, no 5, pp. 806-811.
Moed H.F. (1996) Differences in the Construction of SCI Based Bibliometric Indicators among Various Producers: A First Overview. Scientometrics, vol. 35, no 2, pp. 177-191.
Mortimore P. (1999) Does Educational Research Matter? British Educational Research Journal, vol. 26, no 1, pp. 5-24.
Orr M. (2004) Political Science and Education Research: An Exploratory Look at two Political Science Journals. Educational Researcher, vol. 33, no 5, pp. 11-16.
Ouimet M., Bedard P.-O., Gelineau F. (2011) Are the H-Index and Some of Its Alternatives Discriminatory of Epistemological Beliefs and Methodological Preferences of Faculty Members? The Case of Social Scientists in Quebec. Scientometrics, vol. 88, no 1, pp. 91-106.
Piaget J. (1972) L^pistemologie Genetique. Paris: Presses universitaires de France.
Sieber S.D. (1966) The Organization of Educational Research. New York, NY: Columbia University, Bureau of Applied Social Research.
Smart J.C., Elton C.F. (1981) Structural Characteristics and Citation Rates of Education Journals. American Educational Research Journal, vol. 18, no 4, pp. 399-413.
Smith N.L., Caulley D.N. (1981) The Evaluation of Educational Journals Through the Study of Citations. Educational Researcher, vol. 10, no 5, pp. 11-24.
Turner L., Mairesse J. (2003) Explaining Individual Productivity Differences in Scientific Research Productivity: How Important are Institutional and Individual Determinants? An Econometric Analysis of the Publications of French CNRS Physicists in Condensed Matter: 1980-1997 (Working Paper), University of Sorbonne, France.
Walberg H.J. (1972) University Distinction in Educational Research: An Exploratory Survey. Educational Researcher, vol. 1, no 1, pp. 15-16.
Walberg H.J., Rasher S.P., Mantel H. (1977) Eminence and Citations in Educational Psychology. Educational Researcher, vol. 6, no 3, pp. 12-13.
Walberg H.J., Vukosavich P., Tsai S.L. (1981) Scope and Structure of the Journal Literature in Educational Research. Educational Researcher, vol. 10, no 8, pp. 11-13.
West C.K. (1978) Productivity Ratings of Institutions Based on Publications in Journals of the American Educational Research Association: 1970-1976. Educational Researcher, vol. 7, no 2, pp. 13-14.
50 | FORESIGHT-RUSSIA | Vol. 6. No 3 | 2012
