CC BY
21О.В. Михайлов
РОЛЬ ЦИТИРУЕМОСТИ ИССЛЕДОВАТЕЛЯ В ОЦЕНКЕ ЕГО НАУЧНОЙ ДЕЯТЕЛЬНОСТИ1
Ключевые слова: цитируемость, импакт-фактор, научная деятельность.
Keywords: citation, impact-factor, scientific activity.
Аннотация: Проанализированы и обсуждены общие и частные проблемы, связанные с оценкой значимости конкретного исследователя по показателям его личной цитируемости и цитируе-мости научных изданий, в которых опубликованы его работы. Отмечено, что для объективной оценки качества научной деятельности необходимо учитывать как тот, так и другой показатель. Предложено математическое выражение, позволяющее дать количественную оценку цитируемости.
Abstract: The general and individual problems connected with valuation of significance of concrete researcher according to parameters of his own citation and citations of scientific journals where his works were published have been analyzed and discussed. It has been noted that, for objective valuation of quality of scientific activity, both these parameters should be taken into consideration. The mathematical equation allowing to give quantitative valuation of citation has been presented.
Вплоть до начала прошлого века весомость вклада ученого оценивалась научным сообществом лишь по содержательным качественным критериям. В последние десятилетия, когда занятие
1 Настоящая статья подготовлена по материалам пленарного доклада автора на Второй всероссийской конференции по науковедению «Модернизация России: Наука, образование, высокие технологии» (Москва, 15-17 ноября 2010 г.).
наукой стало достаточно массовым явлением, все более настоятельным требованием времени становится необходимость оценки такой весомости с использованием количественных параметров, не зависящих от каких-либо субъективных факторов. В современной России, декларирующей движение к демократическим ценностям, такая оценка вообще нужна как воздух. Во-первых, потому, что ученые титулы и звания ныне стали своего рода «приложением» к имиджу того или иного чиновника, зачастую никакого отношения к науке не имеющего. Во-вторых, потому, что весьма часто ученые степени и звания, равно как и другие «знаки отличия» (государственные премии, медали, гранты и т.д.), присуждаются не за реальные научные достижения, а за то, что у нас называют кратким словом «блат». В-третьих, потому, что без такой объективной оценки уже в ближайшей перспективе науке грозит уход из нее именно тех исследователей, которые как раз ее и создают, но талант и достижения которых не получают должной оценки.
В нашей предыдущей работе [4] мы в качестве одного из ключевых параметров объективной оценки выделили цитируе-мость. Данный параметр, однако, складывается по крайней мере из двух составляющих:
1. Личная цитируемость исследователя, которая характеризуется следующими показателями:
- общее число работ (статей) исследователя в базе данных различных наукометрических систем и институтов (РИНЦ, Scopus, ISI и др.);
- число ссылок на конкретные статьи, находящиеся в соответствующей базе данных, и общее число ссылок на эти статьи;
- индекс Хирша N - число статей, на каждую из которых сделано не менее чем N ссылок.
2. Цитируемость научных изданий (в основном периодических), где опубликованы работы исследователя, которая характеризуется следующими показателями:
- импакт-фактор издания IF (отношение количества ссылок, сделанных на все статьи в издании за двухлетний период, предшествующий году обследования, к общему числу статей, опубликованных в издании за этот же период) на момент выхода в свет работы исследователя [1-3];
- время «полужизни цитирования» издания (cited half-life), определяемое как период времени, по истечении которого цити-руемость снижается вдвое;
- общее число ссылок на статьи данного издания.
В настоящее время и в отечественной, и в западной наукометрии в качестве базового показателя цитируемости, как правило, используется первая из указанных выше составляющих. Этот способ является более простым. Надо лишь сосчитать общее число ссылок на статьи исследователя, включенные в соответствующую базу данных. Однако при этом возникает ряд проблем, которые, на наш взгляд, нельзя оставлять без внимания. Их можно подразделить на три категории и с определенной долей условности назвать «идеолого-генетическими», «технико-экономическими» и «нацио-нально-традиционалистическими». Рассмотрим их в перечисленном порядке.
«Идеолого-генетические» проблемы
Первая из таких проблем возникает, если задуматься над тем, что важнее: сами по себе опубликованные работы исследователя, научного коллектива или же востребованность этих работ другими исследователями. Справедлив ли уже сам тезис о том, что цитируемость или востребованность работ ученого является критерием их научной ценности?
11 февраля 1826 г. Н.И. Лобачевский сделал на ученом совете Казанского университета свой первый доклад по неэвклидовой геометрии. Доклад этот был воспринят кем-то с недоумением, а кем-то и просто «в штыки». Аналогичное отношение сформировалось и к его трудам на эту тему, об их востребованности не было и речи. Признание пришло лишь в 1868 г., когда безвестный на тот момент итальянский математик Бельтрами опубликовал мемуары «Опыт интерпретации неэвклидовой геометрии». Лобачевского на тот момент уже 10 лет не было в живых.
Атомистическое учение Демокрита оставалось невостребованным вплоть до начала XX в.
Известны и обратные случаи. Так, работы Птолемея по геоцентрической системе мира более тысячи лет служили теоретической базой астрономии, но после появления системы мира Коперника практически полностью потеряли свое значение; труды «народного академика» Т.Д. Лысенко в 40-х и начале 50-х годов XX в. в СССР рассматривались как высшее достижение мысли, а начиная с конца 50-х годов - как разновидность научного невежества и шарлатанства. Однако по уровню цитируемости среди биологов он и по сей день - в лидерах. Означает ли это, что его личный вклад в биологию является наиболее весомым среди них?
За всю историю науки никого не цитировали столько, сколько классиков марксизма-ленинизма. Во всяком случае, в бывшем СССР. Означает ли это, что их личный вклад в науку превышает вклад любого из остальных исследователей в области общественных наук? Ответ, на мой взгляд, совершенно очевиден и однозначен.
Заметим, что сам по себе факт ссылки на чужие работы еще отнюдь не свидетельствует о том, что исследователь, процитировавший ту или иную работу, детально ознакомился с ней или хотя бы видел ее в глаза. Цитирование какой-либо публикации - даже многократное - весьма часто есть лишь признание ее существования и связи с той или иной научной тематикой, но не более того. О ценности же этой публикации для развития данной тематики данный факт еще ничего не говорит. Корреляции между степенью цитирования и востребованностью публикации в общем случае нет1.
В любой отрасли науки уже давно имеются как «открытые» исследования, с содержанием которых может ознакомиться любой человек, «неопределенный круг лиц», так и «закрытые», с ограниченным доступом, с грифом секретности. Это как бы «надводная» и «подводная» части некоего айсберга, соотношение между размерами которых, кстати, сильно зависит от отрасли науки. При этом работающие по «закрытым» тематикам ученые, если и цитируются вообще, то крайне мало по сравнению со своими коллегами, работающими по открытым. Более того, при переходе любого исследователя из «надводной» части в «подводную» его имя подчас вообще исчезает со страниц научной печати. Так, в частности, случилось в годы Второй мировой войны с известными физиками Р. Оппен-геймером, В. Гейзенбергом, Э. Ферми, работавшими над созданием атомного оружия. Сейчас, наверное, мало кто сомневается в том, что имена С.П. Королева, И.В. Курчатова и А.Д. Сахарова золотыми буквами вписаны в историю российской и мировой науки. Однако в то время, на которое пришелся пик их творческой деятельности, о них знали единицы - это были «секретные физики». Лишь после того как они сами отошли от дел (И.В. Курчатов, С.П. Королев)
1 К слову, мне неоднократно приходили письма от не знакомых со мной лично зарубежных исследователей с просьбой выслать им оттиски моих опубликованных статей. К незнакомому человеку с такими просьбами без особой нужды обращаться не будут. Эти статьи действительно были им нужны. Просьбы эти я обычно выполнял, однако цитирование именно этими исследователями моих публикаций мне ни разу не встречалось. Так что востребованность публикации и ее цитирование - это разные вещи, и одно из другого никак не вытекает. -Прим. авт.
или были изгнаны из соответствующей «подводной» отрасли науки и встали в открытую оппозицию (А.Д. Сахаров), их имена оказались на слуху. Совершенно очевидно, что цитируемость любого из них если и не равна нулю, то сильно от него уж точно не отличается. Но если при оценке их научной деятельности принимать во внимание лишь этот параметр, то ни одного из этой великолепной троицы нельзя признать сколько-нибудь серьезным ученым.
Наконец, в разных отраслях науки сложилось разное отношение к цитированию. При этом в наибольшей степени склонны к упоминанию работ своих коллег по цеху биологи и медики, в существенно меньшей - физики и химики, а вот математики к цитированию не тяготеют. И вполне возможна ситуация, когда математик, имя которого случайно «затесалось» в список соавторов статьи, опубликованной в биологическом или медицинском журнале, приобретет благодаря этой статье гораздо больший индекс цитирования, чем по всем своим статьям в математических журналах. И, соответственно, далеко превзойдет в этом отношении своих коллег, имеющих более значимые для математики труды, но лишь в математических журналах, где уровень цитирования невелик. Кроме того, системы цитирования в различных отраслях знания отнюдь не идентичны. Так, в отраслях знания, объединяемых термином «науки о Земле» (география, геология, геофизика и др.), и в биологии долгое время в ходу было цитирование типа «Васильев, 1925» или «Fenske, 1944» без указания конкретного источника публикации (не говоря уж о выходных данных). Узнать по такой ссылке, какая именно работа данного автора цитируется, невозможно. Да и вообще более-менее единая система цитирования (со списком литературы в конце научной работы, где в каждой ссылке указаны по крайней мере авторы и выходные данные издания) утвердилась в науке лишь в последние 30-50 лет. Можно ли привести к «единому знаменателю» вышеуказанные различия?
«Технико-экономические» проблемы
Даже при поверхностном анализе специфики цитируемости исследователя можно подметить следующее обстоятельство. Одна и та же работа в принципе может быть процитирована в «суперавторитетном» издании вроде «Nature», может - в куда менее известном «Журнале экспериментальной и теоретической физики», а может и в фактически безвестном издании типа «Вестник» или «Труды» научно-исследовательского учреждения. С чисто формаль-
ной стороны - три ссылки. Вправе ли мы считать их эквивалентными друг другу, или все-таки цитирование в «Nature» в нашем случае более значимое по сравнению с двумя остальными? Нужно ли принимать во внимание уровень авторитетности того издания, в котором дана та или иная ссылка? Вот вопросы, на которые не только никто не ответил, но и которые никто до сих пор не поставил.
Коль скоро мы задумались над тем, зависит ли «ценность» ссылок от источника цитирования, то нельзя не задуматься и о зависимости этой «ценности» от разновидности самой работы. Представим себе, что некий исследователь за какое-то время в одном и том же научном издании получил 10 ссылок на одну монографию, другой получил за тот же самый отрезок времени тоже 10 ссылок, но уже на пять различных статей, третий - опять-таки 10 ссылок, но на 10 различных тезисов докладов. Кто из них по части цитируемости более ценен, или же они оказываются в абсолютно равном положении? И если эти десять ссылок не эквивалентны друг другу, то как сопоставлять по уровню значимости ссылки на разные по категории и объему публикации?
Хорошо известно и общепринято, что современный ученый, как правило, входит в состав какой-либо исследовательской группы - либо как руководитель, либо как исполнитель. Но даже и у исследователей-одиночек в статьях весьма часто фигурируют соавторы, а подчас и лжесоавторы. Причем порой по весьма экзотическим причинам. К примеру, знаменитый физик Гамов в 1948 г. вместе с Альфером и Бете, фамилии которых удачно образовывали начало греческого алфавита, «выдал на-гора» т.н. а,Р,у- теорию большого взрыва Вселенной. При этом стоящий в списке соавторов на первой позиции Альфер внес весьма малый вклад по сравнению с Гамовым (который в этом списке был последним!), а Бете и вовсе, как говорится, рядом не стоял. Как впоследствии признал сам Гамов, эти фамилии понадобились ему лишь для одной цели -придания изящества заглавию своего детища. Не будем здесь полемизировать ни по поводу этого самого «изящества», ни по поводу этичности такого решения Гамова. Тем не менее зададимся простым вопросом: если научную публикацию цитируют, то каждый ее автор (соавтор) вправе считать, что цитируется его труд? Или же следует вносить каждую такую ссылку в зачет только первого автора? Или в зачет того, кто внес наибольший вклад в создание этой публикации, пусть даже он и стоит в списке соавторов не на первой позиции? А может быть, стоит выделить долю конкретного
автора в этой ссылке по числу соавторов (1/2, 1/3 и т.д.) или же выделить эти доли по взаимной договоренности между соавторами?
Не секрет, что в ряде случаев ученые в своих трудах ссылаются на свои же более ранние публикации. Такое стремление вполне естественно и до определенной степени оправданно, так как часто данная публикация ученого является продолжением его прежних работ. Если же исследователь работает над проблемами, которые в настоящее время никто более не изучает, необходимость в самоцитировании становится еще большей, а иногда и вынужденной. В последнем случае очень даже вероятно, что ученый будет цитироваться другими авторами куда меньше, чем самим собой. И понятно почему: наука ныне столь сильно дифференцировалась, что значительная часть исследователей мало интересуются чем-либо хоть немного выходящим за рамки той отрасли, в которой они работают, и на не имеющих к ним прямого отношения «чужаков» ссылаться не станут. Надо ли принимать во внимание самоцитирование и считать ли его вкладом в общую цитируе-мость той или иной работы, и если да, то в какой степени - на равных правах с цитированием другими авторами или нет?
Как бы то ни было, это те вопросы, на которые можно и должно ответить. Но об этом позже.
«Национально-традиционалистские» проблемы
В истории науки нередко бывало так, что возвеличивались заслуги одного исследователя в ущерб другому по ряду соображений, к науке никакого отношения не имеющих (личностных, националистических, политических). До сих пор не везде в должной мере признают роль и приоритет Д.И. Менделеева как творца периодической системы химических элементов, на первые роли выдвигают француза А. де Шанкуртуа, немца Л. Мейера или англичан Дж. Ньюлендса и У. Одлинга. Зато выдающемуся энциклопедисту XVIII в. М.В. Ломоносову в России приписывают едва ли не все великие открытия его времени, причем даже те, что стали достоянием науки после его смерти (например, закон сохранения энергии). Здесь налицо выраженные националистические амбиции. Явление комбинационного рассеяния света получило название «ра-мановской спектроскопии» по имени индийского физика Ч. Рамана, хотя любому непредвзятому историку науки очевидно, что лавры первооткрывателя (а заодно и полученную им в 1930 г. Нобелевскую премию) он как минимум должен был бы разделить с нашим
соотечественником Л. И. Мандельштамом. Здесь в дело уже вмешалась политика: будь Л.И. Мандельштам гражданином США, Франции, той же Индии или, на худой конец, Гваделупы, признание наверняка последовало бы незамедлительно. Как следствие этого публикации Л. И. Мандельштама фактически преданы забвению, а на публикации Ч. Рамана многократно ссылались и ссылаются до сих пор. В еще более сложной ситуации оказался опять-таки наш соотечественник Б. П. Белоусов, впервые наблюдавший периодическую химическую реакцию, хотя здесь ни политика, ни национализм уже ни при чем: он вообще не смог опубликовать ни в одном химическом журнале даже одну статью на эту тему - все они были отвергнуты рецензентами с демагогическими комментариями типа «этого не может быть, потому что не может быть никогда». Одна из таких его статей все же увидела свет в ведомственном «Сборнике рефератов по радиационной медицине», но химики в основной своей массе ее прочесть не смогли, ибо об этом сборнике не знали. Белоусов за рубежом и в СССР при жизни остался фактически безвестным. О нем, правда, вспомнили, когда присуждали Государственную премию за открытие периодических химических реакций, и включили его в список лауреатов, но сам Белоусов скончался за несколько лет до того.
Нельзя не отметить и вот какое важное обстоятельство: в разных странах отношение к цитированию своих коллег вообще и соотечественников в частности неодинаково. К примеру, мы, россияне, сравнительно мало ссылаемся на публикации наших авторов, опубликованных в наших же журналах, - во всяком случае, куда реже, чем наши коллеги из стран «восьмерки». Так, согласно данным В.А. Маркусовой [3], в период 1990-2005 гг. американцы в среднем ссылались на работы своих соотечественников в американских же журналах в 67% случаев, японцы - в 37, англичане - в 30, французы - в 24, мы же - всего в 17% случаев. Примечательно, что в публикациях ученых из стран бывшего СССР доля ссылок на российские журналы значительно больше - почти 33%. При этом российские ученые цитировали публикации американских авторов в американских журналах примерно в 35% случаев (т.е. в два раза чаще, чем статьи своих соотечественников!), тогда как американцы цитировали российских авторов не более чем в 5% случаев. И вряд ли в последние пять лет положение здесь существенно изменилось. Нужно ли учитывать это обстоятельство или же нет?
И последнее. Современной «латынью» науки является, как известно, английский язык, чему есть как технические, так и лин-
гвистические предпосылки. Не вдаваясь здесь в подробности, отметим, что еще в конце 80-х годов прошлого века почти 85% (!) всей мировой научной литературы было опубликовано на английском языке и лишь 15% - на других языках. В настоящее время процент англоязычных статей является еще более высоким. Соответственно и цитируемость англоязычных статей в целом значительно выше других статей. Согласно данным В.А. Маркусовой [3], у англоязычных статей выше и средний уровень цитируемости -средняя цитируемость одной такой статьи составляет 3,7. Для сравнения скажем, что средняя цитируемость одной русскоязычной статьи - 0,9, немецкоязычной - 0,6, франкоязычной и японоязыч-ной - около 0,5. Ну, а средняя цитируемость статей, опубликованных на других языках (в том числе и на наиболее распространенных в мире испанском и арабском), еще ниже. Нужно ли принимать во внимание то, на каком языке опубликованы цитируемые работы того или иного исследователя?
Предоставляем читателю право самому судить о том, насколько объективно личная цитируемость исследователя (т.е. общее количество ссылок на его работы) отражает его личный вклад в науку. Что же касается самого автора этих строк, то он убежден: хотя этот показатель что-то значит, одного его недостаточно.
Личная цитируемость - это тот показатель, который от самого исследователя, если он будет действовать честно, никак не зависит. (Если нечестно - то для его повышения найдется не один и не два способа.) Так вправе ли мы вообще считать объективным какой бы то ни было показатель научной деятельности, если исследователь фактически не может оказать на его величину никакого влияния? Убежден, что нет. А потому обязательно следует принять во внимание и другой упомянутый выше параметр, связанный, однако, с цитируемостью уже не самого исследователя, а тех изданий, в которых опубликованы его работы. Ведь здесь можно менять свой «рейтинг» хотя бы за счет публикации своих работ в журналах с различным уровнем авторитетности, да и просто за счет увеличения своей научной продуктивности.
Параметр личной цитируемости исследователя
В настоящее время в наукометрии принято, что авторитетность каждого издания на любой конкретный момент времени определяется величиной его импакт-фактора 1р. При таком подходе усредненная значимость каждой опубликованной в журнале ^ой
статьи в части ее цитируемости равна именно (IF)j, а потому усредненную значимость любого ее фрагмента (а значит, и каждой ссылки, сделанной на любую публикацию в любом другом издании (в том числе - и в этом же самом журнале)), можно постулировать равной именно этому самому значению. В рамках такой концепции «цена» ссылки не зависит от того, что именно цитируется, и это, на мой взгляд, выглядит вполне естественно. Важно количество соавторов - с ростом этой величины вклад конкретного исследователя в общее дело понижается, и это обстоятельство должно быть соответствующим образом учтено. И конечно же следует принять во внимание разновидности ссылок, каковых может быть выделено пять:
- цитирование публикации кем-либо из тех лиц, которые не являются ее соавторами и которые никогда не были таковыми ни для данного исследователя, ни для его соавторов;
- цитирование публикации кем-либо из тех лиц, которые не являются ее соавторами и которые никогда не были таковыми для данного исследователя, но были таковыми для хотя бы одного из других соавторов;
- цитирование публикации кем-либо из тех лиц, которые не являются ее соавторами, но которые являются соавторами данного исследователя по каким-либо другим публикациям (независимо от срока их выхода в свет);
- цитирование публикации кем-либо из ее соавторов;
- цитирование публикации тем из ее соавторов, для которого в данный момент определяется индивидуальный рейтинг научной деятельности (самоцитирование).
Во внимание, безусловно, следует принимать ссылки всех этих пяти категорий; при этом для ссылки первой категории, как наиболее значимой, устанавливается специальный коэффициент ф^ равный 1,00, для ссылок второй категории - 0,80, третьей - 0,60, четвертой - 0,40 и пятой - 0,20. Величину (IF)j для конкретной статьи, помноженную на соответствующий коэффициент ф^ в первом приближении следует поделить поровну между ее Nj соавторами (хотя по взаимной договоренности между последними возможно и деление по реальному вкладу в создание статьи). С учетом всего сказанного можно ввести специальный параметр OC (от англ. «own citation» - личная цитируемость), характеризующий цитируемость конкретного исследователя:
С учетом того, что в разных отраслях науки частота цитирования публикаций различна, в только что приведенную формулу следует ввести поправочный коэффициент Ф, учитывающий отмеченное обстоятельство. При этом значение Ф для математики, как науки с наиболее низкой частотой цитирования, можно принять равным 1,00, а для других наук - определить значения Ф как частные от деления средней частоты цитирования в математике на среднюю частоту цитирования в соответствующей науке. Определение конкретных значений Ф для соответствующей отрасли знания - это весьма серьезная проблема, требующая не просто отдельного рассмотрения, но и четкого определения, что такое вообще отрасль науки. Обсуждение ее уже явно выходит за рамки данной статьи. Как бы то ни было, с учетом всего вышеизложенного итоговое выражение для параметра личной цитируемости приобретет вид:
Поскольку, как уже говорилось выше, усредненная значимость каждой опубликованной в журнале статьи в части ее цитируемости равна именно (If), то в формуле для параметра цитируемости исследователя по научным изданиям (EC, от англ. «edition citation») также будет фигурировать величина (IF)i/Ni. По аналогии с параметром личной цитируемости исследователя следует учесть и различную степень цитируемости в разных отраслях науки, т. е. в выражении для EC будет фигурировать Ф (IF)i/N Однако очевидно, что «цена» статьи в любом журнале и «цена» ссылки на нее в этом же журнале - это далеко не одно и то же, и статья, конечно же, куда как более значимая вещь. В связи с этим в формулу для EC следует ввести некоторый коэффициент а, который отражал бы соотношение между EC и OC. Как представляется автору данной статьи, это соотношение должно быть весьма значительным, во всяком случае -не меньше чем порядка. Поскольку в формулах для OC и EC фигурируют отношение импакт-фактора к числу соавторов и коэффи-
циент Ф, а отличаются они лишь тем, что в первой стоит коэффициент ф|, отражающий разновидность ссылки, а во второй - а, можно в первом приближении принять коэффициент а равным 100. В результате для расчета ЕС получаем выражение:
а итоговая формула для параметра цитируемости конкретного исследователя (SC, от англ. «summary citation») запишется в виде:
В принципе можно подставлять в формулы для OC, EC и SC:
- значения (IF)i и (IF)j для соответствующих научных изданий, которые они имеют в год подсчета данных параметров;
- значения (IF)i и (IF)j для этих же изданий, которые каждое из них имело в год опубликования в нем конкретных работ исследователя.
Более объективным для оценки цитируемости исследователя представляется второй из этих вариантов, пусть даже он и является более сложным для расчета и к тому же далеко не всегда может быть реализован на практике - в частности, для публикаций, вышедших в свет до 1970 г., когда данных по IF не только не существовало, но не было даже самого понятия «импакт-фактор». Ретроспективный взгляд на цитируемость научных изданий пока не реализован даже в созданном Ю. Гарфилдом Институте научной информации (ISI), не говоря уже о других национальных и международных системах, отслеживающих цитируемость. Будет ли это вообще сделано в будущем, сказать не берусь.
Автор выражает свою глубокую и искреннюю признательность Российскому фонду фундаментальных исследований за финансовую поддержку данного исследования (грант № 10-06-00056).
Литература
1. Импакт-фактор // Wikipedia. - Режим доступа: Шр://т.шк1ре&а.ог§/№11а/0/оВ00/о 98%В0%БС%В0%БГ%В0%Б0%В0%БА%В1%82-%В1%84%В0%Б0%00%БЛ% В1%82%В0%ББ%В1%80
2. Маркусова В.А. Осторожно - индекс цитируемости! // Поиск. - М., 1997. -№ 44. - С. 4.
3. Маркусова В.А. Цитируемость российских публикаций в мировой научной литературе // Вестник РАН. - М., 2003. - Т. 73, № 4. - С. 291-298.
4. Михайлов О.В. Критерии объективной оценки качества научной деятельности // Науковедческие исследования, 2010: Сб. науч. тр. / РАН. ИНИОН. Центр научн.-информ. исслед. по науке, образованию и технологиям; Отв. ред. А.И. Ракитов. -М., 2010. - С. 75-90.
