CC BY
617
Л. Н. Беляева, Н. Л. Шубина НАУЧНАЯ СТАТЬЯ КАК ОБЪЕКТ ЭКСПЕРТНОЙ ОЦЕНКИ
В статье рассматриваются новые стратегии и технологии оценки эффективности научной деятельности, особенности экспертной оценки научной статьи в рецензируемом научном издании.
Ключевые слова: научная статья, экспертная оценка, научный журнал, структура статьи, структура рецензии.
L. Belyaeva, N. Shubina
Scientific Paper as a Peer Review Matter
The paper considers new strategies and technologies for scientific activities assessment, the main features of peer review of scientific papers in a reviewed specialist periodicals.
Keywords: scientific article, peer review, science journal, article structure, review structure.
Современный уровень научной коммуникации на фоне абсолютно безграничных возможностей презентации, хранения и распространения информации в системе Интернет определяет необходимость особой оценки достоверности и качества публикуемой научной продукции. В идеале источником современной и качественной информации должны быть рецензируемые научные журналы, часть из которых входит в Перечень российских рецензируемых научных журналов, где должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук [7].
Проблема экспертной оценки публикуемой в этих журналах научной информации
в настоящее время — одна из самых острых и широко обсуждаемых [4; 5]. Во многом это обусловлено необходимостью введения наукометрической оценки научной деятельности учреждений и конкретных лиц (см., например, обсуждение этой проблемы на страницах портала «Научная электронная библиотека eLIBRARY.RU» (http://elibrary.ru/ defaultx.asp). Острая полемика свидетельствует о выработке новых стратегий и технологий оценки эффективности научной деятельности. Наукометрические исследования направлены на создание объективной картины развития конкретного научного направления, чтобы можно было оценить его актуальность, потенциальные возможности, законы формирования информационных потоков и распро-
странения научных идей [6]. Эмпирической базой анализа научной деятельности является научный текст. К основным библиометри-ческим индикаторам относятся количество научных продуктов, ссылок на них, импакт-факторы журналов, в которых они опубликованы, индекс Хирша. Высокие библиометри-ческие показатели определяют во многом конкурентные преимущества университетов, научных учреждений, ученых [10]. Формирование диссертационных советов c учетом библиометрических показателей обусловило и стремление печататься в изданиях с высокими импакт-факторами, а также повышенное внимание к журналам открытого доступа. Но вместе с тем заметно снизило и качество представляемых в редакции журналов публикаций. Ориентация в оценке эффективности научной деятельности только на количественные показатели приводит к неверным управленческим решениям.
Не отрицая положительных результатов введения библиометрических показателей, следует объективно оценивать работу редколлегий журналов по представлению результатов научной деятельности [8; 11].
Научная статья как объект рецензирования.
Поддержание высокого научного уровня и научного статуса журнала определяется научным уровнем публикуемых статей, а также качеством и объективностью их рецензирования. Опыт многолетнего участия в работе редакционных коллегий и советов научного журнала «Известия Российского государственного педагогического университета им. А. И. Герцена», позволяет установить несколько «болевых точек», основными из которых являются следующие:
• несоответствие материалов, представленных к публикации, установленным правилам моделирования текста как особого научного жанра — научной статьи;
• незнание действующего речевого стандарта научной коммуникации;
• нарушение требований публикационной этики.
Представляется очевидным, что наличие именно этих проблем обусловлено необходимостью формирования специальных компетенций в области научной коммуникации на всех ступенях обучения. Не менее важным становится сегодня и знание основ библиометрии.
Публикация в таком научном издании, как рецензируемый журнал, имеет большое значение как для автора (апробация результатов исследования), так и для самого журнала. Содержание журнала формирует целостное восприятие научной отрасли в междисциплинарном аспекте. Подготовка статьи для междисциплинарного научного журнала с неизбежностью нацеливает автора на систематическую рефлексию о структуре используемых им понятий и о сути использованных методов. Ученые вынуждены признать, что так называемые «парадигмальные трансплантации» существенно меняют не только само исследовательское поле, но и способы обмена информацией [11].
Автор научного текста должен создать определенные «степени защиты» своего труда от непонимания или неточного толкования. И в этом смысле экспертиза научного текста должна включать анализ метаязыка описания результатов научных исследований. Научная информация нуждается в особом структурировании, пояснении, анализе, комментировании и соблюдении правил кодирования информации в текст. Соответственно научная статья представляет собой моделированный текст, лексическая структура которого предполагает использование устойчивых выражений для обозначения связей между частями текста и поддержания логики повествования, его связности и смыслового единства. В свою очередь, смысловое единство текста обеспечивается логической последовательностью и непротиворечивостью изложения, логическими связками, использованием стереотипных формул, отсылками к другим частям статьи и т. п.
Кроме того, научная статья — это текст, четко структурированный [1]. Между тем
наличие жесткой структурной заданности во многом усложняет работу автора статьи, поскольку сравнительно небольшой объем публикации требует тщательной и продуманной работы с текстом. Анализ показал, что большинство авторов, владея навыками работы с информацией, не владеют текстовыми нормами. Нелинейное представление информации изменяет внешнюю и внутреннюю структуру статьи.
В ходе экспертизы статей обнаруживается (особенно в последние годы) небрежность в представлении результатов исследования, что проявляется в попытке использовать фрагменты диссертаций или авторефератов к диссертациям в качестве статей без учета жанровых особенностей последних. Соответственно в статьях появляются ссылки на параграфы, положения, выносимые на защиту и т. д. См., например, использование в одной из рецензированных статей следующих утверждений: «объектом исследования автора являются окружные — уездные учреждения и установления местного государственного управления Сибири 18221917 гг.» (с точки зрения рецензента в статье нет такой хронологии и таких обширных территориальных рамок); «целью работы стал анализ состояния управленческих кадров уездного звена местного государственного управления Сибири и их способностей к управлению» (с точки зрения рецензента в статье не рассматривается проблема применительно к территории всей Сибири и тем более не анализируются «способности» чиновников, кроме количества лет их службы и наличия поощрений). Приведенный пример демонстрирует кроме стилистических ошибок именно подход с извлечением части автореферата и попытку представить этот фрагмент как научную статью.
В сферу экспертного анализа статей входит соответствие названия статьи ее содержанию. К сожалению, до сих пор остаются распространенными такие названия статей, как «К вопросу о...», «Некоторые замечания о...», «Некоторые вопросы.». Немало ав-
торов называют свои статьи «Из истории.», что дает право пересказать эту «историю», а в конце сделать вывод: «анализ истории. позволяет констатировать высокий уровень...». Статья, в которой отражаются основные результаты исследования, должна иметь корректное название, отражающее содержание данной статьи. Название статьи должно соотноситься и с выводами к ней. Распространенным является такое оформление выводной части статьи: «представленный материал дает возможность обозначить некоторые штрихи.»; «вышевысказанное не позволяет в полной мере сформулировать.». Выводы к статье имеют особое значение уже и потому, что они характеризуют профессиональную компетентность исследователя, уровень его способности обобщать научные факты.
Особую сложность у авторов вызывает выбор ключевых слов и формулирование аннотации. Часто в качестве ключевых слов используются либо общенаучные термины (проблемы, анализ, метод), либо термины, редко используемые в соответствующей статье. Так, например, в статье объемом 2094 слова в качестве одного из ключевых слов предлагается термин акусматика с частотой 2 в тексте. Выбор ключевых слов является серьезной научной задачей, часто решаемой формально. Дело в том, что степень принадлежности термина или терминологического словосочетания к ключевым единицам, характеризующим проблематику конкретного текста (кеупезз), является важным параметром для дальнейшего использования статьи, для распространения ее результатов в сфере научного знания.
Что касается аннотаций, то в них часто встречаются утверждения, не находящие опоры в статье. Так, например, в аннотации утверждается, что «автор опирается как на российские, так и на зарубежные источники, проводит сравнительный анализ по некоторым аспектам теории данной области». Однако на всем протяжении текста только два предложения можно соотнести с
проблемой анализа по аспектам: «Электроакустическая музыка — это сложное многоаспектное понятие, включающее в себя широкий спектр стилей, жанров и форм музыкального искусства, так или иначе основанных на применении электроакустических технологий.» и «Так или иначе, явление настолько многоаспектное, что возникает вопрос: можно ли рассматривать электроакустическую музыку как целостное явление?». Ни о каких аспектах теории в статье речи нет, следовательно, статья и аннотация не скоррелированы, что также может привести к затруднениям в анализе достоверности полученных результатов.
Особые сложности связаны с общим научным стилем, который часто не выдерживается авторами, переходящими на стиль неформальный и, более того, разговорный (см., например, выражения типа все дело тут в том, данная гипотеза неплохо объясняет; все же удалось обнаружить; мы прекрасно понимаем; для того, чтобы определиться с; люди с развитой культурой и т. п.). Соответственно, можно утверждать, что подобные статьи написаны с нарушением принципов научного стиля и научного дискурса.
Кроме того, авторы часто не учитывают, что их научная позиция должна отражаться в описании собственной концепции, где правомочность проведенного анализа и предлагаемых таксономий и классификаций подтверждается, но не заменяется прямым или опосредованным цитированием. Прямо противоположная тенденция выражается в отсутствии ссылок на работы предшественников, ссылок на объем и источники анализируемого материала, хотя этот параметр является одним из важных при анализе статьи, поскольку позволяет судить о профессиональной этике и компетентности автора. Анализ рецензий свидетельствует, что включение в текст статьи обширных цитат из признанных ученым сообществом трудов «не спасает» автора статьи от замечаний. Следует признать, что многие цитаты «путеше-
ствуют» из статьи в статью, при этом что-то утрачивается из текста цитаты, меняется понятийный контекст.
Основным требованием включения в научную статью «чужого текста» (например, цитаты) является ее проверка не только с точки зрения дословной передачи в тексте (возможны и сознательные пропуски фрагментов текста), но и с точки зрения сохранения смысла, формируемого контекстом. Недопустимым также является и вольный пересказ чужой мысли без анализа общего контекста. Иногда в научной работе текстовый фрагмент, подлежащий цитированию, содержит ссылку или авторский комментарий в виде примечания. При цитировании эта дополнительная информация «отсекается», в результате искажается исходный смысл, возникает коммуникативный и когнитивный сбой у читателя (в том числе и рецензента), и, как следствие, появляется недоверие к качеству исследовательской работы, к уровню профессиональной компетентности автора статьи.
Теоретическое обоснование должно демонстрировать целостную концепцию, в которой обращение к «предшественникам» должно быть формой демонстрации компетенции автора, а не обзором литературы.
Изменение типологических признаков научной информации, способов ее презентации в устной, письменной и электронной сферах коммуникации требует от современного исследователя особых навыков.
Научная информация, безусловно, имеет специфические способы ее презентации в научных статьях. Неумелое использование этих способов и дополнительных семиотических кодов может вызвать негативную оценку как на уровне восприятия, так и на уровне интерпретации. Особое значение имеет композиционно-смысловая организация научной статьи. Небольшая по объему статья требует большого профессионализма.
Рецензирование как объект анализа.
Независимое рецензирование, или peer review, представляет собой независимый ана-
лиз, проводимый экспертами соответствующей области научных знаний. Выбор экспертов определяется редакцией журнала и опирается на оценку научного опыта, беспристрастности и объективности, формирование такой профессиональной компетенции занимает не менее 10 лет работы в конкретной области [15].
В базу экспертов научного журнала «Известия Российского государственного педагогического университета им. А. И. Герцена» включено более 180 специалистов, докторов и кандидатов наук.
Рецензия представляет собой особый тип текста, который можно рассматривать как вид вторичного текста, отражающий его основные характеристики в соответствии с заданными параметрами анализа. Классификациям рецензий по различным основаниям посвящена обширная литература (см., например, обзор классификаций рецензий на литературное произведение в литературе [2]).
Рецензия предполагает оценку корректности материала, не связанную с учетом собственного мнения по поводу теоретической концепции, разделяемой автором. Более того, как и в отзыве на диссертацию любого уровня, эксперт не должен основывать свое решение на неприятии или критическом отношении к научной школе, к теории или концепции, а обязан непредвзято оценить достоверность и непротиворечивость посылок и выводов автора. В противном случае возникает ситуация, когда любые нетривиальные или не разделяемые рецензентом идеи послужат причиной отказа от публикации статьи. Только выполнение этого требования может служить гарантией корректной оценки научной статьи.
Рассмотрение вопроса о плагиате не является задачей рецензента, однако в случае его установления (например, в ситуации, когда автором просто использована чужая статья и рецензент это выяснил), статья отклоняется без ее критического анализа. С другой стороны, если исходить из того, что научная
статья — это текст, который должен отражать основную концепцию автора и полученные им результаты, при рассмотрении статьи не предполагается ее запланированная некорректность.
Рецензия на статью пишется экспертом на условиях double-blind review, что предполагает анонимность автора для рецензента и анонимность рецензента для автора. Анонимность рецензента соблюдается тем, что рецензия (особенно, если она отрицательная) передается автору без информации о рецензенте [ ср. :5].
Собственно сама рецензия может либо представлять собой связный текст — анализ статьи по заранее разработанным и известным рецензенту критериям, либо создаваться в ходе заполнения формуляра оценок (баллов), также формируемым по определенным правилам. В зарубежных изданиях чаще используется второй тип рецензии, заполняемый онлайн и включающий кроме обязательных пунктов формуляра еще и возможность высказывания своих замечаний в виде отдельного текста.
В случае заполнения формуляра автору предлагается оценить в баллах от 1 до 5, например, следующие параметры:
— Соответствие рукописи публикации формальным требованиям к статьям для опубликования в журнале из перечня ВАК.
— Актуальность исследуемой в научной статье проблемы.
— Научная новизна раскрываемых в статье результатов исследования.
— Практическая значимость отраженных в статье результатов исследования.
— Полнота и достоверность приводимых в статье сведений.
— Правильность и точность используемых (или вводимых) определений и формулировок.
— Целостность, завершенность изложения материала статьи.
— логичность, последовательность рассуждений автора статьи.
— Аргументация позиции автора.
— Этика цитирования.
Максимальное количество баллов в этом случае равно 30 и возможно задание порогового значения, при котором рукопись отвергается. Подобная система используется и в журнале «Известия РГПУ им. А. И. Герцена» для оценки заявок, поступающих на конкурс грантовой поддержки публикационной активности аспирантов и молодых научно-педагогических работников вуза.
Аналогичная система рецензирования, основанная на анализе статьи в электронном формате, применяется и в научном журнале «Вестник Воронежского государственного университета» (http://www.vestnik.vsu.ru/ аиШог^р). При этом рецензент должен заполнить следующий оценочный лист с инструкцией:
Пожалуйста, оцените статью по указанным ниже критериям от 1 (отклонить) до 5 (отлично). Отметьте необходимую ячейку в таблице ниже:
Высший балл (5) ставится, если:
- В статье излагаются результаты актуального научного исследования.
- Статья четко структурирована, изложение логично.
— Методология и материал исследования представлены в полной мере.
— Выводы обоснованы.
- Список цитируемой литературы оформлен в соответствии с требованиями. Статья содержит достаточное количество ссылок.
- Текст не содержит стилистических ошибок, погрешностей и опечаток.
Решения по этим 6 критериям обобщаются экспертом в предлагаемой ему таблице, суммарный балл подсчитывается и по его значению статья либо отвергается вообще, либо отправляется автору на доработку, либо принимается решение о ее издании.
Бесспорно, онлайн-рецензирование более оперативно, однако уровень квалификации и профессионализма рецензентов не всегда совпадает с уровнем владения ими инфор-
мационными технологиями. Кроме того, анализ печатной, а не электронной версии иногда бывает полезнее для автора.
В настоящее время каждому рецензенту от редакционного совета научного журнала «Известия РГПУ им. А. И. Герцена» вместе с анонимным текстом статьи передается памятка, содержащая следующую информацию:
— На рецензию поступает статья без указания фамилии автора и его места работы.
— Рецензия на рукопись статьи должна быть представлена в редакционную коллегию не позднее чем через 1 неделю со дня поступления в редакционный совет по направлению.
— Эксперт должен оценить основные достоинства и недостатки рукописи статьи, руководствуясь при этом следующими критериями:
соответствие заголовка статьи содержанию;
актуальность избранной темы исследования;
новизна и оригинальность основных положений и выводов;
степень обоснованности научных положений, выводов, результатов, сформулированных в статье;
уровень владения современными методами научного исследования, практическая полезность.
— В рецензии должно быть отражено четкое суждение о целесообразности публикации рукописи, ее отклонении или переработке. Рецензия представляется в печатной и/или электронной форме.
На основе анализа 500 рецензий на статьи, взятые по методу случайных чисел из каталога объемом 2300 статей, можно сделать следующие выводы.
Экспертиза научных статей в рецензируемых научных журналах может быть эффективной только в том случае, если создан институт профессиональных рецензентов, владеющих не только специальными знаниями, но и навыками оценки уровня эф-
Специальность Аспиранты Докторанты Всего
+ - + -
Филология 76 59 44 23 202
История 32 11 31 14 88
Искусствоведение 35 14 19 1 69
Философия 11 2 18 8 39
Культурология 14 7 11 1 33
Право 8 6 6 0 20
Социология 9 1 8 0 18
Политология 13 0 1 2 16
Экономика 1 9 2 3 15
Итого 500
фективности представления научных результатов в соответствии с жанровыми и стилевыми особенностями научной статьи, с речевыми нормами, установленными в сфере письменной научной коммуникации.
Формирование новых наукометрических методов и технологий оценки научной деятельности требует последовательной и методически выверенной обучающей программы по формированию навыков владения современным речевым стандартом научной коммуникации на всех ступенях обучения (бакалавриат, магистратура, аспирантура).
На основе анализа 500 рецензий на статьи, взятые по методу случайных чисел из каталога редакционного совета по гуманитарным и общественным наукам объемом 2300 статей, можно оценить типологию статей и соотношение положительных и отрицательных рецензий.
Анализ экспертной оценки научных статей является необходимой и очень важной составляющей для выявления современной объективной оценки деятельности и плодотворности научной школы, научного направления.
список литературы
1. Беляева Л. Н., Шубина Н. Л. Научная статья и ее жанрово-стилистические особенности. СПб.: Изд-во РГПУ им. А. И. Герцена, 2007. 28 с.
2. Зинова Е. А. Тенденции к модификации и существующие разновидности жанра рецензии на литературное произведение // Актуальные проблемы гуманитарных и естественных наук. 2011. № 2. С. 138-143.
3. Котляров И. Д. Принципы оценки качества научных журналов // Образование и наука. Изв. УрО РАО. 2010. № 8 (76). С. 3-19.
4. Котляров И. Д. Проблемы функционирования российской системы научных публикаций и пути их решения // Образование и наука. Изв. УрО РАО. 2011. № 1 (80). С. 3-101.
5. Маршакова-Шайкевич И. В. Россия в мировой науке. Библиометрический анализ. М. : ИФРАН, 2008. 227 с.
6. Перечень российских рецензируемых научных журналов, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук [Электронный источник]: http://vak.ed.gov.ru/87
7. Поляк Б. Т. Наукометрия: кого мы лечим? // Управление большими системами. 2013. № 44. С.161-170.
8. Порядок рецензирования рукописей научных статей, поступивших в редакцию журнала // Вестник Санкт-Петербургского университета. Сер. 9. 2009. Вып. 2. Ч. I. С. 182.
9. Постановление Правительства РФ от 08.04.2009 «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» [Электронный источник]: http://elementy. ru/Library9/p312.htm
10. Степин В. С. Теоретическое знание. М.: Прогресс-Традиция, 1999. 390 с.
11. Чеботарев П. Ю. Наукометрия: как с ее помощью лечить, а не калечить? // Управление большими системами. 2013. № 44. С. 14-31.
12. Фрумкина Р. М. Вечнозеленое дерево теории [памяти Ю. А. Шрейдера] // Человек. 1999. № 4.
13. Шубина Н. Л. Научная коммуникация: поиски разумного компромисса // Известия Российского государственного педагогического университета им. А. И. Герцена. Серия «Общественные и гуманитарные науки». 2009. № 104. С. 87-96.
14. Ericsson K. A. The Acquisition of Expert Performance: An Introduction to Some of the Issues / K. A. Ericsson // The Road to Excellence: The Acquisition of Expert Performance in the Art and Sciences, Sports and Games / Ed. K. A. Ericsson Hillsdale. N. J.: Lawrence Erlbaum Associates, 1996.
referenses
1. Beljaeva L. N., Shubina N. L. Nauchnaja stat'ja i ee zhanrovo-stilisticheskie osobennosti. SPb.: Izd-vo RGPU im. A. I. Gertsena, 2007. 28 s.
2. Zinova E. A. Tendentsii k modifikatsii i sushchestvujushchie raznovidnosti zhanra recenzii na literatur-noe proizvedenie // Aktual'nye problemy gumanitarnyh i estestvennyh nauk. 2011. № 2. S. 138-143.
3. Kotljarov I. D. Principy otsenki kachestva nauchnyh zhurnalov // Obrazovanie i nauka. Izv. UrO RAO. 2010. № 8 (76). S. 3-19.
4. Kotljarov I. D. Problemy funktsionirovanija rossijskoj sistemy nauchnyh publikatsij i puti ih resh-enija // Obrazovanie i nauka. Izv. UrO RAO. 2011. № 1 (80). S. 3-101.
5. Marshakova-Shajkevich I. V. Rossija v mirovoj nauke. Bibliometricheskij analiz. M.: IFRAN, 2008. 227 s.
6. Perechen' rossijskih retsenziruemyh nauchnyh zhurnalov, v kotoryh dolzhny byt' opublikovany os-novnye nauchnye rezul'taty dissertatsij na soiskanie uchenyh stepenej doktora i kandidata nauk [Elektronnyj istochnik]: http://vak.ed.gov.ru/87
7. PoljakB. T. Naukometrija: kogo my lechim? // Upravlenie bol'shimi sistemami. 2013. № 44. S. 161-170.
8. Porjadok recenzirovanija rukopisej nauchnyh statej, postupivshih v redaktsiju zhurnala // Vestnik Sankt-Peterburgskogo universiteta. Ser. 9. 2009. Vyp. 2. Ch. I. S. 182.
9. Postanovlenie Pravitel'stva RF ot 08.04.2009 «Ob otsenke rezul'tativnosti dejatel'nosti nauchnyh organizatsij, vypolnjajuwih nauchno-issledovatel'skie, opytno-konstruktorskie i tehnologicheskie raboty grazhdanskogo naznachenija» [Jelektronnyj istochnik]: http://elementy.ru/Library9/p312.htm
10. Stepin V. S. Teoreticheskoe znanie. M.: Progress-Traditsija, 1999. 390 s.
11. Chebotarev P. Ju. Naukometrija: kak s ee pomoshch'ju lechit', a ne kalechit'? // Upravlenie bol'shimi sistemami. 2013. № 44. S. 14-31.
12. Frumkina R. M. Vechnozelenoe derevo teorii [pamjati Ju. A. SHrejdera] // Chelovek, № 4, 1999.
13. Shubina N. L. Nauchnaja kommunikatsija: poiski razumnogo kompromissa // Izvestija Rossijskogo gosudarstvennogo pedagogicheskogo universiteta im. A. I. Gertsena. Serija «Obshchestvennye i gu-manitarnye nauki». 2009. № 104. S. 87-96.
14. Ericsson K. A. The Acquisition of Expert Performance: An Introduction to Some of the Issues / K. A. Ericsson // The Road to Excellence: The Acquisition of Expert Performance in the Art and Sciences, Sports and Games / Ed. K. A. Ericsson Hillsdale. N. J.: Lawrence Erlbaum Associates, 1996.
