Научная статья на тему 'Совершенствование системы рецензирования статей в научных журналах'

Совершенствование системы рецензирования статей в научных журналах Текст научной статьи по специальности «Экономика и бизнес»

CC BY
208
41
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Вестник университета
ВАК
Область наук
Ключевые слова
РЕЦЕНЗИРОВАНИЕ НАУЧНЫХ СТАТЕЙ / ПРОФЕССИОНАЛЬНОЕ ЭКСПЕРТНОЕ СООБЩЕСТВО / КРАУДСО́РСИНГ / КРАУДФА́НДИНГ / КОМПЕТЕНЦИИ И РАНГ ЭКСПЕРТА

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Лябах Николай Николаевич, Киба Мария Романовна

На примере организации научной экспертизы статей в журналах поставлены проблемы и раскрыта сущность механизмов функционирования экспертных сообществ. Раскрыты возможности стимулирования труда эксперта. Предложен простой алгоритм и модель оценки квалификации (расчет ранга) эксперта.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

IMPROVEMENT SYSTEM OF REVIEWING ARTICLES IN SCIENTIFIC JOURNALS

On the example of the organization scientific expertise journal articles set problems and reveals the essence of mechanisms of expert communities. Revealed the possibility to stimulate labor of expert. Proposed simple algorithm and model of assessment of qualification (calculate rank) experts.

Текст научной работы на тему «Совершенствование системы рецензирования статей в научных журналах»

СОВЕРШЕНСТВОВАНИЕ СИСТЕМЫ РЕЦЕНЗИРОВАНИЯ СТАТЕЙ В НАУЧНЫХ ЖУРНАЛАХ

Аннотация. На примере организации научной экспертизы статей в журналах поставлены проблемы и раскрыта сущность механизмов функционирования экспертных сообществ. Раскрыты возможности стимулирования труда эксперта. Предложен простой алгоритм и модель оценки квалификации (расчет ранга) эксперта.

Ключевые слова: рецензирование научных статей, профессиональное экспертное сообщество, краудсорсинг, краудфандинг, компетенции и ранг эксперта.

IMPROVEMENT SYSTEM OF REVIEWING ARTICLES IN SCIENTIFIC JOURNALS

Annotation. On the example of the organization scientific expertise journal articles set problems and reveals the essence of mechanisms of expert communities. Revealed the possibility to stimulate labor of expert. Proposed simple algorithm and model of assessment of qualification (calculate rank) experts.

Keywords: reviewed scientific articles, professional expert community, crowdsourcing, crowdfunding, competence and rank expert.

Повышение роли научных исследований в экономике и образовании, стремление вузов к повышению статуса учебного заведения актуализирует задачу совершенствования деятельности научных журналов вузов. Проблема состоит в том, что в настоящее время процедура рецензирования научных статей, поступающих в редакцию журнала, не отработана в полном объеме, часто проводится формально, что приводит к неэффективности деятельности редакции и снижению качества ее работы.

Причин, в результате которых возникают указанные выше проблемы, несколько:

- недобросовестность авторов (некорректные заимствования и плагиат, отсутствие реальной новизны материала, необоснованные ссылки на свои научные работы и пр.).

- некомпетентность и ангажированность рецензента;

- отсутствие благоприятной среды развития редакторского и издательского дела. В настоящее время редакции научных журналов не имеют развитых механизмов продвижения научных разработок. Они только фиксируют научные достижения, но слабо (косвенно) способствуют их развитию.

Выше проанализирована достаточно частная задача, связанная с экспертизой материалов. Вместе с тем, следует отметить, что она имеет расширенное применение и в разных вариациях встречается в многочисленных практических применениях. Например:

- экспертиза проектов научного фонда, распределяющего финансовые средства между научными коллективами (учеными);

- экспертиза проектов некоторой организации, работающей по проектному принципу: инициаторы представляют свои проекты, а эксперты, назначенные руководством организации, должны отобрать из них наиболее подходящие по некоторым критериям (прибыль, рентабельность, повышение конкурентоспособности фирмы и т.д.);

- отбор проектов развития отрасли (региона) в условиях ограниченных ресурсов и системы дополнительных ограничений (временных, кадровых, финансовых и пр.).

Решение проблемы совершенствования системы рецензирования статей в научных журналах

© Лябах Н.Н., Киба М.Р., 2015

УДК 681.5:519.711.3 Н.Н. Лябах М.Р. Киба

Nikolay Liabakh Maria Kiba

позволит по аналогии сформулировать принципы решения и других родственных задач. Что и является основной целью данной разработки. Изложение инструментария совершенствования экспертной деятельности через рассмотрение частного вопроса выбрано сознательно для обеспечения наглядности предлагаемых механизмов и моделей.

Пути (общая схема) решения поставленной проблемы.

1. Научный журнал создает экспертное сообщество (ЭС). В качестве бонусов экспертам от редакции за участие в составе экспертной комиссии могут выступать (на выбор или в заданном сочетании) следующие акты:

- повышение статуса специалиста в виде придания ему соответствующего рейтинга;

- оплата дополнительного труда, связанного с рецензированием проектов;

- льготы при публикации материалов рецензента в журнале;

- включение времени, потраченного на рецензирование, в учебную нагрузку (для преподавателей вузов);

- различные нематериальные виды поощрения деятельности (поздравления к знаменательным датам, доска почета организации, благодарности и т.д.).

2. Разрабатывается памятка рецензенту, регламентирующая необходимые для отражения в рецензии аспекты. Обычно рецензент отражает то, что знает. И не обманывает вроде бы редакцию, но и рецензии собственно нет, по которой можно было бы квалифицировано судить о качестве рецензируемой работы. Хорошим примером тому выступает подготовка отзыва оппонента при защите диссертаций. Вместе с просьбой о рецензировании представленной работы пишется приказ о назначении оппонентом (он теперь официальное лицо со всеми вытекающими последствиями). При этом Высшая аттестационная комиссия (ВАК) оперирует такими понятиями как «недобросовестный оппонент» (если при его положительной рецензии к диссертационной работе были серьезные претензии) и составляет соответствующие списки, чтобы отсеять неквалифицированных и недобросовестных экспертов от дальнейшей работы.

3. Задействуется как минимум два официальных рецензента (один внешний). Работают рецензенты инкогнито и независимо друг от друга.

4. Вводится балльная оценка квалификации рецензента, которая отражается на страницах журнала и в экспертном сообществе (здесь также проявляется нематериальное, статусное вознаграждение или наказание).

5. Проводится индикативный (постоянно проводимый: рецензия не принимается, если она не содержит всех атрибутов, обозначенных в памятке) и репрезентативный мониторинг деятельности рецензентов-экспертов.

6. Статья выставляется на сайт журнала для открытого обозрения, рассылается членам экспертного сообщества, как кандидат на опубликование. Как правило, эксперты рассматривают статью не меньше месяца, поэтому времени достаточно для такого обозрения.

7. В предыдущем номере журнала печатаются аннотации таких статей-кандидатов на опубликование с отсылкой на полнообъемный электронный вариант, выставленный на сайте журнала. Их число должно быть больше возможностей одного номера журнала и статьи включаются по конкурсу. Более слабые, по мнению экспертов, статьи отодвигаются на последний план.

При реализации такой описанной схемы возникает научная дискуссия между участниками (авторами, экспертами, заинтересованными читателями), которая имеет самостоятельное научное значение. Таким образом, научный журнал выступает уже центром организации научной работы, а не просто фиксирует удачную или неудачную научную разработку. В журнале следует предусмотреть возможность публикации проблемных материалов, по которым мнения экспертов разделились, но работа прошла все этапы анализа.

Журнал отражает компетенции созданного им экспертного сообщества (ЭС) и происходит одновременное усовершенствование их (авторов, собственно журнала и ЭС) деятельности и компетенций. Эксперты повышают свою квалификацию и получают вознаграждение, журнал - качество опубликованных работ, авторы расширяют свой кругозор, получают дополнительную информацию по теме. Для эксперта это еще один стимул для вступления в экспертное сообщество.

Рассмотрим некоторые особенности реализации представленной схемы взаимодействия [1; 2]. Создание и функционирование экспертного сообщества не вызывает в настоящее время трудностей. Развитые средства интернет-коммуникаций позволяют эту задачу решить в, так называемом, онлайн-режиме. Эксперты получают материалы, работают с ними, пересылают в редакцию по электронной почте. В настоящее время такие профессиональные сообщества уже достаточно хорошо развиты и у специалистов выработалась культура общения. Вот краткий перечень некоторых из них: Linkedin, XING, Профессионалы.ги. Сеть Linkedin - самая большая в мире профессиональная сеть. В настоящее время она насчитывается больше 200 миллионов зарегистрированных пользователей. XING -бизнес-ориентированная социальная сеть для поиска и упорядочивания деловых и личных контактов. Профессионалы.ги - российская деловая социальная сеть объединяющая различных специалистов и владельцев бизнеса по отраслевым, географическим признакам.

Очевидно, что цели таких сетей, механизмы взаимодействия их участников мало приспособлены для решения проблем редакций. Нужна компактная сеть узких специалистов данной проблемной области. В существующих профессиональных сетях имеются возможности, которые легко распространить на синтезируемые сети. Это -краудсорсинг и краудфандинг [1; 2].

Краудсорсинг означает передачу некоторых производственных функций неопределенному кругу лиц, решение общественно значимых задач силами добровольцев, как правило, координирующих свою деятельность с помощью информационных технологий. Редакция делегирует своему ЭС некоторые функции принятия решений о качестве представленной статьи. Краудсорсинг следует отличать от аутсорсинга. В последнем работа отсылается за пределы компетенции компании профессиональным исполнителям за определенные деньги, а в краудсорсинге оплата работы не практикуется, или же она невелика. Всю необходимую работу делают неоплачиваемые или малооплачиваемые специалисты-любители, тратящие свое свободное время на создание контента, решение проблем или даже на проведение исследований и разработку.

Краудфандинг - это коллективное сотрудничество людей (доноров), которые напротив добровольно объединяют свои деньги или другие ресурсы вместе для поддержания усилий других людей или организаций (реципиентов). В нашем случае таким реципиентом выступает редакция журнала.

Для формализации четвертого этапа предложенной схемы существует несколько подходов. Остановимся на одном из них [3], посвященном выявлению важности признаков, характеризующих некоторый объект исследования.

1. Осуществляется опрос экспертов о значимости заданных признаков. Указанные ими веса обозначим а у. Здесь/ - номер признака, j -номер эксперта.

2. Находятся средние значения оценок экспертов (1), отклонения частных оценок от средних и дисперсия разброса их мнений (2):

1 m

aj = - Zai, (1)

m t?

=л1 Z(а -aj)2 . (2)

1 \ m -

Значение (1) отражает средний вес /-го коэффициента с точки зрения всей экспертной комис-

сии, а Гу единодушие этого мнения.

^ (

Относительная величина — отражает степень рассогласованности экспертных оценок.

а1

3. Осуществляется ранжирование экспертов по каждому признаку с введением веса их значимости по данному признаку, отражающей степень близости выставленных ими оценок к средним значениям.

Можно привести несколько математических выражений, принимаемых в качестве «веса значимости» эксперта. Например, Хаблак К.А. предлагает [3]:

\3г, - аг I

7Ц = 1 — ^-1 , (3)

Рч = ^ • (4>

1 + \ан - ал

| У ] |

Действительно ау - нормированное мнение 7-го эксперта по ]-му коэффициенту; а у - среднее значение мнений экспертов по ]-му коэффициенту; | а у — ау | - степень абсолютного рассогласования частного (7-го) мнения от общего. Чем она меньше, тем лучше этот эксперт отражает мнение всех, т.е. тем вес его выше.

В дальнейшем эксперты используются в процедурах оценивания с указанными весами. Эта оценка корректируется после каждой итерации оценивания. Рассмотренный механизм имеет следующий недостаток: деятельность экспертной комиссии направлена на ее консолидацию и не зависит от результатов принятого решения. То есть, принимая даже неверное, но согласованное решение, команда экспертов сохраняет свое положение.

В этой связи предлагается усовершенствовать рассмотренный механизм следующим образом [4]. Пункт 1 остается без изменений. Пункт 2 выполняется после получения результатов деятельности по принятому решению и фиксируется наблюденное значение а]Н, а не среднее от высказываний

всех экспертов а]. Пункт 3 повторяет вычисления первого варианта п. 2 с заменой параметра а] на

параметр а]Н . Теперь разности в (2) характеризуют отклонение мнений экспертов не от их общего

мнения, а от наблюденной «истины». Мы получаем веса экспертов вне зависимости от мнений других специалистов, и учитываем их эффективность на практике.

Рассмотренный метод следует адаптировать к нашей задаче, определив оцениваемые признаки рецензируемой работы. Получив оценки рецензентов по признакам, следует принять некоторый интегральный критерий для однозначного вывода: публиковать работу или отклонить.

Если говорить о рецензируемой работе в целом, то можно предложить и более простой механизм. Уточнить показатель компетентности эксперта предлагается следующим образом.

Пусть ]-ый эксперт на 7-ом шаге имел ранг г^у.

На следующем (£ + 1)-ом шаге он вступает в дискуссию, оценивая следующего претендента, и дает заключение , где d^+í¡j = +1, если статья рекомендуется к опубликованию и =

— 1 - в противном случае.

Другие эксперты (пусть их т человек) также оценивают присланные материалы.

В редакции определяют взвешенную сумму

Ар = (5)

Если соотношение (1) положительно, то статья публикуется, если отрицательно, то отклоняется. Таким образом, эксперты влияют на решение не в равной степени, а с учетом их ранга - показателя компетенции.

На следующем этапе осуществляется перерасчет ранга каждого участвовавшего в оценке эксперта. Для этой цели предлагается соотношение (2).

_ + (6)

Г _ 1™=1(г0+ а1+^оср) • (6)

Выражение di+1|jDср положительно, если решение /-ого эксперта на (£ + 1)-ом шаге совпало с общим решением экспертов и отрицательно в противном случае. То есть, если эксперт дал решение, согласованное с усредненным мнением (1), то его ранг увеличивается. Если его мнение расходится с интегральным мнением экспертного сообщества, то отрицательно и ранг после этого этапа

оценки уменьшается. Знаменатель соотношения (2) призван масштабировать ранги таким образом, что сумма всех рангов экспертов равнялась 1.

Выводы. Поставлена проблема создания экспертных сообществ для решения сложных, слабо формализуемых задач. Описаны существующие профессиональные экспертные сообщества. Раскрыты возможности стимулирования труда эксперта. Исследованы механизмы оценки квалификации эксперта. Все указанные вопросы проиллюстрированы на примере организации научной экспертизы статей в журналах.

Библиографический список

1. Губанов, Д. А., Социальные сети: модели информационного влияния, управления и противоборства / Д. А. Губанов, Д. А Новиков, А. Г. Чхартишвили. - М. : Издательство физико-математической литературы, 2010. - 228 с.

2. Социальные сети от А до Я [Электронный ресурс]. - Режим доступа : http://www.social-networking.ru (дата обращения : 10.04.2015).

3. Колесников, М. В. Разработка методов анализа и идентификации параметров организационного управления: монография / М. В. Колесников. - Ростов н/Д. : РГУПС, 2008.

4. Лябах, Н. Н. Роль и место экспертных процедур в задаче синтезасценариев развития сложных социально-экономических объектов / Н. Н. Лябах, М. В. Колесников // Вестник Университета (Государственный университет управления). - 2012. - № 14. - С. 168-173.

i Надоели баннеры? Вы всегда можете отключить рекламу.