CC BY
52
УДК 001.893:519.24
МЕТОДИКА ОБРАБОТКИ ЭКСПЕРТНОЙ ИНФОРМАЦИИ
0 КАЧЕСТВЕ НАУЧНЫХ СТАТЕЙ
О.С. Логунова1, Е.А. Ильина2, К.М. Окжос3, Ю.В. Кочержинская4, С.Н. Попов5
Магнитогорский государственный технический университет им. Г.И. Носова, Магнитогорск, Россия
1 [email protected], [email protected], [email protected], ''[email protected], [email protected]
Аннотация
Процесс рецензирования является важным этапом при отборе рукописей для публикации. Низкокачественные статьи отрицательно влияют на репутацию научного журнала. Существующие способы организации процесса рецензирования требуют больших временных затрат на обработку рецензий. Целью работы является сокращение временных затрат редакторов на отбор рукописей за счёт использования системы принятия решения для частичной автоматизации процесса рецензирования. Представленный алгоритм работы математического обеспечения системы поддержки принятия решения о качестве научных статей включает: оценивание рукописи экспертами по предложенным критериям, определение уровня качества критерия и уровня качества рукописи. Использование математического обеспечения позволяет снизить временные и трудовые затраты редактора в процессе отбора статей. Предложена унификация процесса рецензирования, за счёт использования системы критериев, мер качества и рекомендаций по их оцениванию. Унификация позволяет снизить уровень субъективизма рецензентов и отобрать лучшие статьи для публикации в журнале.
Ключевые слова: система поддержки принятия решения, рецензирование, качество статьи, критерии рецензирования, оценивание научных статей.
Цитирование: Логунова, О.С. Система обработки экспертной информации о качестве научных статей / О.С. Логунова, Е.А. Ильина, K.M. Окжос, Ю.В. Кочержинская, С.Н. Попов // Онтология проектирования. - 2016. - Т. 6, №2(20). - С. 216-230. - DOI: 10.18287/2223-9537-2016-6-2-216-230.
Введение
Эффективность оценивания статей, предлагаемых к публикации, в последние годы является предметом ограниченного количества исследований. Сущность экспертной оценки рукописей раскрыта в работах A. Keenum и J. Shubrook [1], R. Tandon [2], D.J. Ortinau [3], T. Allen [4-5]. Их авторы предлагают рекомендации к процессу рецензирования и выполняют анализ критериев для оценки рукописей. В этих работах рассмотрены модели взаимоотношений между участниками процесса и описаны проблемы, возникающие в процессе их взаимодействия.
Примером экспертной оценки является механизм для определения ценности информации представленной рукописи, описанный в работе А.Л. Гусева [6]. Автор рассматривает показатели, позволяющие оценить творческую активность авторов, качество работы рецензентов и экспертов.
В статьях [7-11] представлены методы организации сетевого взаимодействия редколлегии научного журнала на основе системы Open Journal System и платформенной программы Петрозаводского государственного университета (ПетрГУ). Проанализированы особенности автоматизации процесса выбора рецензентов. Рассмотрены инструментальные средства, поз-
воляющие осуществить полный цикл мероприятий, связанных с подготовкой выпуска журнала и его публикацией.
Анализ организации документооборота в издательской деятельности выявил отсутствие систем поддержки принятия решения (СППР), применяемых для автоматизации процесса экспертной оценки статьи [12]. Поиск результатов интеллектуальной деятельности проводился среди заявок, патентов и авторских свидетельств за период с 1994 по 2015 годы. В качестве источников информации использовались: реестр изобретений на сайте ФГБУ Федеральный институт промышленной собственности (ФИПС) - http://www1.fips.ru; сервис поиска патентной информации Espacenet и Google Patent Search.
Результаты интеллектуальной деятельности [13-16] относятся к области издательской деятельности и процессу рецензирования. Они содержат описание современных подходов к оценке качества научных статей с использованием автоматизации взаимодействия авторов и рецензентов. Основой систем является усовершенствованный метод рецензирования процесса экспертной оценки научных публикаций.
По результатам поиска зарегистрированных программ для ЭВМ и БД были выбраны свидетельства, описывающие актуальные информационные системы (ИС) используемые в издательской деятельности [17-23]. Такие системы предназначены для обеспечения взаимодействия членов распределённой редакционной коллегии на этапах редакционно-издательского процесса. Однако в них реализованы функции рецензирования без обработки результатов экспертных оценок научных статей.
Процесс рассмотрения статей перед изданием в научном журнале включает шесть основных этапов (рисунок 1). Автор подготавливает статью и направляет её главному редактору, который назначает ответственного редактора. Редактор осуществляет подбор рецензентов. Рецензенты оценивают статью и составляют рецензию, которую рассматривает главный редактор и принимает решение об издании или отклонении статьи. Отобранные для печати статьи направляются в вёрстку. Если по итогам рецензирования статья нуждается в доработке, то она направляется автору для исправления, после которого проходит все этапы проверки сначала.
Загрузка автором рукописи в базу данных И С научного журнала
Верстка рукописей техническим редактором
Главный редактор назначает ответственного редактора
Отбор рукописей для публикации главным редакторам
Ответственной редактор выбирает рецензентов
Рецензент загружает в И С рецензию
Рисунок 1 - Основные этапы процесса рассмотрения рукописей
Взаимодействие субъектов рассмотренного процесса, в соответствии с изложенными этапами предиздательской подготовки, представлено на рисунке 2.
Описанный процесс рассмотрения рукописей требует доработок, т.к. главному редактору, при подготовке очередного выпуска журнала, в сжатые сроки необходимо обрабатывать большое количество поступивших в редакцию статей и рецензий. Частичная автоматизация этого процесса позволяет сократить временные и трудовые затраты редактора в процессе отбора статей (рисунок 3).
Рисунок 2 - Технологическая цепочка «Автор - Редакция - Рецензент - Редакция»
Рисунок 3 - Роль СППР в процессе рассмотрения рукописей
1 Цель и задачи исследования
Целью исследования является сокращение временных затрат редакционной коллегии на принятие решения об издании рукописи за счёт обработки результатов экспертных оценок научных статей.
Для реализации поставленной цели необходимо:
1) провести семантический анализ процесса рецензирования в издательской деятельности;
2) построить математическое обеспечение системы на основе функций принадлежности, характеризующих уровень качества критериев;
3) создать базу знаний, определяющую уровень качества рукописей;
4) разработать алгоритм оценивания рукописей для СППР;
5) провести апробацию для разработанной математической модели.
Семантический анализ процесса рецензирования в издательской деятельности представлен в работах [24-26]. В рамках данной статьи рассматривается математическое обеспечение системы, база знаний, разрабатывается алгоритм оценивания рукописей для СППР, представляется апробация для разработанной модели.
2 Математическое обеспечение системы для оценки качества научных статей
Разработка и внедрение математического обеспечения для СППР предоставляет возможность оценить статьи на основании унифицированных результатов рецензирования. Для разработки математического обеспечения по оценке рукописей, поступающих в редакцию, введены обозначения, представленные в таблице 1.
Исходными данными для работы СППР являются экспертные бальные оценки, начисленные для семи независимых критериев, принадлежащих к входному множеству X = {Х1, Х2, ■■■, Х7}.
Подробное рассмотрение критериев, влияющих на уровень качества статьи, представлено в работе [25]. Применяемый список критериев был сформирован в результате анализа издательских политик и рекомендаций для рецензентов научных журналов: Вестник Уфимского государственного авиационного технического университета (http://journal.ugatu.ac.ru), Cloud Journal of Science and Technology (http://www.cloudjcup.com), Образование личности (http://ol-journal.ru).
Таблица 1 - Обозначения, используемые для математического обеспечения оценки рукописей
Обозначение Назначение
X = {Xi, Х2, •••, Х7} Множество экспертных балльных оценок, начисленных для семи независимых критериев
Тн = {н | 1< ?н<3} Множество для обозначения меры низкого качественного показателя критерия
Тс = {tc | 4< tc<7} Множество для обозначения меры среднего качественного показателя критерия
Тв = {te | 8<te<10} Множество для обозначения меры высокого качественного показателя критерия
Okri Средний суммарный балл по каждому критерию
Т = [1;10] Интервал, которому принадлежат значения среднего суммарного балла
и II Терм-множество, характеризующее уровень качества критериев
MzU ^z2, Hz3 Функции принадлежности для выделенных уровней качества критерия
Y = {Уъ У2, Уз} Терм-множество, характеризующее уровень качества статьи
Критерии х1 - х7 имеют качественный характер. Следовательно, при оценке одного и того же показателя несколькими экспертами могут возникать разные мнения. Поэтому, по диалектическому закону Ф. Энгельса «Взаимного перехода количественных изменений в качественные» необходимо выполнить переход от качественных измерений к количественным [27]. Несмотря на существенные различия количество и качество - это части одного целого, представляющие собой стороны одного и того же предмета. Это единство называется мерой и представляет собой границу, определяющую пределы возможного количественного изменения в рамках данного качества. Такой подход позволяет определить разные по смыслу частные показатели как лингвистические переменные (таблица 2).
Таблица 2 - Мера качества критериев оценки статей
Качественный показатель Мера (баллы) Обозначение
min max
Низкий 1 3 THtH | 1<tH<3}
Средний 4 7 Tc={tc | 4<tc<7}
Высокий 8 10 TB={tB | 8<tB<10}
Пороговые значения меры устанавливаются редакцией журнала. Таким образом, для поступившей в редакцию статьи каждый из критериев оценивается тремя рецензентами по десятибалльной шкале. Полученные оценки используются при расчёте среднего суммарного балла для каждого критерия:
¿—I 1т
(1) = тк^>
гес
где 0кг - средний суммарный балл по каждому критерию; kГj - сумма баллов по критерию; кгес - количество рецензий. Значения среднего суммарного балла принадлежат интервалу Т = [1;10]. Полученные значения среднего суммарного балла округляются до целых.
Уровень качества критериев характеризуется терм-множеством Я = (гн, гс, г}, принимающим значения гн - низкий уровень качества, гс - средний, гв - высокий. Выбор трёхуровне-
вой шкалы оценки качества обусловлен тем, что в кратковременной (рабочей) памяти человека одновременно удерживается от пяти до девяти понятий [28-29]. Поэтому в связи с большим количеством обрабатываемых критериев целесообразно использовать именно трёхуровневую шкалу оценки качества.
Терм-множество гн включает критерии низкого уровня качества (Н) и определяется Z-линейной функцией принадлежности (2).
(2)
\°кг, , Си , ¿н =
1,
¿н - °
кг,
¿н - Сн
о,
°кг; < Сн;
сн < °кп < ¿н;
где сн=шах{/н} - максимальное пороговое значение меры для низкого уровня качества критерия (Сн=3, ¿нн=¿с).
Трапецеидальная функция принадлежности (3) описывает терм-множество гс критериев среднего уровня качества (С)
о,
(3)
^2\°Ы ,ас,Ьс,СсЛ =
-СС
¿с -Сс 1,
кг]
ЬС -аС
о,
°к] <сс;
СС < < ¿с;
¿с < °к] < а;
ас < О*, < К;
К < °к,.
где ¿с=ш1п{4} и ас=шах{4} - минимальное и максимальное пороговое значение меры для среднего уровня качества критерия (сс=сн, ¿с=4, ас=7, Ьс=Ьв).
критерии высокого уровня качества (В) описывает терм-множество гв. Оно характеризуется 5-линейной функцией принадлежности (4).
о,
(4)
V з ^г, , а в, К )=<
% - ав
Ьв - ав 1,
°кг, < ав;
ав < °к, < Ьв; > Ьв.
где Ьв=ш1п{4} - минимальное пороговое значение меры для высокого уровня качества критерия (ав=ас, Ьв=8).
Функции принадлежности /^¡(хк) характеризует субъективную меру уверенности редактора в том, что значение среднего суммарного балла для критерия хк соответствует нечёткому терму г¡. Графическое представление функций принадлежности для выделенных уровней качества показано на рисунке 4.
Для снижения уровня субъективизма при рассмотрении статей рецензентами разработаны рекомендации по оценке критериев входного множества [30-34].
1) при оценке качества критерия х1 следует учесть: уровню качества гс характерно полное раскрытие исследуемой проблемы в работах других авторов; рассмотрение важных современных проблем и недостаточность раскрытия исследуемой темы в работах других авторов характерно для уровня качества гв.
2) для оценки критерия х2 большое значение имеет степень раскрытия научных аспектов работы. При уровне качества гн. в работе они не раскрыты, а при уровне качества гс рас-
крыты недостаточно. Высокому уровню качества характерно обширное рассмотрение научных аспектов решаемой проблемы.
----\ ;...............
»
/\ • I ; »
5 б 7 8 9 10 Средний ......Высокий
Рисунок 4 - Функции принадлежности для г-ого критерия
3) уровню качества гс критерия х3 свойственно описание перспективных идей, а для его высокого уровня качества типично наличие оригинальных идей.
4) основным аспектом при оценке уровня качества критерия х4 является полнота исследования. Отсутствие постановки проблемы и выводов свойственно низкому уровню качества этого критерия. Описание результатов незавершённого исследования характерно для среднего уровня качества критерия. Если рукопись охватывает цикл целостного исследования, то её качество по этому критерию оценивается как высокое.
5) при оценке критерия х5 ключевым фактором является обоснованность представленных в рукописи результатов исследования. Если результаты не подтверждены, то критерию следует присваивать низкий уровень качества. Для частично подтверждённых результатов характерен уровень качества гс. Когда результаты исследования полностью подтверждены научным инструментарием, критерию следует присвоить высокий уровень.
6) структурированность рукописи оценивает критерий х6. Если в рукописи не выделены разделы, уровень качества по этому критерию является низким. При отсутствии заключения или введения критерию присваивается уровень гс. Наличие всех общепринятых в научных публикациях разделов характерно для высокого уровня этого критерия.
7) результаты исследования сформулированы неоднозначно при среднем уровне качества критерия х7. Если представленные результаты сформулированы в виде положений, то уровень качества этого критерия высокий.
Степень качества проделанной работы ниже среднего свойственна низкому уровню качества критериев хь х3, х7.
3 База знаний для оценивания уровня качества научной статьи
Уровень качества статьи характеризуется выходным терм-множеством У = (у\, у2, у3}, принимающим значения: ух - низкий уровень качества, у2 - средний, у3 - высокий. Оценка качества статьи происходит на основе базы знаний с правилами типа «ЕСЛИ - ТО» и установленных для каждого критерия уровней качества. База знаний, используемая при оценке статей, содержит большое количество правил (37= 2187 правил), поэтому для удобства её представления правила со сходными наборами элементов объединены в группы (таблица 3).
Рассмотрим группу правил № 26, выделенную в таблице 3 фоном, по значениям среднего суммарного балла для каждого критерия: статья получила четыре низких (Н) оценки, две средних (С) и одну высокую (В). Следовательно, её уровень считается низким.
Рекомендации для дальнейшей работы с рукописью после определения её уровня качества представлены в таблице 4.
Предлагаемые рекомендации позволяют главному редактору повысить уровень работоспособности за счёт увеличения скорости обработки рукописей и рецензий, поступающих в редакцию.
Таблица 3 - База знаний системы оценки рукописей
Код группы Распределение критериев по Качество Код группы Распределение критериев по Качество Код группы Распределение критериев по Качество
правил Н С В статьи правил Н С в статьи правил Н С в статьи
1 0 7 0 18 7 0 0 28 0 0 7
2 0 б 1 19 б 1 0 29 0 1 б
3 0 5 2 20 б 0 1 30 0 2 5
4 0 4 3 21 5 2 0 31 0 3 4
5 1 б 0 22 5 0 2 У1 32 1 0 б Уз
6 1 5 1 23 5 1 1 33 1 1 5
7 1 4 2 24 4 3 0 34 1 2 4
8 1 3 3 25 4 0 3 35 2 0 5
9 2 5 0 Уг п а а 36 2 1 4
10 2 4 1 27 4 1 2
11 2 3 2
12 2 2 3
13 3 4 0
14 3 3 1
15 3 2 2
16 3 0 4
17 3 1 3
Таблица 4 - Рекомендации по работе с рукописями
Уровень качества Рекомендация
У1 Отклонить материалы без возможности доработки
У2 Отправить статью автору на доработку. Необходимо произвести доработку по всем критериям, уровень которых оценён как низкий
Уз Одобрить статью к печати без доработок
4 Алгоритм оценивания рукописей для СППР
Алгоритм для рассмотренного математического обеспечения включает три блока:
1. Оценивание рукописи по критериям входного множества X.
2. Определение уровня качества критерия (множество К).
3. Определение уровня качества рукописи (множество У).
Блок-схема работы алгоритма разработанного математического обеспечения СППР представлена на рисунке 5.
Таким образом, каждому элементу множества критериев X необходимо сопоставить один из элементов множества К, определяющий уровень качества критерия. На основе полученных оценок, используя базу знаний, необходимо определить соответствующий элемент мно-
жества У, характеризующего уровень качества статьи. Результатом работы системы является выбор альтернативы (отклонить, доработать, одобрить), наиболее соответствующей качеству статьи (низкое, среднее, высокое).
Начало
Мера уровней качества критерия
I
Пороговые значения для функций принадлежности определяют меру и ¡_ устанавливаются редакцией журнала
Баллы начисленные рецензентами для каждого критерия
£
Цикл по критериям от Xi до x,
X
Расчёт среднего суммарного балла для критерия
I
Расчёт значений функции принадлежности для критерия
I
Определение уровня качества критерия
Цикл по каждому критерию для определения уровня качества
Определение среднего балла для каждого
Вычисление значения функций принадлежности по значению среднего суммарного балла
Вывод уровня качества для критерия
Цикл по x
Подсчет количества критериев по уровням
Определение группы правил из базы знаний «ЕСЛИ-ТО»
I
Определение уровня качества статьи
С
т
Вычисление количества критериев —I принадлежащих к низкому, среднему и высокому уровню качества статьи
Определение наиболее подходящей группы правил из базы знаний
Вывод значения уровня качества статьи
Конец
J
Рисунок 5 - Алгоритм работы СППР
5 Апробация математического обеспечения для оценки качества научных статей
По результатам тестовой эксплуатации разработанного алгоритма СППР в редакции журнала «АЬ ovo... (С самого начала...)»1 (Том второй за 2014 год) из 35 представленных в редакцию на рассмотрение рукописей 19 статей было отобрано для печати, 16 статей были отклонены без возможности доработки по причине низкого уровня качества (рисунок 6). Следует отметить что, более 70% статей из числа одобренных в процесс предиздательской подготовки отправлены авторам на доработку, и только 30% из них приняты без доработок.
Рисунок 6 - Распределение поступивших в редакцию статей по уровням качества
Пример работы СППР для материалов, поступивших в редакцию научного журнала «АЬ ovo... (С самого начала.)» приведены в таблицах 6-8. Правила базы знаний, используемые для определения уровня качества рассмотренных статей, представлены в таблице 5.
Таблица 5 - Фрагмент базы знаний
Код группы правил Распределение критериев по уровням качества Качество статьи
Низкий (Н) Средний (С) Высокий (В)
2 0 6 1 У2
21 5 2 0 У1
30 0 2 5 У,
Статье «Реализация задачи принятия решений в ранжировании карьерных экскаваторов, имеющих оценки по нескольким критериям» (авторов Великанов B.C., Махмудовой С.Н., Шабанова A.A.) после экспертной оценки был присвоен средний уровень качества (группа правил №2) и рекомендована печать после доработки.
Таблица 6 - Пример определения уровня качества статьи, имеющей средний уровень
Эксперт Оценки критериев
Xi X2 x3 X4 X5 X6 X7
Эксперт 1 4 6 5 6 7 8 5
Эксперт 2 5 5 7 5 8 8 6
1 http://elibrary.ru/item.asp?id=23228622
Великанов B.C. Реализация задачи принятия решений в ранжировании карьерных экскаваторов, имеющих оценки по нескольким критериям / B.C. Великанов, С.Н. Махмудова, A.A. Шабанов // Ab ovo... (С самого начала...). 2014. Т. 2. -С. 42-47.
Эксперт Оценки критериев
Xi X2 X3 X4 X5 X6 X7
Эксперт 3 6 5 6 7 6 7 4
Показатели
Оьу 5 5 6 6 7 8 5
Уровень качества критерия С С С С С В С
Рукопись «Влияние технологических факторов на выход, состав и свойства смолы» (автор Малюкина А.Д.) после экспертной оценки получила низкий уровень качества (группа правил №21). Следовательно, ее рекомендовано отклонить без возможности доработки.
Таблица 7 - Пример определения уровня качества статьи, имеющей низкий уровень
Эксперт Оценки критериев
Xi X2 X3 X4 X5 X6 X7
Эксперт 1 5 3 6 3 3 3 2
Эксперт 2 5 2 7 3 3 2 2
Эксперт 3 6 2 6 3 3 2 2
Показатели
Оьз 5 2 6 3 3 2 2
Уровень качества критерия С Н С Н Н Н Н
Статье «Результаты предпроектного обследования для распознавания и классификации поверхностных дефектов холоднокатаного проката на основе нечётких нейронных сетей» (авторов Микова А.Ю., Логуновой О.С.) после экспертной оценки был присвоен высокий уровень качества (группа правил №30). Количество оценок: две средних, пять высоких, ноль низких. Статья рекомендована к печати без доработки.
Таблица 8 - Пример определения уровня качества статьи, имеющей высокий уровень
Эксперт Оценки критериев
Xi X2 X3 X4 X5 X6 X7
Эксперт 1 9 8 7 8 9 7 8
Эксперт 2 8 8 6 8 8 6 9
Эксперт 3 10 9 7 8 9 6 9
Показатели
Окг] 9 8 7 8 9 6 9
Уровень качества критерия В В С В В С В
3 Миков А. Ю. Результаты предпроектного обследования для распознавания и классификации поверхностных дефектов холоднокатаного проката на основе нечётких нейронных сетей / А.Ю. Миков, О.С. Логунова // АЬ ovo... (С самого начала...). 2014. Т. 2. - С. 94-100.
Заключение
Разработанное математическое обеспечение позволило предложить унификацию процесса рецензирования за счёт использования единой системы критериев, мер качества и рекомендаций по их оцениванию.
Предложена формула расчёта среднего суммарного балла по каждому выявленному критерию и функций принадлежности, ставящие в соответствие рассчитанное значение с терм-множеством, характеризующим качество статьи. Разработанные рекомендации позволят главному редактору повысить уровень работоспособности за счёт увеличения скорости обработки рукописей и рецензий, поступающих в редакцию.
Авторы полагают, что предложенный подход позволит частично автоматизировать процесс рецензирования, что способствует сокращению временных затрат на отбор материалов к публикации в научном журнале; а также может быть применён не только в предметной области издательской деятельности, но и в других областях, задачами которых является оценка научных работ, например, при оценке качества квалификационных работ в рамках образовательного процесса4.
В дальнейшем планируется развитие представленной методики, в частности усовершенствование системы критериев и расчёт весов для каждого критерия, а также доработка базы правил СППР.
Список источников
[1] Keenum, A. How to peer review a scientific or scholarly article / A. Keenum, J. Shubrook // Osteopathic Family Physician. 2012. V. 4. № 6. - P. 176-179.
[2] Tandon, R. How to review a scientific paper / R. Tandon //Asian Journal of Psychiatry. 2014. V. 11. - P. 124-127.
[3] Ortinau, D.J. Writing and publishing important scientific articles: A reviewer's perspective / D.J. Ortinau // Journal of Business Research. 2011. V. 64. № 2. - P. 150-156.
[4] Allen, T. Peer Review Guidance: How Do You Write a Good Review? / T. Allen // The American osteopathic association. 2013. № 113. - P. 916-920.
[5] Allen, T. Conducting Proper Peer Review for a Journal / T. Allen // Bariatric Surgical Practice and Patient. 2014. V. 9. № 1. - P. 1-3.
[6] Гусев, А.Л. Анализ рынка услуг издательских платформ по управлению деятельностью распределённых коллегий электронных изданий / А.Л. Гусев // Альтернативная энергетика и экология. 2013. № 4-1 (123). -С. 82-86.
[7] Елизаров, А.М. Информационные системы управления электронными научными журналами / А.М. Елизаров, Д.С. Зуев, Е.К. Липачёв // Научно-техническая информация. Серия 1: Организация и методика информационной работы. 2014. № 3. - С. 31-38.
[8] Ахметов, Д.Ю. Система автоматизации редакционных процессов на платформе электронных научных журналов / Д.Ю. Ахметов, А.М. Елизаров // Учёные записки ИСГЗ. 2014. № 1-2 (12). - С. 228-233.
[9] Ахметов, Д.Ю. Управление жизненным циклом электронной научной публикации / Д.Ю. Ахметов // Электронные библиотеки: перспективные методы и технологии, электронные коллекции. 2013. - С. 407-408.
[10] Насадкина, О.Ю. Платформа для запуска научных и научно-популярных электронных журналов / О.Ю.Насадкина, А.Г. Марахтанов, А.Кухарская // Информационная среда вуза XXI века. 2013. - С. 155-157.
[11] Насадкина, О.Ю. Развитие автоматизированной системы «Электронные журналы ПетрГу» / О.Ю. Насадкина, А.Г. Марахтанов // Научно-образовательная информационная среда XXI века. 2014. - С. 152-155.
4 Хотелось бы видеть подтверждение авторской оценки возможности использования представленных наработок для анализа качества не только статей, но заявок на НИР, диссертаций и другой научной продукции. Что особенно важно, к сожалению, сам онтологический (сущностный, критериальный) анализ «научной статьи» остался за кадром. Здесь авторы сослались на свои предыдущие работы, в которых, по нашему убеждению, нет достаточной полноты обоснования построенной онтологии. Поэтому редакция журнала приглашает продолжить разговор на тему оценки (экспертизы) научной продукции, а также самих субъектов-производителей этой продукции. Онтологические основания наукометрии и методы проектирования научных результатов актуальнейшая тема в современном «цифровом» мире (см., например, материалы конференции Science Online XX - http://elibrary.ru/projects/conference/spain2016/program.asp). Прим. ред.
[12] Окжос, K.M. Результаты поиска интеллектуальной собственности по теме «Организация документооборота и системы поддержки принятия решения в издательской деятельности» / K.M. Окжос // Сборник научных трудов Sworld. 2015. Т. 4. № 3. - С. 76-79.
[13] Пат. US2009204469 США, МПК G06F17/30. Internet Method, Process and System for Publication and Evaluation / H. Markram; заявитель и патентообладатель Frontiers Media S.A. - № US12/302,722; заявл. 30.05.2007; опубл. 13.08.2009.
[14] Пат. US7007232 США, МПК G06F15/00. System and method for facilitating the pre-publication peer review process / B.D. Ross, L.D. Stegman, A. Rehemtulla; заявитель и патентообладатель Neoplasia Press. -№ US 09/545,316; заявл. 7.04.2000; опубл. 28.02.2006.
[15] Пат. US20140087354 США, МПК G06F17/00. Systems and Methods for Evaluating Technical Articles / K. Collier, L. Stemmle, J. Grigston; заявитель и патентообладатель K. Collier, L. Stemmle, J. Grigston. -№ US13/665,304; заявл. 31.10.2012; опубл. 27.03.2014.
[16] Пат. US20130332242 США, МПК G06Q10/06. System and method for facilitating the advancement of a research article from conception to post-publication / R. Arnaout, R. Kaufman, J. Goodrich, K. Okaya; заявитель и патентообладатель Copyright Clearance Center. - № US13/915,112; заявл. 11.06. 2013; опубл. 12.12.2013.
[17] Свид. 2015611117 Российская Федерация, Автоматизированная система для создания научных электронных журналов «Спринт» / О.Ю. Насадкина, А.Г. Марахтанов, А.А. Кухарская, Е.В. Голубев; заявитель и патентообладатель ФГБОУ ВПО «Петрозаводский государственный университет». - № 2014661940; заявл. 24.11.2014; опубл. 2015.02.20.
[18] Свид. 2013660624 Российская Федерация, Программный комплекс обеспечения взаимодействия участников распределённой редакционной коллегии в процессах создания, редактирования, рецензирования и публикации материалов электронных изданий. / C.H. Холкин, М.С. Голосовский, М.Ю. Бодалова, А.В. Постников, М.Д. Кашуба; заявитель и патентообладатель ЗАО «Госбук». - № 2013614534; заявл. 30.05.2013; опубл. 2013.12.20.
[19] Свид. 2013614347 Российская Федерация, Платформа для электронных научно-образовательных журналов «е-НОЖ» / Д.В. Фомин-Нилов, И.А. Тарханов; заявитель и патентообладатель ООО «И-ПК». -№ 2013612278; заявл. 19.03.2013; опубл. 2013.06.20.
[20] Свид. 2013614178 Российская Федерация, Программа управления системой электронного документооборота редакции научного журнала Math-Net.Submissions / А.В. Жижченко, А.Д. Изаак; заявитель и патентообладатель. - № 2013611930; заявл. 05.03.2013; опубл. 2013.06.20.
[21] Свид. 2013613707 Российская Федерация, Программный комплекс для ЭВМ «Электронный научный журнал» / В.С. Сюнёв, А.Г. Марахтанов, В.П. Банкет, А.А. Кухарская, А.В. Коросов; заявитель и патентообладатель ФГБОУ ВПО «Петрозаводский государственный университет». - № 2013611739; заявл. 20.02.2013; опубл. 2013.06.20.
[22] Свид. 2015660740 Российская Федерация, Программа для ЭВМ «Электронный научный журнал» / К.М. Окжос, Е.А. Ильина; заявитель и патентообладатель ФГБОУ ВПО «МГТУ им. Г.И. Носова». -№ 2015617499; заявл. 13.08.2015; опубл. 07.10.2015.
[23] Свид. 2015621532 Российская Федерация, База данных для ЭВМ «Научный электронный журнал» / К.М. Окжос, Е.А. Ильина; заявитель и патентообладатель ФГБОУ ВПО «МГТУ им. Г.И. Носова». -№ 2015621070; заявл. 13.08.2015; опубл. 07.10.2015.
[24] Окжос, K.M. Теоретико-множественный анализ информационной среды научного журнала / К.М. Окжос // Теплотехника и информатика в образовании, науке и производстве. 2015. - С. 289-293.
[25] Логунова, О.С. Система поддержки принятия решения для оценки качества статей научного журнала // О.С. Логунова, Е.А. Ильина, К.М. Окжос / Фундаментальные исследования. 2016. № 2 (3). - С. 492-497.
[26] Окжос, K.M. Характеристика и особенности системы поддержки принятия решения для автоматизированной информационной среды научного журнала «Ab ovo ...» / К.М. Окжос, Е.А. Ильина // Актуальные направления научных исследований XXI века: теория и практика. 2015. Т. 3. № 8-1 (19-1). - С. 101-104. DOI: 10.12737/15378.
[27] Энгельс, Ф. Диалектика природы: Собр. соч. / Ф. Энгельс, К. Маркс. - Т. 20. - М.: ГИПЛ, 1961. - 385 с.
[28] Данилин, K.E. Диада или триада / К. Е. Данилин. - Рига, 1974. - 76 с.
[29] Аткинсон, Р. Психология памяти / Р. Аткинсон. - М.: ЧеРо, 2000. - 816 с.
[30] Сараев, А.Д. Системный анализ и современные информационные технологии / А.Д. Сараев, О.А. Щербина // Труды Крымской Академии наук. - Симферополь: СОНАТ, 2006. - С. 54-62.
[31] Черноруцкий, И.Г. Методы принятия решений / И.Г. Черноруцкий. - СПб.: БХВ-Петербург, 2005. - 260 с.
[32] Ротштейн, А.П. Интеллектуальные технологии идентификации: нечеткие множества, нейронные сети, генетические алгоритмы / А.П. Ротштейн. - Винница: Универсум, 1999. - 295 с.
[33] Логунова, О.С. Система оценки качества статей научного журнала / О.С. Логунова, Е.А. Ильина, K.M. Окжос // Математическое и программное обеспечение систем в промышленной и социальной сферах. 2015. № 2 (7). - С. 56-57.
[34] Тарасевич, Ю.Ю. Временная динамика индекса Хирша / Ю.Ю. Тарасевич, Т.С. Шиняева // Вестник ЮУр-ГУ ММП. 2016. Т. 9. № 1. - с. 32-45.
THE PROCESSING SYSTEM OF EXPERT INFORMATION ON THE QUALITY OF SCIENTIFIC ARTICLES
O.C. Logunova1, E.A. Ilina2, K.M. Okzhos3, Yu.V. Kocherzhinskaya4, C.N. Popov5
Nosov Magnitogorsk State Technical University, Magnitogorsk city, Russian Federation 1 [email protected], [email protected], [email protected], ''[email protected], [email protected]
Abstract
The review process is an important step in the selection of manuscripts for publication. Low-quality articles negatively affect the reputation of the scientific journal. Existing ways of organizing the review process require significant time to process reviews. The purpose is to reduce time required for the selection of manuscripts editors by using the system of decision-making for the partial automation of the review process. The presented algorithm of mathematical support for a software decision-making system about the quality of research papers includes: evaluation of manuscripts by experts on the proposed criteria to determine the level of quality and the quality level of the manuscript. The use of software reduces time and labor costs for the editor in the articles selection process. The authors propose to unify the review process through the usage the system of criteria, quality measures and recommendations for their evaluation. It allows to reduce the level of referee's subjectivity and select the best articles for publication in the journal.
Key words: decision support system, review, article quality, the criteria for the review, evaluation scientific articles.
Citation: Logunova OC, Ilina EA, Okzhos KM, Kocherzhinskaya YuV, Popov CN. The processing system of expert information on the quality of scientific articles. Ontology of designing. 2016; 2(20): 216-230. DOI: 10.18287/2223-95372016-6-2-216-230.
References
[1] Keenum A, Shubrook J. How to peer review a scientific or scholarly article. Osteopathic Family Physician. 2012; 4(6): 176-179.
[2] Tandon R. How to review a scientific paper. Asian Journal of Psychiatry. 2014; 11: 124-127.
[3] Ortinau DJ. Writing and publishing important scientific articles: A reviewer's perspective. Journal of Business Research. 2011; 64(2): 150-156.
[4] Allen T. Peer Review Guidance: How Do You Write a Good Review? The American osteopathic association. 2013; 113: 916-920.
[5] Allen T. Conducting Proper Peer Review for a Journal. Bariatric Surgical Practice and Patient. 2014; 9(1): 1-3.
[6] Gusev AL. Market analysis services publishing platforms to manage the activities of boards of distributed electronic publications [In Russian]. Alternativnaya energetika i ekologiya. 2013; 4-1 (123): 82-86.
[7] Elizarov AM, Zuev DS, Lipachyov EK. Information electronic scientific journals management system [In Russian]. Scientific and technical information. Series 1: Organization and technique of information work. 2014; 3: 31-38.
[8] Ahmetov DYu, Elizarov AM. The automation system of the editorial processes of electronic journals platform [In Russian]. Scientists note by the Institute for Social and Human Knowledge. 2014; 1-2(12): 228-233.
[9] Ahmetov DYu. Lifecycle management of electronic scientific publications [In Russian]. Digital Libraries: Advanced Methods and Technologies, Digital Collections. 2013. - pp. 407-408.
[10] Nasadkina OYu, Marahtanov AG, Kuharskaya A. Platform for launching scientific and popular electronic journals [In Russian]. The information environment of high school of the XXI century. 2013. - pp. 155-157.
[11] Nasadkina OYu, Marahtanov AG. Development of "Electronic Journals PetrSU" automated system [In Russian]. Petrozavodsk State University. 2014. - pp. 152-155.
[12] Okzhos KM. Intellectual Property Search Results on "Organization of workflow and decision support systems in the publishing activity" [In Russian]. Sworld. 2015; 4(3): 76-79.
[13] Pat. US2009204469 USA, MPK G06F17/30. Internet Method, Process and System for Publication and Evaluation / H. Markram; Frontiers Media S.A. - № US12/302,722; 30.05.2007; 13.08.2009.
[14] Pat. US7007232 USA, MPK G06F15/00. System and method for facilitating the pre-publication peer review process / B.D. Ross, L.D. Stegman, A. Rehemtulla; Neoplasia Press. - № US09/545,316; 7.04.2000; 28.02.2006.
[15] Pat. US20140087354 USA, MPK G06F17/00. Systems and Methods for Evaluating Technical Articles / K. Collier, L. Stemmle, J. Grigston; K. Collier, L. Stemmle, J. Grigston. - № US13/665,304; 31.10.2012; 27.03.2014.
[16] Pat. US20130332242 USA, MPK G06Q10/06. System and method for facilitating the advancement of a research article from conception to post-publication / R. Arnaout, R. Kaufman, J. Goodrich, K. Okaya; Copyright Clearance Center. - № US13/915,112; 11.06. 2013; 12.12.2013.
[17] Svid. 2015611117 Russian Federation, The automated system for the creation of electronic research "Sprint" magazines / OYu Nasadkina, AG Marahtanov, AA Kuharskaya, E.V. Golubev [In Russian]. Petrozavodsk State University. - № 2014661940; 24.11.2014; 20.02.2015.
[18] Svid. 2013660624 Russian Federation, Program complex interoperability participants distributed the editorial board in the processes of creating, editing, reviewing and publishing of electronic publications / CI Holkin, MS Golosovskiy, MYu Bodalova, AV Postnikov, MD Kashuba [In Russian]. CJSC «Gosbuk». - № 2013614534; 30.05.2013; 20.12.2013.
[19] Svid. 2013614347 Russian Federation, Platform for electronic scientific and educational journals «e-NOZh» / DV Fomin-Nilov, IA Tarhanov [In Russian]. LLC «I-PK». - № 2013612278; 19.03.2013; 20.06.2013.
[20] Svid. 2013614178 Russian Federation, Electronic document management system of the scientific journal Math-Net.Submissions / AV Zhizhchenko, AD Izaak [In Russian]. - № 2013611930; 05.03.2013; 20.06.2013.
[21] Svid. 2013613707 Russian Federation, Software for computers "Electronic scientific journal" / VS Syunyov, AG Marahtanov, VP Banket, AA Kuharskaya, AV Korosov [In Russian]. Petrozavodsk State University. - № 2013611739; 20.02.2013; 20.06.2013.
[22] Svid. 2015660740 Russian Federation, The computer program "Electronic scientific journal" / KM Okzhos, EA Ilina [In Russian]. Nosov Magnitogorsk State Technical University. - № 2015617499; 13.08.2015; 07.10.2015.
[23] Svid. 2015621532 Russian Federation, Computer database "Scientific electronic journal" / KM Okzhos, EA Ilina [In Russian]. Nosov Magnitogorsk State Technical University. - № 2015621070; 13.08.2015; 07.10.2015.
[24] Okzhos KM. The set-theoretic analysis of the information environment of the scientific journal [In Russian]. Heat Engineering and Computer Science in education, science and production. 2015. - pp. 289-293.
[25] Logunova OS, Ilina EA, Okzhos KM. Decision support system for evaluation the quality of scientific journal articles [In Russian]. Fundamental research. 2016; 2(3): 492-497.
[26] Okzhos KM, Ilina EA. Characteristics and features of a decision support system for automated information environment of scientific journal «Ab ovo ...» [In Russian]. Actual directions of scientific researches of the XXI century: theory and practice. 2015; 3(8-1) (19-1): 101-104. DOI: 10.12737/15378.
[27] Engels F, Marks K. Dialectics of Nature: Collected Works [In Russian]. V. 20. - M.: GIPL, 1961. - 385 p.
[28] Danilin KE. Dyad or triad [In Russian]. - Riga, 1974. - 76 p.
[29] Atkinson R. Psychology of memory [In Russian]. - M.: CheRo, 2000. - 816 p.
[30] Saraev AD, Scherbina OA. System analysis and modern information technologies [In Russian]. Proceedings of the Crimean Academy of Sciences. - Simferopol: SONAT, 2006. - pp. 54-62.
[31] Chernoruckiy IG. Decision-making methods [In Russian]. - St. Petersburg: BHV-Peterburg, 2005. - 260 p.
[32] Rotshteyn AP. Intelligent identification technology: fuzzy sets, neural networks, genetic algorithms [In Russian]. -Vinnica: Universum, 1999. - 295 p.
[33] Logunova OS, Ilina EA, Okzhos KM. Quality assessment system of scientific journal articles [In Russian]. Software of systems in the industrial and social fields. 2015; 2(7): 56-57.
[34] Tarasevich YuYu, Shinyaeva TS. Temporal dynamics of Hirsch index [In Russian]. Bulletin of the south ural state university. 2016; 9(1): 32-45.
Сведения об авторах
Логунова Оксана Сергеевна 1966 г. рождения. Окончила Магнитогорский государственный педагогический институт в 1989 г., д.т.н. (2009), доцент (2002). Зав. кафедрой вычислительной техники и программирования Магнитогорского государственного технического университета им Г.И. Носова, с 2010 г. действительный член Академии инженерных наук им. А.М. Прохорова. В списке научных трудов более 200 работ, 9 монографий, 3 патента на изобретения в области автоматизации проектирования, компьютерного зрения и искусственного интеллекта.
Logunova Oksana Sergeevna (b.1966) graduated from the Magnitogorsk State Pedagogical Institute in 1989; D. Sc. Eng. (2009), Docent (2002). Chair of the Department of Computer Engineering and Programming at Nosov Magnitogorsk State Technical University. She is a member of Prokhorov Academy of Engineering Sciences. She is co-author of more than 200 publications, 9 monographs, 3 patents for inventions in the field of CAD, computer vision and artificial intelligence.
Ильина Елена Александровна 1974 г. рождения. Окончила Магнитогорский государственный технический университет им. Г.И. Носова в 1997 г., кандидат пед. наук (2010), магистр по направлению «Информатика и вычислительная техника» (2014). Доцент кафедры вычислительной техники и программирования Магнитогорского государственного технического университета им Г.И. Носова. В списке научных трудов более 150 работ в области системного анализа, проектирования и разработки программного обеспечения в различных сферах.
Ilina Elena Aleksandrovna (b.1974) graduated from the Nosov Magnitogorsk State Technical University in 1997; Ph. D. of Pedagogical Science (2010), M.S. in Computer Science (2014). Assoc. Prof. at the Department of Computer Engineering and Programming at the Nosov Magnitogorsk State Technical University. She is co-author of more than 150 publications in the field of systems analysis, software design and development in various spheres.
Окжос Кристина Марьяновна, 1992 г. рождения. Окончила ФГБОУ ВПО «Магнитогорский государственный технический университет им. Г.И. Носова» по направлению «Информатика и вычислительная техника» в 2014 г., в настоящее время является магистрантом второго года обучения по направлению 09.04.01 «Информатика и вычислительная техника». В списке научных трудов более 20 публикаций в области издательской деятельности.
Okzhos Christina Maryanovna (b. 1992). B. Sc. in Computer Science and Computer Engineering (2014). Now she is a Master's degree student in Computer Science and Computer Engineering at Nosov Magnitogorsk State Technical University. She is co-author of more than 20 publications in the field of publishing activities.
Кочержинская Юлия Витальевна 1978 г. рождения. Окончила Магнитогорский государственный технический университет им. Г.И. Носова в 2000 г., к.т.н. (2004). Доцент кафедры вычислительной техники и программирования Магнитогорского государственного технического университета им Г.И. Носова. В списке научных трудов более 50 работ в области системного анализа, моделирования и разработки программного обеспечения в различных сферах.
Kocherzhinskaya Yuliya Vitalevna (b. 1978) graduated from the Nosov Magnitogorsk State Technical University in 2000; Ph.D. of Engineering Sciences (2004). Assoc. Prof. at the Department of Computer Engineering and Programming at Nosov Magnitogorsk State Technical University. She is co-author of more than 50 publications in the field of system analysis, modeling and software development in various spheres.
Попов Сергей Николаевич, 1992 г. рождения. Окончил ФГБОУ ВПО «Магнитогорский государственный технический университет им. Г.И. Носова» по направлению 09.03.01 «Информатика и вычислительная техника» в 2014 г., в настоящее время является магистрантом второго года обучения по направлению 09.04.01 «Информатика и вычислительная техника». В списке научных трудов более 15 публикаций в области проектирования и реализации программного обеспечения для автоматизации процесса создания библиографического списка.
Popov Sergey Nikolaevich (b. 1992). B. Sc. in Computer Science and Computer Engineering (2014). Now he is a Master's degree student in Computer Science and Computer Engineering at Nosov Magnitogorsk State Technical University. He is co-author of more than 15 publications in the field of developing and implementation the software for automation the process of references list creation.
