CC BY
6
Научные сообщения
УДК 001.8+378.091.398
Инструментарий оценивания научных статей как средство изучения исследовательского потенциала преподавателей учреждений дополнительного профессионального образования
Д. Ф. Ильясов
доктор педагогических наук, профессор
https://orcid.org/0000-0003-0905-7081
dinaf_chel@mail.ru
К. С. Буров
кандидат педагогических наук, доцент
https://orcid.org/0000-0003-1625-5414
kos_chel@mail.ru
Research article evaluation toolkit as a means of studying the research potential of additional professional education teachers
D. F. Ilyasov K. S. Burov
Аннотация
Проблема исследования и обоснование ее актуальности. Актуализируется задача оценивания эффективности результатов научной деятельности преподавателей учреждений дополнительного профессионального образования, получивших отражение в их научных статьях. Указывается на важность резонансного эффекта публикационной деятельности преподавателя, выражающегося в том, что его статья будет процитирована, а предложенные решения будут применены в педагогической практике. Отмечается, что используемые в практике оценки научных статей показатели не в полной мере отражают личный исследовательский потенциал автора в представлении качественных результатов научной
работы. Ставится цель исследования - определение, обоснование и апробация критериев оценки научной статьи, позволяющих получить наиболее полное представление о научном потенциале преподавателя дополнительного профессионального образования. При обзоре литературы выявлено, что в научной периодике описан опыт выстраивания системы оценивания исследовательского потенциала научно-педагогических работников на основе наукометрических критериев, изучены способы количественной и качественной оценки содержания научных статей. При этом не представлен опыт оценивания исследовательского потенциала преподавателей системы дополнительного профессионального образования. В статье охарактеризованы методологические ос-
нования исследования, связанные, в частности, с теоретическими положениями квали-метрии. В исследовании применены методы анализа научной литературы, абстрагирования, формализации, экспертных оценок. Это позволило провести теоретическое исследование и осуществить апробацию выявленных критериев оценки научной статьи. В ходе исследования получены следующие результаты. Научной новизной и теоретической значимостью обладают критерии оценки научной статьи, позволяющие получить наиболее полное представление о научном потенциале преподавателя дополнительного профессионального образования, спроектированный алгоритм экспертного оценивания (включающий три этапа). Разработанный инструментарий оценивания научного потенциала преподавателей является авторской разработкой. Предложенные критерии оценки научных статей имеют практическую значимость и могут быть использованы для разработки положений о конкурсе научных статей, совершенствования ре-дакционно-издательской политики научных журналов, разработки систем внутриоргани-зационного оценивания эффективности научной деятельности.
Abstract
The research problem and the rationale for its relevance. The task of assessing the effectiveness of the research activities of additional professional education teachers, which are reflected in their scientific articles, is actualized. The importance of the resonance effect of the teacher's publication activity, which is expressed in the fact that his/her article will be cited, and the proposed solutions will be applied in pedagogical practice, is pointed out. It is noted that the indicators used in the practice of evaluating scientific articles do not fully reflect the personal research potential of the author in presenting the qualitative results of scientific work. The goal of the research is to determine, justify and approve the criteria for evaluating the scientific article, allowing to get the most complete picture of the scientific potential of the teacher of additional professional education. The literature review revealed that scientific periodicals describe the experience of building a system of assessment of research potential of scientific and pedagogical staff on the basis of scientometric criteria, studied ways of quantitative and qualitative
assessment of the content of scientific articles. However, there is no experience in assessing the research potential of teachers in the system of additional professional education. The article characterizes the methodological foundations of the study, related to the theoretical provisions of qualimetry. The research applied methods of scientific literature analysis, abstraction, formalization, expert evaluations. This allowed to carry out theoretical research and approbation of the identified criteria for evaluating a scientific article. In the course of the study the following results were obtained. Scientific novelty and theoretical significance have: criteria for evaluating a scientific article, allowing to get the most complete picture of the scientific potential of a teacher of additional professional education; designed algorithm of expert evaluation (including three stages). The developed toolkit for evaluating the scientific potential of teachers is the author's development. The proposed criteria for evaluating scientific articles have practical significance and can be used to develop regulations on the competition of scientific articles, to improve the editorial and publishing policy of scientific journals, to develop systems for intra-organizational evaluation of the effectiveness of scientific activity.
Ключевые слова: научная деятельность, научно-педагогический работник, преподаватель учреждения дополнительного профессионального образования, исследовательский потенциал, научная статья, квалиметрия, экспертные методы, критерии оценки, алгоритм экспертизы.
Keywords: scientific activity, scientific-pedagogical employee, additional professional education institution teacher, research potential, scientific article, qualimetry, expert methods, evaluation criteria, examination algorithm.
Введение
Дополнительное профессиональное образование обеспечивает своевременное обновление знаний и умений практикующих специалистов. Этот эффект достигается, в том числе, посредством включения в содержание образования традиционных и передовых научных знаний. Такой подход весьма актуален в практике организации повышения квалификации педагогических работников общеобразовательных организаций. Так, например, принципиальная реали-
зуемость педагогических технологий зависит от их научной обоснованности. Более того, успешные инновационные образовательные практики создаются в рамках научно-прикладных исследований. Это дает возможность подтвердить их целесообразность и эффективность.
Этот ресурс повышения качества дополнительного профессионального образования обеспечивается преподавателями. В структуре выполняемых ими видов работ наиболее часто выделяются три основных направления: преподавательская, методическая и научная деятельность. При этом успешность преподавательской и методической работы в современных условиях зависит от степени владения научной компетентностью. Здесь особенно важны осведомленность преподавателя о научных основах педагогической деятельности, представления о современном состоянии науки, ее актуальных проблемах, предлагаемых решениях, способность самостоятельно проводить исследование и обобщать его результаты, способность применять результаты научных исследований в образовательной деятельности. Можно утверждать, что осуществление научной деятельности является атрибутивным признаком профессиональной компетентности успешно работающих преподавателей учреждений дополнительного профессионального образования.
В научной литературе неоднократно демонстрировалась высокая роль научной деятельности в развитии профессиональной компетентности преподавателей системы дополнительного профессионального образования. Эта компетентность подтверждается не только наличием способности к проведению исследовательской деятельности и способностью к речевому оформлению собственной позиции. Осуществление научной деятельности преподавателей предполагает формализацию получаемых результатов. Данные результаты являются предметом для оценивания с целью нормирования научной работы, выполняемой преподавателем, констатации ее успешности, определения научного потенциала преподавателей, выстраивания перспектив научной деятельности образовательной организации.
Существуют разные подходы к оцениванию успешности научной работы и исследовательского потенциала преподавателей. Но у них
есть общая основа - применение наукометрических показателей. Эти показатели являются достаточно универсальными, формализованными, разработанными на основе квалиметрии. Одним из самых очевидных показателей научной деятельности преподавателей является их публикационная активность. Закономерно, что данная активность оценивается по критериям, определяющим качественные и количественные параметры научных статей. Это количественные показатели публикационной активности в единицу времени, индекс цитируемости (индекс Хирша) и его модификации, П0-индекс, значимость публикаций в зависимости от научного веса журнала. Эти показатели в определенной степени свидетельствуют о систематичности и успешности научной деятельности преподавателей. При этом фиксируются формальные показатели публикационной активности. Например, они могут достигаться за счет значительного количества статей, опубликованных в соавторстве. Вместе с тем применяемые показатели не отражают личный исследовательский потенциал автора в представлении качественных результатов научного исследования.
Нужно отметить, что существует практика экспертизы и рецензирования статьи при подготовке статей, публикуемых в научных журналах, входящих в перечень изданий, рекомендованных для публикации результатов диссертационных исследований Высшей аттестационной комиссией при Министерстве науки и высшего образования Российской Федерации. Процедура экспертизы включает позиции содержательной оценки статей. Это означает, что подготовленная к публикации статья имеет достаточную степень актуальности, содержит новые научные результаты, объективно отражает проведенное исследование. Другими словами, такие статьи соответствуют критериям качества, предъявляемым к научным статьям.
Вместе с тем качество статьи не всегда гарантирует то, что эта статья будет интересна другим исследователям. Важен не только сам факт публикации статьи, но и то, что она вызовет внимание научного сообщества, будет прочитана, послужит основанием для научного диалога. Это обеспечивается наличием научного обоснования, доступностью изложения, наличием перспективных педагогических ре-
шений. Также важен резонансный эффект, выражающийся в том, что статья будет процитирована, а предложенные решения будут применены в педагогической практике. Эта позиция, на наш взгляд, дает представление о научном потенциале автора, выраженном в содержании статьи, и образует позитивный «цифровой след».
Предлагаемый подход к оценке публикационной активности преподавателя отражает важные элементы научной работы преподавателей дополнительного профессионального образования: теоретическая значимость, практическая направленность, востребованность научных исследований в педагогической практике. В связи с этим можно определить цель нашего исследования как определение, обоснование и апробацию критериев оценки научной статьи, позволяющих получить наиболее полное представление о научном потенциале преподавателя дополнительного профессионального образования.
Обзор литературы
Эффективность исследовательской деятельности научных сообществ, образовательных организаций и научно-педагогических работников достаточно часто становилась предметом изучения. В подобных исследованиях акцент делался на определение перспективности результатов исследований. Так, в научной периодике встречаются работы, очерчивающие содержание понятия «исследовательский потенциал» субъекта научной деятельности [1; 2]. В данных работах предлагаются подходы к описанию таких характеристик ученого, которые обеспечивают результативность научной деятельности. При этом выявляются внутренние качества личности, которые характеризуют мотивационную, интеллектуальную и творческую готовность к реализации исследовательской деятельности. Авторы публикаций обращают внимание на то, что исследовательский потенциал возможно оценить по степени его реализации. В случае, если речь идет о действующем научно-педагогическом работнике, говорят о «реализованном» исследовательском потенциале. Данная характеристика приобретает значение в контексте проводимого исследования, учитывая тот факт, что речь идет о оценивании исследовательского потенциала состоявшихся субъектов научной деятельности -
преподавателей учреждений дополнительного профессионального образования.
Необходимо отметить, что оценивание реализованного исследовательского потенциала преподавателя во многих публикациях связывается с анализом полученных результатов научной деятельности. Среди таких результатов наиболее значимыми признаются научные публикации, отражающие результаты проведенных исследований. Тем более что существуют достаточно хорошо разработанные наукометрические показатели, которые аккумулированы в известных базах данных (например, в системе «РИНЦ»). Именно эти данные позволяют выстроить критериальный ряд для оценивания исследовательского потенциала ученого. Так, например, С. С. Донецкая пишет о наличие такого объективного индивидуального показателя, как индекс цитируемости, который отражает количество ссылок на работы данного ученого. Это позволяет оценить востребованность конкретной публикации и работ ученого в целом. Автор подчеркивает, что не сам факт публикации и их количество, а именно ее цитируемость и востребованность может служить индикатором исследовательского потенциала ученого [3].
Целый ряд публикаций посвящен теме использования наукометрических показателей публикационной активности для оценивания научной деятельности профессорско-преподавательского состава [4; 5; 6; 7]. Это свидетельствует о значительном внимании к вопросам оценивания, нормирования и учета деятельности по подготовке научных статей. В проанализированных работах подробно рассмотрено выстраивание систем оценивания научного потенциала на основе следующих показателей: число публикаций в РИНЦ, число публикаций в ядре РИНЦ, количество публикаций в журналах ВАК, в зарубежных журналах, количество цитирований, индекс Хирша, среднее число цитирований на одну публикацию, средний импакт-фактор журналов, в которых опубликованы статьи, и т. д. Отмечается, что эти показатели послужили основой для разработки систем внутриорганизационного оценивания научной результативности преподавателей научных и образовательных организаций.
В ряде работ высказывается мнение о существенных ограничениях, которые выявляются
при использовании наукометрических показателей для оценивания исследовательского потенциала преподавателей и ученых. Так, Э. А. Диваева [8], Ю. Ю. Тарасевич [9], Т. С. Шиняева [9], А. Г. Шестакович [10] пишут о затруднениях в использовании формализованных данных. Например, при количественной оценке публикаций не учитываются особенности творческого вклада автора. Учитываемые при оценке общего количества публикаций работы могут быть коллективным достижением (опубликованы в соавторстве). Прибегая к написанию значительного количества коллективных статей, автор увеличивает публикационные показатели. При этом не всегда оценивается целесообразность включения ученого в авторский коллектив.
Другим примером формального подхода к оценке публикационной активности является использование индекса цитирования как основного показателя научной эффективности преподавателя. Индекс цитируемости призван выявлять меру востребованности одного ученого среди других ученых.
Однако данный индекс не всегда учитывает ситуацию самоцитирования. Кроме того, показатели количества публикаций и потенциала их цитирования неравномерно распределяются в различных сферах научного знания. Отмечаются факты целенаправленного, «искусственного» повышения индекса цитирования авторами публикаций.
В целом исследователями критикуется использование для оценивания статей только наукометрических показателей. Делается вывод о том, что количественные показатели достаточно ситуативны и не дают полного представления об исследовательском потенциале научно-педагогического работника. Их следует рассматривать как базовые, пороговые показатели, фиксирующие публикационную активность. Для более объективной оценки научной статьи следует привлекать содержательные показатели.
Возможности оценивания научной ценности и содержательности научных статей освещались в работах О. В. Рудневой [11], Т. Д. Ми-хайленко [12], Л. Н. Беляевой [13], Н. Л. Шубиной [13], Н. Н. Пахомова [14], М. Д. Спекто-ра [14]и др.
Так, О. В. Руднева пишет о том, что публикация преподавателя в рецензируемом научном
журнале с формализованными требованиями к публикации является существенным ресурсом, позволяющим демонстрировать и развивать научный потенциал преподавателей [11]. Именно поэтому возрастает необходимость разработки и совершенствования критериев оценивания научной статьи.
Т. Д. Михайленко описывает перечень критериев, используемых в системе рецензирования научных статей. Эти критерии во многом дают представление о содержательной наполненности научной статьи. Это актуальность темы, соответствие научному стилю, композиционная стройность, отражение положений аннотации в ее содержании, научная новизна и значимость. Такое рецензирование дает объективное представление о качестве представленной к публикации статьи [12]. Подобные критерии могут лечь в основу разработки способов содержательной оценки качества научной статьи.
Л. Н. Беляева и Н. Л. Шубина обосновывают применение метода независимого экспертного оценивания публикаций. Они определяют критерии качества научной статьи для возможности ее публикации в журнале из перечня ВАК РФ: актуальность исследуемой в научной статье проблемы, научная новизна раскрываемых положений, практическая значимость отраженных в статье результатов исследования, полнота и правильность представляемых сведений, аргументации, этика цитирования. Эти содержательные оценочные средства демонстрируют значимость статьи для развития научных представлений в различных сферах исследования [13].
Н. Н. Пахомов и М. Д. Спектор высказались о недопустимости абсолютизации наукометрических показателей. Также они определили важнейшие критерии значимости научной статьи. Это представленность новых научных знаний, направленность на развитие науки и практики, предложение перспективных решений [14].
Таким образом, можно констатировать наличие исследований, предметом которых является обоснование и разработка инструментария оценивания исследовательского потенциала преподавателей. Особенно внимательно изучается реализованный научный потенциал. Предлагается выстраивать системы оценивания
на основе наукометрических критериев. Также изучаются способы экспертной оценки содержания научных статей. При этом указывается на необходимость оценивания потенциала и значимости статьи для научной коммуникации. Указывается на то, что такие системы оценивания недостаточно разработаны. Кроме того, в научной периодике не представлен опыт оценивания исследовательского потенциала преподавателей системы повышения квалификации. Эти факты свидетельствуют об актуализации проводимого исследования по разработке инструментария оценивания исследовательского потенциала преподавателей системы дополнительного профессионального образования.
Методология (материалы и методы)
В основе разработки критериев оценки научной статьи, позволяющих получить наиболее полное представление о научном потенциале преподавателя дополнительного профессионального образования, лежат следующие методологические основания.
При уточнении объекта оценивания и обосновании процедуры разработки и апробации критериев авторы обратились к теоретическим основаниям квалиметрии, разработанным Г. Г. Азгальдовым. В частности, изучался общий алгоритм осуществления процедур оценки качества объектов и явлений. Ученый выделил три стадии в процессе организации разработки оценки качества объекта: организация работы, разработка вспомогательных материалов, оценивание качества конкретных образцов [15]. Это позволило сформулировать алгоритм измерения, примененный в проводимом исследовании, включающий организационный, проектировочный, апробационный этапы. На каждом этапе предлагалось провести соответствующие работы. На первом - это определение педагогической задачи и ситуации оценивания. На втором этапе предполагалось выявление наиболее значимых критериев, показателей и их уровне-вая характеристика. На третьем этапе была сформирована экспертная группа, были подготовлены средства оценивания и осуществлена апробация предложенных критериев. Применение данного алгоритма будет раскрыто при характеристике результатов исследования.
Еще одним методологическим основанием послужили результаты научных изысканий А. И. Субетто в области квалиметрии человека
и образования. В частности, было уточнено, что оценке могут подвергаться не только параметры материальных объектов, но и развивающиеся человеческие качества и протекающие во времени процессы [16]. В контексте проводимого исследования речь идет о возможности оценивания исследовательского потенциала научно-педагогического работника. Данный потенциал можно оценить по основанию перспективности результатов проводимых исследований. Способность обосновать и представить решение педагогической проблемы, раскрыть перспективы его использования в научной статье является одним из показателей исследовательского потенциала. Следовательно, можно определить критерии, которые свидетельствуют о наличии данного потенциала.
При разработке критериев оценивания статей мы опирались на метод анализа научной литературы. Принимались во внимание источники, в которых были описаны критерии научной значимости публикаций, возможности использования результатов в виде цитирования. Кроме того, учитывались положения синерге-тической теории о наличии резонансных взаимодействий явлений окружающей действительности [17]. В частности, в научных работах выявляются механизмы возникновения и функционирования информационного резонанса [18]. Также были приняты во внимание результаты авторских научных исследований, характеризующих особенности научной деятельности преподавателей учреждений дополнительного профессионального образования. Данные исследования связаны с обоснованием необходимости и возможности популяризации научных педагогических знаний. Использование данного средства педагогом системы повышения квалификации состоит в умении доступно представить научное знание, продемонстрировать его прикладной характер, способности обосновать позитивный педагогический опыт с точки зрения его соответствия научным представлениям. Этой проблеме посвящен ряд концептуальных публикаций авторов статьи. В результате научного абстрагирования и формализации были получены авторские критерии оценки научной статьи, позволяющие получить наиболее полное представление о научном потенциале преподавателя дополнительного профессионального образования.
Еще одним методологическим основанием послужил метод экспертных оценок в педагогических исследованиях, раскрытый в работах В. С. Черепанова [19]. В частности, ученым обосновывается процедура формирования экспертных групп, общие правила организации и проведения экспертиз педагогических продуктов. Процедура учета мнений участников экспертной группы. Применение данного метода позволило провести апробацию выявленных критериев.
Опора на научную методологию позволяет повысить адекватность и точность полученного инструментария оценивания научных статей. Использование теоретических основ и методов квалиметрии позволяет описать процедуру применения данного инструментария. Учет специфики деятельности преподавателей учреждений дополнительного профессионального образования, а также опора на результаты собственных исследований обеспечивает оригинальность предлагаемого инструментария оценивания научных статей, который в полной мере можно считать авторской разработкой.
Результаты и их описание
Опираясь на предложенный алгоритм исследовательских процедур, представим результаты исследования. Итогом организационного этапа явилось уточнение ситуации и объекта измерения. В частности, была уточнена педагогическая задача оценивания: изучение исследовательского потенциала преподавателей учреждения дополнительного профессионального образования. Данный потенциал выявляется на основе экспертного оценивания научных статей, подготовленных преподавателями.
Была определена ситуация оценивания. Предполагалось, что экспертное оценивание будет проведено в рамках конкурса научных статей. В частности к экспертизе принимались научные статьи, опубликованные в научном журнале из перечня ВАК РФ, опубликованные за три последних года. Это позволило определить репрезентативную выборку экспертируе-мых статей.
На втором этапе стояла задача определения адекватных критериев, отражающих исследовательский потенциал преподавателей учреждения дополнительного профессионального образования. На основе применения методов анализа научной литературы, абстрагирования
и формализации были получены необходимые критерии, описаны уровневые характеристики их проявления. Для удобства работы экспертов были сформулированы обобщенные критерии, их содержание уточнено в виде вопроса и трех уровней проявления критерия. Приведем их описание.
Критерий 1. Теоретическая значимость. Данный критерий характеризовал возможность применения выводов и полученных в статье результатов для обоснования актуальности и значимости исследований по сходной проблематике. Предложены следующие уровни его проявления:
1) результаты можно признать стандартными и использовать для обзора и обоснования разработанности проблемы по сходной проблематике;
2) результаты можно считать оригинальными и использовать для актуальности и значимости исследований по сходной проблематике;
3) результаты можно считать новыми, нестандартными и использовать их как теоретическую основу для проведения исследований по сходной проблематике.
Критерий 2. Прикладной потенциал. Этот критерий демонстрирует, насколько высока вероятность применения или внедрения предложенных автором решений в практику деятельности реальной образовательной организации. Предложены следующие уровни его проявления:
1) наличие общих предложений по использованию научных идей, методов и средств в практике дополнительного профессионального образования;
2) наличие описания и опыта применения содержательного и методического обеспечения, которое может быть использовано в практике дополнительного профессионального образования;
3) наличие научно-обоснованного описания комплексного авторского решения и конкретных предложений по его внедрению в практику дополнительного профессионального образования.
Критерий 3. Воспроизводимость результатов. Предложенный критерий предполагает оценку того, насколько высока вероятность рекомендации предложенных автором решений (идеи, методики, модели) коллегам для распро-
странения в практике исследовательской и образовательной деятельности. Предложены следующие уровни его проявления:
1) предложенные автором решения (методики, модели) уже внедрены в практику исследовательской и образовательной деятельности. Исследователям можно обратить внимание опыт их успешного применения в конкретных условиях;
2) отдельные предложенные автором решения (идеи, методики, модели) коллегам, можно рекомендовать коллегам для использования в практике исследовательской и образовательной деятельности;
3) предложенные автором системные решения (идеи, методики, модели) можно рекомендовать коллегам для распространения в широкой практике исследовательской и образовательной деятельности.
Критерий 4. Резонансный эффект в научном сообществе. Данный критерий оценивает, насколько высока вероятность того, что данная статья будет процитирована преподавателем или ученым, специализирующимся в области предложенной автором научной проблематики. Уровни проявления критерия:
1. Предложенные идеи являются стандартными. Вероятность цитирования существует, однако данная публикация не является приоритетной.
2. Предложенные идеи достаточно интересны для обсуждения в периодике. Существует вероятность цитирования данной статьи в одной или нескольких из научных публикаций.
3. Предложенные идеи можно задействовать для научного обоснования исследований. Высокая вероятность цитирования данной статьи в ряде научных публикаций. Можно рекомендовать для цитирования коллегам.
Критерий 5. Популяризация научных знаний. Этот критерий отражает умение автора четко и доступно для восприятия представить педагогическую проблему и вариант авторского решения в содержании статьи. Предложенные уровни его проявления:
1. Автор проявляет умение излагать материал в научном стиле, доступном для восприятия научными работниками. Вместе с тем восприятие смысла статьи затруднено и перегружено научной лексикой.
2. Автор проявляет умение излагать материал в научном стиле, доступном для восприятия научными работниками в сфере педагогической деятельности.
3. Автор проявляет умение излагать материал в научном стиле, доступном для восприятия широким кругом научных работников и специалистов в сфере педагогической деятельности.
Критерий 6. Научно-коммуникационная перспектива. Предложенный критерий демонстрирует, насколько высока вероятность того, что прочтение статьи побудит ученого или преподавателя ознакомиться с другими работами автора, инициировать коммуникацию или полемику. Уровни проявления данного критерия:
1) прочтение статьи с малой долей вероятности может побудить к ознакомлению с другими работами автора;
2) прочтение статьи может побудить к ознакомлению с другими работами автора и инициированию коммуникации;
3) прочтение статьи с большой долей вероятности побудит к ознакомлению с другими работами автора, инициированию коммуникации или полемики.
Критерий 7. Мотивирующий к исследованию потенциал предполагает выразить отношение к тому, вызывают ли вопросы и полученные результаты, вынесенные на обсуждение, желание организовать или рекомендовать коллегам (соискателям, аспирантам) провести исследование по схожей тематике. Уровни его проявления:
1) вопросы и результаты, вынесенные на обсуждение, очевидны и не вызывают желание продолжить исследования в том же направлении;
2) вопросы и результаты, вынесенные на обсуждение, могут способствовать их использованию в структуре исследования по схожей тематике.
3) вопросы, вынесенные на обсуждение, вызывают желание организовать или рекомендовать провести исследование по схожей тематике.
В целом данные критерии характеризуют содержание статьи с точки зрения новизны и прикладной значимости проведенного исследования; возможность использования его результатов в научной деятельности других научно-педагогических работников; вероятность цити-
рования материалов статьи; способность автора к популяризации научных знаний; степень интереса к установлению научной коммуникации; возникновение мотивов к проведению исследования по схожей тематике. Считаем, что данный комплекс критериев достаточно объективно характеризует научный потенциал преподавателя учреждения дополнительного профессионального образования. На основании данных критериев и уровней их проявления была определена шкала, обеспечивающая проведения экспертного оценивания в количественном измерении.
На третьем этапе была реализована процедура экспертного оценивания конкретных статей. В частности, было разработано положение о проведении конкурса научных статей. Была определена выборка статей. В состав данной выборки были включены 43 научных статьи сотрудников ГБУ ДПО «Челябинский институт переподготовки и повышения квалификации работников образования». Была определена экспертная группа, в состав которой вошли представители различных образовательных организаций Российской Федерации. В частности, в качестве экспертов выступили 25 ученых, имеющих научную степень доктора наук, а также 20 сотрудников, имеющих степень кандидата наук. Такой подход к формированию экспертного сообщества позволил в значительной степени повысить объективность и независимость процедуры экспертирования научных статей.
Кроме того, были разработаны электронные средства, обеспечивающие экспертное оценивание. Процедура экспертизы представляла собой заполнение электронного бланка оценивания. Применялся алгоритм перекрестного оценивания.
При этом каждую статью оценивали пять экспертов, определенных с применением метода случайного выбора. Интересно, что при оценивании не учитывались самый высокий и самый низкий результат. Таким образом, применение экспертного метода оценивания обеспечило объективность получаемых результатов.
В качестве полученных результатов можно выделить следующие. Были апробированы предложенные в данном исследовании критерии оценивания научной статьи. На основании экспертной оценки научных статей было полу-
чено объективное представление о достаточно высоком научном потенциале преподавателей дополнительного профессионального образования.
Представители научного сообщества приняли участие в новой форме оценивания. Оценивалась не качество статьи, а потенциал ее использования научной общественностью. Получена обратная связь, которая демонстрировала интерес к предложенной форме оценивания. Нестандартный взгляд на экспертную процедуру научной статьи позволил задуматься о функционировании научной коммуникации, факторах повышения информационного резонанса собственных идей, выраженных в научных статьях.
Преподаватели получили опыт участия в конкурсе научных статей, реализовали возможность распространения результатов собственных исследований. Преподавателями было выражено мнение о том, что подобная научная коммуникация повышает вероятность цитирования предложенных к экспертизе статей.
Обсуждение
На обсуждение выносится содержание критериев оценки научной статьи, позволяющих получить наиболее полное представление о научном потенциале преподавателя дополнительного профессионального образования. Точность и полнота данных критериев обеспечивает адекватность проведения экспертных процедур. С помощью данных критериев можно судить о научном потенциале автора, выраженном в содержании статьи и образующим позитивный «цифровой след» в современной научной коммуникации. Это способствует повышению «открытости» научной деятельности.
Также описание экспертной процедуры можно положить в основу разработки положений о конкурсе научных статей. Проведение подобных конкурсов может рассматриваться как мера активизации научной коммуникации и развития научных школ. Также данные критерии могут быть рекомендованы для совершенствования редакционно-издательской политики научных журналов, входящих в перечень ВАК РФ.
Стоит отметить, что данные критерии были разработаны для изучения исследовательского потенциала преподавателей учреждения дополнительного профессионального образования.
Представляется, что предложенный инструментарий может быть использован в других образовательных учреждениях, сотрудники которых выполняют такой вид исследовательской деятельности, как написание научных статей. В частности, на основании данных критериев могут разрабатываться системы внутриоргани-зационного оценивания эффективности научной деятельности.
Заключение
В данной статье была актуализирована необходимость оценивания эффективности научной деятельности преподавателей учреждений дополнительного профессионального образования. При этом было указано на то, что осуществление научной деятельности преподавателей предполагает формализацию получаемых результатов. Одним из самых очевидных показателей эффективности научной деятельности преподавателей является их публикационная активность. Данная активность оценивается по критериям, определяющим качественные и количественные параметры научных статей. Отмечено, что применяемые показатели не в полной мере отражают личный исследовательский потенциал автора в представлении качественных результатов научного исследования. Определена важность резонансного эффекта, выражающегося в том, что статья будет процитирована, а предложенные решения будут применены в педагогической практике. Охарактеризована цель исследования как определение, обоснование и апробация критериев оценки научной статьи, позволяющих получить наиболее полное представление о научном потенциале преподавателя дополнительного профессионального образования.
Обзор литературы показал, что эффективность научной деятельности научных сообществ, научно-образовательных организаций и отдельных представителей научного сообщества достаточно часто являлась предметом изучения.
В научной периодике присутствуют работы, предметом которых являлось обоснование и разработка инструментария оценивания исследовательского потенциала преподавателей. Был описан опыт выстраивания системы оценивания на основе наукометрических критериев, изучались способы экспертной оценки содержания научных статей. При этом в научной
периодике не представлен опыт оценивания исследовательского потенциала преподавателей системы дополнительного профессионального образования.
Изложены методологические основания исследования: теоретические основания квали-метрии, применяемой, в том числе, в педагогических науках. При разработке критериев оценивания статей авторы использовали методы анализа научной литературы, абстрагирования, формализации, экспертных оценок.
В ходе исследования получены следующие результаты. Сформулирован общий алгоритм измерения, включающий организационный, проектировочный и апробационный этапы. На каждом этапе запланированы и проведены соответствующие работы. На основе применения методов анализа научной, литературы, абстрагирования и формализации были получены необходимые критерии оценки научной статьи, позволяющие получить наиболее полное представление о научном потенциале преподавателя дополнительного профессионального образования: теоретическая значимость, прикладной потенциал, воспроизводимость результатов, резонансный эффект в научном сообществе, популяризация научных знаний, научно-коммуникационная перспектива, мотивирующий к исследованию потенциал. Также были определены уровни их проявления. На основании данных критериев и уровней их проявления составлена шкала и разработаны электронные средства, поддерживающие проведение экспертного оценивания. Учет специфики деятельности преподавателей учреждений дополнительного профессионального образования, а также опора на результаты собственных исследований обеспечивает оригинальность предлагаемого инструментария оценивания научных статей, который в полной мере можно считать авторской разработкой.
Использование теоретических основ и методов квалиметрии позволило описать процедуру применения данного инструментария. Была реализована процедура экспертного оценивания конкретных статей. На основании экспертной оценки научных статей было получено объективное представление о достаточно высоком научном потенциале преподавателей дополнительного профессионального образования. Предложенный инструментарий оценивания
научных статей может быть использован для разработки положений о конкурсе научных статей, совершенствования редакционно-издательской политики научных журналов, разработки систем внутриорганизационного оценивания эффективности научной деятельности.
Библиографический список:
1. Исследовательский потенциал студента: содержание конструкта и методика его оценки / Н. В. Бордовская, С. Н. Костромина, С. И. Ро-зум, Н. Л. Москвичева. - Текст : непосредственный // Психологический журнал. - 2017. -Т. 38, № 2. - С. 89-103.
2. Севрюкова, А. А. Методика развития исследовательского потенциала учителя в системе дополнительного профессионального образования / А. А. Севрюкова. - Текст : непосредственный // Вестник Томского государственного педагогического университета. - 2013. -№ 6 (134). - С. 93-98.
3. Донецкая, С. С. Анализ научного потенциала преподавателей Новосибирского государственного университета на основе объективной оценки их научной деятельности / С. С. Донецкая. - Текст : непосредственный // Вестник Новосибирского государственного университета. Серия: Социально-экономические науки. -2008. - Т. 8, № 2. - С. 146-154.
4. Логунова, О. С. Результаты анализа публикационной активности профессорско-преподавательского состава ФГБОУ ВПО «Магнитогорский государственный технический университет им. Г. И. Носова» / О. С. Логунова, А. В. Леднов, В. В. Королева. - Текст : непосредственный // Вестник Магнитогорского государственного технического университета им. Г. И. Носова. - 2014. - № 3 (47). - С. 78-87.
5. Применение наукометрических показателей для сравнительной характеристики медицинских вузов России / М. Б. Хрусталев, А. А. Максимова, А. В. Тишков, Н. Ю. Турбина. - Текст : непосредственный // Университетское управление: практика и анализ. - 2018. -Т. 22, № 3 (115). - С. 19-31.
6. Черных, Ю. А. Алгоритм расчета интегрального индекса эффективности публикационной активности профессорско-преподавательского состава и научных сотрудников вуза / Ю. А. Черных, Д. С. Витвицкий, О. И. Кузь-
ЧИППКР0
мина. - Текст : непосредственный // Вестник Иркутского государственного технического университета. - 2018. - Т. 22, № 7 (138). -С. 96-101.
7. Мохначева, Ю. В. Методика определения значимости научных публикаций / Ю. В. Мохначева, Т. Н. Харыбина. - Текст : непосредственный // Библиосфера. - 2008. -№ 3.- С. 23-33.
8. Диваева, Э. А. Проблемы использования наукометрических показателей в оценке инновационной деятельности вузов и научных организаций / Э. А. Диваева. - Текст : непосредственный // Инновации и инвестиции. - 2018. -№ 4. - С. 13-16.
9. Тарасевич, Ю. Ю. Критерии оценки состояния и развития научных исследований на основе анализа наукометрической информации / Ю. Ю. Тарасевич, Т.С. Шиняева. - Текст : непосредственный // Вопросы образования. -2015.- № 2. - С. 221-240.
10. Шестакович, А. Г. Проблемы развития публикационной культуры в научном обществе России / А. Г. Шестакович. - Текст : непосредственный // Вестник УГНТУ. Наука, образование, экономика. Серия: Экономика. - 2019. -№ 2 (28). - С. 43-50.
11. Руднева, О. В. Научный журнал вуза как ресурс развития научного потенциала преподавателей и студентов Сургутского государственного педагогического университета (к 10-летнему юбилею «Вестника Сургутского государственного педагогического университета») / О. В. Руднева. - Текст : непосредственный // Вестник Сургутского государственного педагогического университета. - 2017. - № 5 (50). -С. 262-265.
12. Михайленко, Т. Д. Научное рецензирование как главная составляющая научно -издательской деятельности / Т. Д. Михайлен-ко. - Текст : непосредственный // Вестник Российской таможенной академии. - 2019. - № 1. -С. 133-139.
13. Беляева, Л. Н. Научная статья как объект экспертной оценки / Л. Н. Беляева, Н. Л. Шубина. - Текст : непосредственный // Известия Российского государственного педагогического университета им. А. И. Герцена. - 2014. -№ 172.- С. 5-12.
14. Пахомов, Н. Н. Научная статья: суть, смысл и предназначение / Н. Н. Пахомов,
М. Д. Спектор. - Текст : непосредственный // Высшее образование сегодня. - 2019. - № 1. -С.59-62.
15. Азгальдов, Г. Г. Теория и практика оценки качества товаров: (Основы квалиметрии) / Г. Г. Азгальдов. - Москва : Экономика, 1982. -256 с. - Текст : непосредственный.
16. Субетто, А. И. Квалиметрия человека и образования: генезис, становление, развитие, проблемы и перспективы / А. И. Субетто. -Москва : Исслед. центр проблем качества под-гот. специалистов, 2006. - 96 с. - Текст : непосредственный.
17. Сунгуров, А. Ю. Резонансные взаимодействия в природе / А. Ю. Сунгуров // Синергетика и методы науки. - Санкт-Петербург : Наука, 1998. - С. 431-433. - Текст : непосредственный.
18. Соловова, Н. В. Механизм информационного резонанса / Н. В. Соловова. - Текст : непосредственный // Вестник Самарского государственного университета. - 2008. - № 66. -С.269-275.
19. Черепанов, В. С. Экспертные оценки в педагогических исследованиях / В. С. Черепанов. - Москва : Педагогика, 1989. - 150 с. -Текст : непосредственный.
References:
1. Bordovskaya, N. V., Kostromina, S. N., Ro-zum, S. I., Moskvicheva, N. L. Research potential of the student: content of the construct and methodology of its evaluation [Issledovatel'skij potencial studenta: soderzhanie konstrukta i metodika ego ocenki], Psychological Journal, 2017, Vol. 38, No. 2, pp. 89-103.
2. Sevryukova, A. A. Methodology of developing the research potential of a teacher in the system of additional professional education [Metodika razvitiya issledovatel'skogo potenciala uchitelya v sisteme dopolnitel'nogo profes-sional'nogo obrazovaniya], Bulletin of Tomsk State Pedagogical University, 2013, No. 6 (134), pp. 93-98.
3. Donetskaya, S. S. Analysis of scientific potential of Novosibirsk State University teachers on the basis of objective assessment of their scientific activity [Analiz nauchnogo potenciala prepo-davatelej Novosibirskogo gosudarstvennogo uni-versiteta na osnove ob"ektivnoj ocenki ih nauchnoj deyatel'nosti], Bulletin of Novosibirsk State Uni-
versity. Series: Socio-Economic Sciences, 2008, Vol. 8, No. 2, pp. 146-154.
4. Logunova, O. S., Lednov, A. V., Korole-va, V. V. Results of the analysis of the publication activity of the teaching staff of Nosov Magnitogorsk State Technical University [Rezul'taty analiza publikacionnoj aktivnosti professorsko-prepodavatel'skogo sostava Magnitogorskij gosu-darstvennyj tekhnicheskij universitet im. G. I. No-sova], Bulletin of Nosov Magnitogorsk State Technical University, 2014, No. 3 (47), pp. 78-87.
5. Khrustalev, M. B., Maksimova, A. A., Tish-kov, A. V., Turbina, N. Yu. Application of scien-tometric indicators for comparative characteristic of Russian medical universities [Primenenie nau-kometricheskih pokazatelej dlya sravnitel'noj harakteristiki medicinskih vuzov Rossii], University management: practice and analysis, 2018, Vol. 22, No. 3 (115), pp. 19-31.
6. Chernykh, Y. A., Vitvitsky, D. S., Kuzmi-na, O. I. Calculation algorithm of integral index of efficiency of publication activity offaculty and research staff of the university [Algoritm rascheta integral'nogo indeksa effektivnosti publikacionnoj aktivnosti professorsko-prepodavatel'skogo sostava i nauchnyh sotrudnikov vuza], Bulletin of Irkutsk State Technical University, 2018, Vol. 22, No. 7 (138), pp. 96-101.
7. Mokhnacheva Y. V., Kharybina T. N. Methodology of determining the significance of scientific publications [Metodika opredeleniya znachimosti nauchnyh publikacij], Bibliosphere, 2008, No. 3, pp. 23-33.
8. Divaeva, E. A. Problems of using scien-tometric indicators in the assessment of innovation activity of higher educational institutions and scientific organizations [Problemy ispol'zovaniya naukometricheskih pokazatelej v ocenke inno-vacionnoj deyatel'nosti vuzov i nauchnyh organi-zacij], Innovations and investments, 2018, No. 4, pp.13-16.
9. Tarasevich, Yu., Shinyaeva, T. S. Criteria for assessing the state and development of scientific research based on the analysis of scientomet-ric information [Kriterii ocenki sostoyaniya i razvitiya nauchnyh issledovanij na osnove analiza naukometricheskoj informacii], Education Issues, 2015, No. 2, pp. 221-240.
10. Shestakovich, A. G. Problems of development of publication culture in scientific society of Russia [Problemy razvitiya publikacionnoj kul'tury
v nauchnom obshchestve Rossii], Bulletin of Ufa State Petroleum Technological University. Science, education, economy. Series: Economics, 2019, No. 2 (28), pp. 43-50.
11. Rudneva, O. V. Scientific journal of the university as a resource for development of scientific potential of teachers and students of Surgut State Pedagogical University (to the 10-year anniversary of "Bulletin of Surgut State Pedagogical University") [Nauchnyj zhurnal vuza kak resurs razvitiya nauchnogo potenciala prepodavatelej i studentov Surgutskogo gosudarstvennogo peda-gogicheskogo universiteta (k 10-letnemu yubileyu "Vestnika Surgutskogogosudarstvennogo peda-gogicheskogo universiteta")], Bulletin of Surgut State Pedagogical University, 2017, No. 5 (50), pp.262-265.
12. Mikhailenko, T. D. Scientific reviewing as the main component of scientific-publishing activity [Nauchnoe recenzirovanie kak glavnaya sostavlyayushchaya nauchno-izdatel'skoj deyatel'-nosti], Bulletin of the Russian Customs Academy, 2019, No. 1, pp. 133-139.
13. Belyaeva, L. N., Shubina, N. L. Scientific article as an object of peer review [Nauchnaya stat'ya kak ob"ekt ekspertnoj ocenki], Proceedings of Herzen Russian State Pedagogical University, 2014, No. 172, pp. 5-12.
14. Pakhomov, N. N., Spector, M. D. Scientific article: essence, meaning and purpose [Nauchnaya stat'ya: sut', smysl i prednaznachenie], Higher Education Today, 2019, No. 1, pp. 59-62.
15. Azgaldov, G. G. Theory and practice of assessing the quality of goods: (Fundamentals of Qualimetry) [Teoriya i praktika ocenki kachestva tovarov: (Osnovy kvalimetrii)], Moscow: Economics, 1982.256 p.
16. Subetto, A. I. Qualimetry of man and education: genesis, formation, development, problems and prospects [Kvalimetriya cheloveka i obra-zovaniya: genezis, stanovlenie, razvitie, problemy i perspektivy], Moscow: Research center of the problems of the quality of training of specialists, 2006. 96 p.
17. Sungurov, A. Yu. Resonance interactions in nature [Rezonansnye vzaimodejstviya v prirode], Synergetics and Methods of Science. Saint Petersburg: Nauka, 1998, pp. 431-433.
18. Solovova, N. V. Mechanism of information resonance [Mekhanizm informacionnogo re-zonansa], Bulletin of Samara State University, 2008, No. 66, pp. 269-275.
19. Cherepanov, V. S. Expert evaluations in pedagogical research [Ekspertnye ocenki v peda-gogicheskih issledovaniyah], Moscow: Pedagogi-ka, 1989. 150 p.
Образец для цитирования статьи:
Ильясов, Д. Ф. Инструментарий оценивания научных статей как средство изучения исследовательского потенциала преподавателей учреждений дополнительного профессионального образования / Д. Ф. Ильясов, К. С. Буров. - Текст : непосредственный // Научное обеспечение системы повышения квалификации кадров. - 2023. - № 1 (54). - С. 5-17.
Example for article citation:
Ilyasov, D. F., Burov, K. S. Research article evaluation toolkit as a means of studying the research potential of additional professional education teachers [Instrumentarij ocenivaniya nauchnyx statej kak sredstvo izucheniya issledovatekskogo potenciala prepodavatelej uchrezhdenij dopolniteknogo profes-sionaknogo obrazovaniya], Scientific support of a system of advanced training, 2023, No. 1 (54), pp. 5-17.
