Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации Текст научной статьи по специальности «Компьютерные и информационные науки»

Научный журнал КубГАУ, №108(04), 2015 года

1

УДК 303.732.4

01.00.00 Физико-математические науки

ХИРШАМАНИЯ ПРИ ОЦЕНКЕ РЕЗУЛЬТАТОВ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ, ЕЕ НЕГАТИВНЫЕ ПОСЛЕДСТВИЯ И ПОПЫТКА ИХ ПРЕОДОЛЕНИЯ С ПРИМЕНЕНИЕМ МНОГОКРИТЕРИАЛЬНОГО ПОДХОДА И ТЕОРИИ ИНФОРМАЦИИ1

Луценко Евгений Вениаминович д.э.н., к.т.н., профессор РИНЦ SPIN-код: 9523-7101 prof.lutsenko@gmail. com

Кубанский государственный аграрный университет, Россия, 350044, Краснодар, Калинина, 13,

Недавно был начат процесс монетизации оценки результатов научной деятельности, и возникла потребность в методиках количественной и сопоставимой оценки эффективности и качества работы ученого. Появились многочисленные методики материального поощрения за эти результаты. Общим для всех этих методик является завешенная роль индекса Хирша. Сам по себе этот индекс вполне обоснован. Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую автор предлагает называть «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, особенно к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса. В данной работе делается попытка кратко описать некоторые негативные последствия этой новой психической инфекции, поразившей общественное сознание научного сообщества. А также наметить пути преодоления хотя бы некоторых причин их возникновения. В этом и состоит проблема, решаемая в данной работе. Для решения сформулированной проблемы предлагается применить многокритериальный подход, основанный на теории информации, а именно тот его вариант, который реализован в автоматизированном системнокогнитивном анализе (АСК-анализ) и его программном инструментарии - интеллектуальной системе «Эйдос»

Ключевые слова: АСК-АНАЛИЗ, СИСТЕМА «ЭЙДОС», МНОГОКРИТЕРИАЛЬНЫЙ ПОДХОД, ТЕОРИЯ ИНФОРМАЦИИ, ИНДЕКС ХИРША, ОЦЕНКА РЕЗУЛЬТАТОВ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ

UDC 303.732.4

Physical-Mathematical sciences

HIRSCH-MANIA WHEN EVALUATING THE RESULTS OF SCIENTIFIC ACTIVITY, ITS NEGATIVE EFFECTS AND AN ATTEMPT TO OVERCOME THEM WITH THE USE OF A MULTI-CRITERIA APPROACH AND INFORMATION THEORY

Lutsenko Eugeny Veniaminovich Dr.Sci.Econ., Cand.Tech.Sci., professor SPIN-code: 9523-7101 [email protected]

Kuban State Agrarian University, Krasnodar, Russia

Recently, the process of monetization of the evaluation of scientific activity was initiated, and there is a need for quantitative methods and comparable assessment of the effectiveness and quality of work of a scientist. There are numerous methods to reward for these results. What is common to all these techniques covered is the role of the Hirsch index or h-index. By itself, this index is well founded. However, in connection with the practice of application of h-index in our environment in the minds of the scientific community it has started some kind of mania, which the author proposes to call "Hirsch-mania". This mania is characterized by elevated unhealthy interest to the value of the Hirsch index, especially inadequate artificial exaggeration of this value, as well as a number of negative implications of this interest. In this article we have made an attempt to briefly describe some of the negative effects of this new mental infection that hit the public consciousness of the scientific community. And also we want to identify ways of overcoming at least some of their causes. This is the problem solved in this work. To solve the formulated problem, we propose to apply multi-criteria approach based on information theory, namely those options, which are implemented in an automated system-cognitive analysis (ASC-analysis) and its software tools -intelligent system called "Eidos"

Keywords: ASC-ANALYSIS, "EIDOS", INFORMATION THEORY, MULTI-CRITERIA APPROACH, INFORMATION THEORY, HIRSCH INDEX, EVALUATION OF RESEARCH RESULTS

1 Работа выполнена при финансовой поддержке РГНФ (проект РГНФ №13-02-00440а) и РФФИ (проект РФФИ №15-06-02569 А).

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

2

СОДЕРЖАНИЕ

1. ПРОБЛЕМА, ИЛИ О ТОМ КАКОЙ УРОН НАНЕС ДЖИН ХИРША, ВЫПУЩЕННЫЙ ИЗ

БУТЫЛКИ......................................................2

2. ИДЕЯ ПРЕДЛАГАЕМОГО РЕШЕНИЯ ПРОБЛЕМЫ......................15

3. АВТОМАТИЗИРОВАННЫЙ СИСТЕМНО-КОГНИТИВНЫЙ АНАЛИЗ И

ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА «ЭЙДОС» КАК ИНСТРУМЕНТАРИЙ РЕШЕНИЯ ПРОБЛЕМЫ....................................................18

4. ЧАСТНЫЕ КРИТЕРИИ И ВИДЫ МОДЕЛЕЙ СИСТЕМЫ «ЭЙДОС»..........23

5. ЦЕННОСТЬ ОПИСАТЕЛЬНЫХ ШКАЛ И ГРАДАЦИЙ ДЛЯ РЕШЕНИЯ ЗАДАЧ

ИДЕНТИФИКАЦИИ ТЕКСТОВ И АВТОРОВ (НОРМАЛИЗАЦИЯ ТЕКСТА).......24

6. ИНТЕГРАЛЬНЫЕ КРИТЕРИИ СИСТЕМЫ «ЭЙДОС»....................25

7. ВЫВОДЫ...................................................27

ЛИТЕРАТУРА..................................................27

«Индекс Хирша - это наукометрический показатель, который отражает степень понимания того, что такое индекс Хирша»

Народная мудрость периода Хиршамании (начало XXI века)

1. Проблема, или о том какой урон нанес джин Хирша, выпущенный из бутылки

Недавно научное сообщество лишилось надбавок за ученые степени и звания. Был начат процесс монетизации оценки результатов научной деятельности. Возникла потребность в соответствующих методиках количественной и сопоставимой оценки эффективности и качества работы ученого. Появились многочисленные методики материального поощрения за эти результаты. Эти методики отличаются в разных вузах. Но общим для всех этих методик является большая роль, которая отводится в них так называемому индексу Хирша. Сам по себе этот индекс вполне обоснован2.

Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую автор предлагает называть «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, особенно к искусственному неадекватному

преувеличению этого значения, а также рядом негативных последствий этого интереса. В данной работе мы попытаемся кратко описать некоторые негативные последствия этой новой психической инфекции, поразившей

2

Ьйр://уапбех.щ/уапб5еагсЬ?1ех1=индекс%20Хирша=35

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

3

общественное сознание научного сообщества. А также наметить пути преодоления хотя бы некоторых причин их возникновения. В этом и состоит проблема, решаемая в данной работе.

Чтобы наметить удачный план лечения, прежде всего надо поставить правильный диагноз. Мы квалифицируем Хиршаманию как психический вирус, о которых блестяще писал Ричард Броди [1]. Этот психический вирус может рассматриваться как инструмент манипуляции общественным сознанием научного сообщества, что очень хорошо описал в своем бестселлере С.Г. Кара-Мурза [2]. Подобного рода манипуляции, которые особенно облегчились в связи с появлением глобальной информационной среды распространения и адресной доставки агента действия, могут использоваться также для нанесения урона противнику и, по сути, являются информационным оружием [3]. Так что Хиршамания в принципе может быть не таким уж и безобидным явлением.

Так что же собственно произошло? Ученым стали платить надбавки (материальные поощрения) за те или иные значения индекса Хирша. Ученые народ неглупый и быстро сообразил, что имеет прямой смысл эти значения увеличивать. А для этого надо писать научные статьи, монографии, научно-методические работы и т.д., и т.п., размешать их в Российском индексе научного цитирования (РИНЦ) , и ссылаться на них. Это ясно из самой природы индекса Хирша. Причем не просто писать и ссылаться, а писать как можно больше и ссылаться тоже как можно больше.

Тривиальным является утверждение о том, что статья должна отражать основные результаты какого-то научного исследования, решение той или иной научной или прагматической задачи. Но откуда взять столько научных результатов? Ведь научные исследования требуют инвестиций и имеют длительный цикл проведения. Так возникает 1-я проблема, состоящая в том, что писать то, в общем-то, и не о чем, по крайней мере, в желаемом количестве, а писать очень надо. В век интернета решение этой проблемы элементарно. Проводим поиск по ключевым словам, находим источники, в которых об этом уже кем-то написано, и вставляем тексты из этих источников в свои статьи. Если мы корректно ссылаемся на эти заимствования, то они называются «цитированиями», а если нет, то «плагиат». Если ссылаться на все эти заимствования, то может оказаться, что автор не внес никого личного вклада в работу, поэтому часто на них не ссылаются. Таким образом, материально простимулированное

применением индекса Хирша для оценки результативности научной деятельности неоправданное стремление много писать, но не для того, чтобы отразить результаты реальных исследований, которых или вообще нет, или недостаточно для удовлетворения амбиций, приводит к 3

3

http://elibrary.ru/

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

4

распространению плагиата. Что же такое плагиат с правовой точки зрения? Наверное, это просто воровство, в частности воровство авторских текстов и идей, нарушение авторских прав на результаты научной деятельности.

Если есть спрос, то есть и предложение, и вот появляется система «Антиплагиат»4 и много других подобных систем5. Подобные системы представляют свои услуги on-line, есть и бесплатные с ограниченными возможностями, и профессиональные, которые, естественно, платные. Практически все вузы уже купили профессиональные системы проверки на антиплагиат, и эта проверка стала нормой. Таким образом, первым отрицательным последствием Хиршамании является небывалое распространение плагиата в научной среде и как реакция на это - борьба с плагиатом (а не с его причинами, т.е. как обычно), причем за деньги самих научных организаций, т.е. косвенно - самих ученых и с большими затратами труда и времени самих ученых.

Началась борьба с плагиатом, началась и борьба с этой борьбой. Как грибы после дождя в информационном пространстве вдруг появились многочисленные ухищрения и «научные рекомендации» для того, чтобы обойти эти системы, т.е. добиться высокого уровня оригинальности некорректно заимствованного текста6 7 8. Прежде всего это различные синонимайзеры . Однако системы антиплагиата работают просто с текстами, поэтому можно их обойти, если заимствовать не текст, а идеи, т.е. несколько перефразировать текст, чтобы сам текст стал другим, а его смысл сохранился. Эта процедура называется «Рерайтинг (rewriting)» , т.е. переписывание и изложение чужих мыслей своими словами. Еще для подобных целей могут быть использованы программы машинного перевода, т.к. они тоже подбирают синонимы и перефразируют9. Конечно, разработчики систем антиплагиата также принимают меры для обнаружения признаков борьбы с ними, т.е. признаков искусственного завышения оригинальности текста (это уже борьба систем антиплагиата с борьбой против них), и т.д., и т.д. почти до бесконечности.

Автор тоже столкнулся с этим явлением (как поставщик текстов и идей для плагиаторов, как высокопоставленных, так и не очень). Лучше всего об этом написано в статье «Групповой плагиат: от студента до министра»10. Чтобы найти многочисленные «труды» плагиаторов, включая

4 http://www.antiplagiat.ru/

5 http://yandex.ru/yandsearch?lr=35&text=антиплагиат

6 http://yandex.щ/yandsearch?text=повышение%20vровня%20оригинальности%20текста&lr=35

7 http://yandex.ru/yandsearch?text=синонимайзеры&lr=35

8 http://yandex.ru/yandsearch?text=Рерайтинг&lr=35

9 Вставка в русские слова английских букв и склеивание слов символами, которые отображаются как пробелы, чтобы система антиплагиат не смогла их идентифицировать - это слишком дешевые и легко распознаваемые искусственные приемы, чтобы к ним можно было серьезно относиться.

10 Вяткин В.Б. Групповой плагиат: от студента до министра. - Троицкий вариант — Наука - http://trv-science.ru - [Электронный ресурс]. Адрес доступа: http://trv-science.ru/2011/11/08/gruppovoii-plagiat-ot-studenta-do-ministra/ или: http://trv-science.ru/2011/11/08/gruppovoii-plagiat-ot-studenta-do-ministra/print/

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

5

диссертации, достаточно в Internet в любой поисковой системе сделать запрос, например: «Коэффициенты эмерджентности Хартли, Харкевича, Шеннона», которые автор системной теории информации (СТИ) проф. Е.В. Луценко назвал так в честь этих выдающихся ученых в области теории информации. При этом автор следовал сложившейся научной традиции называть единицы измерения и математические выражения в честь известных ученых. Причем часто плагиаторы даже не понимают, что сами основоположники и классики теории информации не предлагали этих коэффициентов, а предложены они были в работах автора. Наверное, поэтому они и не считают нужным делать ссылки и пишут, например:

1. «По Харкевичу коэффициент эмерджентности определяет степень детерменированности ситемы...» (подчеркнуто нами, авт., в цитате сохранены орфографические ошибки плагиатора, авт.).

2. «Отсюда строится системная численная мера количества информации в ИС на основе оценки эмерджентности системы (по Хартли и Харкевичу)» (выделено плагиатором, а на самом деле «по Луценко», -авт.).

Эти фразы легко найти в Internet. Так что плагиаторская активность не только продолжается, но и набирает обороты.

Однако индекс Хирша отражает не только число статей, но и число их цитирований. Поэтому самих статей для повышения значения индекса Хирша недостаточно, т.е. еще надо, чтобы на них были ссылки. А откуда их взять, если на твои статьи сам, т.е. по собственной инициативе, никто или почти никто не ссылается? Так возникает 2-я проблема, т.е. проблема увеличения количества ссылок на свои статьи. Но и эту проблему можно решить. Во-первых, можно самому ссылаться на собственные статьи, т.е. заниматься самоцитированием. С правовой точки зрения это, конечно, не плагиат, т.к. нет потерпевшей стороны, т.е. в принципе автор имеет все авторские права на свой текст и свои идеи и может распоряжаться ими по своему усмотрению. Но с этической точки зрения чтобы ссылаться на себя, надо иметь на это моральное право и необходимо, чтобы эта ссылка была оправдана и обоснованна, а не являлась искусственной, т.е. ссылки ради ссылки, часто даже без сноски на нее из текста. По мнению автора, такое обоснование может состоять в том, что ряд статей образует цикл или систему, т.к. они посвящены описанию различных этапов решения одной проблемы или развитию определенного научного направления, т.е. по сути, являются продолжением друг друга и взаимосвязаны по своему содержанию11. Однако часто у авторов нет возможности для таких обоснованных самоцитирований, то тогда они занимаются

11 У автора данной статьи много самоцитирований, но он оправдывает их корректность именно таким образом. Практически все работы автора посвящены развитию и многочисленным применениям предложенного им нового научного и инновационного направления искусственного интеллекта: Автоматизированного системно-когнитивного анализа (АСК-анализа) и его программного инструментария - интеллектуальной системы «Эйдос»: http://lc.kubagro.ru/

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

6

неоправданными (некорректными) самоцитированиями. Иногда авторов с высоким уровнем самоцитирования обвиняют в том, что они засоряют информационное пространство дублирующей информацией и как бы продают многократно один и тот же информационный продукт. Автор не согласен с этой точкой зрения потому, что если бы она была правильной, то во всем интернет должно бы быть одно место для харания каждого информационного объекта, а все остальные просто должны были бы на него ссылаться. Но что мы видим на практике? Мы видим огромное количество размещений одного и того информационного объекта на различных сайтах. Кстати, этим занимаются и различные интеграторы -библиографические базы данных, например НЭИКОН, КиберЛенинка, Agris, Ulrich’s Periodicals Directory, DOAJ, OALIB (Open Access Library), Scopus, Web of Science, и даже сам РИНЦ. Смысл таких размещений в новых возможностях в появлении для читателей новых дополнительных возможностей прочтения публикаций, а также возможность их статистической обработки и углубленного анализа в базах интегратора.

Но все же как-то неудобно ссылаться только на самого себя, как будто у тебя и не было предшественников или соавторов. Понятно, что цитирование соавторами это «почти самоцитирование» и также уязвимо для критики. Поэтому авторы, не являющиеся соавторами, часто договариваются о взаимных цитированиях, т.е. я тебя цитирую тебя, а за это - ты меня, что неблаговидно и с правовой точки зрения является сговором для извлечения дополнительной необоснованной созданием продукта или услуг прибыли, а этической точки зрения достойно морального порицания. В век глобальных коммуникаций и эти вопросы легко решаемы.

И, как всегда, раз наблюдаются искусственные и необоснованные цитирования, то появляются и средства борьбы с этим неблаговидным явлением (естественно, как всегда только с самим явлением, а не с его причинами). В частности появляется идея использовать для

количественного измерения самоцитирований и цитирований соавторами индекс, взятый из экономики, который в ней используется для количественной оценки степени монополизации отрасли, - это индекс Херфиндаля и различные его модификации.

Как же научное сообщество среагировало на установленные Минобрнауки РФ «правила игры». Да очень просто: все, даже те, кто уже давно ничего не писал, с готовностью принялись писать научные работы и цитировать их, можно сказать с энтузиазмом принялись повышать свои индексы цитирования и индексы Хирша. Правда это не сопровождалось сколь-нибудь заметным или значительным повышением активности самих научных исследований и инновационных разработок. А это означает, что 12

12 http://vandex.ru/vandsearch?text=индекс%20Херфиндаля&lr=35

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

7

народ вполне понял, что от него требуется: не сама работа, а лишь показатели отчетности о работе. По сути, речь идет о фальсификации деятельности: вместо самой деятельности и ее результатов учитываются и идут в зачет отчеты с растущими показателями о якобы имевшей место деятельности и результатах, и эти отчеты и показатели фактически и принимаются за результаты, а было ли все это на самом деле о что на сомом деле они отражают, фактически никого особенно не интересует . Налицо явление, которое, в работе [4], названо «виртуализация общества». Фактическая деятельность в реальной области заменяется, замещается информацией о ней, а потом выясняется, что информация начинает жить собственной жизнью и замещает реальную область, при этом она в принципе может и не отражать процессы в реальной области. В результате масштабной, может быть даже глобальной фальсификации и виртуализации сама деятельность заменяется отчетностью о ней, содержащей различные показатели. И народ быстро сообразил, что нет необходимости в самой деятельности и нет никакого смысла достигать самого результата деятельности в реальной области: вполне достаточно обеспечить достижение не самого результата деятельности, а нужных показателей отчетности. Повышения этих показателей все и добиваются.

Но наука в этом плане не оригинальна. В экономике подобная подмена давно стала нормой: практически все осознают как цель своей экономической деятельности не создание благ и услуг для потребления их другими людьми, во что крайне наивно верил Адам Смит и что было беспощадно развенчано Карлом Марксом, а всего лишь личное обогащение (получение прибыли). В экономике давно считается нормой, вполне допустимой и не осуждаемой с морально-этической точки зрения, обогащение без создания реальных благ, например за счет осуществления спекулятивных операций на фондовом и валютном рынке. В результате подобных операций создается ничем реально не обеспеченный чисто инфляционный капитал. И в этом никто не видит ничего аморального или неэтичного. А между тем это прямой и ничем неприкрытый откровенный грабеж огромных масс людей во всем мире, покупательная способность которых падает за счет инфляции. Деньги вообще все замещают и все опошляют и не только в экономике, а вообще везде. Так, например, любовь они превращают в проституцию. А науку, которая является общественным институтом и общественной и индивидуальной деятельностью по познанию человека, общества и природы с целью познания истины (фундаментальная наука) и повышения эффективности деятельности 13

13 Примерно тоже самое происходит и с учебной деятельностью: нужны хорошие учебно-методические комплексы (УМК), различные планы и документация, а был ли сам учебный процесс и каковы его истинные результаты никого особенно не интересует. Причем документации требуется все больше и больше, все время меняются стандарты ее оформления и содержания, так что преподавать становится, в общем-то, и некогда. Примерно также вроде и врачам уже и лечить становится просто некогда из-за оформления все больших объемов документации.

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

8

человека (прикладная наука), - в искусственное увеличение индекса Хирша путем увеличения потока бессодержательных, переписанных друг у друга, но при этом широко цитируемых публикаций. В традициях Хиршамании цель достижения высоких результатов научной деятельности подменяется целью достижения высоких значений наукометрических показателей, отражающих эти результаты. При этом в информационном обществе отражение может быть создано и существовать и без достижения каких-либо реальных результатов и достижений. Таким образом, фальсификация и виртуализация науки, обусловленная Хиршаманией, по сути, приводят к ее профанации. Это настолько очевидно, что можно было бы об этом и не говорить, если бы практически все научное сообщество снизу до верху дружно бы не занималось именно этим, безропотно приняв правила игры, предложенные Минобрнауки, причем не просто занималось, но и делало при этом вид, что

14

процесс идет нормально, т.е. делая хорошую мину при плохой игре .

Однако, в отличие от экономики, в науке в соответствии этикой научных публикаций14 15 подобные действия считаются аморальными, и журналам, допускающим подобные статьи к публикации практически закрыт путь в такие престижные международные библиографические базы данных, как Scopus и Web of Science. Из-за действия подобных этических норм воровать в науке стало так сложно, что иногда начинает казаться, что ты работаешь. Это звучит как юмор, но им не является, т.е. было бы смешно, если бы не было грустно. Так, например, рерайтинг - это действительно сложная и трудоемкая работа, требующая не только профессиональной компетенции в той предметной области, в которой осуществляется плагиат идей, но и определенной филологической подготовки: умения быстро и много писать на правильном русском языке. В работе рерайтера есть почти все, что есть в научной работе, кроме одного: у рерайтера нет своих новых идей и ему негде их брать, кроме как заимствовать их у того, у кого они есть. Но у рерайтера не просто нет своих новых идей, но он и не имеет ни малейшего представления о том, откуда они вообще берутся. Здесь я не могу отказать себе в удовольствии еще раз сослаться на статью В.Б.Вяткина [5], хотя плагиаторы-персонажи этой статьи не удосужились даже переписать мой текст своими словами, т.е. не дотянули до рерайтеров, а просто привели весь текст целиком, включая «авторскую пунктуацию», т.е. изложив все от первого лица, «как было», включая даже мои орфографические и грамматические ошибки.

Таким образом, можно обоснованно констатировать факт, состоящий в том, что решение Минобрнауки РФ о монетизации оценки результатов

14 А что остается делать? Ведь рядовые ученые и преподаватели не имеют никакой возможности влиять на принятие решений не только на федеральном уровне управления образованием, но и даже на уровне кафедры, факультета и вуза. Приходится принимать эти условия как объективную реальность, не зависящую от сознания.

15 http ://ej .kubagro.ru/eth. asp http: //publicationethics.org/

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

9

научной деятельности, в частности придание неоправданно высокой роли в этом процессе индексам публикационной активности (само по себе это вчерашний и даже позавчерашний день), а также индексам цитирования и Хирша, явилось причиной, породившей целый каскад или снежный ком различных негативных последствий, многие из которых имеют криминальный характер, а некоторые «всего лишь» аморальны (рисунок 1):

Негативные последствия Хиршамании разных уровней иерархии

г

Л

Решение Минобрнауки о монетизации оценки результатов научной деятельности (ее качества и эффективности). Неоправданное возрастание роли индекса публикационной активности, индекса цитирования и, особенно, индекса Хирша (Хиршамания)

V

Негативные последствия Хиршамании

Увеличение количества самоцитирований и цитирований соавторами и взаимных цитирований авторами и журналами

г

Борьба с негативными последствиями Хиршамании

Л г \ /

Л

Резкое массовое понижение качества научных статей

Появление систем для проверки публикаций на объем некорректных заимствований

Появление вариантов индекса Хирша без учета самоцитирований и цитирований соавторами

V

Борьба с негативными последствиями борьбы с негативными последствиями Хиршамании

Ужесточение требований к качеству статей и ужесточение контроля за качеством статей в научных журналах

Увеличение затрат журналов и стоимости публикаций для авторов, увеличение сроков публикации

Появление систем для искусственного завышения оригинальнсти текста (синонимайзеры, рерайтинг, переводчики)

Появление в системах проверки публикаций на антиплагиат средств обнаружения признаков искусственного завышения оригинальности текстов

Появление индекса Херфиндаля для оценки степени публикационной монополизации предметной области и его учет в рейтинге SCIENCE INDEX

Дополниельные затраты РИНЦ на аналитическую обработку данных, появление платного доступа в систему SCIENCE INDEX

Рисунок 1. Негативные последствия решения о монетизации оценки результатов научной деятельности (Хиршамании)

http://ej .kubagro.ru/2015/04/pdf/01 .pdf

Научный журнал КубГАУ, №108(04), 2015 года

10

Подобное в новейшей Российской истории было уже не раз, и, по-видимому, уже есть основания говорить об определенной наметившейся тенденции или закономерности. Достаточно упомянуть про позорную эпопею с ЕГЭ, которая начиналась за здравие, а закончилась за упокой и подобную же историю с оценкой эффективности вузов [4]. Очень бы не хотелось, чтобы тоже самое, что случилось с ЕГЭ и с методикой оценки эффективности вузов случилось бы и с РИНЦ. Однако, к большому сожалению и объективно говоря пока все идет к тому, что так и получится, т. е. идея количественной сопоставимой оценки результатов (качества и эффективности) научной деятельности в наших условиях не реализуема. Может быть, это не дело только РИНЦ, а дело всего российского научного сообщества, включая Минобрнауки?

Итак, мы сталкиваемся с ситуацией, когда хорошая идея плохо реализуется, т.к. мы опять впадаем в крайности, относимся к новой (для нас) идее, как панацее от всех проблем. Но такого, к сожалению, не бывает. А, как известно, нет лучшего способа дискредитировать хорошую идею, чем довести ее до абсурда, до крайности, т.к. тогда она становится своей противоположностью. Получается уже в который раз, что за что боролись, на то и напоролись. В этой ситуации перефразируя, похоже, что бессмертные слова В.С.Черномырдина, Минобрнауки может только сказать, что «мы хотели как лучше», а мы уже имеем все фактические основания констатировать, что опять «получилось как всегда».

Выше уже упоминалось, что в этой новой истории с индексом Хирша, ключевая роль принадлежит Российскому индексу научного цитирования (РИНЦ)16 17. Что такое РИНЦ сегодня? На сегодня это безусловно самая большая в России электронная научная библиотека общего доступа. На момент написания данной статьи в базах РИНЦ содержалось: журналов: 32991, выпусков журналов: 1193672,

полнотекстовых статей: 20325344, издательств: 14976 . Данные РИНЦ используются сегодня для оценки рейтингов научных журналов и результатов научной деятельности, как отдельных ученых, так и вузов и научных институтов. Безусловно, у РИНЦ много достоинств и в настоящее время ему в России нет альтернативы. Но и у РИНЦ есть свои недостатки, которые вызывают совершенно обоснованный и все более громкий ропот в среде научного сообщества. Перечислим наиболее важные них в контексте проблематики данной статьи.

РИНЦ чрезвычайно инерционная система. Обновление его баз данных происходит раз в неделю, а некоторые базы данных, например системы SCIENCE INDEX, обновляются раз в 2 месяца. Это означает, что

16 http://elibrary.ru/

17

http://elibrary.ru/stat resources.asp

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

11

в РИНЦ не выполняется одно из важнейших требований к базам данных: их актуальность. Проще говоря, если Вы обращаетесь в РИНЦ для получения тех или иных показателей по отдельным ученым или по вузам научным организациям, то нужно иметь в виду, что эта информация может быть сильно устаревшей.

В РИНЦ отсутствует целостность баз данных, т.е. данные в одних графах не подтверждаются данными в других графах. Как профессор по кафедре компьютерных технологий и систем с 2005 года и программист с почти 40-летним стажем автор может предположить, что эта особенность РИНЦ обусловлена тем, что разработчики даталогической и инфологической моделей его баз данных не везде нормализовали его базы данных. Это означает, что информация РИНЦ нет очень достоверна или, проще говоря, просто недостоверна.

Программное обеспечение РИНЦ не может идентифицировать авторов и публикации по их некорректным, неполным и нестандартным описаниям в списках литературы. Между тем эта задача решена в общем виде [6]. В результате число работ авторов, число цитирований этих работ и индекс Хирша авторов в системе РИНЦ оказываются систематически заниженными18. В качестве выхода из этой проблемной ситуации РИНЦ предлагает нам регистрироваться в системе SCIENCE INDEX и самим привязывать к себе свои работы и ссылки на свои работы из списка, предложенного системой РИНЦ. Иначе говоря, авторам предлагается самим вручную делать работу, которая должна выполняться полностью автоматически или с участием модератора, т.е. автоматизировано, самим РИНЦ.

Но и это еще не все. Дело в том, что список работ и ссылок на них, которые могут принадлежать данному автору, предлагаемый системой РИНЦ неполон, т.е. иначе говоря, некоторые работы, имея права пользователя системы SCIENCE INDEX, привязать вообще невозможно. Но это возможно имея права доступа администратора этой системы. И тут начинается самое интересное. Права администратора системы SCIENCE INDEX продаются РИНЦ вузам и научным организациям, причем продаются не дешево. Понятно, что практически все вузы и научные организации фактически были вынуждены купить эту систему, как, кстати, немного ранее и доступ к профессиональной версии системы Антиплагиат (которая, кстати, сейчас интегрируется с системой РИНЦ).

Интересно получается. Ученые должны провести научные исследования и разработки, написать об этом монографии и статьи, получить авторские свидетельства, разместить их в РИНЦ, привязать их к себе, как авторам, привязать к себе ссылки на них, причем должны сделать это все это сами и еще заплатив журналам, Роспатенту и

18 Автору статьи администраторы РИНЦ сообщили, что у него около 2000 непривязанных ссылок.

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

12

РИНЦ, за право самим это все сделать. Получается к примеру 5% бюджета времени ученого уходит на проведение самих научных исследований и разработок, еще 5% - на их оформление в виде монографий, статей и патентов, и еще 90% на их размещение в РИНЦ, а также привязку публикаций и ссылок на них к себе, как автору. Разве так мы представляли себе, на что должен тратить свое творческое время ученый? Причем, как правило, после ненормированного рабочего дня, потраченного на голосовую нагрузку - преподавание? Ну то, что журналам за публикацию статей нужно платить, это еще понять можно. Но почему надо платить еще и РИНЦ за работу, которую мы выполняем сами за его программную систему, это уже не очень понятно.

Понятно, что покупая (и не дешево) права доступа администратора системы SCIENCE INDEX, вузы и научные организации справедливо надеются, что имея эти права, они смогут в комфортной и дружественной информационной среде полностью решить проблемы с привязкой статей и ссылок на них, описанные выше. Однако оказывается, что и это не так.

Прежде всего, надо сказать, что среда далека от комфортной, переходы из режима в режим плохо продуманы и сделаны неудобно. Постоянно надо переходить из одного окна в другое, удобнее бывает открыть два или более окон на большом мониторе, но они мало у кого есть. Реакция системы на клик является чрезвычайно замедленной: иногда несколько минут. При большом объеме работ это резко увеличивает общее время работы. Когда администратор системы SCIENCE INDEX видит список ссылок на работы автора, то те, над которыми ему надо работать, не отмечены двумя красными треугольниками, и таких довольно много, но приходится их искать вручную среды отмеченных. При этом ссылки на непривязанные работы и на привязанные работы, находящиеся на проверке модератора, на экране выглядят одинаково. Это крайне неудобно. О том, что работа находится на проверке, можно догадаться потому, что нет ссылки на возможность корректировки ее описания. Но чтобы узнать есть эта ссылка или нет, надо кликнуть по ссылке на саму ссылающуюся работу, а потом, если ее нет, вернуться назад в список ссылок, возможность чего разработчиками не предусмотрена и приходится возвращаться через авторский указатель. Все это занимает время и раздражает своей непродуманностью, т.к. решение ведь простое. Надо просто отмечать все ссылки в специальной отведенной для этого колонке иконками тер типов, отличающимися по цвету, как сделано с инками, отражающим возможность доступа простого посетителя РИНЦ к полным текстам публикаций. Есть всего три состояния ссылки на публикацию автора: 1) привязанная (неважно кем), 2) привязанная администратором SCIENCE INDEX от организации и находящаяся на проверке у модератора РИНЦ, 3) непривязанная. Я предложил бы непривязанные ссылки отметить красным цветом, находящиеся на проверке - желтым, а привязанные -

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

13

зеленым. Это интуитивно естественно. Желательно было бы иметь возможность сортировки и фильтрации ссылок по стадии обработки, чтобы было видно только те, над которыми надо работать, или только те, которые уже привязаны или находящиеся на проверке.

После привязки ссылки на работу автора в списке литературы эта корректировка посылается на проверку модератору. Мне так и не удалось узнать в РИНЦ, установлены ли в РИНЦ какие-либо нормативы на максимальную длительность его проверки. Не исключено, что ждать придется годами. Поэтому предлагается ссылки, привязанные

администратором SCIENCE INDEX от организации, не посылать на проверку модератору РИНЦ, а сразу включать в базы данных РИНЦ, или накапливать а включать в базы даны раз в неделю. Если РИНЦ заботится о качестве привязки ссылок администратором SCIENCE INDEX от организации, то пусть сам по своему регламенту проверяет качество этих привязок, и если они не соответствуют установленным критериям качества, которые должны быть опубликованы на сайте РИНЦ, то применять к данному администратору и к его организации санкции (меры воздействия), прописанные в договоре. Например, можно лишать данного администратора прав доступа на определенное время или требовать от организации его замены и т.п. Но реакция системы РИНЦ на корректировки администратора SCIENCE INDEX от организации обязательно должна быть резко ускорена.

Но главное все же не это, хотя это и важно. Главное в том, что при привязке ссылок в списках литературы возникают безвыходные ситуации. Даже имея права доступа администратора системы SCIENCE INDEX от организации, далеко не всегда удается привязать ссылку на работу автора из списка литературы ссылающейся работы. Мы можем скорректировать эту ссылку на правильную, но система не привязывает ее, пока не найдет в базах РИНЦ. Это вообще неприемлемо. Во-первых, потому, что есть работа в базах РИНЦ или ее там нет, не должно влиять на число ссылок на нее, т.к. это работа автора, на которую ссылается другой автор, и он эту работу видел, когда ссылался. Во-вторых, сам поиск не всегда дает положительный результат, т.е. не всегда способен найти работу, даже если она есть в базах РИНЦ и ссылка на нее правильная, в т.ч. сформирована самой системой РИНЦ. В этом случае, который наблюдается примерно в 70% случаев поиска, у администратора SCIENCE INDEX от организации вообще нет способа привязать эту ссылку. Автор предлагал администраторам РИНЦ два решения этой проблемы. Первое подробнейшим образом описано в статье [6]. Работать это решение будет быстро, т.к. у авторов в РИНЦ не более 300 работ, а чаще всего гораздо меньше. Это решение обеспечивает ранжирование работ автора в порядке убывания релевантности ссылке. Проведенные автором численные эксперименты убедительно продемонстрировали, что искомая работа

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

14

практически всегда будет на первой позиции, т.е. будет иметь наивысшую релевантность. Второе решение вообще примитивное и состоит в том, что если поиск системы РИНЦ не может найти в работах автора, размещенных в РИНЦ ту, на которую сделана ссылка из списка литературы, то надо просто вывести весь список его работ и дать возможность администратору SCIENCE INDEX от организации просто указать в нем нужную работу.

Иначе при работе с РИНЦ слишком часто возникают безвыходные ситуации и заслуженные ученые, имеющие сотни работ, размещенных в РИНЦ и индекс Хирша 5 или 6 и видящие, что невозможно его увеличить не только авторам, но даже имея права администратора SCIENCE INDEX от организации, делают вполне определенные и легко прогнозируемые выводы и о системе РИНЦ, и о Хирше, и о всех, кто все это придумал. Все это дискредитирует и систему РИНЦ и основанную на данных РИНЦ систему оценки результатов научной деятельности.

Автор данной статьи представляет политематический

(мультидисциплинарный) журнал, издаваемый Кубанским

агроуниверситетом [7]19. В университете (http://kubsau.ru/) в настоящее время работает 26 факультетов, 85 кафедр, 8 докторских диссертационных советов по 21 специальностям, около 300 докторов наук, профессоров и 700 кандидатов наук, доцентов, 1500 преподавателей (а в 2003 году, когда создавался журнал, кафедр было около 100 и действовало 12 диссертационных советов). Поэтому естественно, что журнал изначально создавался как мультидисциплинарный (политематический), т.к. именно такой журнал был нужен университету. Еще отмечу, что наш вуз входит в тройку крупнейших патентообладателей России и имеет в 4 раза больше патентов, что все аграрные вузы России ВМЕСТЕ ВЗЯТЫЕ (включая и Темирязевку). За время существования журнала с 2003 года по февраль 2015 года в свет вышло 106 номеров, в которых опубликовано 4578 статей. Среди 7735 авторов журнала из России и более 10 стран ближнего и дальнего зарубежья (http://ej.kubagro.ru/geo.asp) 2333 докторов наук, 2126 профессоров, 2445 кандидатов наук, 1871 доцентов

(http://ej .kubagro.ru/st.asp). В среднем ежемесячно в журнале издается 43 статьи общим объемом 608 страниц 73 авторов из которых 22 доктора наук, 23 кандидата наук, 20 профессоров, 18 доцентов. Но в последние годы объем публикаций резко возрос (см.^йн:/^.kubagro.ru/st.asp и работу [7]. Например, в 101-м номере Научного журнала КубГАУ опубликовано столько статей, сколько в «некоторых других журналах» публикуется примерно за 2 - 2.5 года. Как Вы думаете, где будут публиковаться наши ученые - сотрудники университета: в «других журналах» или в «нашем журнале»? Да у них просто ФИЗИЧЕСКИ практически нет никакой возможности публиковаться где-то еще. Тем более, что публикация в

19 http://ej .kubagro.ru/

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

15

нашем журнале БЕСПЛАТНА для сотрудников университета и аспирантов из любых организаций СНГ. Ну и как это скажется на индексе Херфиндаля? Понятно, что плохо, точнее очень плохо. По этой причине я ПРОТИВ модификации методики расчета рейтинга SCIENCE INDEX с учетом индекса Херфиндаля, т.к. это эквивалентно наказанию крупнейших и наиболее успешных изданий в своей области (и не только в своей области) и крупнейших издателей. При этом я согласен, что для мелких и средних по объему изданий его применение может быть вполне оправдано. Поэтому я предлагаю придавать тем меньший вес индекса Херфиндаля в определении рейтинга SCIENCE INDEX, чем больше объем номеров издания в станицах за соответствующий период, за который определяется рейтинг. Для нашего Научного журнала КубГАУ индекс Херфиндаля практически вообще не должен играть никакой роли.

2. Идея предлагаемого решения проблемы

Недавно все Российское профессиональное научно-педагогическое сообщество стало свидетелем того, как Министерство образования и науки России начало работу по монетизации оценки результатов научной деятельности (ее качества и эффективности).

В этой связи возникает ряд вопросов, аргументированные ответы на которые представляют большой интерес.

Прежде всего, возникает вопрос о том, что понимается под результатами (качеством и эффективностью) научной деятельности (далее: «результаты»? Ведь ясно, что прежде чем оценивать результаты научной деятельности было бы неплохо, а на самом деле совершенно необходимо, разобраться с тем, что же это такое. Ясно, что по этому поводу существует много различных мнений, которые в различной степени аргументированы или не аргументированы и отражают позиции руководителей образования и науки, профессионального научнопедагогического сообщества и различных слоев населения. По мнению автора, с научной точки зрения некорректно и неуместно говорить о каких-то критериях оценки результатов научной деятельности, если не определено само это понятие, т.е. отсутствует консенсус в профессиональной среде по поводу того, что же это такое. Очевидно, для достижения такого консенсуса в наше время необходимо широкое обсуждение этого вопроса в научной печати, Internet и СМИ.

Когда консенсус профессионального научно-педагогического сообщества по вопросу о том, что такое «результаты научной деятельности» будет достигнут, на первый план выступает вопрос о том, с помощью какого метода оценивать эти результаты? Для автора вполне очевидно, что этот метод должен представлять собой какой-то вариант метода многокритериальной оценки. Это обусловлено просто

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

16

тем, что такие сложные и многофакторные системы как наука в принципе невозможно оценивать по одному показателю или критерию. Хиршамания возникла имена благодаря вольному или невольному, сознательному или несознательному игнорированию этого принципа. Чтобы обоснованно выбрать метод оценки результатов научной деятельности необходимо сначала научно обосновать требования к нему, а затем составить рейтинг методов по степени соответствия обоснованным требованиям и выбрать метод, наиболее удовлетворяющий обоснованным требованиям.

Когда метод оценки результатов научной деятельности выбран, необходимо ответить на вопрос о том, на основе каких частных критериев оценивать эти результаты и какой исходной информацией для этого необходимо располагать? Ясно, что эти критерии в общем случае могут иметь как количественную, так и качественную (нечисловую) природу и могут измеряться в различных единицах измерения. Кроме того эти критерии могут иметь различную силу и направление влияния на оценку результатов научной деятельности. Поэтому предварительно надо бы обосновать требования к частным критериям оценки результатов научной деятельности. Это специальная наукоемкая работа, но для автора и сейчас очевидно, что эти критерии должны быть:

- измеримы, т.е. по ним должна быть исходная информация;

- информативны, т.е. обеспечивать разделение измеряемого объекта по категориям (классам) качества и эффективности научной деятельности;

- не управляемы самим объектом, параметры которого измеряются, т.к. иначе он может влиять на результаты измерения в нужном ему направлении.

Индекс Хирша соответствует первым двум требованиям, но не удовлетворяет третьему, т.е. он вполне управляем потому, что вполне понятно, как он формируется, и авторы в состоянии писать статьи и ссылаться на такие свои работы, чтобы индекс Хирша повышался максимально быстро. Поэтому величина индекса Хирша отражает не только результаты научной деятельности, но и степень понимания автором того, что такое индекс Хирша и как он формируется (см. юмористический эпиграф к данной статье). В психологии считается, что нельзя пользоваться тестом, ключи интерпретации которого рассекречены (опубликованы), т.к. при желании тестируемый может использовать знание этих ключей для того, чтобы так отвечать на тест, чтобы получить нужные ему результаты тестирования. Это ведь элементарно. Непонятно почему такие простые вещи игнорируются системами, вроде РИНЦ.

Представьте себе мальчишку, который не хочет идти в школу и говорит маме, что у него болит голова. Мама сразу достает термометр, чтобы померить ему температуру, сбивает его, ставит своему отпрыску под мышку и бежит на кухню выключать картошку, которую варит. А мальчишка в это время на одно мгновение окунает термометр в чай и сразу

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

17

кладет его обратно себе под мышку и тихо сидит с грустным видом. Мама прибегает, смотрит термометр и сразу начинает принимать меры для лечения своего мелкого симулянта, а о школе теперь не может быть и речи. Спрашивается, является ли неисправным измерительный инструмент, т.е. термометр? Нет, конечно, он исправен и совершенно правильно измеряет температуру. Но объект измерения (симулянт) заинтересован в тех или иных показаниях и не только в принципе может влиять на показания измерительного инструмента, но и фактически делает это. Примерно тоже самое мы наблюдаем в ситуации с индексом Хирша. Сам по себе это нормальный измерительный инструмент. Но измерительный инструмент, легко управляемый заинтересованной стороной. Поэтому он не пригоден для тех целей, для которых предназначен.

Конечно, возникают вопросы как о способе определения системы критериев оценки результатов научной деятельности, так и о способе определения силы и направления влияния этих критериев на оценку результатов научной деятельности, т.е. по сути, о модели. Но еще более существенным является вопрос: «О способе сопоставимого

сведения разнородных по своей природе и измеряемых в различных единицах измерения частных критериев эффективности в один количественный интегральный критерий эффективности вуза».

Автоматизированный системно-когнитивный анализ является одним из современных методов, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным [8] универсальным программным инструментарием, позволяющим решить эти вопросы не только на теоретическом концептуальном уровне, но и практически. Очень важно, что этот инструментарий и методики его использования для решения сформулированных задач могут быть доступны всем заинтересованным сторонам не только на федеральном уровне, но в самих вузах и НИИ, а также конкретным ученым, т.к. он находится в полном открытом бесплатном доступе (на сайте автора по адресу:

http://lc.kubagro.ru/aidos/ Aidos-X.htm ).

Естественно, никто технологию не продает, а если и продает, то так дорого, что купить ее практически невозможно. Поэтому возникает вопрос о разработке или поиске подобной технологии в России.

Таким образом, востребованы теоретическое обоснование,

математическая модель, методика численных расчетов (т.е. структуры данных и алгоритмы их обработки) а также реализующие их инструментальные (программные) средства, обеспечивающие создание, поддержку, развитие и применение подобных рейтингов.

Данная статья как раз и посвящена рассмотрению отечественной лицензионной инновационной интеллектуальной технологии, обеспечивающей решение поставленной проблемы. А именно

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

18

предлагается применить для этой цели автоматизированный системнокогнитивный анализ (АСК-анализ) и его программный инструментарий -интеллектуальную систему «Эйдос».

3. Автоматизированный системно-когнитивный анализ и интеллектуальная система «Эйдос» как инструментарий решения проблемы

АСК-анализ представляет собой один из современных

инновационных методов искусственно интеллекта, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным универсальным программным инструментарием, позволяющим решить эти вопросы не только как обычно на теоретическом концептуальном уровне, но и на практике [8]. Модели знаний АСК-анализа основаны на нечеткой декларативной модели представления знаний, предложенной автором в 1983 году и являющейся гибридной моделью, сочетающей в себе преимущества фреймовой, нейросетевой и четкой продукционной моделей и обеспечивающей создание моделей очень больших размерностей до 10 млн. раз превышающих максимальные размерности моделей знаний экспертных систем с четкими продукциями:

- от фреймовой модели модель представления знания системы «Эйдос» отличается существенно упрощенной программной реализацией и более высоким быстродействием без потери функциональности;

- от нейросетевой тем, что обеспечивает хорошо обоснованную теоретически содержательную интерпретацию весовых коэффициентов на рецепторах и обучение методом прямого счета;

- от четкой продукционной модели - нечеткими продукциями, представленными в декларативной форме, что обеспечивает эффективное использование знаний без их многократной генерации для решения задач идентификации, прогнозирования, принятия решений и исследования моделируемого объекта.

АСК-анализ является непараметрическим методом, устойчивым к шуму в исходных данных, позволяющий корректно обрабатывать неполные (фрагментированные) исходные данные, описывающие воздействие взаимозависимых факторов на нелинейный объект моделирования.

Суть метода АСК-анализа в том, что он позволяет рассчитать на основе исходных данных какое количество информации содержится в значениях факторов, обуславливающих переходы объекта моделирования

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

19

в различные будущие состояния, причем как в желательные, так и в нежелательные [9]20.

Он состоит в целенаправленном последовательном повышении степени формализации исходных данных до уровня, который позволяет ввести исходные данные в компьютерную систему, а затем преобразовать исходные данные в информацию; информацию преобразовать в знания; использовать знания для решения задач прогнозирования, принятия решений и исследования предметной области.

Рассмотрим подробнее вопросы выявления, представления и использования знаний в АСК-анализе и системе «Эйдос».

Данные - это информация, записанная на каком-либо носителе или находящаяся в каналах связи и представленная на каком-то языке или в системе кодирования и рассматриваемая безотносительно к ее смысловому содержанию.

Исходные данные об объекте управления обычно представлены в форме баз данных, чаще всего временных рядов, т.е. данных, привязанных ко времени. В соответствии с методологией и технологией автоматизированного системно-когнитивного анализа (АСК-анализ), развиваемой проф. Е.В.Луценко, для управления и принятия решений использовать непосредственно исходные данные не представляется возможным. Точнее сделать это можно, но результат управления при таком подходе оказывается мало чем отличающимся от случайного. Для реального же решения задачи управления необходимо предварительно преобразовать данные в информацию, а ее в знания о том, какие воздействия на корпорацию к каким ее изменениям обычно, как показывает опыт, приводят.

Информация есть осмысленные данные.

Смысл данных, в соответствии с концепцией смысла Шенка-Абельсона, состоит в том, что известны причинно-следственные зависимости между событиями, которые описываются этими данными. Таким образом, данные преобразуются в информацию в результате операции, которая называется «Анализ данных», которая состоит из двух этапов:

1. Выявление событий в данных (разработка классификационных и описательных шкал и градаций и преобразование с их использованием исходных данных в обучающую выборку, т.е. в базу событий -эвентологическую базу).

2. Выявление причинно-следственных зависимостей между событиями.

В случае систем управления событиями в данных являются совпадения определенных значений входных факторов и выходных

20 Вопреки тому, как его поняли некоторые авторы

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

20

параметров объекта управления, т.е. по сути, случаи перехода объекта управления в определенные будущие состояния под действием определенных сочетаний значений управляющих факторов. Качественные значения входных факторов и выходных параметров естественно формализовать в форме лингвистических переменных. Если же входные факторы и выходные параметры являются числовыми, то их значения измеряются с некоторой погрешностью и фактически представляют собой интервальные числовые значения, которые также могут быть представлены или формализованы в форме лингвистических переменных (типа: «малые», «средние», «большие» значения экономических показателей).

Какие же математические меры могут быть использованы для количественного измерения силы и направления причинно-следственных зависимостей?

Наиболее очевидным ответом на этот вопрос, который обычно первым всем приходит на ум, является: «Корреляция». Однако, в статистике это хорошо известно, что это совершенно не так. Для преобразования исходных данных в информацию необходимо не только выявить события в этих данных, но и найти причинно-следственные связи между этими событиями. В АСК-анализе предлагается 7 количественных мер причинно-следственных связей, основной из которых является семантическая мера целесообразности информации по А.Харкевичу.

Знания - это информация, полезная для достижения целей21.

Значит для преобразования информации в знания необходимо:

1. Поставить цель (классифицировать будущие состояния моделируемого объекта на целевые и нежелательные).

2. Оценить полезность информации для достижения этой цели (знак и силу влияния).

Второй пункт, по сути, выполнен при преобразовании данных в информацию. Поэтому остается выполнить только первый пункт, т.к. классифицировать будущие состояния объекта управления как желательные (целевые) и нежелательные.

Знания могут быть представлены в различных формах, характеризующихся различной степенью формализации:

- вообще неформализованные знания, т.е. знания в своей собственной форме, ноу-хау (мышление без вербализации есть медитация);

- знания, формализованные в естественном вербальном языке;

Основные публикации автора по вопросам выявления, представления и использования знаний:

- http://www.twirpx.com/file/793311/

- Луценко Е.В. Системно-когнитивный анализ как развитие концепции смысла Шенка - Абельсона / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. -Краснодар: КубГАУ, 2004. - №03(005). С. 65 - 86. - IDA [article ID]: ОО5О4ОЗ0О4. - Режим доступа: http://ei.kubagro.ru/20o4/Q3/pdf/o4.pdf. 1,375 у.п.л.

- Луценко Е.В. Методологические аспекты выявления. представления и использования знаний в АСК-анализе и интеллектуальной системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ. 2011. - №06(070). С. 233 - 280. - Шифр Информрегистра:

0421100012\0197. IDA [article ID]: 0701106018. - Режим доступа: http://ei.kubagro.ru/2011/06/pdf/18.pdf. 3 у.п.л.

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

21

- знания, формализованные в виде различных методик, схем, алгоритмов, планов, таблиц и отношений между ними (базы данных);

- знания в форме технологий, организационных, производственных, социально-экономических и политических структур;

- знания, формализованные в виде математических моделей и методов представления знаний в автоматизированных интеллектуальных системах (логическая, фреймовая, сетевая, продукционная, нейросетевая, нечеткая и другие).

Таким образом, для решения сформулированной проблемы необходимо осознанно и целенаправленно последовательно повышать степень формализации исходных данных до уровня, который позволяет ввести исходные данные в интеллектуальную систему, а затем:

- преобразовать исходные данные в информацию;

- преобразовать информацию в знания;

- использовать знания для решения задач управления, принятия решений и исследования предметной области (рисунки 2 и 3):

О соотношении содержания понятий: «Данные», «Информация» и «Знания»

Рисунок 2. Соотношение содержания понятий: «Данные», «Информация», «Знания»

http://ej .kubagro.ru/2015/04/pdf/01 .pdf

Научный журнал КубГАУ, №108(04), 2015 года

22

Последовательность обработки данных, информации и знаний в системе «Эйдос-Х++»

с

Когнитивно-целевая структуризация предметной области (неавтоматизированный в системе «Эйдос-Х++» этап АСК-анализа)

3

Формализация предметной области

Средства кодирования исходных данных

lnp_data, lnp_data.xls

Исходные данные

Class_Sc, Gr_CISc

Классификационные шкалы и градации

Opis_Sc, Gr_OpSc

Описательные шкалы и градации

Обучающая выборка, эвентологическая база данных

Рисунок 3. Этапы последовательного повышения степени формализации модели от данных к информации, а от нее к знаниям

АСК-анализ имеет следующие этапы [8]:

- когнитивно-целевая структуризация предметной области;

- формализация предметной области (формирование

классификационных и описательных шкал и градаций и обучающей выборки);

- синтез и верификация статистических и системно-когнитивных моделей;

- решение задач идентификации, прогнозирования, принятия решений и исследования предметной области в наиболее достоверных из созданных моделей.

Единственный неавтоматизированный в системе «Эйдос» этап - это первый, а остальные приведены на рисунке 1.

АСК-анализ имеет ряд особенностей, которые обусловили его выбор в качестве метода решения проблемы:

http://ej .kubagro.ru/2015/04/pdf/01 .pdf

Научный журнал КубГАУ, №108(04), 2015 года

23

1. Имеет теоретическое обоснование, основой которого является семантическая мера целесообразности информации А.Харкевича.

2. Обеспечивает корректную сопоставимую количественную обработку разнородных по своей природе факторов, измеряемых в различных единицах измерения, высокую точность и независимость результатов расчетов от единиц измерения исходных данных.

3. Обеспечивает построение многомерных моделей объекта моделирования непосредственно на основе неполных и искаженных эмпирических данных о нем.

4. Имеет развитую и доступную программную реализацию в виде универсальной когнитивной аналитической системы «Эйдос».

4. Частные критерии и виды моделей системы «Эйдос»

Частные критерии знаний, используемые в настоящее время в АСК-анализе и системе «Эйдос-Х++», приведенны в таблице 1.

Таблица 1 - Частные критерии знаний, используемые в настоящее время в АСК-анализе и системе «Эйдос-Х++»

Наименование модели знаний и частный критерий Выражение для частного критерия

через относительные частоты через абсолютные частоты

INF1, частный критерий: количество знаний по А.Харкевичу, 1-й вариант расчета относительных частот: Nj - суммарное количество признаков по j-му классу. Относительная частота того, что если у объекта j-го класса обнаружен признак, то это i-й признак Iy = Yx Log2 P NN I = Y x Tog 11

I • • — I X Log 2 1 NN. l 1

INF2, частный критерий: количество знаний по А.Харкевичу, 2-й вариант расчета относительных частот: Nj - суммарное количество объектов по j-му классу. Относительная частота того, что если предъявлен объект j-го класса, то у него будет обнаружен i-й признак. Ij = YxLog2 p NN T — ш v T ncr 11

I ij = YX Log 2 j NN. ij

INF3, частный критерий: Хи-квадрат: разности между фактическими и теоретически ожидаемыми абсолютными частотами — N,N, I = N.. l 1 lJ 11 N

INF4, частный критерий: ROI - Return On Investment, 1-й вариант расчета относительных частот: Nj - суммарное количество признаков по j-му классу 1 1 1 2^ 1 As N.N 11 1 1 11 N1N1

l l 4

INF5, частный критерий: ROI - Return On Investment, 2-й вариант расчета относительных частот: Nj - суммарное количество объектов по j-му классу *’•4 1 1 2^ 1 As N.N 11 1 1 11 NtNj

^ P * Pi

INF6, частный критерий: разность условной и безусловной относительных частот, 1-й вариант расчета относительных частот: Nj - суммарное количество признаков по j-му классу II 2^ 1 2a I = NL _ N ' N1 N

INF7, частный критерий: разность условной и безусловной относительных частот, 2-й вариант расчета относительных частот: Nj - суммарное количество объектов по j-му классу II 2^ 1 2a I = N , N , l Nj N

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

24

Обозначения:

i - значение прошлого параметра;

j - значение будущего параметра;

Nij - количество встреч j-го значения будущего параметра при i-м значении прошлого параметра;

M- суммарное число значений всех прошлых параметров;

W - суммарное число значений всех будущих параметров.

Ni - количество встреч i-м значения прошлого параметра по всей выборке;

Nj - количество встреч j-го значения будущего параметра по всей выборке;

N - количество встреч j-го значения будущего параметра при i-м значении прошлого параметра по всей выборке.

Iy - частный критерий знаний: количество знаний в факте наблюдения i-го значения прошлого параметра о том, что объект перейдет в состояние, соответствующее j-му значению будущего параметра;

¥ - нормировочный коэффициент (Е.В.Луценко, 1979, впервые опубликовано в 1993 году [15]), преобразующий количество информации в формуле А.Харкевича в биты и обеспечивающий для нее соблюдение принципа соответствия с формулой Р.Хартли;

Pi - безусловная относительная частота встречи i-го значения прошлого параметра в обучающей выборке;

Pij - условная относительная частота встречи i-го значения прошлого параметра при j-м значении будущего параметра.

По сути, частные критерии представляют собой просто формулы для преобразования матрицы абсолютных частот (таблица 4) в матрицы условных и безусловных процентных распределений(таблицы 5 и 6) и матрицы знаний (проф. В.И.Лойко, 2014).

5. Ценность описательных шкал и градаций для решения задач идентификации текстов и авторов (нормализация текста)

23

Для любой из моделей системой «Эйдос» рассчитывается ценность градации описательной шкалы, т.е. признака, для идентификации или прогнозирования. Количественной мерой ценности признака в той или иной модели является вариабельность по классам частного критерия для этого признака (таблица 1) Мер вариабельности может быть много, но наиболее известными является среднее модулей отклонения от среднего, дисперсия и среднеквадратичное отклонение. Последняя мера и используется в АСК-анализе и системе «Эйдос».

В системе «Эйдос» ценность признаков нарастающим итогов выводится в графической форме.

При большом объеме обучающей выборки можно без ущерба для достоверности модели удалить из нее малозначимые признаки (Парето-оптимизация). Для этого в системе «Эйдос» также есть соответствующие инструменты. 22 23

22

Которая является также матрицей сопряженности или корреляционной матрицей.

23

Эта ценность в АСК-анализе называется также интегральной информативностью, дифференцирующей или дискриминантной способностью и селективной силой, т.е. эти термины являются синонимами.

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

25

6. Интегральные критерии системы «Эйдос»

Но если нам известно, что объект обладает не одним, а несколькими признаками, то как посчитать их общий вклад в сходство с теми или иными классами? Для этого в системе «Эйдос» используется 2 аддитивных интегральных критерия: «Сумма знаний» и «Семантический резонанс знаний».

Интегральный критерий «Семантический резонанс знаний»

представляет собой суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3:

I=(й,L).

В выражении круглыми скобками обозначено скалярное произведение. В координатной форме это выражение имеет вид:

м

I = Е лл ,,

i=1

где: M - количество градаций описательных шкал (признаков);

Iij = {Ту } - вектор состояния j-го класса;

Li = {Ly} - вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив-локатор), т.е.:

1, если i — й фактор действует;

L

< п, где : n > 0, если i — й фактор действует с истинностью п; 0, если i — й фактор не действует.

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Интегральный критерий «Семантический резонанс знаний» представляет собой нормированное суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

26

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3 и имеет вид:

где:

M

L

I, =

SjSLM^Ti

1 -I)(L -L]

1

количество градаций описательных шкал (признаков); средняя информативность по вектору класса;

среднее по вектору объекта;

sI - среднеквадратичное отклонение частных критериев знаний вектора класса;

SL - среднеквадратичное отклонение по вектору распознаваемого объекта.

Iy = {Ij} - вектор состояния j-го класса;

Li = {Li} - вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив-локатор), т.е.:

1, если i - й фактор действует;

Li =

п, где: п > 0, если i - й фактор действует с истинностью п;

0, если i - й фактор не действует.

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Приведенное выражение для интегрального критерия «Семантический резонанс знаний» получается непосредственно из выражения для критерия «Сумма знаний» после замены координат перемножаемых векторов их стандартизированными значениями:

L,. ® i

■L

т Li - L

Свое наименование интегральный критерий сходства «Семантический резонанс знаний» получил потому, что по своей математической форме является корреляцией двух векторов: состояния j-го класса и состояния распознаваемого объекта.

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

27

7. Выводы

Недавно был начат процесс монетизации оценки результатов научной деятельности и возникла потребность в методиках количественной и сопоставимой оценки эффективности и качества работы ученого. Появились многочисленные методики материального поощрения за эти результаты. Общим для всех этих методик является завешенная роль индекса Хирша. Сам по себе этот индекс вполне обоснован. Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую автор предлагает называть «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, особенно к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса. В данной работе делается попытка кратко описать некоторые негативные последствия этой новой психической инфекции, поразившей общественное сознание научного сообщества. А также наметить пути преодоления хотя бы некоторых причин их возникновения. В этом и состоит проблема, решаемая в данной работе. Для решения сформулированной проблемы предлагается применить многокритериальный подход, основанный на теории информации, а именно тот его вариант, который реализован в автоматизированном системно-когнитивном анализе (АСК-анализ) и его программном инструментарии - интеллектуальной системе «Эйдос»

Литература

1. Ричард Броди. Психические вирусы. Методическое пособие для слушателей

курса. «Современные психотехнологии». Москва, 2002, 192 стр.

http://yandex.ru/yandsearch?text= Ричард%20Броди. %20ПСИХИЧЕСКИЕ%20ВИРУСЫ

2. Кара-Мурза С.Г. Манипуляция сознанием. — М.: Изд-во: Эксмо, 2005. — 832 с. ISBN 5-699-08331-6/ http://socioline.ru/files/5/52/kara-murza s. -

manipulyaciya soznaniem politicheskii bestseller - 2005^1Луценко Е.В. Тотальная ложь как стратегическое информационное оружие общества периода глобализации и дополненной реальности (применим ли в современном обществе принцип наблюдаемости как критерий реальности) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. -№07(101). С. 1411 - 1429. - IDA [article ID]: 1011407091. - Режим доступа: http://ej.kubagro.ru/2014/07/pdf/91.pdf, 1,188 у.п.л.

3. Луценко Е.В. Синтез и верификация многокритериальной системнокогнитивной модели университетского рейтинга Гардиан и ее применение для сопоставимой оценки эффективности российских вузов с учетом направления подготовки / Луценко Е.В. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. - №03(107). - IDA [article ID]: 1071503001. - Режим доступа: http://ej.kubagro.ru/2015/03/pdf/01.pdf, 3,875 у.п.л.

http://ej.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

28

4. Луценко Е.В. Виртуализация общества как основной информационный аспект глобализации / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2005. - №01(009). С. 6 - 43. -IDA [article ID]: 0090501002. - Режим доступа: http://ej.kubagro.ru/2005/01/pdf/02.pdf, 2,375 у.п.л.

5. Вяткин В.Б. Групповой плагиат: от студента до министра. - Троицкий вариант — Наука - http://trv-science.ru - [Электронный ресурс]. Адрес доступа: http://trv-science.ru/2011/11/08/gruppovoii-plagiat-ot-studenta-do-ministra/ или: http://trv-

science.ru/2011/11/08/gruppovoii-plagiat-ot-studenta-do-ministra/print/

6. Луценко Е.В. Применение АСК-анализа и интеллектуальной системы "Эйдос" для решения в общем виде задачи идентификации литературных источников и авторов по стандартным, нестандартным и некорректным библиографическим описаниям / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №09(103). С. 498 - 544. - IDA [article ID]: 1031409032. - Режим доступа: http://ej.kubagro.ru/2014/09/pdf/32.pdf, 2,938 у.п.л.

7. Луценко Е.В. Современное состояние и перспективы развития

Политематического сетевого электронного научного журнала Кубанского

государственного аграрного университета / Е.В. Луценко, В.И. Лойко // Политематический сетевой электронный научный журнал Кубанского

государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №06(100). С. 146 - 176. - IDA [article ID]: 1001406008. - Режим доступа: http://ei.kubagro.ru/2014/06/pdf/08.pdf, 1,938 у.п.л.

8. Луценко Е.В. Теоретические основы, технология и инструментарий

автоматизированного системно-когнитивного анализа и возможности его применения для сопоставимой оценки эффективности вузов / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского

государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №04(088). С. 340 - 359. - IDA [article ID]: 0881304022. - Режим доступа: http://ei.kubagro.ru/2013/04/pdf/22.pdf, 1,25 у.п.л.

9. Луценко Е.В. Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системнокогнитивном анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. -№08(092). С. 859 - 883. - IDA [article ID]: 0921308058. - Режим доступа: http://ei.kubagro.ru/2013/08/pdf/58.pdf, 1,562 у.п.л.

Literatura

1. Richard Brodi. Psihicheskie virusy. Metodicheskoe posobie dlja slushatelei kursa. «Sovremennye psihotehnologii». Moskva, 2002, 192 str. http://yandex.ru/yandsearch?text= Richard%20Brodi. %20P SIHIChESKIE%20VIRUSY

2. Kara-Murza S.G. Manipuliaciia soznaniem. — M.: Izd-vo: Jeksmo, 2005. — 832 s.

ISBN 5-699-08331-6/ http://socioline.ru/files/5/52/kara-murza_s._-

_manipulyaciya_soznaniem_politicheskii_bestseller_-_2005.pdfLucenko E.V. Total'naia lozh' kak strategicheskoe informacionnoe oruzhie obshhestva perioda globalizacii i dopolnennoi real'nosti (primenim li v sovremennom obshhestve princip nabliudaemosti kak kriterii real'nosti) / E.V. Lucenko // Politematicheskij setevoi ielektronnyi nauchnyi zhurnal

http://ei.kubagro.ru/2015/04/pdf/01.pdf

Научный журнал КубГАУ, №108(04), 2015 года

29

Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №07(101). S. 1411 - 1429. - IDA [article ID]: 1011407091. - Rezhim dostupa: http://ej.kubagro.ru/2014/07/pdf/91.pdf, 1,188 u.p.l.

3. Lucenko E.V. Sintez i verifikacija mnogokriterial'noj sistemno-kognitivnoj modeli

universitetskogo rejtinga Gardian i ee primenenie dlja sopostavimoj ocenki jeffektivnosti rossijskih vuzov s uchetom napravlenija podgotovki / Lucenko E.V. // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2015. -

№03(107). - IDA [article ID]: 1071503001. - Rezhim dostupa:

http://ej.kubagro.ru/2015/03/pdf/01.pdf, 3,875 u.p.l.

4. Lucenko E.V. Virtualizacija obshhestva kak osnovnoj informacionnyj aspekt globalizacii / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2005. - №01(009). S. 6 - 43. - IDA [article ID]: 0090501002. - Rezhim dostupa: http://ej.kubagro.ru/2005/01/pdf/02.pdf, 2,375 u.p.l.

5. Vjatkin V.B. Gruppovoj plagiat: ot studenta do ministra. - Troickij variant — Nauka

- http://trv-science.ru - [Jelektronnyj resurs]. Adres dostupa: http://trv-

science.ru/2011/11/08/gruppovojj-plagiat-ot-studenta-do-ministra/ ili: http://trv-

science.ru/2011/11/08/gruppovojj-plagiat-ot-studenta-do-ministra/print/

6. Lucenko E.V. Primenenie ASK-analiza i intellektual'noj sistemy "Jejdos" dlja reshenija v obshhem vide zadachi identifikacii literaturnyh istochnikov i avtorov po standartnym, nestandartnym i nekorrektnym bibliograficheskim opisanijam / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №09(103). S. 498 - 544. - IDA [article ID]: 1031409032. - Rezhim dostupa: http://ej.kubagro.ru/2014/09/pdf/32.pdf, 2,938 u.p.l.

7. Lucenko E.V. Sovremennoe sostojanie i perspektivy razvitija Politematicheskogo setevogo jelektronnogo nauchnogo zhurnala Kubanskogo gosudarstvennogo agrarnogo universiteta / E.V. Lucenko, V.I. Lojko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №06(100). S. 146 - 176. - IDA [article ID]: 1001406008. - Rezhim dostupa: http://ej.kubagro.ru/2014/06/pdf/08.pdf, 1,938 u.p.l.

8. Lucenko E.V. Teoreticheskie osnovy, tehnologija i instrumentarij avtomatizirovannogo sistemno-kognitivnogo analiza i vozmozhnosti ego primenenija dlja sopostavimoj ocenki jeffektivnosti vuzov / E.V. Lucenko, V.E. Korzhakov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №04(088). S. 340 - 359. - IDA [article ID]: 0881304022. - Rezhim dostupa: http://ej.kubagro.ru/2013/04/pdf/22.pdf, 1,25 u.p.l.

9. Lucenko E.V. Metrizacija izmeritel'nyh shkal razlichnyh tipov i sovmestnaja sopostavimaja kolichestvennaja obrabotka raznorodnyh faktorov v sistemno-kognitivnom analize i sisteme «Jejdos» / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №08(092). S. 859 - 883. - IDA [article ID]: 0921308058. - Rezhim dostupa: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 u.p.l.

http://ej.kubagro.ru/2015/04/pdf/01.pdf