CC BY
138
Дискуссии
УДК 001.8 ББК 72в6
НОВЫЙ МЕТОД ОЦЕНКИ ПРОДУКТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ
© И. Д. Котляров, 2010
Северо-Западный институт печати Санкт-Петербургского государственного университета технологии и дизайна 191180, г. Санкт-Петербург, пер. Джамбула, 13
Предложена классификация показателей продуктивности научной деятельности, составлен перечень критериев, которым должны удовлетворять такие показатели, выполнен анализ используемого в России показателя результативности научной деятельности (ПРНД), показана его непригодность для измерения результатов научной деятельности, разработаны новые показатели продуктивности научной деятельности и методика их расчета, предложен способ расчета заработной платы профессорско-преподавательского состава на основе этих показателей.
Ключевые слова: показатель результативности научной деятельности, индекс цитирования, импакт-фактор.
The article contains the classification of indexes of scientific output and an analysis of the index of effectiveness of scientific activity used in Russia to evaluate productivity of scholars. A list of criteria which an effective index of scientific output should meet is proposed. It is demonstrated that this index has major flaw and should not be used for measurement of scientific output. New indexes are proposed. It is explained how these indexes can be used to calculate a professor's salary.
Key words: index of scientific output, citation index, impact factor.
Для российской высшей школы проблема эффективной организации научной работы имеет особую актуальность, так как профессорско-преподавательский состав в ряде случаев относится к этому аспекту своих служебных обязанностей весьма формально: по сути дела, о необходимости демонстрации своих научных результатов (как правило, в виде публикаций в сборниках заочных конференций или в платных журналах, не рецензирующих поступающие статьи) преподаватель высшей школы вспоминает только перед прохождением конкурса на замещение должности или при подаче документов на получение звания доцента (профессора). Такой отрыв от науки ведет к отсутствию знакомства (вследствие отсутствия необходимости в нем) с современными результатами, полученными в соответствующей отрасли науки в России и за рубежом, и к отсутствию новых по содержанию учебных пособий (публикуемые учебные материалы чаще всего представляют пересказы старых учебников), что влечет за собой низкое качество профессиональной подготовки выпускников вузов и их несоответствие требованиям работодателей.
В силу этого стимулирование профессорско-преподавательского состава к участию в научной работе имеет большое значение для обеспечения
качества высшего образования. Одним из методов является использование количественных показателей для оценки результативности научной деятельности, с последующим учетом этих показателей при расчете величины заработной платы и при продвижении по карьерной лестнице.
Специфика научной работы не позволяет разработать абсолютно объективные показатели продуктивности научной деятельности (ППНД), на что многократно указывали противники такой методики. Однако столь же очевидно, что управление любым видом деятельности нуждается в наличии формальных количественных показателей, поэтому при всей несомненной спорности существующих ППНД, от их использования, на наш взгляд, не только не следует отказываться, но, напротив, необходимо повсеместно внедрять в практику управления профессорско-преподавательским составом высших учебных заведений. При этом, разумеется, следует четко очерчивать пределы применения этих показателей.
Ниже рассматриваются основные виды показателя продуктивности научной деятельности, используемые в России и мире, исследуются принципы, которым должны соответствовать эти показатели, и способы применения, а также предлагается новая методика расчета ППНД.
1. ВИДЫ ППНД
В мировой и российской практике итогом научной деятельности считается регулярное информирование исследователем своих коллег о полученных им результатах. Оно принимает форму публикаций научных статей и монографий, выступлений на конференциях, регистрации патентов и т. д. Измерение продуктивности научной деятельности соответственно, происходит путем оценки интенсивности и эффективности этого информирования.
Изучение используемых в мире методов оценки научной работы позволяет сделать вывод о том, что показатели могут быть классифицированы по двум основным критериям - по способу оценки значимости научных результатов и по однородности.
По способу оценки значимости научных результатов, полученных отдельным исследователем, показатели можно разбить на основные группы:
1. Валовые показатели - при их расчете значимость научных результатов во внимание не принимается, оценивается лишь их количество. Они обычно рассчитываются как суммарное число научных работ, опубликованных исследователем за определенный период, объем этих работ в авторских листах, число выступлений на конференциях и т. д. Служат подтверждением факта ведения исследователем научной деятельности, но не говорят о ее качестве. Достоинство этих показателей -простота расчета, недостаток - возможность подмены подлинно научных результатов потоком наукообразных публикаций;
2. Качественные показатели характеризуют научный уровень полученных исследователем результатов. Как правило, качество этих результатов определяется на основе оценки качества изданий, в которых они были опубликованы. Примером может служить более высокий вес статей в журналах из «списка ВАК» при расчете применяемых в России показателей результативности научной деятельности (ПРНД);
3. Показатели восприятия - описывают влияние научных результатов исследователя на общее развитие науки. В основе расчета лежит оценка использования опубликованных исследователем результатов другими учеными. Характерным примером является индекс цитирования (Scientific Citation Index, SCI), рассчитываемый Thomson Reuters и представляющий собой число ссылок на работы исследователя за определенный период. Среди научного сообщества эти показатели воспринимаются как наиболее престижные. В России существует собственный Российский индекс научного цитирования (РИНЦ); данный проект реализует Научная электронная библиотека Elibrary.ru;
4. Смешанные показатели - при расчете используются параметры разных групп. В качестве при-
мера можно привести показатель вклада монографий ПВМшвд в общий ПРНД, который используется в российских учреждениях науки и высшего образования и рассчитывается по следующей формуле:
ПВМпрнд = МУ, где М - множитель, учитывающий качество монографии (принимает более высокие значения для монографий, изданных за рубежом, и для монографий, поддержанных некоторыми грантами); этот множитель относится к факторам второй группы; V - объем монографии в авторских листах (показатель первой группы).
По критерию однородности ППНД делятся:
• на однородные (для их расчета берутся однотипные научные результаты - например, только публикации в журналах, или только число зарегистрированных патентов);
• неоднородные (во внимание принимаются разные виды научных результатов).
В настоящее время в России в разных ситуациях используются следующие ППНД:
1. При получении ученого звания доцента претендент должен подтвердить наличие у него установленного числа научных и учебно-методических публикаций за определенный промежуток времени. Это число различно для соискателей звания доцента и профессора. Например, для получения звания доцента исследователь должен за последние три года выступить в качестве:
• автора (соавтора) учебника (учебного пособия) или не менее двух учебно-методических работ;
• автора (соавтора) монографии (главы в монографии) или не менее двух научных работ.
Таким образом, в этом случае используются два валовых показателя, причем их абсолютная величина значения не имеет - важно лишь, чтобы они были не ниже установленного порога;
2. Для защиты диссертации на соискание ученой степени кандидата (доктора) наук диссертант обязан иметь не менее одной (соответственно, семи) статей в журналах, вошедших в «список ВАК». Очевидно, что здесь речь идет о показателе второй группы (качественном), при этом также задается лишь его нижний порог (т. е. превышение этого порога никак не поощряется, важно лишь наличие минимально требуемого числа публикаций);
3. При расчете стимулирующих выплат за ведение научной деятельности используется уже упоминавшийся выше ПРНД. Общая формула расчета этого показателя имеет следующий вид:
п т I З.-.к Уцк
ПРНД = ПК 22 2 ^^, (1)
;=1 у=1 к=1 САг/к
где ПК - повышающий коэффициент, присвоенный определенной категории ученых (принимает более высокие значения для молодых исследователей);
n - число видов научной деятельности (к самостоятельным видам относятся, как правило, публикация статей, участие в конференциях, публикация монографий, руководство аспирантами, руководство дипломными работами и т. д.);
m - число подвидов научной деятельности в рамках z'-го вида (например, для вида деятельности «Публикация статей» подвидами будут публикация статей в российских и зарубежных журналах);
l - число научных результатов, полученных в рамках j-го подвида /-го вида научной деятельности (например, число статей, опубликованных в зарубежных научных журналах);
Зук - значимость k-го результата (например, для статей, опубликованных в журналах с высоким импакт-фактором, она выше);
Vjk - объем k-го результата в выбранных единицах измерения (например, для монографий -число авторских листов, для статей - одна статья);
СА/]к - коэффициент, позволяющий учесть наличие соавторов у k-го результата.
Первые два показателя по своей сути имеют разовый характер (т. е. используются в исключительных ситуациях - при присвоении ученого звания или присуждении ученой степени), тогда как третий призван служить для непрерывной оценки текущей научной деятельности исследователя. По этой причине первые два показателя останутся за пределами рассмотрения данной статьи, а ниже будут описаны проблемы, связанные с использованием ПРНД.
Основным показателем, используемым в мировой практике для оценки результативности научной деятельности, служит уже упоминавшийся выше индекс цитирования SCI.
2. ПРНД КАК ИНСТРУМЕНТ УПРАВЛЕНИЯ ЭФФЕКТИВНОСТЬЮ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ
Сформулируем требования, которые должны соблюдаться при использовании ПРНД:
1. При его расчете должны учитываться только те переменные, которые характеризуют собственно научную деятельность. Характеристики других видов деятельности (например, педагогической) не могут быть включены в ППНД;
2. Методика расчета показателя не должна допускать скрытой или явной дискриминации отдельных категорий научных работников;
3. Методика расчета показателя должна стимулировать научных работников на получение важных и востребованных обществом результатов научной деятельности.
Из этого требования вытекают следующие выводы:
• методика расчета не должна подгоняться под возможности отдельного ученого или научного учреждения;
• методика расчета показателя не должна делать возможной ситуацию, при которой малое число хороших научных работ и большое число работ низкого уровня будут описываться формально равными значениями показателя;
• значения и единицы измерения величин, входящих в формулу расчета ППНД (например, в случае формулы (1) - величина значимости Зф и единица измерения объема научного результата), должны определяться или рассчитываться по определенной методике, а не задаваться произвольно;
4. При использовании ППНД для расчета оплаты труда научного работника необходимо принимать во внимание его абсолютное значение - чем оно больше, тем выше оплата.
Рассмотрим, насколько этим принципам соответствуют используемые в России ПРНД. Анализ проводится на основе методики расчета ПРНД, принятой в Институте физики Земли РАН, однако его результаты справедливы для всех ПРНД, применяемых в научных и высших учебных заведениях Российской Федерации, так как принципы расчета этих показателей во всех учреждениях одинаковы и различаются только числом слагаемых п и т и значимостью Зф каждого вида научной деятельности.
Согласно этой методике, при расчете ПРНД учитываются следующие виды научной деятельности:
1. Статьи в российских и зарубежных научных журналах;
2. Публикация в сборниках конференций;
3. Монографии, учебники и учебные пособия;
4. Выступления на конференциях;
5. Патенты;
6. Карты;
7. Разработка и доработка учебных курсов, читаемых в вузе;
8. Руководство соискателями научной степени и дипломниками.
Из перечня очевидно, что в ПРНД не является «чистым» показателем продуктивности научной деятельности, так как в него входят факторы, к науке имеющие весьма опосредованное отношение, а именно - публикация учебников и учебных пособий, разработка учебных курсов и руководство дипломными работами.
Безусловно, учебник или учебное пособие могут содержать новые научные результаты, полученные его автором, но они ни в коем случае не могут рассматриваться как место первичной публикации этих результатов - по всем правилам научной работы, они должны быть предварительно опубликованы в статьях или монографиях и полу-
чить одобрение научного сообщества. В противном случае речь идет о том, что студентам под видом научных результатов преподносят непроверенные и неапробированные гипотезы, что является нарушением научной и педагогической этики. Это утверждение в еще большей степени справедливо для разработки учебных курсов. Дипломные проекты представляют собой в первую очередь квалификационные работы, и претендовать на научную новизну не могут.
Таким образом, ПРНД не соответствует первому требованию, так как в него включены показатели, характеризующие не научную, а педагогическую деятельность исследователя.
Особо следует отметить, что речь не идет о том, что педагогическая деятельность не важна -напротив, нужно всячески поощрять участие ученых в преподавательской работе. Однако эффективность этой работы не должна включаться в показатели результативности научной деятельности, так как это приводит к путанице и к нарушению логики самого ПРНД. Гораздо разумнее для этих целей было бы разработать отдельный показатель результативности педагогической деятельности.
Формула (1) позволяет убедиться в том, что ПРНД допускает в силу наличия в нем повышающего коэффициента для молодых сотрудников явную дискриминацию сотрудников старшего возраста (старше 40 лет), так как для них повышающий коэффициент равен 1. Для сотрудников до 40 лет значение этого коэффициента варьирует в Институте физики Земли (ИФЗ) РАН от 1,5 до 3 в зависимости от срока, истекшего с момента окончания вуза - этот срок для получения повышающего коэффициента не должен превышать 10 лет, и от возраста, в котором была защищена кандидатская или докторская диссертация (не более 40 лет).
Приведенный выше перечень видов научной деятельности, включаемых в расчет ПРНД, кроме того, показывает, что методика определения ПРНД допускает неявную дискриминацию сотрудников, не имеющих ученой степени - поскольку они не имеют права руководить аспирантами, и у них в принципе отсутствует соответствующее слагаемое в расчете ПРНД. Важно отметить, что вклад любого вида научной деятельности в суммарную величину ПРНД может быть равен нулю по двум причинам:
• научный сотрудник по собственной воле не занимается соответствующим видом научной деятельности (что может служить основанием для организационных выводов, но дискриминацией названо быть не может);
• научный сотрудник не имеет права заниматься данным видом научной деятельности -и в этом случае речь идет о дискриминации.
Таким образом, второму требованию методика расчета ПРНД также не соответствует, так как до-
пускает явную и скрытую дискриминацию отдельных категорий научных сотрудников, что говорит
0 необъективности показателя.
В мировой практике наиболее важным показателем интенсивности научной деятельности является число публикаций в ведущих мировых журналах. Именно такие публикации служат основой для расчета наиболее престижного ППНД - индекса цитирования SCI. Остальные виды публикаций (монографии, доклады в сборниках конференций и т. д.) носят вторичный характер. Следовательно, целью ППНД должно стать преодоление изоляции российской науки и побуждение исследователей публиковать свои работы в признанных международных журналах.
Рассмотрим вклады отдельных подвидов научной деятельности в расчет ПРНД (таблица1, с. 64).
Из таблицы видно:
• методика расчета ПРНД подогнана под специфику российских научных учреждений вообще и ИФЗ в частности, так как, во-первых, публикации в профильных для ИФЗ российских журналах (с низким импакт-фактором или без такового вообще; см. п. 1.2) имеют очень высокую значимость, во-вторых, публикации в российских журналах имеют более высокую значимость, чем в зарубежных (ср. п. 1.3 и 1.4);
• публикация большого количества работ недостаточно высокого уровня позволит исследователю получить то же итоговое значение ПРНД, что и публикация малого числа работ высокого уровня. Например, публикация в зарубежном журнале с импакт-фактором 0,5 может быть легко заменена публикацией четырех статей в сборниках конференций. Как известно, подобные публикации представляют собой самый простой и быстрый способ, используемый российскими исследователями -отсев материалов в большинстве случаев отсутствует, и за сравнительно небольшую плату организаторы конференций готовы публиковать все, что угодно, тогда как публикация в зарубежном журнале, входящем в базу SCI, требует от автора значительных усилий по подготовке и доработке статьи;
• величины значимости вкладов видов научной деятельности заданы произвольным образом -например, неясен источник столь высокой значимости публикаций в журнале «Физика Земли» (по прилагаемой таблице импакт-фактор этого журнала равен 0,092, и, в таком случае, значимость
1 Обозначения соответствуют формуле (1), IF - импакт-фактор журнала, рассчитывается как отношение числа ссылок на статьи, опубликованные в данном журнале, к числу опубликованных статей за определенный период. Для удобства из таблицы исключен способ учета соавторов. Предполагается, что результаты получены одним исследователем. В таблицу включены не все виды и подвиды научной деятельности, учитываемые в методике ИФЗ расчета ПРНД.
Оценка значимости отдельных подвидов научной деятельности по методике ИФЗ РАН
Вид научной деятельности Подвид научной деятельности Показатель значимости полученного результата Единица измерения полученного результата
1.1. В журнале «Физика Земли» 30 Одна публикация
1.2. В российских рецензируемых журналах по профилю ИФЗ 20 Одна публикация
1. Публикация научных статей 1.3. В российских журналах из «списка ВАК» - 9, если Ш < 0,2 ; - 45/^, если № > 0,2 Одна публикация
1.4. В зарубежных научных журналах - 6, если Ш < 0,2 ; - 30/^, если № > 0,2 Одна публикация
1.5. В сборниках конференций 4 Одна публикация
2.1. Поддержанных грантом РФФИ, Президиумом РАН или отделением РАН 3 Авторский лист
2. Публикация монографий 2.2. По рекомендации ученых или редак-ционно-издательских советов институтов РАН или ведомственных вузов, а также учебников с грифов Министерства образования и науки России или УМО 2 Авторский лист
3. Разработка новых учебных курсов 20 Семестр (т. е. учитывается число семестров, в течение которых читается учебный курс)
публикаций в нем должна была бы, в соответствии с п. 1.3 равной 9, но никак не 30).
Таким образом, третьему критерию ПРНД также не соответствует.
Что касается учета значения ПРНД при расчете дополнительных выплат, то информации на этот счет источник не содержит. Однако по данным высших учебных заведений, дополнительные выплаты назначаются в одинаковом размере всем сотрудникам, у которых величина ПРНД превысила определенное значение, т. е. прослеживается нарушение четвертого критерия.
Очевидно, что ПРНД, рассчитываемый по описанной выше методике (которая, как уже говорилось, одинакова у всех использующих ее научных и высших учебных заведений), не может служить
объективной мерой эффективности научной дея-
2
тельности .
3. РАЗРАБОТКА ППНД И МЕТОДИКИ ЕГО ИСПОЛЬЗОВАНИЯ ДЛЯ РАСЧЕТА ВЫПЛАТ ПРОФЕССОРСКО-ПРЕПОДАВАТЕЛЬСКОМУ СОСТАВУ
В п. 2 настоящей статьи были перечислены требования, которым должен удовлетворять ППНД.
2 Это ни в коем случае не является попыткой указать на непрофессионализм разработчиков методики расчета ПРНД Институтом физики Земли РАН - речь идет о порочности
Выше было сказано, что, на наш взгляд, приоритетной задачей российской науки является преодоление изоляционистских тенденций и активное включение в мировой научный процесс, в том числе и путем публикаций результатов своих исследований в ведущих международных журналах. Следовательно, ППНД должен рассчитываться таким образом, чтобы поощрять такие публикации (иными словами, размещение статей в иностранных журналах как вид научной деятельности должно иметь максимальную значимость). При этом, однако, следует также помнить об отечественных исследователях, публиковать свои статьи в ведущих российских журналах, чтобы содействовать формированию в нашей стране пула признанных на международном уровне высококлассных научных изданий.
Проблема «компенсации» (когда исследователю не важно, публиковать одну хорошую статью или много плохих, и в ряде случаев он предпочитает идти по пути наименьшего сопротивления и размещать статьи низкого качества в непрестижных журналах или сборниках заштатных конференций) может быть решена двумя способами:
1. ППНД - однородный показатель, т. е. при его расчете учитывается только один вид (или даже подвид) научной деятельности;
используемых российскими вузами и НИИ методик расчета ПРНД в принципе.
2. ППНД - неоднородный показатель, т. е. при его расчете учитывается несколько видов научной деятельности. Однако занимаясь «нецелевым» видом деятельности, ученый может набрать строго ограниченное число баллов (т. е. величина вклада этого вида деятельности, независимо от объема полученных результатов, имеет верхний предел), тогда как при «целевом» (в данном случае - при размещении статей в ведущих мировых журналах) такой верхний порог отсутствует. При этом методика расчета показателя этого типа должна быть организована таким образом, чтобы достигнуть требуемого для получения выплат минимального значения ППНД можно было, только опубликовав не менее одной статьи в ведущем мировом журнале. На наш взгляд, наиболее удобен первый путь в силу своей простоты и однозначной направленности на целевой результат.
ППНД, как представляется автору, должен формироваться как качественный показатель: валовые показатели ничего не говорят об уровне научной деятельности, тогда как до получения индекса цитирования ученым может пройти слишком много времени с момента публикации. Кроме того, индекс цитирования во многом субъективен - наибольшая его величина характерна для обзорных и методических работ. Наконец, ученый, направления работы которого не соответствуют текущей научной «моде», также будет характеризоваться низким уровнем индекса цитирования - хотя его работы могут быть высокого класса. В качестве основы для расчета ППНД следует взять импакт-фактор журнала, в котором опубликована статья.
Методика расчета ППНД будет в этом случае иметь следующий вид:
1. ППНД за истекший равен сумме импакт-факторов журналов (взятых за последний доступный год, как правило, величина импакт-фактора рассчитывается за год, предшествующий истекшему), в которых исследователь опубликовал свои статьи. Для российских журналов берется импакт-фактор, рассчитываемый Научной электронной библиотекой, для иностранных журналов - им-пакт-фактор Thomson Reuters. Для российских журналов, имеющих англоязычную версию, для которых рассчитываются оба индекса, берется максимальный из них (в зависимости от выбора импакт-фактора соответствующая публикация за-считывается либо как международная, либо как российская);
2. Если исследователь публиковался как в российских, так и в иностранных журналах, и при этом максимальный импакт-фактор российского или иностранного журнала равен или больше 1, то ППНД удваивается;
3. Если исследователь публиковался как в российских, так и в иностранных журналах, и при
этом максимальный импакт-фактор и российского, и иностранного журнала равен или больше 1, то ППНД умножается на 3;
4. Если исследователь публиковался только в российских журналах, то ППНД умножается на 0,75.
Предлагаемый показатель можно назвать индексом научной продуктивности (ИНП). Методика расчета выплат профессорско-преподавательскому составу на основе ИНП может иметь следующий вид:
1. Общий фонд выплат за научную деятельность разбивается на три части - стимулирующий фонд (СФ, ден. ед.), (90% общего фонда), фонд единовременных выплат (ФЕВ, ден. ед.) (10%), и фонд компенсации текущей научной деятельности (10%);
2. Рассчитывается суммарное значение ИНПсуМ всех научных сотрудников учреждения за истекший год:
ИНП сум = 2 ИНП;
/=1
где п - число научных сотрудников;
3. Размер стимулирующих выплат для /-го сотрудника ВС;, ден. ед., рассчитывается по формуле
ИНП, ВС =-'— СФ ;
ИНП
(2)
сум
4. Стимулирующие выплаты могут выплачиваться сотруднику единовременно или равномерно частями в течение года;
5. Фонд единовременных выплат служит для разовых поощрений научных сотрудников за публикацию монографий в ведущих российских и международных издательствах, получение научных премий, регистрацию патентов и т. д. Порядок расчета этих выплат регламентируется самим учреждением;
6. Фонд компенсации текущей научной деятельности распределяется в порядке, установленном ученым советом научного или образовательного учреждения, для стимулирования участников очных конференций.
Предлагаемая методика расчета и использования ИНП, как легко видеть, позволяет создать однозначное соответствие между оплатой труда исследователя и результатами его научной деятельности, ориентируя его при этом на создание приоритетных с точки зрения развития отечественной науки результатов.
Разумеется, предложенное выше распределение носит (90-10-10) условный характер. На практике могут быть использованы другие пропорции, однако, по нашему мнению, стимулирующий фонд должен составлять большую часть общего фонда выплат за научную деятельность.
Разработанная в данной статье методика не свободна от недостатков - как объективных, так и субъективных. К числу объективных относится невозможность ее использования для измерения результативности деятельности ученых, ведущих закрытые исследования. Субъективным является тот факт, что неприятие научной общественности может вызвать отказ от учета всех видов научной деятельности, кроме публикаций в журналах с им-пакт-фактором (тогда как большая часть работников российской высшей школы привыкла публиковать свои материалы в сборниках конференций и журналах своих вузов). Однако, на взгляд автора, эта методика прозрачна и задает четкие целевые ориентиры для российских ученых, тогда как другие виды научной деятельности могут оплачиваться за счет единовременных выплат из специально для этого предусмотренных фондов.
Список литературы
1. Методика расчета индивидуального ПРНД в ИФЗ им. О. Ю. Шмидта РАН [Электронный ресурс]. -URL: http://www.ifz.ru/doc/2009/prnd_2009/PRND_ methodics_2009.pdf (дата обращения 06.01.2010).
2. Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук: (ред. апр. 2008 г.) [Электронный ресурс]. - URL: http://vak.ed. gov.ru/common/img/uploaded/VAK/files_ help_deskZper-04-2008.doc (дата обращения 06.01.2010).
3. Положение о порядке присвоения ученых званий : утв. постановлением Правительства Рос. Федерации № 194 от 29.03.2002.
Материал поступил в редакцию 25.01.2010 г.
Сведения об авторе: Котляров Иван Дмитриевич - кандидат экономических наук,
доцент кафедры менеджмента и маркетинга в печатном деле, e-mail: [email protected]
