Рейтинги в науке: методы построения и направления использования в представлении ученых международной академии организационных наук

Лившиц Вениамин Наумович; Никонова Алла Александровна

ХРОНИКА РЕЙТИНГИ В НАУКЕ: НАУЧНОЙ МЕТОДЫ ПОСТРОЕНИЯ ЖИЗНИ И НАПРАВЛЕНИЯ ИСПОЛЬЗОВАНИЯ В ПРЕДСТАВЛЕНИИ УЧЕНЫХ МЕЖДУНАРОДНОЙ АКАДЕМИИ ОРГАНИЗАЦИОННЫХ НАУК

В.Н. Лившиц, А.А. Никонова

Определение способов оценки результативности научной деятельности чрезвычайно актуально в связи с ускорением научно-технологического развития и процессов формирования глобального знания, а также ввиду реформирования академического сектора российской науки. Для 150 ученых, ассоциированных в Международной академии организационных наук (МАОН), вопросы адекватного измерения исследовательского труда особенно значимы в условиях непрерывных и не всегда удачных пертурбаций и экспериментов на организационном поле научной деятельности. В течение 20 лет функционирования МАОН все усилия ее первого президента, академика РАН Д.С. Львова, как и нынешнего президента МАОН чл.-корр. РАН Г.Б. Клейнера, были направлены на привлечение ведущих умов России и зарубежья к решению наиболее сложных задач современной экономической науки и получения наивысшего эффекта за счет консолидации научных сил и междисциплинарных принципов исследований.

Проблема оценки результативности научной деятельности имеет много аспектов, и три из них обсуждались в ЦЭМИ РАН на конференции МАОН, которая состоялась 26 июня

2015 г. С центральным докладом «Рейтинго-вание субъектов рынка экономических исследований», подготовленным в соавторстве с чл.-корр. МАОН Н.А. Екимовой, выступил действительный член МАОН д.э.н. Е.В. Ба-лацкий. Но прежде всего участники конференции почтили память двух ушедших из жизни в 2015 г. действительных членов МАОН д.э.н. К.А. Багриновского и д.э.н. Б.А. Лагоши, которые состояли в рядах Академии с момента ее основания в феврале 1995 г. Открывая конференцию, президент МАОН Г.Б. Клейнер высоко оценил вклад обоих широко известных в России и за рубежом ученых в развитие экономической науки и их участие в работе МАОН. Что касается основной темы конференции, он призвал членов МАОН сформировать свое отношение к таким рейтингам и обсудить методику подобных оценок.

В оценке научной деятельности различают, как правило, три типа ранжирования: 1) рейтинг ученых в одной из областей знаний, в данном случае экономистов; 2) рейтинг научных изданий, публикующих результаты исследований; 3) рейтинг организаций, занимающихся исследованиями. Е.В. Балацкий выделил несколько вех в истории составления таких рейтингов:

• 2002 г. (до создания РИНЦ): оценка публикационной активности авторов пяти избранных экспертами передовых российских журналов представляется малодостоверной из-за нерепрезентативности такой выборки;

• 2008 г.: применение трех способов определения ведущих экономистов России по результатам анализа публикаций в 12 российских журналах, экспертного опроса, публикационной активности за рубежом на основе базы данных RePEc выявило слабое пересечение трех списков экономистов, ориентированных частично на отечественные, а частично на западные издания;

• 2012-2013 гг.: результаты зрелого академического анализа А.А. Муравьева с попыткой отфильтровать российские журналы по данным РИНЦ подтвердили правомерность использования малых выборок журналов, со-

ответствующих элементарным международным стандартам и пригодным для определения персональных успехов экономистов;

• 2013-2014 гг.: академический рейтинг 100 ведущих российских вузов, осуществляющих экономические исследования, по данным научных публикаций в 7, а позднее - в 12 ведущих журналах выполнен авторами настоящего доклада;

• 2014 г.: три вида рейтингов на базе разных принципов учета вклада представителей компьютерных наук, в том числе по предметной таксономии, цитируемости и заслугам в создании научных школ (подготовка аспирантов, конференций и др.), оказались слабо коррелированными между собой, что подтверждает вывод о том, что научное сообщество распадается на разные группы влияния, которые проблематично свести к единому знаменателю;

• 2015 г.: в рейтинге RePEc три первых места из 100 лучших экономистов России заняли иностранцы, преподающие в университетах РФ, что вызывает недоверие к этим способам оценок;

• 2015 г.: на основе данных РИНЦ авторы доклада исследовали проблему манипулирования, т.е. специального накачивания индексов, включаемых в рейтинг, путем усреднения показателей числа публикаций, цитирования, индекса Хирша.

Составление рейтингов Е.В. Балацкий рассматривает как способ маркетингового исследования в условиях значительного числа участников, субъектов рынка экономических исследований: экономистов - свыше 36 тыс. человек; экономических журналов - 872 наименования; вузов, занимающихся экономическими исследованиями, - около 900. При этом только несколько субъектов из каждой группы соответствует высоким научным стандартам. Кроме того, необходимость национальных рейтингов по конкретной области знаний вызвана сложностью решения поставленной задачи - вхождение пяти российских вузов в число 100 лучших университетов мира - в ситуации обострения геополитической обста-

новки, а также неприменимостью зарубежных методик оценки к гуманитарным наукам.

В качестве специфики рынка исследований докладчик назвал совпадение потребителей и производителей (исследователи, журналы, вузы). Существование рынка он объясняет наличием сделки передачи продукта, например, от исследователя в журнал, здесь денежная опосредованность необязательна: это может быть квазисделка, в обмен на какой-либо бонус. Механизм достижения равновесия видится Балацкому в стремлении журнала получить лучшую статью, а автора -опубликоваться в лучшем журнале. Предложенная методика оценки опирается на опросы экспертов и данные РИНЦ.

Рейтинг экономистов представляет собой оценку их академической активности и популярности. Алгоритм построения основан на принципах нормирования параметров трех типов - числа публикаций, цитирования, индекса Хирша, последующего их агрегирования с равными весами и нормирования агрегата. По результатам расчетов авторов доклада определено распределение экономистов по организациям и установлено несколько факторов успеха: солидный возраст (55-65 лет), административный ресурс (высокие должности), место работы (аффилированность с известной организацией), гендерный фактор (мужской пол) и популярность тематики исследований.

Для оценки экономических журналов применялась двушаговая процедура с использованием приведенной выше методики и экспертных оценок. Установлено, что показатель пятилетнего импакт-фактора дает искаженную картину: например, многие журналы ссылаются друг на друга. При этом индекс Герфиндаля не работает и не «вылавливает» указанные злоупотребления. Выявлен более значимый показатель - «долговечность» публикации. По результатам нормирования и агрегирования данных РИНЦ (по четырем показателям) и экспертных оценок (по пяти показателям) авторы получили «алмазный список» из 13 журналов. Совпадение с други-

ми рейтинговыми списками подтверждает достоверность оценок. Однако есть некоторые сомнения в их адекватности в случае применения такого критерия, как общероссийский масштаб журнала. Выявлены два главных фактора успеха журнала: аффилированность с РАН (50% журналов), личность главного редактора (связи с авторами и рецензентами, политика отбора статей); «возраст» самого издания признан незначимым фактором.

Рейтинг высших экономических школ построен путем нормирования суммарного показателя публикационной активности вузов, суммарного показателя стабильности присутствия их в отобранных журналах, кадрового потенциала и получения на этой основе агрегированного показателя. В результате в высшую группу рейтинга попали все вузы, которые могли бы на это претендовать. Разработанная методика позволяет выполнить качественное ранжирование вузов и выделить из них зарождающиеся (один из трех оцениваемых индикаторов равен нулю) и развитые школы, в том числе активные школы двух типов (значение показателя кадрового потенциала меньше индекса публикаций, при этом для глобально активных школ оно меньше коэффициента стабильности, а для локально активных школ - больше) и стагнирующие вузы двух типов (значение показателя кадрового потенциала превышает индекс публикаций, при этом для глобально стагнирующих школ оно больше коэффициента стабильности, а для локально стагнирующих - меньше). Концепция такой оценки базируется на следующем принципе: «доминирующий на страницах передовых журналов вуз учит студентов лучше, чем стоящие ниже него в рейтинге». По мнению Е.В. Балацкого, с целью лучшего применения рейтингов требуется широкое обнародование результатов в СМИ, в том числе и на сайте Финансового университета, а также ежегодное обновление оценок.

Доклад вызвал множество вопросов, в ответах на которые Е.В. Балацкий раскрыл полнее содержание оценок в рейтинге и методы расчетов.

Президент МАОН чл.-корр. РАН Г.Б. Клейнер поинтересовался, как удерживается равновесие, к примеру, на обычном рынке, объем предложения на котором зависит от цен. Е.В. Балацкий считает, что в рассматриваемом случае равновесие достигается при помощи популярности, гонорара и других специфических нематериальных бонусов. Г.Б. Клейнер уточнил вопрос и спросил, какими именно параметрами можно варьировать на изучаемом авторами рынке? Балацкий подчеркнул, что рынок репутации представляется ведущим условием согласования интересов. Второй вопрос Г.Б. Клейнера касался существования аксиоматики в предложенной методике, в частности аксиоматики индекса Хирша, т.е. аксиоматизирован ли он или служит алгоритмом? По словам Е.В. Балацкого, это все-таки алгоритм.

В связи с этим вице-президент МАОН д.э.н. В.Н. Лившиц спросил, существует ли рейтинг репутации? Докладчик ответил, что такие рейтинги имеются, но сильнее всего на репутацию российских вузов влияет административный ресурс их руководителей. В связи с этим Балацкий согласен с предположением Г.Б. Клейнера - управлять позициями в рейтинге РИНЦ при помощи особых отношений, что усиливает актуальность дополнительной фильтрации на основе предложенной методики.

Действительный член МАОН д.э.н. И.Э. Фролов попросил привести основания для того, чтобы говорить о рынке экономических исследований в отсутствие посредника и свободного капитала, и дать интерпретацию содержательной части рейтинга. Е.В. Балац-кий акцентировал внимание на специфике изучаемых отношений между участниками рассматриваемого рынка, указал на роль человеческого капитала и прямых «сделок» между экономическими агентами.

При этом Е.В. Балацкий отметил справедливость опасений многих членов МАОН о таких способах использования чиновниками результатов рейтинга, как распределение средств.

Вопросы действительного члена МАОН д.э.н. А.А. Зарнадзе сфокусировали обсуждение на важнейших для науки проблемах выбора методологических оснований и критериев оценки уровней экономистов, журналов и вузов. Западные рейтинги неубедительны, но и в предложенном докладчиком рейтинге такой ведущий университет страны, как МГУ им. М.В. Ломоносова, занимает не первые позиции. Другими словами, остается вопрос: как соотнести результаты рейтинга и качество преподавания? По логике Е.В. Балацкого и его соавтора в полученных оценках по умолчанию предполагается прямая связь уровней исследовательской деятельности и обучения. Для западной традиции расхождение этих двух сторон деятельности университетов считается нереалистичным.

Член-корреспондент МАОН к.т.н. П.Ф. Андрукович задал вопрос: как в методике учитывается вклад ученых, занимающихся отдельными специальными темами, и как это влияет на рейтинг? По мнению Е.В. Балац-кого, тематика представляет собой значимый фактор успеха: вверху списка - исследователи широкой области знаний, узкие специалисты - в нижних строках. Альтернативой может быть построение узкопрофессиональных рейтингов. Представленная методика вполне может использоваться для ответа на другой вопрос П.Ф. Андруковича - о доле тех, кто публикует одну работу.

Действительный член МАОН д.э.н. С.Г. Фалько задал несколько вопросов, связанных с существованием разных экономик (региональной, промышленности и др.), и усомнился в правомерности ставить их в один ряд в методике оценки, учитывая тот факт, что ряд специализированных тем, к примеру касающихся экономики космоса, заведомо не попадет в топ списка. Фалько спросил, базируется ли формирование рейтинга на классификации экономической науки? Е.В. Балацкий напомнил, что в оцениваемых журналах встречаются публикации по различной проблематике, включая экономику предприятия и экономику промышленности, однако они, как правило,

оказываются в конце списка. Для получения информации в более детальном дисциплинарном разрезе придется делать субрейтинги.

В ответ на оба вопроса действительного члена МАОН д.э.н. Л.П. Клеевой о достоверности результатов рейтинга в условиях массового аутсорсинга в ведущих вузах страны и существенных различий рынков, оцениваемых при помощи методики, Е.В. Балацкий привел принятые в методике допущения с целью обобщения расчетов.

По поводу вопросов действительного члена МАОН д.э.н. Э.И. Позамантира о конечных пользователях рассчитываемых показателей и реализации принципа «не навреди» докладчик указал на высокую востребованность адекватных рейтинговых результатов у абитуриентов и чиновников.

Е.В. Балацкий ответил утвердительно на оба вопроса действительного члена МАОН д.э.н. И.Н. Дрогобыцкого о возможности идентифицировать при помощи предложенной методики факт существования в вузе научной школы и возможности использовать доложенные разработки в Финансовом университете при Правительстве РФ.

Отвечая на вопросы к.э.н. В.А. Невеле-ва, Е.В. Балацкий пояснил, что не разделяет понятий «репутация» и «имидж» в оценке экономистов, журналов и вузов. В методике также не учитывается более или менее одинаково низкий уровень международной конкурентоспособности российских журналов. Как отметил Е.В. Балацкий, он не встречал зарубежных работ по оценке конкурентоспособности участников рынка исследований, за исключением косвенных оценок конкурентоспособности вузов на базе рейтинговых данных.

Доктор экономических наук С.Я. Чер-навский выразил сомнение в правомерности, во-первых, использования западного наукометрического подхода к оценке участников исследовательской деятельности, сосредоточенной в России в академическом секторе, а не в университетах, как на Западе; во-вторых, переноса в Россию западного опыта науко-

метрии, базирующегося на понятии «репутация». Е.В. Балацкий привел несколько аргументов в пользу возможности применения разработанной методики оценки в России. Требования к вузам должны быть повышены в соответствии с выделением российским университетам значительных размеров финансирования их исследований, не сопоставимых с суммами отчислений другим исследовательским организациям.

В обсуждении основной темы доклада выявились различные точки зрения членов МАОН и других участников конференции на методы оценки и пользу рейтингов. В большей части выступления касались аксиоматики рейтинга, способов справедливой оценки, состава компонентов интегрального индекса, направлений использования полученных результатов.

Действительный член МАОН д.э.н. В.П. Стороженко рассказал давнюю историю о первом опыте формирования рейтинга специалистов для экспертных групп ВАК на принципах цепной рекомендации. Как правило, любые рейтинги вызывают массу вопросов: об объективности включаемых показателей; о том, что делать с журналами внизу рейтинга; о способах учета силы бренда (журнального, институтского) и тиража в качестве индикаторов. Так, широко известный журнал «Экономика и математические методы» издается ограниченным тиражом, в отличие от популярного журнала «Прямые инвестиции», рейтинг которого намного ниже упомянутого журнала.

В связи с построением и использованием рейтингов действительный член МАОН д.э.н. И.Э. Фролов обратил внимание слушателей на принципиально важные для развития науки вещи, в частности на то, что рейтинги оценивают результаты вспомогательной научной деятельности и ориентируют ученых обратить на нее больше внимания, но новые идеи при этом не появляются. При этом формальные показатели не способны отразить содержательные явления в науке. Кроме того, И.Э. Фролов видит опасность потери для рос-

сийской науки части особых исследований в случае привлечения зарубежных экспертов.

Г.Б. Клейнер не согласен с терминологией и рекомендовал рассматривать публикации как сопутствующий вид научной деятельности.

Действительный член МАОН д.э.н. С.А. Толкачев отметил популяризаторскую роль рейтинга. Вопрос в том, что подлежит включению в рейтинг и насколько он прост. Достоинство предложенного рейтинга - его относительно простое представление, которое позволяет упорядочить сообщество по доступному критерию.

Как считает действительный член МАОН д.э.н. С.А. Смоляк, при формировании рейтинга следует исходить из интересов потребителей, в том числе потребителей научных знаний. Вместе с тем важно различать приоритеты вузов, поскольку хороший преподаватель может не писать статей. В случае использования рейтинга в целях присвоения статуса представляется необоснованным исходить из индекса Хирша. По мнению С.А. Смоляка, существенный недостаток предложенной методики состоит в отсутствии взаимосвязи между тремя видами оценок: на самом деле, в расчетах рейтинга вузов по числу публикаций правильнее учитывать рейтинг авторов и журналов, где размещены соответствующие статьи.

По ремарке Г.Б. Клейнера рейтинг вузов заметно вырастет при условии присвоения ученой степени в вузах.

Действительный член МАОН, д.э.н. А.А. Зарнадзе выразил благодарность докладчику за масштабную работу по оценке результативности субъектов исследовательской деятельности и выказал восхищение мужеством коллег, которые взяли на себя труд разобраться в сложной теме. Вместе с тем, он указал на особую значимость методологической проработки способов оценки с учетом специализации вузов и ряда других существенных факторов. К важнейшим из них относятся потенциальные потребители рейтинга. Опасность заключается в том, что использование

простых критериев оценки ориентирует субъектов на неоправданные с общесистемных позиций способы достижения результатов. А.А. Зарнадзе считает необходимым учитывать специализацию научных исследований и общественные приоритеты потребителя.

Двойственность впечатления от доклада у д.э.н. С.Я. Чернавского вызвали некоторые ограничения, связанныме с построением и использованием рейтинга. Так, наукометрия возникла для сравнения результатов; за рубежом с ее помощью решаются практические задачи - определяется лучший вариант распределения средств. Преследуемая цель - не выделить важнейших ученых, но сориентировать студентов в части расходов на обучение в различных по уровню университетах. Сложность измерения научной деятельности при помощи отдельных показателей публикационной активности, цитируемости и др. очевидна. Кроме того, для получения адекватных результатов требуется специфическое устройство общества, в котором должна присутствовать такая ценность, как репутация, подлежащая оценке наряду с другими признаками. В России нет соответствующих объективных условий для расчета и применения подобных рейтингов. В связи с этим С.Я. Чернавский провел параллель с введением механизма банкротства предприятий в период перестройки, что привело к распространению рейдерства.

Другую опасность С.Я. Чернавский видит в том, что применение наукометрии инициирует переход от смысла сделанного к формальному использованию полученных результатов сторонними субъектами в целях, неизвестных для разработчика рейтинга. Так, реформа РАН сведена к тому, что на места управления учеными, которые понимают содержание исследований, пришли те, кто не понимает их сути. По мнению Чернавского, опасно распространять наукометрию за пределы сектора научной деятельности.

Вице-президент МАОН, д.э.н. В.Н. Лившиц прежде всего присоединился к мнению выступающих, которые отметили высокую квалификацию Е.В. Балацкого в построении

рейтингов. Вместе с тем, по мнению Лившица, должна быть четкая постановка задачи, включая обоснование аксиоматики. Было бы неплохо в начале доклада более полно сформулировать требования, которым должны удовлетворять составляемые рейтинги и цели их использования. В частности, в рейтинге необходимо предусмотреть выполнение принципа инвариантности по замыканию. Кроме того, одним из основных условий является удовлетворение требованиям наподобие клятвы Гиппократа. То есть важно, чтобы рейтинги не навредили тому, кто в них попадает. Лившиц высказал опасение, что в случае, если рейтинги будут использоваться таким образом, как они могут быть использованы ФАНО для определения приоритетности финансирования, то задача формирования рейтингов может вообще не иметь корректного решения, т.е. удовлетворяющего клятве Гиппократа, несмотря на высокое техническое исполнение.

Ученый секретарь МАОН к.э.н. А.А. Никонова назвала несколько факторов «за» и «против» обсуждаемого рейтинга. Чрезмерная ориентированность журналов и авторов на рейтинговые оценки ведет к раздуванию спроса на публикации и к множественности журналов. Они теряют качества коммуникативной системы и источников знаний и превращаются в источник сигналов о фактах публикаций и местах работы авторов, от которых напрямую зависит число публикаций. Образующийся «снежный ком» искажает рейтинг и препятствует выполнению журналами своих системных функций. Кроме того, рейтинг вузов может вызвать снижение качества образования. Во-первых, руководство рейтингом при распределении финансирования ведет к усилению дифференциации вузов, которая в РФ и без того высочайшая, особенно межрегиональная. Во-вторых, для улучшения положения в рейтинге вузы могут приглашать зарубежных профессоров, что в условиях неконкурентоспособных заработных плат ухудшит позиции отечественных ученых и приведет к привлечению отнюдь не самых лучших преподавательских кадров, так как к нам при-

едут слабые, не сумевшие сделать карьеру на Западе преподаватели. Вместе с тем, рейтинг указывает на болевые точки наших исследователей, прежде всего институциональные, связанные с узостью языковой аудитории, слабостью международного сотрудничества ученых, ограниченностью институциональной поддержки на всех стадиях исследований, включая публикации за рубежом. Таким образом, важны правильные критериальные составляющие рейтинга, а особенно способы использования в образовательной деятельности и в организации науки.

Кандидат экономических наук В.А. Не-велев одобрил доклад и подчеркнул различие между имиджем как образом журнала и репутацией как результатом публикационной активности. По мнению А.А. Невелева, два основных недостатка рейтинга состоят в отсутствии его связи с соотношением спроса и предложения на рынке исследований и с эффективностью, т.е. соотношением затрат и результатов, следовательно, с конкурентоспособностью журналов.

В заключение президент МАОН Г.Б. Клейнер подвел итоги обсуждения и признал выполненную работу интересной и полезной, однако она требует целостного восприятия. Что касается вреда, можно навредить при помощи любого инструмента. Важно другое: каждый показатель, который является измерителем, должен удовлетворять некоторым свойствам. В связи с этим требуется определить аксиоматику и постановку задачи, фиксирующую объект измерения и ограничения, которым должен удовлетворять используемый показатель. Г.Б. Клейнер подчеркнул первостепенную важность формулирования исходных аксиом в теории измерений. Основная проблема состоит в том, что, составляя рейтинг по каждому показателю, возникает взаимное замещение факторов и для описания должна быть применена определенная функция. А вот удачно ли выбрана функция, зависит от решаемой задачи.

Вместе с тем, Г.Б. Клейнер заметил, что репутация составителя рейтинга важна не ме-

нее, чем репутация ученого. Можно верить составителю-праведнику, доверие к рейтингу базируется на репутации составителя. В качестве иллюстрации к идее репутации Г.Б. Клейнер привел пример из области шахмат; «ЭЛО»: значима сила игрока, над которым одержана победа. Поэтому в направлении продолжения исследований Клейнер рекомендовал предусмотреть способы учета фактора силы субъектов-конкурентов.

Г.Б. Клейнер сравнил рейтинг, по сути, со вторичными половыми признаками, подобными вторичным индикаторам. Правильным инструментом будет тот, который полно отвечает поставленной задаче. Для этого необходимо корректно поставить задачу и расширить понятие базы. В целом доклад представляется чрезвычайно содержательным.

На этом конференция завершила работу.

Литература

Балацкий Е.В. Академические успехи российских университетов экономического профиля // Европейский журнал экономических исследований. 2013. № 2. С. 64-76.

Балацкий Е.В., Екимова Н.А. Академическая результативность высших экономических школ России // Terra Economicus. 2014. Т. 12. № 1. С. 13-27.

Балацкий Е.В., Екимова Н.А. Проблема манипулирования в системе РИНЦ // Вестник УрФУ. Сер. Экономика и управление. 2015. № 2.

Балацкий Е.В., Екимова Н.А. Опыт составления рейтинга российских экономических журналов // Вопросы экономики. 2015. № 8.

ЭКОНОМИКО-ПРАВОВЫЕ АСПЕКТЫ РЕАЛИЗАЦИИ СТРАТЕГИИ

МОДЕРНИЗАЦИИ РОССИИ: РЕАЛЬНЫЕ ИМПЕРАТИВЫ ДИНАМИЧНОГО СОЦИОХОЗЯЙСТВЕННОГО РАЗВИТИЯ

В.В. Сорокожердьев,

Х.А. Константиниди, З.М. Хашева

Проблематика формирования и реализации стратегии модернизации России в целях обеспечения качественного и динамичного социально-экономического развития находилась в центре внимания участников ХХХ Международной научно-практической конференции «Экономико-правовые аспекты реализации стратегии модернизации России: поиск модели эффективного социохо-зяйственного развития», которая состоялась 30 сентября - 4 октября 2015 г. в г. Сочи.

Основными организаторами данной конференции выступили Краснодарский региональный общественный благотворительный фонд «Научно-образовательные инициативы Кубани», Краснодарский филиал Финансового университета при Правительстве РФ, Южный институт менеджмента (Краснодар).

Значительную роль в обеспечении научного уровня и представительности конференции, а также в организационном и научно-методическом содействии ее проведению играла поддержка со стороны Центрального экономико-математического института (ЦЭМИ) РАН, Финансового университета при

Похожие темы научных работ по экономике и бизнесу , автор научной работы — Лившиц Вениамин Наумович, Никонова Алла Александровна