Научная статья на тему 'Сетевой анализ среды функционирования в задачах регионального экологического менеджмента'

Сетевой анализ среды функционирования в задачах регионального экологического менеджмента Текст научной статьи по специальности «Экономика и бизнес»

CC BY
131
21
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Проблемы управления
ВАК
Область наук
Ключевые слова
АНАЛИЗ СРЕДЫ ФУНКЦИОНИРОВАНИЯ / DATA ENVELOPMENT ANALYSIS / ОПТИМИЗАЦИЯ / OPTIMIZATION / ЭКОЛОГО-ЭКОНОМИЧЕСКАЯ ЭФФЕКТИВНОСТЬ / ECOLOGICAL AND ECONOMIC EFFICIENCY / РЕГИОНАЛЬНАЯ ЭКОНОМИЧЕСКАЯ СИСТЕМА / REGIONAL ECONOMIC SYSTEM

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Ратнер Светлана Валерьевна

Предложен метод сетевого анализа среды функционирования, адаптированный для решения широкого класса практико-ориентированных задач территориального экологического менеджмента, в которых требуется учет и оценка разнонаправленных воздействий экономики региона на окружающую среду. Проведена оценка комплексной эколого-экономической эффективности регионов России с помощью предложенного метода и альтернативных подходов, выявлены сходства и различия в результатах, обсуждены их причины. Выявлено, что основные достоинства разработанного подхода в контексте решения задач экологического менеджмента заключаются в возможности покомпонентной оценки экономической и экологической эффективности региональной экономической системы, в возможности учета при расчете экологической эффективности бытовых нагрузок на окружающую среду, осуществляемых населением, а также в простоте численной реализации, не требующей привлечения специализированных программных средств и компетенций.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по экономике и бизнесу , автор научной работы — Ратнер Светлана Валерьевна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

A method is proposed of network data envelopment analysis, adapted to solve the wide class of practice-oriented territorial environmental management tasks that require accounting and evaluation of mixed environmental influence of region economy. Evaluation is assessed of Russia regions complex ecological and economic efficiency, using the proposed method and alternative approaches, similarities and differences in the results are revealed, their possible causes are discuss. Revealed is that the developed approach main advantages in the context of environmental management tasks solving are: the possibility of component-wise assessment of the regional economic system economic and environmental efficiency, the possibility of taking into account the environmental load caused by population, while calculating the economic efficiency, and also the simplicity of numerical realization that does not require any special software and competence.

Текст научной работы на тему «Сетевой анализ среды функционирования в задачах регионального экологического менеджмента»

УДК 004.94:620.9

СЕТЕВОЙ АНАЛИЗ СРЕДЫ ФУНКЦИОНИРОВАНИЯ в ЗАДАЧАХ РЕГИОНАЛЬНОГО ЭКОЛОГИЧЕСКОГО МЕНЕДЖМЕНТА1

С.В. Ратнер

Предложен метод сетевого анализа среды функционирования, адаптированный для решения широкого класса практико-ориентированных задач территориального экологического менеджмента, в которых требуется учет и оценка разнонаправленных воздействий экономики региона на окружающую среду. Проведена оценка комплексной эколо-го-экономической эффективности регионов России с помощью предложенного метода и альтернативных подходов, выявлены сходства и различия в результатах, обсуждены их причины. Выявлено, что основные достоинства разработанного подхода в контексте решения задач экологического менеджмента заключаются в возможности покомпонентной оценки экономической и экологической эффективности региональной экономической системы, в возможности учета при расчете экологической эффективности бытовых нагрузок на окружающую среду, осуществляемых населением, а также в простоте численной реализации, не требующей привлечения специализированных программных средств и компетенций.

Ключевые слова: анализ среды функционирования, оптимизация, эколого-экономическая эффективность, региональная экономическая система.

ВВЕДЕНИЕ

Современная система экологического менеджмента в России на региональном уровне обладает существенными недостатками. Отсутствие должного технического оснащения органов государственного и негосударственного экологического контроля часто не позволяет определить реальный суммарный объем негативного воздействия на окружающую среду конкретного экономического агента [1]. Существующие нормативы платы за негативное воздействие на окружающую среду не учитывают интегрального воздействия загрязняющих веществ, выбрасываемых различными предприятиями [2]. Отсутствуют экономические механизмы стимулирования предприятий к переходу на наилучшие доступные технологии, минимизирующие негативные экологические эффекты [3]. В результате состояние окружающей среды в стра-

1 Работа выполнена при финансовой поддержке РФФИ, проект № 16-06-00147 «Разработка моделей анализа среды функционирования для оптимизации траекторий развития региональных экономических систем по экологическим параметрам».

не не улучшается, несмотря на то, что большинство «грязных» производств активно занимаются вопросами внедрения стандартов ИСО 14001 [4].

Официальные результаты ежегодного экологического мониторинга Минприроды РФ свидетельствуют о том, что качество атмосферного воздуха городов РФ неудовлетворительное: в 174 городах страны с населением 60,7 млн жителей средняя за год концентрация какой-либо примеси превышала 1 ПДК (предельно допустимая концентрация) [5]. В связи с недостаточной модернизацией промышленных и бытовых очистных сооружений, на большинстве водных объектов РФ по ряду ингредиентов наблюдалось превышение в 10 и 30 ПДК. Объем образования отходов всех классов опасности из года в год в два раза превышает объем их использования и обезвреживания. Наблюдается рост потерь свежей воды при транспортировке [5]. Таким образом, состояние окружающей среды в регионах РФ оценивается как критическое по широкому набору экологических параметров, каждый из которых в пределах локальных экосистем взаимосвязан с остальными ч ерез множество наблюдаемых и ненаблюдаемых прямых и обратных связей.

Полное или частичное устранение негативных экологических эффектов деятельности региональных экономических систем сопряжено со значительными затратами, а в некоторых случаях технологически неосуществимо2. Отсутствие комплексного понимания экологической составляющей процессов производства и потребления продукции при разработке проектов экономического развития и природоохранной деятельности может привести к неожиданным и нежелательным последствиям, когда положительный эффект от снижения негативного воздействия на окружающую среду по одному параметру (или группе параметров) полностью нивелируется увеличением нагрузки на экосистемы по другому параметру (или группе параметров) . Поэтому проблема разработки и внедрения в практику принятия управленческих решений инструментов оценки, анализа и прогнозирования комплексной эколого-экономической эффективности производственной деятельности как отдельных экономических агентов, так и региональной социально-экономической системы в целом остается актуальной.

В последнее десятилетие в научной литературе активно развивается непараметрический метод оценки сравнительной эффективности хозяйственной деятельности множества однородных производственных объектов по набору эколого-экономи-ческих показателей — экологический анализ среды функционирования (Ecological Data Envelopment Analysis — EDEA) [7]. Данный м етод находит применение для решения все более широких классов управленческих задач, так как позволяет моделировать различные аспекты деятельности производственных объектов (ПО), зная только их входы (используемые ресурсы) и выходы (результаты деятельности). В отличие от традиционных моделей анализа среды функционирования (АСФ), в которых решается задача максимизации отношения линейной комбинации взвешенных выходов каждого ПО к линейной комбинации его взвешенных

входов4, в экологическом АСФ часть выходов мо-

Например, на настоящий момент отсутствуют технологии нейтрализации д иоксида серы, оксида углерода и оксидов азота — основных компонентов выбросов в атмосферу электростанций, работающих на самом экологически ч истом виде топлива — природном газе.

3 Ярким примером может служить разработка и внедрение технологий улавливания углекислого газа в электроэнергетике, при которой снижение объемов выбросов парниковых газов в процессе генерации энергии сопровождается увеличением потребления воды [6].

В задачах, ориентированных по входам (input-oriented). Возможна и обратная ориентация задачи (output-oriented), при которой м аксимизации подлежит отношение л инейной комбинации взвешенных входов к линейной комбинации взвешенных выходов.

дели являются желательными (и подлежат максимизации), а часть выходов — нежелательными (и подлежат минимизации). Такого рода методологические сложности чаще всего преодолеваются путем разбиения меры эффективности производственного объекта на две части, одна из которых отражает экологическую эффективность объекта, а другая — экономическую. Для учета обеих мер эффективности объекта в одной модели конструируют их некую комбинацию, отвечающую общей логике решения задачи — максимизации желательных входов и минимизации нежелательных выходов и входов [8]. При таком подходе вычислительная сложность решения задачи существенно повышается. В некоторых работах нежелательные выходы деятельности производственных объектов рассматриваются как входы, и для оценки эффективности решается базовая ориентированная по входам модель АСФ — модель CCR (по первым буквам фамилий разработчиков — A. Charnes, W.W. Cooper, E. Rhodes) [9]. Однако применение такого подхода дает трудно интерпретируемые результаты: зачастую в результате решения задачи одинаковую меру эффективности демонстрируют производственные объекты с очень слабыми экономическими результатами, которые оказывают сравнительно малое негативное влияние на окружающую среду благодаря не ресурсосберегающим технологиям, а минимальному масштабу производства, и объекты с очень сильными экономическими результатами, которые компенсируют относительно высокие негативные экологические эффекты развитостью производства [10].

В то же время в ряде работ, посвященных развитию метода двухэтапного АСФ, активно разрабатывается подход к решению класса практических задач, в которых экономическая эффективность производственного объекта оказывает опосредованное влияние на другие параметры его деятельности (рыночную стоимость, рейтинг, долю рынка), имеющие равную или даже более высокую значимость для долгосрочной конкурентоспособности. В таких случаях задачу оценки экономической эффективности объекта можно считать задачей первого уровня, а задачу оценки эффективности его деятельности на фондовом рынке, деятельности по формированию и продвижению бренда и др. — задачей второго уровня, где выходы модели первого уровня служат входами модели второго уровня (рисунок). В традиционных обозначениях, принятых в задачах АСФ, это означает, что у каждого j-го ПО имеется m входов x.,,

j = 1, 2,

n, i = 1, 2,

m, и D выходов z

й = 1, 2, ..., Б, на первом этапе. Эти Б выходов становятся входами на следующем этапе и называют-

где

Логика двухэтапной модели анализа среды функционирования [11]

ся промежуточными результатами. Выходы на втором этапе обозначены как у^, г = 1, 2, ..., я.

Для решения таких иерархических задач применяются, в основном, либо метод декомпозиции меры эффективности, когда общая эффективность двухэтапного процесса определяется как некая

композиция мер эффективности е1 и е2 для первого и второго этапов соответственно [12], либо сетевые модели АСФ, в которых могут рассматриваться как входы второго этапа не только промежуточные результаты, полученные при решении задачи первого уровня (см. рисунок), но и дополнительные входы, не участвующие в определении эффективности ПО на первом этапе [13].

В настоящей работе предпринята попытка применения сетевого м етода АСФ для сравнительной оценки эколого-экономической эффективности регионов РФ.

1. ПОСТАНОВКА ЗАДАЧ ЭКОЛОГИЧЕСКОГО АНАЛИЗА СРЕДЫ ФУНКЦИОНИРОВАНИЯ

Постановка различных типов задач экологического АСФ излагается в соответствии с работой [8]. Пусть имеется п однородных ПО, каждый из которых задан т входами и р выходами. Пусть выходы 1, 2, ..., к являются желательными (и подлежат максимизации), а к + 1, к + 2, ..., р — нежелательными (и подлежат минимизации). Декомпозируем матрицу выходов на две части:

Y

с \

Y

где верхняя часть размерностью к х п ответственна за желательные, а нижняя часть размерностью (р — к) х п — за нежелательные выходы.

Множество производственных возможностей будем полагать монотонным и определим как

Т = {и|и = Ш}

U

-Y° -X

l > 0,

I

j = 1

1.

Назовем стандартную меру эффективности модели ССЯ [9] (отношение взвешенной суммы желательных выходов к взвешенной сумме входов) технической эффективностью, а модель

max^o = IlvV I vix0

r = 1 i = 1

(1)

при ограничениях

Е ад/ Е ^ 1

г = 1 I = 1

где дг, > е — двойственные веса, е > 0 — бесконечно малая величина, — моделью экономической эффективности производственного объекта с индексом «0».

Отношение взвешенной суммы желательных выходов к взвешенной сумме нежелательных выходов назовем экологической эффективностью, а модель

к p maxgo = IlVro/ I ад o

(2)

r = 1

5 = к + 1

при ограничениях

к p

I Mj I ^ 1

r = 1 5 = к + 1

дг > s, r = 1, ..., p, — моделью экологической эффективности производственного объекта с индексом «0».

Тогда м еры эффективности обеих м оделей м огут рассматриваться как выходы новой модели АСФ с единичными входами, которая позволяет рассчитать полную меру эффективности производственных объектов. Данный метод достаточно просто реализуем с вычислительной точки зрения, так как предполагает применение стандартных пакетов прикладных программ открытого доступа (например, DEA Frontier, MaxDEA, Open Source DEA).

Помимо рассмотренного подхода, основанного на идее декомпозиции меры эффективности, в литературе по экологическому АСФ ш ироко представлен альтернативный подход, основанный на конструировании некой интегральной меры эффективности, позволяющей учесть все имеющиеся

в распоряжении исследователя наблюдаемые входы и выходы. Так, например, отношение

^ к р Л т

К = [ Ё - Ё ^Л01/ X vЛo, (3)

s = k + 1

i = 1

очевидно, будет учитывать как желательные, так и нежелательные выходы первоначальной модели, а максимизация данного отношения при ограничениях

/ к р Л т

[ЁМгц - Ё ВДц 1/ Ё ^Хц < 1,

V г = 1 5 = к + 1 ) г = 1

Ц = 1, ..., и, цг, V. > 6, г = 1, ..., р, г = 1, ..., т, 6 > 0, будет соответствовать общей логике решения задачи АСФ: желательные входы должны максимизироваться, а нежелательные — минимизироваться.

Следуя стандартному для модели ССЯ алгоритму трансформации коэффициентной формы (3) в линейную форму, получим прямую задачу линейного программирования: найти

ming^ = 0 - sE(sb + sg + s ) при ограничениях

Yg1 - sg = y0, Yb1 - sb = y0, Xl - 0xo + s- = 0, l, s-, sg, sb > 0 и двойственную задачу: найти

i Уо

(4)

maxM = mj y0 - mj Уо

при ограничениях

= 1; mj Yg - ml Yb - vlX < 0, mg, mb, v > sE.

Нетрудно заметить, что модель (4) близка к стандартному виду ориентированной по входам (input-oriented) CCR-модели, по которой рассчитывается мера эффективности ПО с индексом «0», обозначенная через 0. Единственное отличие заключается в том, что значения нежелательных выходов для каждого рассматриваемого в данный момент ПО являются верхними границами для линейной комбинации других нежелательных выходов.

Рассмотрим теперь другой способ учета нежелательных выходов. Так как они должны минимизироваться, приравняем их к входам модели и сформируем полную меру эффективности, вклю-

TbT

чающую в себя как экономическую, так и экологическую компоненту:

к { т р Л

ЬВ = Ё ^гУг0/1 Ё ^0 + Ё № |.

B ^ r-rJ

r = 1 V i = 1

s = k + 1

Тогда исходная дробно-линейная задача математического программирования примет вид:

k ( m p Л

тах^ = Ё МТ/ I Ё ^ю + Ё № I

г = 1 Vг = 1 л = k + 1 )

при ограничениях

к ( т р Л

ЁМг/1 Ё ^Хц + Ё ВДу! < 1. г = 1 V г = 1 л = к +1 )

Или в линеаризированной форме: найти

т1д?В = 0 - бЕ^ + + 8-) (5)

при ограничениях

- = у0, УЬ1 - 0 у0 + 8Ь = 0,

XI - 0Х0 + 8_ = 0, 1, 8- 8?, 8Ь > 0.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Двойственная задача в этом случае формулируется следующим образом: найти

тахЬВ = тТ у0 при ограничениях

Т Т Ь Тжт? ТжтЬ Т%г ^ п

V Х0 + ть У0 = 1, у? - ть У - V X < 0, mь, п > бЕ.

Модель (5) также имеет вид стандартной ориентированной по входам ССЯ-модели. Сокращение нежелательных выходов происходит в ней одновременно с сокращением входов, поэтому полная эффективность ПО, рассчитанная по модели (5) не может быть меньше его полной эффективности, рассчитанной по модели (4).

Еще один, применяемый в моделях экологического АСФ, способ учета нежелательных выходов состоит в интерпретации нежелательных выходов как единственных входов модели. Тогда для д ости-жения полной эффективности ПО должны сокращать только нежелательные выходы, оставляя входы и желательные выходы модели неизменными. В этом случае полная мера эффективности примет вид

^ к т Л р

кс = [ Ё № - Ё ^Хт |/ Ё

i = 1

s = k + 1

а задача АСФ сведется к нахождению

Или двойственной: найти

/ к т Л р

тах^с = I Е Мг0 - Е 01/ Е №

V г = 1 г = 1 / . = к + 1

при ограничениях

/ к т Л р

I Е^гУгу - Е 1/ Е ад, < 1.

V г = 1 г = 1 V . = к + 1

Или в линеаризованном виде в случае прямой задачи: найти

т1д?с = 0 - еЕ(80 + 88 + 8 ),

у81 - 88 = у0,

(6)

У01 - 0 уЬ + 80 = 0,

XI + 8 = Х0, 1, 8 , 88, 8Ь > 0. В случае двойственной задачи: найти

тах^с = тТ У0 - пТх0,

тТУо = 1, тТу8 - тть у0 - чТх < 0, V > еЕ.

Модель (6) практически эквивалентна модели (4), в которой роли входов и нежелательных выходов меняются при интерпретации.

Также возможно использование меры эффективности, обратной к мере кв для построения модели, ориентированной по выходам. Тогда для решения задачи экологического АСФ необходимо будет найти

^ р т Л к

тткв = I Е № + Е Чхю 1/ Е ^гУг0

V. = к + 1 г = 1 / г = 1

при ограничениях

/ р т Л к

I Е вд, + Е 1/ Е ьл- < 1

V. = к + 1 г = 1 V г = 1

что равнозначно решению прямой задачи линейного программирования: найти

• / Т о , Т

тткБ = ц-8 У0 + V х0,

тТ у0 = 1, тТу8 - тТу0 - чТх < 0, ^ т, п > еЕ.

С вычислительной точки зрения наилучшие возможности для решения задач с помощью стандартных пакетов прикладных программ предоставляют модели (5) и (7), так как они не требуют представления нежелательных выходов или входов ПО в виде отрицательных чисел. Для численной реализации моделей (4) и (6) требуются более сложные версии модификации стандартных пакетов прикладных программ, обычно предоставляемые разработчиками только на платной основе.

2. ПОСТАНОВКА ЗАДАЧИ СЕТЕВОГО АНАЛИЗА СРЕДЫ ФУНКЦИОНИРОВАНИЯ

Постановка задачи сетевого АСФ излагается в соответствии с работой [11]. Рассмотрим п однородных ПО, у каждого из которых имеется т входов Ху, I = 1, 2, ..., т, и Б выходов 1йу, й = 1, 2, ..., Б, на первом этапе оценки эффективности, которые одновременно служат входами второго этапа оценки эффективности. Выходы второго этапа обозначим как Угу, г = 1, 2, ..., я.

Обозначим меру эффективности каждого у-го ПО на первой стадии как е1 , на второй как е2 . Тогда для базовой ориентированной по входам модели ССЯ с постоянной отдачей на м асштаб задача оценки эффективности сводится к нахождению:

Б т

тах е) = Е ^у Е чХу

й = 1 I = 1

. Б

и тах е7. = е игУг/ Е ™ й^

г = 1 й = 1

при ограничениях

Б т я Б

Е Е < 1 и Е игУгу/ Е ^ > 1

й = 1 I = 1 г = 1 й = 1

тах8Б = 0 + еЕ(80 + 88 + 8 ), У81 - 0 у0 + 880 = 0,

У01 + 80 = у0, XI + 8- = Х0, 1, 8-, 88, 80 > 0.

(7) где V, м>й и иг — неизвестные неотрицательные веса.

Для определения полной эффективности ПО положим = м>й и получим:

еу = е1 еУ = Е игУг0/ Е Vх,

г г0 г г 0

г = 1 г = 1

Задача расчета полной эффективности сводится к ориентированной по входам задаче АСФ в коэффициентной форме: найти

тах( ецбц.) = Ё игУг0/ Ё

УХ,

(8)

г = 1

г = 1

1 ^ 1 2 . , при ограничениях е, < 1, е, < 1.

2

Ч - в

Как обычно, модель (8) может быть представлена в линеаризованной форме (ограничимся представлением только прямой м одели, так как д войст-венная модель получается из прямой стандартным путем):

тах Ё игУг0

г = 1

при ограничениях

Ё игУц - Ё "й^ < 0,

г = 1

й = 1

Б т

Ё "й^йц - Ё УХц < 0,

й = 1 г = 1

Ё У1ХЮ = 1

(9)

г = 1

где "й > 0, у > 0, иг > 0.

Аналогичным образом может быть определена модель ССЯ, ориентированная по выходам.

После нахождения значения коэффициента полной эффективности е0 (представленного как комбинация мер эффективности первого и второго этапов), он может быть декомпозирован на две составляющие согласно следующему алгоритму. На первом этапе определяется максимально возможное значение коэффициента эффективности в*1 посредством решения задачи: найти

Б

тах Ё

й = 1

при ограничениях (9) и Ё

г = 1

и,.Уг0 = е0 и определить

минимально возможное значение коэффициента

2* 1* эффективности: е0 = в*0/е0 .

Аналогичным образом сначала может быть ре-

2*

шена задача для нахождения е0 . Поэтому в общем

1* 2*

случае е0 и е0 могут быть определены не единст-

1* 2*

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

венным образом. Порядок нахождения е0 и е0 в таком случае определяется, исходя из того, функционирование какого из двух исследуемых блоков

(этапов процесса создания стоимости) ПО представляет большую важность для исследования (см., например, работу [14]). В случае, если первый блок ПО оказывает более сильное влияние на его общую эффективность, мера эффективности первого этапа находится первой и не изменяется во время решения задачи об оценке меры эффективности второго этапа е2 .

Важный класс моделей сетевого АСФ составляют м одели с д ополнительными входами на втором этапе оценки эффективности ПО, не входящих в исходное множество хц, г = 1, 2, ..., т. Обоз-

ц

начим дополнительные входы второго блока как хкц, к = 1, 2, ..., Н. Тогда задача оценки меры эффективности второго блока ПО (при условии доминирования первого блока в определении полной эффективности) принимает вид: найти

2 5 Г 0 Н Л

тах е, = Ё игУц/1 Ё "йЦ + Ё ЧкХк] I

г = 1 V й = 1 к = 1 )

при ограничениях

5 Г Б Н

Ё игУ,ц/1 Ё "й^йц + Ё 4к~Хк 1 < 1

г = 1 V й = 1 к = 1

Ё "й^й0 = е1 й = 1

Бт

Ё "й^йц - Ё < 0

й = 1 г = 1

Ё У,ХЮ = 1 Ур wй, Uг, Чк > 0. г = 1

Или в линеаризованной форме: найти

тах Ё игУг0 г = 1

при ограничениях

Б Н

Ё "й^й0 + Ё %Хк0 = 1, й = 1 к = 1

5 Б Н

Ё игУгц - Ё - Ё 4кХк < 0,

г = 1 й = 1 к = 1

Бт

Ё "й^й0 - е1 Ё УгХг0 = 0 й = 1 г = 1

Бт

Ё - Ё УгХ!ц < 0 V/.

й = 1 г = 1

40

СОМТЯОЬ Б^ЕМСЕБ №6 • 2016

В случае необходимости согласования поведения первого и второго блоков ПО для д остижения максимальной полной эффективности, модель принимает вид:

тах

Е Е игуг0

й = 1 . г = 1

т В

Е ^х-о Е

I = 1 й = 1

(10)

при ограничениях

Е Е ^ 1 у/

й = 1

I = 1

I I]

В Н

и Е игУг/!I Е ^й/ + Е якхн] I ^ 1 у].

г = 1

й = 1

Н = 1

Модель (10) уже не позволяет сформулировать задачу линейного программирования. Поэтому в работе [14] разработан способ ее трансформации в параметрическую задачу л инейного программирования, что значительно усложняет вычислительную сторону задачи.

Очевидно, что сетевые модели АСФ позволяют естественным образом разделять полную эффективность любых ПО (в том числе региональных экономических систем) на экономическую и экологическую составляющие, а потому могут применяться для решения задач экологического АСФ. В качестве входов первого блока ПО, отвечающего за экономическую эффективность, могут рассматриваться труд (численность занятых в экономике), капитал (объем основных фондов или объем инвестиций), энергия и другие ресурсы. Выходы первого блока ПО или экономические результаты деятельности ПО (например, валовой региональный продукт (ВРП) или объем отгруженной продукции, работ, услуг), могут рассматриваться как входы второго блока ПО, отвечающего за экологическую эффективность. В качестве выходов второго блока логично рассматривать экологические эффекты.

Однако, если в качестве экологических эффектов рассматриваются негативные воздействия на окружающую среду, такие, как выбросы загрязняющих веществ в атмосферу, загрязнение природных вод и почв, последовательное применение двух ориентированных по входам моделей СЯЯ, как это было описано выше, невозможно. Выходы второго этапа являются нежелательными, поэтому необходима их минимизация, а не максимизация.

Для разрешения данного логического затруднения можно предложить следующий подход.

Для оценки экономической эффективности ПО используется базовая ориентированная по входам

модель ССЯ с постоянным эффектом масштаба. Это позволяет выявить ПО, которые производят максимальный экономический результат с минимальными затратами ресурсов, и признать их эффективными. Для остальных ПО, неэффективных, модель позволяет рассчитать целевые параметры по потреблению ресурсов (по входам), при достижении которых ПО может достичь эффективности [3]. Целевые параметры выходов в ориентированной по входам модели полагаются равными реальным выходам, что позволяет рассматривать их как фиксированные.

Для оценки экологической эффективности используется базовая ориентированная по выходам модель ССЯ с постоянным эффектом масштаба. Такая модель позволяет, не изменяя входы (которые в данном случае служат выходами экономического блока), выявить ПО, которые производят максимальные негативные воздействия на окружающую среду при фиксированных входах. Обозначив меру эффективности для каждого ПО, рассчитанную с помощью данной модели через меру эффективности 8*, определим экологическую эффективность ПО как е2 = 1 — 8*. Учитывая то, что

2

при таком определении е/ может принимать нулевые значения, определим полную эколого-эко-номическую эффективность ПО как (е1 + е2)^. Эффективными будем считать ПО с максимальными значениями коэффициента полной эколо-го-экономической эффективности.

Такой подход позволяет численно реализовать модели сетевого АСФ с помощью только стандартных пакетов прикладных программ. Интересные, с прикладной точки зрения, возможности предоставляют модели сетевого АСФ с дополнительными входами на втором этапе. Благодаря введению дополнительных входов на втором этапе в расчет экологической эффективности можно внести не только результаты основных бизнес-процессов экономических агентов (производственные аспекты), но и воздействие на экологию вспомогательных бизнес-процессов (например, бытового потребления природных ресурсов).

3. ОЦЕНКА ЭК0Л0Г0-ЭК0Н0МИЧЕСК0И ЭФФЕКТИВНОСТИ РЕГИОНАЛЬНЫХ ЭК0Н0МИЧЕСКИХ СИСТЕМ СУБЪЕКТ0В РФ

Будем использовать для моделирования эколо-го-экономической эффективности региональных экономических систем (РЭС) субъектов РФ набор следующих показателей: Х(х1, х2, х3) — показатели экономических входов (ресурсов), преобразуемых

региональной экономической системой в полезные экономические выходы и нежелательные экологические эффекты У(у1, ..., У7), где х1 — численность занятых в экономике региона (тыс. чел.), х2 — стоимость основных фондов (тыс. руб.), х3 — годовое потребление электроэнергии (млн кВт -ч), 11 — объем валового регионального продукта (млн руб.), У1 — годовой объем выбросов загрязняющих веществ в атмосферу от стационарных источников (тыс. т), У2 — годовой объем выбросов загрязняющих веществ в атмосферу от автомобильного транспорта (тыс. т), у3 — годовой объем сброса недостаточно очищенных сточных вод (млн м3), У4 — годовой объем сброса неочищенных сточных вод (млн м3), У5 — годовой объем размещения отходов на собственных объектах (млн т), у6 — годовой объем образования твердых бытовых отходов (тыс. м3), У7 — годовой объем потребления свежей воды

(млн м3).

При использовании сетевой модели АСФ вектор Дхр х2, х3) представляет собой входы модели первого этапа, на котором оценивается экономическая эффективность РЭС, а вектор — входы модели второго этапа, на котором оценивается экологическая эффективность. Для учета эффектов бытового потребления природных ресурсов введем дополнительный вход модели второго этапа 12 — численность населения в регионе (тыс. чел.).

Для сравнения изложенных в § 1 и 2 подходов к оценке эколого-экономической эффективности РЭС рассчитаем коэффициенты эффективности согласно следующим моделям.

Вариант I: модель двухэтапного АСФ с разбиением меры эффективности на техническую и экологическую составляющие (1), (2).

Вариант II: модель одноэтапного АСФ с представлением нежелательных выходов как входов (6).

Вариант III: модель сетевого АСФ с дополнительным входом на втором этапе, предполагающая последовательное применение ориентированной по входам модели ССЯ и ориентированной по выходам модели ССЯ.

Кроме того, в рамках проводимого сравнительного анализа рассмотрим примененный в предыдущих работах автора (см., например, [10]) подход к оценке эколого-экономической эффективности РЭС, при котором нежелательные экологические эффекты рассматриваются как единственные входы модели. Данный подход является упрощением варианта II, обозначим его как вариант IV.

Результаты расчетов мер эффективности, проведенных автором в пакете прикладных программ MaxDEA для 78 регионов России5 по радиальному адаптационному алгоритму на статистических данных за 2014 г., взятых из Государственного д оклада [5], представлены в табл. 1. Жирным шрифтом выделены регионы, эффективные согласно результатам расчетов по всем четырем моделям (эффективными по варианту III признаны регионы, с мерой полной эффективности выше 0,6). В том случае, когда модель позволяет явным образом разделить полную эколого-экономическую эффективность на составляющие, приведены значения отдельно экономической и экологической эффективности каждой региональной экономической системы.

Анализируя данные (см. табл. 1), нетрудно заметить, что все результаты расчета мер полной эколого-экономической эффективности д остаточ-но хорошо согласуются друг с другом. Результаты, рассчитанные по вариантам I, II и IV, коррелируют между собой с коэффициентами парной линейной корреляции Пирсона от 0,82 до 0,89. Результаты варианта III коррелируют с остальными с коэффициентами парной корреляции около 0,6.

Заметим, что результаты варианта III оказались наиболее «жесткими». Только 8 РЭС имеют значения полной эколого-экономической эффективности выше 0,6. С практической точки зрения это можно оценить как преимущество модели, так как слишком большое ч исло эффективных объектов не позволяет выявить реальные факторы, влияющие на эффективность ПО, и затрудняет процесс принятия управленческих решений по совершенствованию их деятельности [8]. Анализируя отдельно экономическую и экологическую составляющие полной эффективности, рассчитанной по варианту III, нетрудно также заметить, что значения меры экономической эффективности полностью совпадают со значениями соответствующей компоненты, рассчитанной по варианту I, а расхождения получаются благодаря экологической эффективности. Выявленные различия могут объясняться тем, что в варианте III в качестве дополнительного входа на этапе расчета экологической эффективности используется показатель «численность населения в регионе» и, таким образом, учитывает бытовой аспект антропогенной нагрузки.

Для определения степени адекватности полученных результатов действительности обратимся к анализу экологических показателей отдельных

Из расчетов были исключены Москва и Санкт-Петербург,

в силу того, что, являясь городами — субъектами Федерации,

они имеют несопоставимые показатели по экологическим параметрам с другими регионами и могут вносить существенные искажения в результаты модели.

Таблица 1

Наиболее коррелирующие и наиболее сильно расходящиеся результаты расчетов мер эколого-экономической эффективности РЭС по различным вариантам модели АСФ

Название РЭС Вариант I Вариант II Вариант III Вариант IV

Эффективность

Полная Экономическая Экологическая Полная Полная Экономическая Экологическая Полная

Белгородская область 1,00 0,92 1,00 1,00 0,61 0,92 0,31 1,00

Брянская область 1,00 0,71 1,00 1,00 0,61 0,71 0,50 1,00

Владимирская область 1,00 0,77 1,00 1,00 0,56 0,77 0,35 1,00

Воронежская область 1,00 0,85 1,00 1,00 0,55 0,85 0,25 1,00

Калужская область 1,00 0,72 1,00 1,00 0,48 0,72 0,24 1,00

Курская область 1,00 0,68 1,00 1,00 0,55 0,68 0,41 1,00

Московская область 1,00 0,79 1,00 1,00 0,49 0,79 0,19 1,00

Орловская область 1,00 0,79 1,00 1,00 0,42 0,79 0,04 1,00

Рязанская область 1,00 0,66 1,00 1,00 0,41 0,66 0,17 1,00

Тамбовская область 1,00 0,74 1,00 1,00 0,55 0,74 0,36 1,00

Тверская область 0,71 0,54 0,71 1,00 0,38 0,54 0,23 0,71

Республика Коми 1,00 0,56 1,00 1,00 0,28 0,56 0,00 1,00

Калининградская обл. 1,00 0,83 1,00 1,00 0,41 0,83 0,00 1,00

Ленинградская область 0,81 0,74 0,81 1,00 0,52 0,74 0,31 0,81

Мурманская область 0,71 0,46 0,71 0,71 0,23 0,46 0,00 0,71

Республика Адыгея 1,00 0,76 1,00 1,00 0,55 0,76 0,34 1,00

Республика Калмыкия 1,00 0,72 1,00 1,00 0,36 0,72 0,00 1,00

Краснодарский край 0,85 0,83 0,85 0,97 0,41 0,83 0,00 0,85

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Астраханская область 1,00 0,65 1,00 1,00 0,51 0,65 0,37 1,00

Республика Дагестан 0,83 0,83 0,75 1,00 0,56 0,83 0,28 0,75

Ингушетия 1,00 1,00 1,00 1,00 0,79 1,00 0,57 1,00

Кабардино-Балкария 0,95 0,95 0,55 1,00 0,50 0,95 0,05 0,55

Чеченская Республика 1,00 0,56 1,00 1,00 0,29 0,56 0,01 1,00

Ставропольский край 1,00 0,65 1,00 1,00 0,48 0,65 0,31 1,00

Башкортостан 1,00 1,00 1,00 1,00 0,63 1,00 0,25 1,00

Марий Эл 1,00 0,66 1,00 1,00 0,48 0,66 0,30 1,00

Мордовия 1,00 0,57 1,00 1,00 0,48 0,57 0,39 1,00

Татарстан 1,00 0,86 1,00 1,00 0,67 0,86 0,48 1,00

Удмуртия 1,00 0,72 1,00 1,00 0,53 0,72 0,35 1,00

Чувашия 1,00 0,61 1,00 1,00 0,53 0,61 0,45 1,00

Оренбургская область 1,00 0,77 1,00 1,00 0,43 0,77 0,09 1,00

Саратовская область 1,00 0,64 1,00 1,00 0,45 0,64 0,26 1,00

Курганская область 1,00 0,49 1,00 1,00 0,48 0,49 0,47 1,00

Тюменская область 1,00 1,00 1,00 1,00 0,68 1,00 0,37 1,00

Республика Алтай 1,00 0,69 1,00 1,00 0,37 0,69 0,04 1,00

Республика Тыва 1,00 0,88 1,00 1,00 0,59 0,88 0,31 1,00

Алтайский край 1,00 0,71 1,00 1,00 0,44 0,71 0,17 1,00

Красноярский край 0,86 0,86 0,71 1,00 0,43 0,86 0,00 0,71

Новосибирская обл. 0,89 0,83 0,89 1,00 0,58 0,83 0,33 0,89

Омская область 0,92 0,92 0,90 1,00 0,61 0,92 0,30 0,90

Томская область 1,00 0,73 1,00 1,00 0,50 0,73 0,27 1,00

Якутия 1,00 0,83 1,00 1,00 0,58 0,83 0,33 1,00

Камчатский край 0,92 0,87 0,92 1,00 0,43 0,87 0,00 0,92

Сахалинская область 1,00 1,00 1,00 1,00 0,65 1,00 0,30 1,00

Чукотский АО 1,00 0,99 1,00 1,00 0,49 0,99 0,00 1,00

РЭС, по которым варианты I и III дают наиболее значимые расхождения. Как видно из табл. 1, это Республика Коми, Калининградская область, Мурманская область, Республика Калмыкия, Краснодарский край, Чеченская Республика, Республика Алтай, Камчатский край и Чукотский автономный округ. Все эти регионы имеют максимальную или близкую к ней экологическую эффективность по варианту I и нулевую экологическую эффективность по варианту III.

Для оценки «экологического благополучия» рассмотрим рейтинг региона по каждому из удельных показателей негативных экологических эффектов. Удельные показатели будем рассматривать в двух вариантах: как отношение объема негативного воздействия к объему ВРП (экологическая емкость экономики региона) и как отношение объема негативного воздействия к количеству населения (экологическая емкость ЖКХ региона). При такой конструкции показателя «экологического благополучия», чем выше рейтинг региона по какому-либо из удельных негативных экологических эффектов, тем хуже обстановка в регионе по данному экологическому аспекту. Результаты анализа представлены в табл. 2 (расчеты выполнены автором на основе данных, представленных в докладе [5]). По каждому негативному экологическому эффекту для анализируемых регионов через знак «/» приведены два значения, первое из которых — рейтинг по отношению объема негативного воздействия к объему ВРП, а второе — рейтинг по отношению объема негативного воздействия к численности населения.

Результаты анализа данных (см. табл. 2) позволяют сделать вывод, что согласно варианту III РЭС признается экологически неэффективной, если хотя бы по одному из удельных негативных

экологических эффектов регион попадает в топ-10 экологически неблагополучных регионов.

Сравнение результатов расчетов полной эколо-го-экономической эффективности по варианту IV с результатами предыдущих исследований автора, выполненных тем же методом, но на меньшем наборе статистических данных по негативным экологическим эффектам [10], позволяют выявить чувствительность варианта IV к ч ислу входных параметров: чем больше входов в варианте IV, тем больше ПО в результате оцениваются как эффективные. Влияние числа входов и выходов на эффективность ПО подробно исследовано в работе [15] и расценено как свидетельство неустойчивости модели.

Значения экологической эффективности, рассчитанной по варианту I, полностью совпадают со значениями полной эффективности, рассчитанной по варианту IV и, следовательно, также могут быть признаны неустойчивыми.

4. ВОЗМОЖНОСТИ И ОГРАНИЧЕНИЯ ПРАКТИЧЕСКОГО ПРИМЕНЕНИЯ МЕТОДА СЕТЕВОГО АСФ ДЛЯ РЕШЕНИЯ ЗАДАЧ ТЕРРИТОРИАЛЬНОГО ЭКОЛОГИЧЕСКОГО МЕНЕДЖМЕНТА

В результате проведенного сравнительного анализа результатов оценки эколого-экономической эффективности регионов РФ можно сделать вывод, что метод сетевого анализа среды функционирования, при котором на первом этапе с помощью базовой ориентированной по входам модели CCR с постоянным эффектом масштаба оценивается экономическая эффективность региона, на втором этапе с помощью базовой ориентированной по выходам модели CCR с постоянным эффектом масштаба и дополнительным входом, оце-

Таблица 2

Рейтинг некоторых региональных экономических систем по удельным негативным экологическим эффектам

РЭС Выбросы от стационарных источников Выбросы автотранспорта Сточные воды Недостаточно очищенные сточные воды ТБО Другие отходы Забор воды

Республика Коми 3/77 75/44 56/45 48/61 72/66 59/39 35/7

Калининградская область 73/13 13/1 17/18 26/24 60/4 45/13 75/15

Мурманская область 6/40 73/43 7/55 2/46 39/30 3/58 7/2

Республика Калмыкия 68/23 2/54 4/24 77/40 9/61 48/69 44/45

Краснодарский край 66/47 50/40 2/69 64/38 24/38 51/73 15/6

Чеченская Республика 35/46 3/57 71/60 78/41 69/41 73/48 13/53

Республика Алтай 42/27 4/42 57/34 76/34 70/11 75/23 77/56

Камчатский край 56/58 37/63 8/25 70/30 52/64 34/31 36/1

Чукотский АО 28/37 78/37 13/16 75/17 75/43 7/8 73/36

нивается экологическая эффективность региона, а полная мера экол ого-экономической эффективности рассчитывается как среднее экономической и экологической составляющих, позволяет получить результаты, которые вполне адекватно отражают действительность и устойчивы к изменениям числа анализируемых негативных экологически эффектов. Кроме того, данный метод удобен с вычислительной точки зрения, так как позволяет проводить все необходимые расчеты только в стандартных пакетах прикладных программ свободного доступа.

В качестве еще одного преимущества предложенного подхода можно отметить тот факт, что в отличие от свертки экологической и экономической составляющей в единый показатель с помощью решения задачи АСФ с единичным входом (вариант I), при котором веса при каждой из компонент выбираются таким образом, чтобы максимизировать полную эффективность объекта, расчет полной эколого-экономической эффективности как среднего арифметического экономической и экологической составляющих (вариант III) назначает им равные веса. При решении различных практических задач территориального экологического менеджмента веса могут назначаться экспертным путем в зависимости от того, какая из компонент полной эколого-экономической эффективности имеет более важное значение. Это предоставляет дополнительные возможности для решения различных управленческих задач.

В качестве недостатка предложенного подхода можно отметить нетрадиционное для моделей АСФ представление конечных результатов расчета мер эффективности. Так как ни одна из РЭС в варианте III не имеет полной эффективности, равной единице, то в результате нет однозначного понимания, сколько и какие же объекты признавать эффективными. Граница экологической эффективности варианта III формируется путем «выворачивания» кластера ПО, наиболее удаленных от границы экологической неэффективности, определяемой при помощи ориентированной по выходам модели CCR второго этапа, входами которой являются ВРП и численность населения региона. Однако в смысле получения практико-ориентиро-ванных результатов данный недостаток несущественен.

Отметим, что, хотя оценка экологической и экономической эффективности РЭС в сравнении с другими регионами и имеет важное прикладное значение, наибольшее количество полезной информации для принятия управленческих решений можно извлечь из анализа результатов расчета так называемых проекций ПО на границу эффективности. Проекции могут рассматриваться как це-

левые параметры входов или выходов, достижение которых позволяет неэффективным ПО достичь эффективности. Расчет проекций по каждому входу в input-oriented моделях и по каждому выходу в output-oriented моделях осуществляется во всех стандартных пакетах прикладных программ одновременно с расчетом меры эффективности6. Предложенная в данной работе модификация сетевого АСФ с дополнительным входом на втором этапе позволяет явным образом получить значения целевых параметров по ресурсам РЭС (труду, капиталу, энергии), необходимые для достижения его экономической эффективности и рассчитать значения целевых параметров по негативным экологическим эффектам, необходимые для достижения его экологической эффективности. Для расчета целей РЭС по негативным экологическим эффектам достаточно умножить их реальные значения на 1 — 8*, где 8* — мера эффективности РЭС, рассчитанная по модели CCR, ориентированной по выходам.

В системах регионального экологического менеджмента ц елевые параметры по каждому из негативных экологических эффектов могут использоваться при установлении квот на выбросы предприятий, формулировке целей региональных природоохранных программ, отборе инвестиционных проектов по строительству новых или реконструкции имеющихся промышленных объектов, а также при разработке организационно-экономических механизмов стимулирования предприятий к переходу на наилучшие доступные технологии.

Рассчитываемые автоматически (в пакетах прикладных программ) для каждого объекта так называемые бенчмарки, могут служить ориентиром при выборе направления действий для достижения эффективности РЭС. Анализируя производства, находящиеся в регионах со схожей структурой экономики, определяемых как бенчмарки для данной конкретной РЭС, можно выделить комплекс технологий, позволяющих снизить негативные воздействия на окружающую среду. Таким образом, метод также позволяет более обоснованно принимать решения по выбору направлений технологического развития.

Необходимо отметить прогностические возможности м етода, который позволяет оценить, каким образом изменится комплексная эколого-эко-номическая эффективность региона, если при осуществлении природоохранных мероприятий часть из моделируемых негативных экологических эффектов снизится на определенную величину.

6 Результаты расчетов целевых параметров не приведены в данной работе только из-за ограничений по объему статьи.

ЗАКЛЮЧЕНИЕ

Метод сетевого анализа среды функционирования — АСФ, активно развиваемый в настоящее время в научной литературе для целей анализа и оценки эффективности деятельности иерархических объектов и структур, может быть успешно применен для решения широкого класса задач экологического АСФ. Эффективность каждого производственного объекта в данном случае естественным образом разбивается на его экономическую и экологическую эффективность, которые могут быть оценены покомпонентно, что существенно в практике принятия управленческих решений. Важное преимущество, которое дает при этом сетевой АСФ, заключается в возможности введения дополнительных входов в модель на этапе оценки его экологической эффективности. В приложении к задачам оценки эколого-экономической эффективности регионов это позволяет ввести в рассмотрение не только качество производственного менеджмента, но и качество менеджмента сферы ЖКХ, вносящего существенный вклад в объем негативных экологических эффектов, проявляющихся в регионе.

Предложенный в данной работе подход к оценке эколого-экономической эффективности региональных экономических систем легко реализуем с вычислительной точки зрения в стандартных пакетах прикладных программ (DEA Frontier, MaxDEA, Open Source DEA), а потому не требует специальных компетенций для решения практи-ко-ориентированных задач и может быть достаточно легко внедрен в действующую систему регионального экологического менеджмента.

ЛИТЕРАТУРА

1. Фадеева А.В. Противоречия в эколого-экономической системе современного российского общества как фактор активизации инвестиций в человеческий капитал // Экономические науки. — 2007. — № 2 (27).

2. Ратнер С.В., Алмастян Н.А. Рыночные и административные методы управления негативным воздействием объек-

тов электроэнергетики на окружающую среду // Экономический анализ: теория и практика. — 2015. — № 16. — С. 2—15.

3. Хрусталев Е.Ю., Ратнер П.Д. Эко-инновации в электроэнергетике: оценка сравнительной эффективности // Инновации. — 2015. — № 9. — С. 8—14.

4. Белобрагин В.Я. Рубикон перейден. Анализ отчета The ISO Survey. — 2014 // Стандарты и качество. — 2016. — № 1. — С. 90—96.

5. Государственный доклад «О состоянии и об охране окружающей среды в Российской Федерации в 2014 году». — М.: Росгидромет, 2015.

6. World Energy Outlook 2012. Special Topics. Water for Energy. IEA, 2012. — URL: http://www.iea.org/publications/freepubli-cations/publication/world-energy-outlook-2012.html (дата обращения 23.10.2016).

7. Fare R., Grosskopf S. Modeling undesirable factors in efficiency evaluation: comment // European Journal of Operational Research. — 2004. — N 157. — P. 242—245.

8. Korhonen P.J., Luptacik M. Eco-efficiency analysis of power plants: An extension of data envelopment analysis // Ibid. — 2004. — N 154. — Р. 437—446.

9. Cooper W.W., Seiford L.M., Tone T. Introduction to Data Envelopment Analysis and Its Uses: With DEA-Solver Software and References. — N.-Y.: Springer, 2006.

10. Ратнер С.В. Задачи оптимизации траекторий развития региональных экономических систем по экологическим параметрам // Друкеровский вестник. — 2016. — № 2. — С. 30—41.

11. Chen Y, Cook W.D, Kao C, Zhu J. Network DEA pitfalls: Divisional efficiency and frontier projection under general network structures // European Journal of Operational Research. — 2013. — N 226. — P. 507—515.

12. Kao C., Hwang S.N. Efficiency decomposition in two-stage data envelopment analysis: an application to non-life insurance companies in Taiwan // Ibid. — 2008. — N 185. — P. 418—429.

13. Castelli L., Pesenti R., Ukovich W. DEA-like models for the efficiency evaluation of hierarchically structured units // Ibid. — 2004. — N 154 (2). — P. 465—476.

14. Yu Y, Shi Q. Two-stage DEA model with additional input in the second stage and part of intermediate products as final output // Expert Systems with Applications. — 2014. — N 41. — P. 6570—6574.

15. Banker, R.D. Estimating most productive scale size using data envelopment analysis // European Journal of Operational Research. — 1984. — N 17. — P. 35—44.

Статья представлена к публикации руководителем РРС

Г.А. Угольницким.

Ратнер Светлана Валерьевна — д-р экон. наук,

вед. науч. сотрудник, Институт проблем управления

им. В.А. Трапезникова РАН, г. Москва,

Н lanaratner@gmail.com.

fr

Не забудьте подписаться!

Подписку на журнал «Проблемы управления» можно оформить в любом почтовом отделении (подписной индекс 81708 в каталоге Роспечати или 38006 в объединенном каталоге «Пресса России»), а также через редакцию с любого месяца, при этом почтовые расходы редакция берет на себя. Отдельные номера редакция высылает по первому требованию.

i Надоели баннеры? Вы всегда можете отключить рекламу.