Научная статья на тему 'Инновационный подход к оценке и управлению инвестиционными рисками на фондовом рынке РФ с использованием нейронных сетей'

Инновационный подход к оценке и управлению инвестиционными рисками на фондовом рынке РФ с использованием нейронных сетей Текст научной статьи по специальности «Экономика и бизнес»

CC BY
461
123
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ / ФОНДОВАЯ БИРЖА / ИННОВАЦИОННЫХ ПОД-ХОД / ИНВЕСТИЦИИ / УПРАВЛЕНИЕ РИСКАМИ / ОЦЕНКА РИСКОВ / ARTIFICIAL NEURAL NETWORKS / STOCK EX-CHANGE / INNOVATIVE APPROACH / INVESTMENT / RISK MANAGEMENT / RISK ASSESSMENT

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Мухаметшин Р. Р.

Данная статья посвящена теоретическим и практическим аспектам инновационной оценки и управления инвестиционными рисками на фондовом рынке РФ. Автор статьи описывает ключевые принципы работы искусствен-ной нейронной сети для оценки и управления рисками на основе предсказатель-ной возможности нейросети финансовых временных рядов. В настоящее кри-зисное время оценка и управление рисками является сверхзадачей.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

This article deals with theoretical and practical aspects of innovative assessment and management of investment risk in the stock market of Russia. The author describes the key principles of the artificial neural network to assess and manage risks on the basis of predictive ability of financial time series Neural networks. At the present crisis time assessment and risk management is an overriding need.

Текст научной работы на тему «Инновационный подход к оценке и управлению инвестиционными рисками на фондовом рынке РФ с использованием нейронных сетей»

УДК 330.322

Р. Р. Мухаметшин

ИННОВАЦИОННЫЙ ПОДХОД К ОЦЕНКЕ И УПРАВЛЕНИЮ ИНВЕСТИЦИОННЫМИ РИСКАМИ НА ФОНДОВОМ РЫНКЕ РФ

С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ

Ключевые слова: искусственные нейронные сети, фондовая биржа, инновационных подход, инвестиции, управление рисками, оценка рисков. artificial neural networks, stock exchange, innovative approach, investment, risk management, risk assessment.

Данная статья посвящена теоретическим и практическим аспектам инновационной оценки и управления инвестиционными рисками на фондовом рынке РФ. Автор статьи описывает ключевые принципы работы искусственной нейронной сети для оценки и управления рисками на основе предсказательной возможности нейросети финансовых временных рядов. В настоящее кризисное время оценка и управление рисками является сверхзадачей.

This article deals with theoretical and practical aspects of innovative assessment and management of investment risk in the stock market of Russia. The author describes the key principles of the artificial neural network to assess and manage risks on the basis of predictive ability of financial time series Neural networks. At the present crisis time assessment and risk management is an overriding need.

Фондовый рынок (рынок ценных бумаг (РЦБ)) - это часть финансового рынка (наряду с рынком ссудного капитала, валютным рынком и рынком золота). На фондовом рынке обращаются специфические финансовые инструменты - ценные бумаги (акции, облигации, деривативы, долевые ценные бумаги, паи).

Рынок ценных бумаг может развиваться только при нормальных товарно-денежных отношениях и отношениях собственности.

Все операции с ценными бумагами всегда спряжены с риском. В те годы в России риск особенно велик и существовал во многих видах: системный (риск кризиса рынка ценных бумаг в целом); несистемный (сочетание всех видов риска, связанных с конкретной ценной бумагой); селективный (риск неправильного выбора ценных бумаг для инвестирования по сравнению с другими видами бумаг при формировании портфеля); временной (риск эмиссии, покупки или продажи ценной бумаги в неподходящее время, что влечет за собой потери); законодательных изменений (риск вследствие изменения условий эмиссии, признания ее недействительной и т.п.); ликвидности (риск, связанный с возможностью потерь при реализации ценной бумаги из-за изменившийся оценки ее качества); инфляционный (риск того, что при высокой инфляции доходы, получаемые инвесторами от ценных бумаг, обесцениваются быстрее, чем растут, инвестор несет реальные потери). Существовали и многие другие виды риска по операциям с ценными бумагами.

Результатами процессов глобализации и дерегулирования в экономике, финансах, обществе стали взрывной рост сложности современных финансовых и социальноорганизационных систем, и, как следствие, возрастание их неустойчивости и неопределенности. Социальные и экономические институты все чаще подвергаются воздействию внешних и внутрисистемных событий, приводящих к значительным и даже катастрофическим потерям. В связи с этим является актуальным повсеместное внедрение в процедуры управления этими институтами механизмов регулирования чувствительности к событиям риска и ограничения вызванных рисками потерь.

Теория управления рисками (страхование и риск-менеджмент) занимается выявлением источников потерь, исследованием логики и вероятности возникновения событий риска, а также разрабатывает механизмы компенсации сопутствующих им потерь. В классической финансовой и страховой математике источником риска является случайность. Эмпирические данные показывают неслучайность событий-рисков: финансовые и социальные кризисы последних десятилетий развивались согласно определенным логическим сценариям.

Главной причиной актуализации системы управления рисками явилось резкое возрастание неопределенности финансовых результатов инвестиций на рынках ценных бумаг и в предприятия реального сектора экономики, и, как следствие, рисков устойчивости финансовых институтов. Движущими факторами роста неопределенности доходов стали: глобализация финансовых операций и интеграция национальных экономик, резкий рост числа торгуемых на мировых рынках инструментов, увеличение частоты экономических кризисов, сокращение времени финансовых транзакций за счет использования электронных средств передачи информации. В результате возникла острая необходимость в методах измерения и управления риском неблагоприятного движения рыночных цен финансовых инструментов.

Финансово-экономический кризис, разразившийся в 2008 году во всем мире, имеет свое начало в Америке, в стране с наивысшими стандартами и системами управления финансами и рисками. Актуальность темы управления рисками на финансовых рынках на сегодняшний момент является сверхзадачей для всех корпораций и других хозяйствующих субъектов. Старая модель управления рисками показала свою несостоятельность вследствие наличия огромной информации, которую необходимо отслеживать и контролировать для целей обеспечения безопасности и управляемости процессов. Кризис подталкивает экономическое сообщество искать пути выхода из кризиса, одновременно радикально меняя стандарты и подходы к экономическим процессам - архитектуру мировой экономики.

Предлагается совершенно новый, инновационный взгляд на сбор и обработку информации и управление рисками. Система построена на основе искусственных нейронных сетей (ИНС).

Почему именно искусственные нейронные сети? После двух десятилетий почти полного забвения интерес к искусственным нейронным сетям быстро вырос за последние несколько лет. Специалисты из таких далеких областей, как техническое конструирование, философия, физиология и психология, заинтригованы возможностями, предоставляемыми этой технологией, и ищут приложения им внутри своих дисциплин.

Это возрождение интереса было вызвано как теоретическими, так и прикладными достижениями. Неожиданно открылись возможности использования вычислений в сферах, до этого относящихся лишь к области человеческого интеллекта, возможности создания машин, способность которых учиться и запоминать удивительным образом напоминает мыслительные процессы человека, и наполнения новым значительным содержанием критиковавшегося термина «искусственный интеллект».

Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. Отсутствие глобального плана вычислений в нейросетях предполагает и особый характер их программирования. Оно также носит локальный характер: каждый нейрон изменяет свои «подгоночные параметры» - синаптические веса -в соответствии с поступающей к нему локальной информацией об эффективности работы

всей сети как целого. Режим распространения такой информации по сети и соответствующей ей адаптации нейронов носит характер обучения. Такой способ программирования позволяет эффективно учесть специфику требуемого от сети способа обработки данных, ибо алгоритм не задается заранее, а порождается самими данными - примерами, на которых сеть обучается. Именно таким образом в процессе самообучения биологические нейросети выработали столь эффективные алгоритмы обработки сенсорной информации.

Процедура обучения отдельных нейросетей стандартна. Как всегда, имеющиеся примеры разбиваются на три выборки: обучающая, валидационная и тестовая. Первая используется для обучения, вторая - для выбора оптимальной архитектуры сети и для выбора момента остановки сети. Наконец, третья, которая вообще не использовалась в обучении, служит для контроля качества прогноза обученной нейросети.

В литературе имеются свидетельства улучшения качества предсказаний за счет использования нейросетей с обратными связями. Такие сети могут обладать локальной памятью, сохраняющей информацию о более далеком прошлом, чем то, что в явном виде присутствует во входах.

В моей научной работе предпоссылкой для оценки и управления рисками на фондовом рынке с использованием искусственных нейронных сетей является предсказательная способность нейросетей. На основе предсказания нейронной сетью финансовых числовых рядов и основывается рейтингование и оценка рисков инвестирования в фондовые ценности.

Формирование пространства признаков. Ключевым для повышения качества предсказаний является эффективное кодирование входной информации. Это особо важно для труднопредсказуемых финансовых временных рядов.

В качестве входов и выходов нейросети не следует выбирать сами значения котировок, которые мы обозначим Q. Действительно значимыми для предсказаний являются изменения котировок. Поскольку эти изменения, как правило, гораздо меньше по амплитуде, чем сами котировки, между последовательными значениями курсов имеется большая корреляция - наиболее вероятное значение курса в следующий момент равно его предыдущему значению:

{Q+i}= С + {ДС*}= Q.

Между тем, для повышения качества обучения следует стремиться к статистической независимости входов, то есть к отсутствию подобных корреляций. Поэтому в качестве входных переменных логично выбирать наиболее статистически независимые величины, например, изменения котировок ДС или логарифм относительного приращения

log (Q/Q-1> ДС /См.

Последний выбор хорош для длительных временных рядов, когда уже заметно влияние инфляции. В этом случае простые разности в разных частях ряда будут иметь различную амплитуду, т.к. фактически измеряются в различных единицах. Напротив, отношения последовательных котировок не зависят от единиц измерения, и будут одного масштаба несмотря на инфляционное изменение единиц измерения. В итоге, большая стационарность ряда позволит использовать для обучения большую историю и обеспечит лучшее обучение. Отрицательной чертой погружения в лаговое пространства является ограниченный «кругозор» сети. Технический анализ же, напротив, не фиксирует окно в прошлом, и пользуется подчас весьма далекими значениями ряда. Например, утверждается, что максимальные и минимальные значения ряда даже в относительно далеком прошлом оказывают достаточно сильно воздействие на психологию инвесторов, и, следовательно, должны быть значимы для предсказания. Недостаточно широкое окно погружения в лаговое пространство не способно предоставить такую информацию, что, естественно, снижает эффективность предсказания. С другой стороны, расширение окна до таких значений, когда

захватываются далекие экстремальные значения ряда, повышает размерность сети, что в свою очередь приводит к понижению точности нейросетевого предсказания - уже из-за разрастания сети.

Выходом из этой, казалось бы, тупиковой ситуации является альтернативные способы кодирования прошлого поведения ряда. Интуитивно понятно, что чем дальше в прошлое уходит история ряда, тем меньше деталей его поведения влияет на результат предсказаний. Это обосновано психологией субъективного восприятия прошлого участниками торгов, которые, собственно, и формируют будущее. Следовательно, надо найти такое представление динамики ряда, которое имело бы избирательную точность: чем дальше в прошлое - тем меньше деталей, при сохранении общего вида кривой. Весьма перспективным инструментом здесь может оказаться т.н. вейвлетное разложение (wavelet decomposition). Оно эквивалентно по информативности лаговому погружению, но легче допускает такое сжатие информации, которое описывает прошлое с избирательной точностью.

Понижение размерности входов. Подобного рода сжатие информации является примером извлечения из непомерно большого числа входных переменных наиболее значимых для предсказания признаков. Важно только, чтобы способ представления входной информации по возможности облегчал процесс извлечения признаков. Вейвлетное представление являет собой пример удачного, с точки зрения извлечения признаков, кодирования. Например, на следующем рисунке (рис. 1) изображен отрезок из 50 значений ряда вместе с его реконструкцией по 10 специальным образом отобранных вейвлет-коэффициентов. Обратите внимание, что несмотря на то, что для этого понадобилось в пять раз меньше данных, непосредственное прошлое ряда восстановлено точно, а более далеко - лишь в общих чертах, хотя максимумы и минимумы отражены верно. Следовательно, можно с приемлемой точностью описывать 50-мерное окно всего лишь 10-мерным входным вектором.

2?"-890 3№

340 33D 9»

31 ;■

зоо

0 in Н 40 №

Рис. 1 - Пример 50-мерного окна (сплошная линия) и его реконструкции по 10 вейвлет-коэффициентам

Еще один возможный подход - использование в качестве возможных кандидатов в пространство признаков различного рода индикаторов технического анализа, которые автоматически подсчитываются в соответствующих программных пакетах (таких как MetaStock, Windows On Wall Street или ATON NOSTRADAMUS). Многочисленность этих эмпирических признаков затрудняет пользование ими, тогда как каждый из них может оказаться полезным в применении к данному ряду.

Метод искусственных примеров (hints). Одним из самых «больных мест» в финансовых предсказаниях является дефицит примеров для обучения нейросети. Финансовые рынки, вообще говоря, не стационарны (особенно российские). Появляются новые финансовые инструменты, для которых еще не накоплена история, изменяется характер торговли на прежних рынках. В этих условиях длина доступных для обучения нейросети временных рядов весьма ограничена. Однако, можно повысить число примеров, используя для этого те или иные априорные соображения об инвариантах динамики временного ряда. Это еще одно физико-математическое понятие, способное значительно улучшить качество финансовых предсказаний. Речь идет о генерации искусственных примеров, получаемых из уже имеющихся применением к ним различного рода преобразований. Поясним основную мысль на примере. Психологически оправдано следующее предположение: трейдеры и инвесторы обращают внимание, в основном, на форму кривой цен, а не на конкретные значения по осям. Поэтому если немного растянуть по оси котировок весь временной ряд, то полученный в результате такого преобразования ряд также можно использовать для обучения наряду с исходным. Мы, таким образом, удвоили число примеров за счет использования априорной информации, вытекающей из психологических особенностей восприятия временных рядов участниками рынка. Более того, мы не просто увеличили число примеров, но и ограничили класс функции, среди которых ищется решение, что также повышает качество предсказаний (если, конечно, использованный инвариант соответствует действительности).

Приведенные ниже результаты вычисления предсказуемости индекса S&P500 методом box-counting (рис. 2, 3) иллюстрируют роль искусственных примеров. Пространство признаков в данном случае формировалось методом ортогонализации. В качестве входных переменных использовалось 30 главных компонент в 100-мерном лаговом пространстве. Из этих главных компонент были выбраны 7 признаков - наиболее значимые ортогональные линейные комбинации. Как видно из этих рисунков, лишь применение искусственных примеров оказалось способным в данном случае обеспечить заметную предсказуемость.

ОД -о

-од ■

-0,2 -

0 2 4 6 S

Рис. 2 - Предсказуемость знака изме- Рис. 3 - Предсказуемость знака измене-

нения котировок индекса 8&Р500 ния котировок индекса 8&Р500 после

учетверения числа примеров методом растяжения по оси цен

Обратите внимание, что использование ортогонального пространства признаков привело к некоторому повышению предсказуемости по сравнению с обычным способом погружения: с 0.12 бит до 0.17 бит.

Измерение качества предсказаний. Хотя предсказание финансовых рядов и сводится к задаче аппроксимации многомерной функции, оно имеет свои особенности как при формировании входов, так и при выборе выходов нейросети. Коснемся особенностей выбора выходных переменных. Ответим на главный вопрос: как измерить качество финансовых предсказаний. Это поможет определить наилучшую стратегию обучения нейросети.

Связь предсказуемости с нормой прибыли. Особенностью предсказания финансовых временных рядов является стремление к получению максимальной прибыли, а не минимизации среднеквадратического отклонения, как это принято в случае аппроксимации функций. В простейшем случае ежедневной торговли прибыль зависит от верно указанного знака изменения котировки. Поэтому нейросеть нужно ориентировать именно на точность угадывания знака, а не самого значения. Найдем, как связана норма прибыли с точностью определения знака в простейшей постановке ежедневного вхождения в рынок.

Обозначим на момент t полный капитал инвестора Kt, относительное изменение котировки Xt = ACt /Ct, а в качестве выхода сети возьмем степень ее уверенности в знаке этого изменения yt [-1,1]. Такая сеть с выходной нелинейностью вида y = tanh(a) обучается предсказывать знак изменения и выдает прогноз знака с амплитудой пропорциональной его вероятности. Тогда возрастание капитала на шаге t запишется в виде:

Kt = Kt-i [1+\xt\ 5 sgn(xt yt)],

где 5 — доля капитала, инвестированная. Прибыль за все время инвестирования:

Kt = Ко exp(Yln[1+xk 5 sgn(y)) нам и стоит максимизировать, выбрав оптимальный размер ставок 5. Пусть в среднем инвестор угадывает долю p = 4 + € знаков и, соответственно, ошибается с вероятностью q = У2 - €. Тогда логарифм нормы прибыли

[ln(Kt / Ko)] = t [p ln(1+\x\ S)+q ln(1-\x\ S)], а следовательно, и сама прибыль будет максимальным при значении 5=(p-q)[\x\]/[x2] и составит в среднем

[ln(Kt / Ko)] * t (p - q)2[\x\]2/2[x2]=2at€2.

Здесь мы ввели коэффициент a=[|x|] /[x2]<=1. Например, для Гауссова распределения a*0.8. Степень предсказуемости знака напрямую связано с кросс-энтропией, которую можно оценить априори методом box-counting. Для бинарного выхода (рис. 4):

I = Hmax - H(p) = 1 +plogp +qlogq = 1 + [(1Л+€)\п(1Л+€) + (1Л-€)\п(1Лг€)]Лп2~2е2 /ln2.

В итоге получаем следующую оценку нормы прибыли при заданной величине предсказуемости знака I, выраженной в битах:

Kt = Ko 2aIt,

то есть, для ряда с предсказуемостью I, в принципе, возможно, удвоить капитал за t=1/(aI) вхождений в рынок. Так, например, измеренная выше предсказуемость временного ряда S&P500, равная 1=0.17 предполагает удвоение капитала в среднем за t=1/(0.8x017)~8 вхождений в рынок. Таким образом, даже небольшая предсказуемость знака изменения котировок способна обеспечить весьма заметную норму прибыли. Подчеркнем, что оптимальная норма прибыли требует достаточно аккуратного инвестирования, когда при каждом вхождении в рынок инвестор рискует строго определенной долей капитала:

[AK]/K = 5[\x\] = (p-q)[\x\]2/[x2]=2as~1.6s, где AK - типичная при данной волатильности рынка [|x|] величина выигрыша или проигрыша. Как меньшие, так и большие значения ставок уменьшают прибыль. Причем, чересчур рискованное инвестирование может привести к проигрышу при любой предсказательной способности (рис. 5).

Про цент угаданных знаков

100 к.

95%

90%

85%

30%

75%

71)%

65%

6Э%

55%

50%

ооо ом 0.40 а 50 о.во 1 со

Кросс-актролил

Рис. 4 - Доля правильно угаданных направлений изменений ряда как функция кроссэнтропии знака выхода при известных входах

Рис. 5 - Зависимость средней нормы прибыли от выбора доли капитала «на кону»

Поэтому приведенные выше оценки дают представление лишь о верхнем пределе нормы прибыли.

Как и любой другой вид нейроанализа, предсказание временных рядов требует достаточно сложной и тщательной предобработки данных. Однако, работа с временными рядами имеет свою специфику, которую можно использовать для увеличения прибыли. Это касается как выбора входов (использование специальных способов представления данных), так и выбора выходов и использования специфических функционалов ошибки.

Преимущества ИНС. В сравнение с системами статистических алгоритмов и других методов в том, что ИНС самостоятельно перепрограммируется в зависимости от ситуации и входных данных. Кроме того, нейронные сети, применяемые для управления рисками финансовых рынков, сортируют входные данные и оставляют только те потоки, которые влияют на состояние контролируемых систем и процессов.

ИНС успешной используются на Западе во многих отраслях промышленности и других сферах деятельности, которые нуждаются в чутком контроле за рисками, управлением систем и процессов. Имеет уникальную предсказательную способность на фондовых рынках при правильном построении и обучении ИНС. Учитывая ограниченность настоящей статьи, можно указать лишь некоторые примеры применения нейросетей.

А) Оценка стоимости недвижимости. Нейросетевых оценщиков недвижимости можно найти в Intemet, например, по адресам: http://www.neuralbench.ru/rus/app/realest.htm

- оценщик стоимости подмосковных дач, и

http://canopus.lpi.msk.su/nerolab/NNgallery/NNlive/nnrieltor/Neurielt.html - оценщик стоимости квартир в Москве. Пользователю достаточно заполнить стандартный бланк характеристик квартиры, включая район и степень удаленности от ближайшей станции метро, и ему мгновенно выдается средневзвешенная «рыночная» цена такой квартиры, полученная нейросетью обобщившей все накопленные в базе данные по известным предложениям.

Б) Карта состояния фондового рынка. Каждый день фондового рынка характеризуется сотнями параметров - котировками всех составляющих его акций. Можно ли как то визуализировать состояние этого рынка, ввести обобщенные координаты, наиболее полно характеризующие его? Эта задача аналогична визуализации массивов банковской информации, только вместо конкретного банка, характеризуемого своим балансом, здесь выступает исторический момент фондового рынка. В группе нейрокомпьютинга ФИАН была построена такого рода карта состояний российской торговой системы (РТС), на которой история рынка выглядит как траектория, выписывающая сложные кривые. Транспортировав базу данных, получим набор компаний-эмитентов, каждая из которых характеризуется своей историей движения акций. Теперь можно, напротив, построить самоорганизующуюся карту Кохонена всех российских компаний, кластеризующие их по степени скоррелиро-ванности рыночных движений.

Литература

1. Круглов, В.В. Искусственные нейронные сети: Теория и практика / В. В. Круглов, В. В. Борисов. - М.: Горячая линия - Телеком, 2002. -382 с.

2. Нидерхоффер, В. Практика биржевых спекуляций / В. Нидерхоффер, Л. Кеннер; пер. с англ. -М.: Альпина Паблишер, 2003. -560 с.

3. Чеботарев, Ю. Торговые роботы на российском фондовом рынке / Ю. Чеботарев. - М.: Омега-л изд-во, 2006. - 144 с.

4. О’Нил, У. Как делать деньги на фондовом рынке: стратегия торговли на росте и падении / У. О’Нил; пер. с англ. - М.: Альпина Бизнес Букс, 2005. - 329с.

5. Ежов, А. Нейрокомпьютинг и его применение в экономике и бизнесе / А. Ежов, С. Шумский. -М.: Горячая линия - Телеком, 1998. -2 22 с.

6. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика / Ф. Уоссермен; пер. с англ. -М.: Спартан Букс, 1992. - 184 с.

7. Дунин-Барковский, В. Л. Нейрокибернетика, нейроинформатика, нейрокомпьютеры /

В. Л. Дунин-Барковский. - М.: Изд-во. Мир, 1996. - 234 с.

8. Горбань, А.Н. Обучение нейронных сетей / А. Н. Горбань; пер. с англ. - М.: Изд-во. СССР-США СП “ParaGraph”, 1990. - 160 с.

9. Горбань, А.Н. Нейронные сети на персональном компьютере / А. Н. Горбань, Д. А. Россиев. -Новосибирск: Наука, 1996. - 314 с.

10. О'Нил, Уильям Дж. Преуспевающий инвестор / У. О’Нил; пер. с англ. - М.: Альпина Бизнес Букс, 2004. - 211 с.

11. Шарп, У. Инвестиции / У. Шарп, Г. Александер, Дж. Бэйли; пер. с англ. - М.: Инфра-М, 1997. - 1024 с.

12. Зейдель, Х. Управление инвестициями / Х. Зейдель, Р. Темен; пер. с нем. - М.: Финансы и статистика, 2008. - 472 с.

13. Бочаров В.В. Инвестиции: Учебник / В.В. Бочаров. -СПб.: Питер, 2008. - 384 с.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

© Р. Р. Мухаметшин - асп. каф. экономики КГТУ, [email protected], [email protected].

i Надоели баннеры? Вы всегда можете отключить рекламу.