Научная статья на тему 'Подход к определению трудоемкости научно-исследовательских и опытно-конструкторских работ в энергетике с помощью нечетких экспертных оценок'

Подход к определению трудоемкости научно-исследовательских и опытно-конструкторских работ в энергетике с помощью нечетких экспертных оценок Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
264
54
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЕ РАБОТЫ / ОПЫТНО-КОНСТРУКТОРСКИЕ РАБОТЫ / ТРУДОЕМКОСТЬ / НЕЧЕТКАЯ ЛОГИКА / ЭКСПЕРТНЫЕ ОЦЕНКИ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Карякин Александр Михайлович, Грубов Евгений Олегович

Проблема экспертного определения трудоемкости научно-исследовательских и опытно-конструкторских работ в энергетике с учетом их инновационных составляющих является актуальной для оценки стоимости исследовательских проектов. Экспертные оценки выражаются с помощью лингвистических переменных, для обработки которых применяется математический аппарат теории нечетких множеств. Описаны два метода определения стоимости проекта, связанного с проведением научно-исследовательских и опытно-конструкторских работ в энергетике. Обоснована возможность применения методов нечеткой логики для реализации экспертного подхода к решению задачи. Предложена методика формирования нечетких экспертных оценок для определения степени отличия сложности исследуемого проекта от проекта-аналога. Предложенная методика позволяет обосновывать стоимость проекта, связанного с проведением научно-исследовательских и опытно-конструкторских работ в энергетике, даже в случае значительных отличий его сложности от существующих аналогов.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Карякин Александр Михайлович, Грубов Евгений Олегович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Подход к определению трудоемкости научно-исследовательских и опытно-конструкторских работ в энергетике с помощью нечетких экспертных оценок»

УДК 001.892

Подход к определению трудоемкости научно-исследовательских и опытно-конструкторских работ в энергетике с помощью нечетких экспертных оценок

А.М. Карякин, Е.О. Грубов ФГБОУВПО «Ивановский государственный энергетический университет имени В.И. Ленина»,

Иваново, Российская Федерация E-mail: [email protected], [email protected]

Авторское резюме

Состояние вопроса: Проблема экспертного определения трудоемкости научно-исследовательских и опытноконструкторских работ в энергетике с учетом их инновационных составляющих является актуальной для оценки стоимости исследовательских проектов.

Материалы и методы: Экспертные оценки выражаются с помощью лингвистических переменных, для обработки которых применяется математический аппарат теории нечетких множеств.

Результаты: Описаны два метода определения стоимости проекта, связанного с проведением научноисследовательских и опытно-конструкторских работ в энергетике. Обоснована возможность применения методов нечеткой логики для реализации экспертного подхода к решению задачи. Предложена методика формирования нечетких экспертных оценок для определения степени отличия сложности исследуемого проекта от проекта-аналога.

Выводы: Предложенная методика позволяет обосновывать стоимость проекта, связанного с проведением научно-исследовательских и опытно-конструкторских работ в энергетике, даже в случае значительных отличий его сложности от существующих аналогов.

Ключевые слова: научно-исследовательские работы, опытно-конструкторские работы, трудоемкость, нечеткая логика, экспертные оценки.

Laboriousness Estimation Approach of Research, Scientific and Development Works in Power Engineering with Fuzzy Expert Judgments

A.M. Karyakin, E.O. Grubov Ivanovo State Power Engineering University, Ivanovo, Russian Federation E-mail: [email protected], [email protected]

Abstract

Background: The expert estimation problem of research, scientific and development works laboriousness in power engineering in consideration with its innovation components is actual for estimating costs of research projects.

Materials and methods: Expert judgments are expressed by linguistic variables. The mathematical apparatus of fuzzy set theory is used for this processing.

Results: Two methods of research and development project costs estimation in power engineering are described. The possibility of fuzzy logic application of implementation of expert approach to the problem is proved. The method of fuzzy expert judgments formation is proposed for estimation of complexity differences between a project under consideration and a benchmark project.

Conclusions: The proposed method allows to estimate costs of a research and development project in power engineering even in case of significant complexity differences compared to existing benchmarks.

Key words: scientific and research works, development works, laboriousness, fuzzy logic, expert judgments.

Специфика научно-исследовательских

(НИР) и опытно-конструкторских работ (ОКР) в энергетике и других высокотехнологичных отраслях состоит в их неповторяемости, уникальности, сложности, наличии инновационной составляющей, что затрудняет разработку отраслевой и межотраслевой нормативной документации по трудовым и другим затратам для проведения НИР и ОКР. Создание нормативной документации по трудовым и другим затратам для управления производством отличается от создания такой документации для управления научно-исследовательской деятельностью и использования новой техники.

Трудоемкость научных исследований и разработок определяется некоторым количеством общественно-необходимого рабочего времени, затраченного на их проведение при определенных организационно-технических

условиях. Величина затрат труда оказывает влияние на сметную стоимость научноисследовательских работ, сроки их проведения и внедрения в производство результатов, а значит, и на повышение эффективности работы энергетических предприятий в процессе их инновационной деятельности.

Затраты труда на проведение необходимого объема НИР и ОКР определяются факто-

рами научно-производственной деятельности энергетических предприятий, НИИ и КБ. Эти факторы, в свою очередь, зависят от применяемых средств труда, организации, специализации, уровня квалификации работников, состояния опытно-экспериментальной производственной базы и др.

Между нормированием труда и его организацией существует тесная взаимосвязь, так как нормативы трудоемкости НИР и ОКР должны разрабатываться в расчете на рациональную организацию труда работников НИИ и КБ и способствовать его оптимизации. Однако в ходе проведения НИР и ОКР нормативы трудоемкости не всегда могут быть использованы для оценки рациональности трудового процесса и выбора решения того или иного варианта научной разработки, так как принятие конкретного технического решения по выполнению поставленной задачи в процессе инновационной деятельности не всегда определяется только трудовыми затратами. Необходимость разработки опытного образца новой техники с определенными техническими параметрами или параметрами проведения НИР может быть обусловлена требованиями повышения безопасности энергетической системы, создания научного потенциала и т.д. Тогда трудовые и другие затраты уже не имеют столь решающего значения, хотя и оказывают определенное влияние на эффективность НИР и ОКР.

Определение стоимости проекта, связанного с проведением НИР и ОКР в энергетике, может проводиться с использованием двух методов (рис. 1):

1. Определение стоимости проекта по уровню инноваций. При использовании данного метода требуется наличие проекта-аналога.

2. Определение стоимости проекта на основе типовых работ. При использовании данного метода требуется наличие банка типовых операций.

Рассмотрим более подробно первый из указанных методов. При его использовании стоимость НИР и ОКР по проекту определяется как произведение стоимости проекта-аналога и ряда коэффициентов:

Сп - Спа Кин Ксл Кинфл ^фоп (1)

где Сп - стоимость проекта; Спа - стоимость проекта-аналога; Кин - коэффициент инноваций, характеризующий удельный вес предполагаемых инноваций; Ксл - коэффициент сложности, характеризующий соотношение трудозатрат на проект (без учета инновационной составляющей) и трудозатрат на проект-аналог; Кинфл - коэффициент инфляции, характеризующий оценку инфляционной составляющей; Кфсп - поправочный коэффициент, учитывающий влияние на стоимость специфических факторов (например, дополнительные бонусы разработчикам за срочность работ по выполняемому проекту или проекту-аналогу).

Рис. 1. Методы определения стоимости проекта, связанного с проведением НИР и ОКР © ФГБОУВПО «Ивановский государственный энергетический университет имени В.И. Ленина»

Значения коэффициентов в общем виде могут быть определены в виде математических соотношений либо экспертным путем. Например, коэффициент инноваций можно определить из соотношения объема трудозатрат на этапы, носящие инновационный характер, к общему объему трудозатрат на проект, а значение коэффициента инфляции может быть найдено по формуле

Кинфл =П (1 + Гк), (2)

к=1

где гк - темп инфляции в к-м году; £ - число лет между периодами.

Значение коэффициента сложности Ксл для конкретного проекта может быть определено экспертным путем. При этом в силу ряда причин прямое предположение численного значения коэффициента может представлять некоторую сложность для эксперта и приводить к избыточной субъективности оценок. Существует множество свидетельств того, что в мышлении человека, как правило, используются образы, слова и иные символы, однако человек слабо способен обрабатывать числовую информацию, поэтому попытки поставить экспертам задачу, в которой от них требуется указать конкретные числовые значения (например, какого-либо коэффициента, веса, вероятности и т.д.), обычно приводят к необоснованности, субъективности и противоречивости таких оценок [1]. Более уверенными и объективными будут оценки экспертов, носящие нечисловой характер - например, опирающиеся на порядковые шкалы, ранжировки и другие виды оценок, которые могут быть вполне достаточными для принятия решений даже при отсутствии точных числовых данных о значениях каких-либо критериев.

В случае, когда получение количественных значений от экспертов затруднительно или слишком субъективно, для формирования и анализа экспертных оценок, выраженных в виде вербальных описаний, хорошо подходят методы нечеткой логики, успешно применяемые для решения задач с высокой неопределенностью, размытостью целей и начальных условий и недостатком числовой информации. Примерами подобных нечисловых экспертных оценок могут являться такие суждения, как «общественное мнение, скорее, положительное, чем отрицательное» или «стоимость изготовления опытного образца будет незначительно превышать известный аналог». Такие оценки являются вполне достаточными для определения нечетких переменных и их числовой обработки наряду с другими, более детерминированными показателями.

Нечеткая логика предоставляет математическую основу для обработки нечеткой, размытой информации и формирования правил принятия решений, описываемых человеком с

помощью вербальных конструкций. В качестве примеров успешного применения методов нечеткой логики в сферах экономики и управления можно привести оценку кредитоспособности клиентов банка с учетом их финансового состояния и нефинансовых показателей, предсказание цен на фондовых рынках, оценку кредитных и инвестиционных рисков, управление складскими запасами и др., управление техническими системами (от управления полетом баллистической ракеты до выбора оптимальной программы стирки в стиральной машине) и т.д.

Основные положения теории нечетких множеств были сформулированы Л. Заде, который ввел понятие функции принадлежности ц, для традиционного четкого множества принимающей значения 0 (не принадлежит множеству) или 1 (принадлежит множеству), а для нечеткого множества - любые значения из интервала [0;1], что означает частичную принадлежность к множеству. Он же сформулировал понятие лингвистической переменной, значения которой описываются вербально, и каждому из которых соответствует определенное значение функции ц. Над лингвистическими переменными можно производить математические операции, такие как пересечение, объединение, инверсия, сложение, умножение, композиция и другие, путем совершения определенных действий над их функциями принадлежности. Результатом таких операций являются нечеткие множества, также описываемые некоторыми функциями принадлежности [2, 3].

Для формирования значения коэффициента сложности, а также других аналогичных коэффициентов с помощью нечетких экспертных оценок может применяться представленная далее методика.

Пусть при определении стоимости проекта, связанного с проведением НИР и ОКР в энергетике, по уровню инноваций необходимо экспертным путем оценить коэффициент сложности Ксл, оценивающий соотношение трудозатрат на проект (без учета инновационной составляющей) и трудозатрат на проект-аналог. Для корректного и объективного определения значения коэффициента необходимо привлечение экспертной группы и обеспечение соответствующей организации совместной работы экспертов.

В общем виде решение задачи с помощью нечеткой логики происходит следующим образом. Сначала задается множество лингвистических переменных и их нечеткие значения описываются функциями принадлежности. Затем мнения экспертов, высказанные относительно возможного значения оцениваемого показателя, описываются на языке лингвистических переменных. Нечеткие значения могут задаваться вербально либо определяться на основе точных числовых данных. К лингвисти-

ческим переменным, выражающим полученные экспертные мнения, применяются необходимые операции (например, композиция) для расчета значения итогового показателя. В завершение итоговое нечеткое множество представляется в виде центроидного численного значения, соответствующего его «центру тяжести», на основе интерпретации которого и принимается решение.

Методика формирования значения коэффициента сложности проекта с помощью нечетких экспертных оценок включает в себя следующие этапы.

1. Определяется состав экспертной группы, включающей N экспертов, обладающих необходимым уровнем компетентности для решения поставленной задачи. Оптимальная численность группы будет определяться спецификой конкретного проекта НИР и ОКР, рекомендуемое количество экспертов - не менее 7 человек N > 7).

2. В соответствии со спецификой предметной области проекта экспертным путем задаются предельные значения коэффициента сложности Ксл, определяющие максимально допустимую степень отличия сложности (и соответственно, стоимости) проекта от проекта-аналога - как в сторону увеличения (Кслмакс), так и в сторону уменьшения (Кслмин).

Для приведения дальнейших расчетов к линейному виду в целях сокращения их вычислительной трудоемкости преобразуем значения Ксл в логарифмическую шкалу Ксл.лог. Тогда

Ксл. макс.лог |д(Ксл .макс^ Ксл.мин.лог |д(Ксл .мин).

Обозначим выбранную логарифмическую шкалу X. Таким образом, значения на ней будут

лежать в интервале ХЕ [Ксл.мин.лог; Ксл.макс.лог ].

Предположим, что проекты не могут считаться аналогами при различии в уровне сложности более чем в 10 раз, тогда предельными значениями будут являться Кслмакс = 10 и

Ксл.мин = 0,1 Следовательно, Ксл.макс.лог = |д(10) = 1;

Ксл.мин.лог = |д(0,1) 1; ХЕ [ 1; 1].

Пусть логарифмическая шкала X является дискретной с некоторым небольшим шагом 5 (например, 5 = 0,1). Допущение дискретности

шкалы существенно упрощает вычисления, необходимые для выполнения последующих операций с нечеткими множествами, при сохранении достаточной точности результатов.

3. Задается множество возможных лин-

гвистических значений коэффициента сложности. Каждое значение описывается с помощью функции принадлежности це[0; 1], дискретно определенной на шкале X: ХЕ[Ксл.мин.лог;

Ксл.макс.лог] с выбранным шагом 5, и может быть представлено, например, в табличной форме.

Лингвистические значения могут содержать в себе невысокую или высокую степень размытости утверждений. Невысокой размытости утверждений, как правило, соответствует треугольное нечеткое число, высокая степень размытости может описываться нечеткими числами с более сложной формой функции принадлежности [4].

Возможные лингвистические значения Ксл.лог представлены в таблице, а примеры соответствующих функций принадлежности - на рис. 2, 3.

Полный перечень возможных лингвистических значений Ксл.лог и соответствующих им значений ц должен быть подобран и скорректирован в процессе обучения алгоритма, реализующего настоящую методику.

4. Каждому из N экспертов предлагается высказать свое суждение относительно оценки трудозатрат на проект по отношению к проекту-аналогу путем выбора одного из предложенных лингвистических значений, перечень которых сформирован на этапе 3 (см. таблицу).

На основе суждения, выбранного /-м экспертом, значение коэффициента сложности Ксл.лог/ представляется в виде нечеткого множества:

Ксл.лог./ ={(Х,ц(Х)) | х Е X, ц(х) е[0;1]},

/ = 1,...^,

где Х - дискретные значения на логарифмической шкале Х: ХЕ [Ксл.мин.лог; Ксл.макс.лог] с шагом 5;

ц(х) - значения функции принадлежности нечеткого множества Ксл/ на шкале X, выбираемые из соответствующей строки таблицы.

Рис. 2. Функция принадлежности лингвистического значения Рис. 3. Функция принадлежности лингвистического значения

нечеткой величины «Умеренно выше аналога» нечеткой величины «Скорее ниже, чем выше аналога»

Лингвистические значения коэффициента сложности

Лингвистические

значения

Значения функции принадлежности ц при данных значениях по шкале X

-1,0 | -0,9 | -0,8 | -0,7 | -0,6 | -0,5 | -0,4 | -0,3 | -0,2 | -0,1 | 0,0 | 0,1 | 0,2 | 0,3 | 0,4 | 0,5 | 0,6 | 0,7 | 0,8 | 0,9 | 1,0

Невысокая степень размытости утверждений

Многократно ниже аналога 0 0,2 0,6 1 0,6 0,2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Существенно ниже аналога 0 0 0 0,2 0,6 1 0,6 0,2 0 0 0 0 0 0 0 0 0 0 0 0 0

Умеренно ниже аналога 0 0 0 0 0 0,2 0,6 1 0,6 0,2 0 0 0 0 0 0 0 0 0 0 0

Незначительно ниже аналога 0 0 0 0 0 0 0 0,2 0,6 1 0,6 0,2 0 0 0 0 0 0 0 0 0

Почти не отличается от аналога 0 0 0 0 0 0 0 0 0,2 0,6 1 0,6 0,2 0 0 0 0 0 0 0 0

Незначительно выше аналога 0 0 0 0 0 0 0 0 0 0,2 0,6 1 0,6 0,2 0 0 0 0 0 0 0

Умеренно выше аналога 0 0 0 0 0 0 0 0 0 0 0 0,2 0,6 1 0,6 0,2 0 0 0 0 0

Существенно выше аналога 0 0 0 0 0 0 0 0 0 0 0 0 0 0,2 0,6 1 0,6 0,2 0 0 0

Многократно превышает аналог 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0,2 0,6 1 0,6 0,2 0

Высокая степень размытости утверждений

Умеренно или существенно ниже аналога 0 0 0,2 0,5 0,8 1 1 1 0,6 0,2 0 0 0 0 0 0 0 0 0 0 0

Умеренно или существенно выше аналога 0 0 0 0 0 0 0 0 0 0 0 0,2 0,6 1 1 1 0,8 0,5 0,2 0 0

Скорее ниже, чем выше аналога 0 0 0 0,2 0,5 0,8 1 1 1 1 1 0,6 0,2 0 0 0 0 0 0 0 0

Скорее выше, чем ниже аналога 0 0 0 0 0 0 0 0 0,2 0,6 1 1 1 1 1 0,8 0,5 0,2 0 0 0

Обязательно ниже аналога, но неизвестно насколько 1 1 1 1 1 1 1 1 1 0,8 0,1 0 0 0 0 0 0 0 0 0 0

Обязательно превышает аналог, но неизвестно насколько 0 0 0 0 0 0 0 0 0 0 0,1 0,8 1 1 1 1 1 1 1 1 1

5. Для нахождения интегральной экспертной оценки значения коэффициента Ксл.лог в виде нечеткого множества применяется мак-симинное правило композиции нечетких множеств:

Ксл.лог.1 ° ... ° Ксл.лог.Ы =

У >

х, ц(х) = тах { тіп ( щ (), ..,Н-и (хы)) } | х є X

X=!=— Л N )

Чхь...,Чхы,

(4)

где Ксл.лог.1 ° ... ° Ксл логЛ - композиция нечетких множеств, определенных на логарифмической шкале X; х1, ..., х^/ - дискретные значения на логарифмической шкале X, которым соответствуют значения функций принадлежности

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

множеств Ксл.лог.1, ..., Ксл.лог.№ ц1(x1), ..., цN(xN) -

значения функций принадлежности множеств Ксл.лог.1, .., Ксллогл, соответствующие значениям Х1, ..., Х^

В связи с дискретным характером шкалы X значения х, получаемые в ходе расчета по формуле (4), будут округляться до ближайшего шага 5.

Таким образом, интегральная экспертная оценка значения коэффициента Ксл.лог также будет представлять собой нечеткое множество, описанное с помощью функции принадлежности це[0; 1], дискретно определенной на шкале X: ХЕ [Ксл.мин.лог; Ксл.макс.лог] с выбранным шагом 5.

6. Искомое значение коэффициента Ксл.лог определяется как центроидное численное значение полученного нечеткого множества:

м

X Х1 -ц/

К = _______ (5)

''сл.лог.числ м ’ ' '

&■

/=1

где М - число дискретных значений на множестве X.

Для перехода от логарифмической шкалы к исходной полученное значение необхо-

димо использовать в качестве показателя степени:

К — 10Ксл.лог.числ

/\Сл

(6)

7. Значение Ксл, полученное на этапе 6, представляет собой искомый коэффициент, который может быть использован при определении стоимости проекта по формуле (1). Однако при принятии решений необходимо учитывать уровень неопределенности, возникающий в процессе определения значения коэффициента, и соответствующие погрешности этого значения. Для оценки таких погрешностей необходимо определить степень размытости нечеткого множества, соответствующего значению коэффициента Ксллог.числ, по формуле

M

I*,2

•Ц-i

i—1

( M ^

I xi •Ц i—1

, M

IЦ/

M

&■

i—1

(7)

Для перехода от логарифмической шкалы к исходной полученное значение необходимо использовать в качестве показателя степени:

ст = 10°л°г. (8)

Хорошим практическим приближением полученной экспертной оценки значения коэффициента сложности будет являться случайная величина, имеющая нормальное распределение и описываемая математическим ожиданием Ксллог.числ и стандартным отклонением Стлог, где значения Ксллог.числ и Стлог рассчитываются по формулам (5) и (7).

Из свойств нормального распределения следует предположение, что прогнозируемое значение коэффициента сложности не будет выходить за пределы Ксл.шг.числ ± 3стлог с вероятностью 99,73 %, Ксллог.числ ± 2стлог с вероятностью 95,45 %, Ксллогчисл ± стлог с вероятностью 68,27 %.

Для перехода от логарифмической шкалы к исходной следует использовать формулы (6) и (8).

Предложенная методика может быть реализована с помощью программного обеспечения, которое должно обеспечивать взаимодействие экспертов с информационным хранилищем в диалоговом режиме, выполне-

ние соответствующих расчетов, а также хранение и обработку исходных данных и результатов расчетов.

Перед началом практического применения информационной системы расчетный алгоритм должен пройти этап обучения. Обучение алгоритма должно производиться на известных прецедентах путем предъявления системе ряда проектов, для которых известны отличия от аналогов (входные факторы) и стоимость выполнения проекта (выходной параметр). В процессе обучения подбираются лингвистические значения коэффициента сложности и соответствующие им функции принадлежности таким образом, чтобы сумма квадратов отклонений прогнозируемых коэффициентов сложности от фактических была минимальной.

Таким образом, предложенная методика позволяет обосновывать стоимость проекта, связанного с проведением НИР и ОКР в энергетике, даже в случае значительных отличий сложности работ от существующих аналогов.

Список литературы

1. Орлов А.И. Теория принятия решений. - М.: Экзамен, 2006. - 576 с.

2. Заде Л. Понятие лингвистической переменной и ее применение к принятию приближенных решений. - М.: Мир, 1976. - 167 с.

3. Грубов Е.О., Карякин А.М. Система поддержки принятия решений в вузе с использованием методов нечеткой логики. - Деп. в ВИНИТИ, №2455-В99 / Иван. гос. энергет. ун т. - Иваново, 1999.

4. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику [Электронный ресурс]. - Режим доступа: http://matlab.exponenta.ru/fuzzylogic/book1/index.php

References

1. Orlov, A.I. Teoriya prinyatiya resheniy [Decision Making Theory]. Moscow, Ekzamen, 2006. 576 p.

2. Zade, L. Ponyatie lingvisticheskoy peremennoy i ee primenenie k prinyatiyu priblizhennykh resheniy [Concept of Linguistic Variable and Its Application to Approximate Solutions]. Moscow, Mir, 1976. 167 p.

3. Grubov, E.O., Karyakin, A.M. Sistema podderzhki prinyatiya resheniy v vuze s ispol’zovaniem metodov nechet-koy logiki [Support Decision Making System of Higher Educational Institution with Using Fuzzy Logic Methods], deposited in VINITI, №2455-V99. Ivanovo, 1999.

4. Shtovba, S.D. Vvedenie v teoriyu nechetkikh mnozhestvi nechetkuyu logiku [Introduction to Fuzzy Set Theory and Fuzzy Logic]. Available at: http://matlab.exponenta.ru/fuzzylogic/book1/index.php

Карякин Александр Михайлович,

ФГБОУВПО «Ивановский государственный энергетический университет имени В.И. Ленина», доктор экономических наук, профессор, декан факультета экономики и управления, телефон (4932) 26-97-48.

Грубов Евгений Олегович,

ФГБОУВПО «Ивановский государственный энергетический университет имени В.И. Ленина», кандидат экономических наук, доцент кафедры менеджмента и маркетинга, телефон (4932) 26-97-48.

i Надоели баннеры? Вы всегда можете отключить рекламу.