Научная статья на тему 'Оценка неопределенности сложных нечетких систем'

Оценка неопределенности сложных нечетких систем Текст научной статьи по специальности «Математика»

CC BY
527
107
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
НЕЧЕТКАЯ ЛОГИКА / НЕОПРЕДЕЛЕННОСТЬ / МЕРА / ЭНТРОПИЯ / СЛОЖНЫЕ СИСТЕМЫ / ЭКОНОМИКА / FUZZY LOGIC / UNCERTAINTY / MEASURE / ENTROPY / COMPLEX SYSTEMS / ECONOMICS

Аннотация научной статьи по математике, автор научной работы — Федотов Владислав Харитонович, Новожилова Нина Васильевна

Предложена методика оценки неопределенности сложной, открытой системы на основе нечеткой логики. Введены различные меры нечеткости (нечеткая энтропия, нечеткие моменты). Обсуждается возможность их применения к управлению экономическими системами.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

ABOUT THE DETERMINATION OF THE MEASURE OF ORDERING ARTIFICIAL SYSTEMS

The offered methods of the estimation to uncertainties complex, open system on base of the fuzzy logic. They are incorporated different fuzzy measures (fuzzy entropy, fuzzy moments). The possibility of their using is discussed to management economic system.

Текст научной работы на тему «Оценка неопределенности сложных нечетких систем»

—673013,7 руб., а в расчете на 1 га пашни 15 сельхозорганизаций -431,7 руб. (673013,7 руб. : 1559 га).

Динамику научно-технического развития земледелия и его фактический уровень не менее точно отражает и такой индикатор, как производство зерна в расчете на 100 га пашни. Так, в 2009 г. в колхозе в расчете на 100 га пахотных земель производилось 1338 ц зерна, в сельхозорганизациях района - 1086 ц, в сельхозпредприятиях республики в целом - 1145 ц.

Таким образом, инновационный процесс - это единый и непрерывный процесс трансформации научных разработок в новые технологии массового, крупносерийного производства и доведения их до использования непосредственно в практической деятельности. Инновационное развитие означает внедрение результатов научных исследований и опыта передовых сельскохозяйственных организаций в производство.

Использование результатов достижений колхоза «Ленинская искра» в сельхозорганизациях республики позволило бы получить дополнительно 3160 тыс. ц зерна (7801 тыс. ц при урожайности 39 ц - 4640.0 тыс. ц при урожайности 23,2 ц, что имело место в 2009 г.). Фактически это соответствует уровню валового сбора зерна 2007 г., полученному сельхозорганизациями в объеме 3202 тыс. ц.

Более того, произведя экологически чистое зерно, картофель, молоко и мясо, колхоз насыщает продовольственный рынок наукоемкой диетической продукцией, необходимой для организации полноценного здорового питания. Это является ответом предприятия на реализацию Доктрины продовольственной безопасности. Принятие этого важного законодательного акта показало, что не «невидимая рука рынка», а государство определяет задачи российской аграрной экономики, активно регулируя развитие агропромышленного производства.

Литература

1. Курцев И. Пути инновационного развития АПК Сибири // Экономист. 2008. № 8. С. 27-32.

2. Продовольственное обеспечение населения - первостепенная стратегическая задача. Дискуссионный клуб// Экономика сельского хозяйства России. 2010. № 12. С. 55.

3. Статистика науки и инновации. Краткий терминологический словарь / под ред. Л.М. Гохберга. М.: ЦИСН, 1996. С. 30-31.

4. Толкачев С. Поиск модели неоиндустрии России // Экономист. 2010. № 12. С. 26-43.

5. Федорова Н.В. Эффективность воспроизводства почвенного плодородия в системе земледелия // АПК: Экономика, управление. 2010. № 12. С. 84-90.

ФЕДОРОВА НАТАЛИЯ ВАЛЕНТИНОВНА. См. с. 481.

УДК 004.9:У(075.8)

В.Х. ФЕДОТОВ, Н.В. НОВОЖИЛОВА ОЦЕНКА НЕОПРЕДЕЛЕННОСТИ СЛОЖНЫХ НЕЧЕТКИХ СИСТЕМ

Ключевые слова: нечеткая логика, неопределенность, мера, энтропия, сложные системы, экономика.

Предложена методика оценки неопределенности сложной, открытой системы на основе нечеткой логики. Введены различные меры нечеткости (нечеткая энтропия, нечеткие моменты). Обсуждается возможность их применения к управлению экономическими системами.

V.Kh. FEDOTOV, N.V. NOVOZHILOVA ABOUT THE DETERMINATION OF THE MEASURE OF ORDERING ARTIFICIAL SYSTEMS

Key words: fuzzy logic, uncertainty, measure, entropy, complex systems, economics.

The offered methods of the estimation to uncertainties complex, open system on base of the fuzzy logic.

They are incorporated different fuzzy measures (fuzzy entropy, fuzzy moments). The possibility of their using is discussed to management economic system.

Нечеткая логика - один из общих подходов к описанию сложных систем в условиях неопределенности. Методы нечеткой логики («мягкие вычисления») позволяют оперировать с недоопределенными, размытыми объектами и при-

нимать обоснованные решения при недостатке информации. Между формализмом нечеткой логики и мерой энтропии в теории информации интуитивно прослеживаются определенные аналогии. Эти вопросы продолжают дискутироваться в литературе, подтверждая их актуальность [1, 3-5].

Экономические системы характеризуются сложностью, открытостью и неопределенностью. Они могут быть описаны иерархическими нечеткими структурами, которые можно интерпретировать как состояния системы и субъективные вероятности этих состояний. Одной из основных макроскопических характеристик состояния системы является энтропия. Целью работы является разработка методики измерения нечеткости сложной системы.

Классическая энтропия. В теории информации в качестве меры неопределенности дискретной системы Э аксиоматически вводится логарифмическая энтропия Шеннона-Хартли [2]

Н{Э) = -/<Ер/1одар,> 0, /=1,...,л, (1)

где к- константа (примем к=1); р,- вероятность (классическая) /-го состояния; п - число состояний; Ер,=1 - закон сохранения (полная группа несовместных событий, закрытая система); а> 1 - параметр шкалы измерения. Ниже используется двоичная (битовая) шкала а=2.

Если все р =1/л, то энтропия достигает максимума Нтах=\одп. Энтропия достигает минимума Нт/п=Нт(-Ер/1одар,)->0, если одно состояние достоверно Р/г-И, а другие - невозможны р; —>0, /#-.

Энтропия СЛОЖНОЙ системы. Сложной системой Эсложн назовем объединение к>2 подсистем по принципу декартова произведения. Энтро-

пия бинарной системы:

/"/(Зсложн) = Н^г) = — 22р/у 1одар//, /=1,..., п,у=1,..., гп. (2)

При объединении к независимых подсистем энтропии складываются (аддитивность):

ОД^,...^ = ОД)+ Н^з) Н^,,), (3)

При объединении зависимых подсистем энтропия сложной системы становится меньше суммы энтропий ее подсистем (теорема сложения полных условных энтропий):

Н^+Нф!^) +Н(53|51,52)+...+Н(5л|51,52,...,5л_1)<ЕН(5/), 7=1,- ,к, (4)

где /-/(Зг^ч) - полная условная энтропия относительно 5-| (степень неопределенности 32, остающаяся после того, как состояние 5-| полностью определилось) и т.д.

Из закона сохранения следует, что энтропия закрытой системы с одним состоянием равна нулю, так как это состояние достоверно р-|=1. Энтропия системы с двумя состояниями изменяется в интервале [0,1]. Минимум достигается для несовместных состояний р-|=1, Рг=0, максимум - для равновероятных р1=р2=1/2. Энтропия системы стремя состояниями изменяется в интервале [0,1.6] и т.д.

Энтропия нечеткой системы. Нечеткую систему Э представим набором взаимосвязанных нечетких множеств (НМ) - подсистем. Нечеткое множество А - это совокупность упорядоченных пар Д={х,цА(х)}, где хеАси - элементы (носитель), и - универсум, дл(х)еМ=[0,1] - функция принадлежности, М -множество принадлежностей (нормализованное). Функция принадлежности отражает степень принадлежности элемента х множеству А с точки зрения эксперта - субъективная, аксиологическая вероятность (аналог закона распределения случайной величины).

Свойства субъективных вероятностей отличаются от свойств классических вероятностей. Мощность нечеткого множества £ц,-^ 1 - не выполняется

закон сохранения (неполная группа несовместных состояний, открытая система). Это отклонение может быть в любую сторону, следовательно, экспертные мнения могут перекрываться или не отражать все возможные ситуации. Соответственно, ряд теорем теории вероятностей может не выполняться. Значение |j=0.5 (точка перехода) соответствует максимальной нечеткости - х одновременно «принадлежит» и «не принадлежит» А. Нечеткость минимальна при |j=1 или |j=0. Четкое множество А*, ближайшее к нечеткому множеству А, определяется так: цА.= 0 если Цл^0.5 и Цл*=1 если Цл^0.5. Нечеткое дискретное множество будем записывать в виде суммы (объединения)Д=£цА/> /=1,...,л.

Энтропию (меру нечеткости) А, аналогично классической энтропии (принцип нечеткого обобщения Л. Заде), введем как сложную функцию от субъективных вероятностей:

Н(Д) = ЕР(цл(х,)),/=1,...,л. (5)

где F- функция меры энтропии (энтропийная функция).

Антиэнтропию (меру четкости) естественно рассматривать как дополнение к энтропии:

-.Н(А) = 1 -ЕР(цл(х,)),/=1,...,л. (5')

В закрытых системах (единичной мощности) выполняется, как минимум, один закон сохранения Е|л.,=1, что эквивалентно нормированию субъективных вероятностей:

М-/норм — Ц-//2Ц./, 2ц./ норм — "I I i~ 1,...,Л. (6)

Соотношения (5),(5') с учетом (6) примут вид:

Н норм (А) = TF(\iA(Xi) норм) > “'^норм

(Л) - 1 Y.F(цл(Х/) норм)> i~^ > ■ ■ ■ (5 )

Нормированная энтропия (антиэнтропия) измеряет нечеткость (четкость) закрытой системы S.

Простейшая нечеткая система описывается одним НМ S ={Д}. Если в качестве F использовать классической энтропию Шеннона (1), то соотношение (5") по форме полностью совпадет с ней:

1~1 норм(^) 2 (X/ норм log [1/ Норм> 1~ 1, ■ ■ ■ (1 )

При ее использовании для сравнения энтропий разных нечетких систем возникает проблема сопоставимости. Она связана с тем, что мощность различна не только для разных нечетких систем, но и для разных экспертов или разных опытов одного и того же эксперта. При этом энтропия разных систем будет измерена в разных шкалах. Чтобы избежать этого, можно использовать максимальный (по всем системам) нормировочный коэффициент либо отказаться от нормирования. Для этих двух вариантов выражения для энтропии, соответственно, примут вид:

Hconoci(S) = -I (ц//тахЕц/) log (д,/ max I|i,), /=1,...,л, (1")

/^не_норм (S) = — S (X/logji/, /=1,...,л. (1 )

Все три варианта (1')-СГ") являются нечеткими аналогами классической энтропии Шеннона.

Если существует ТОЛЬКО ОДНО состояние Л=1, ТО ДгЕй* Д/ норм=1, login, норм=0 и ННОрм=0. Приравняв производную правой части (1"') к нулю, найдем, что максимум Нне норм “0.53 (максимальная неопределенность) достигается при |j~0.37.

Влияние аксиоматики. Функция меры энтропии обычно вводится аксиоматически [1,5]: 1) Н(А) = 0 тогда и только тогда, когда А - обычное множество; 2) Н(А) = max тогда и только тогда, когда все |iA(x,) = 0.5, /=1,...,л; 3) Н(А) = Н(-пА) -симметрия относительно точки перехода цА= 0.5; 4) др. Вид функции и набор аксиом может быть другим. Цель - правдоподобные выводы.

Анализ показывает, что для измерения энтропии на практике достаточно четных (или близких к ним) нормированных (желательно на единицу) функций,

удовлетворяющих аксиомам: 1) F(0)=F(1)=0, F(0.5)=1; 2) симметрия по точке перехода. Тогда в качестве аналога классической энтропийной функции и ан-тиэнтропийной функции можно принять следующие:

Рт(ц) = 1- (2| ц-0.5|) т, Fm(ii) = 1 - Fm(iL), т = 1,2,3... (7)

Линейная F-1 = 1—2| ц-0.5, квадратичная F2 = 1 —(2| ц-0.5| )2и т.д. Благодаря вертикальной симметрии и нормировке они дают вполне ожидаемые и правдоподобные оценки.

Соответствующие выражения для энтропии и антиэнтропии запишутся Hm(S) = Е[1 - (2| ц 0.5|) т], Hm(S) = £ (2| ц0.5|) т,), /=1,... ,л. (7')

Влияние носителя. В рассмотренных выше соотношениях для измерения энтропии нечеткой системы S не участвует ее носитель хеА. Влияет ли он на меру неопределенности?

Рассмотрим две нечетких системы А \л В с разными носителями, но одинаковой энтропией. Тогда Н(А) = ZF (|л.А(х,)) = Н(В) = ZF (|л.А(х,)), /=1,...,л. Это необходимое условие равенства энтропий двух нечетких систем. Оно накладывает ограничение на выбор одного (любого) из значений д и будет также и достаточным, если найденное значение де [0,1].

Пример. Пусть Д=0.5/1+1/2+0.5/3, 6=0.1/2+0.5/3+9/4 - знаком вопроса показано неизвестное значение Цз(В). Вычислим Нне_норм(А) = - [0.5log0.5+ 1од1 + + 0.51од0.5] = 1. Тогда, например из (1'") получим ц31одц3=1-0.33-0.5=0.17. Отсюда д3«0.035. Используя найденное значение ц3, вычислим Нне_норм(В) = = - [0.1 Iog0,1 + 0.5log0,5 + 0.0351од0.035] = 1.001. Ненормированные энтропии совпали и с точки зрения нечеткости эти две системы стали неразличимы, что выглядит неправдоподобно.

Этот пример показывает, что носитель тоже может влиять на меру энтропии. Для учета носителя нечеткой системы введем обобщенную энтропию на основе аддитивной функции интенсивности, введенной нами для четких систем [4]:

F(y, а) е= -2а, In у,, /= 1,... ,л. (8)

где а=а,>0 - веса состояний; у={у}е [0,1] - меры состояний; In - логарифм (натуральный или др.).

Ее свойства: 1) неотрицательность F>0; 2) растет с ростом л; 3) если все у,—» 1, то F->Fm/n=0; 4) если одно из у,—>0, то F->°о; 5) монотонно убывает по у, выпукла вниз, не имеет перегибов - частные производные <5F/9y = -а/у <0, 52F/9y2= а,/у 2>0,..., <)nF/()y"= (-1)л(л-1)!а,/ул; 6) равномерное значение - если все у=у, то F= -InyZa,; 7) равновесное значение - если все а,=а, то F= - aZIn у; 8) равномерно-равновесное значение - если все у=у и все а,=а, то F= - na In у.

Применительно к нечетким системам меры и веса можно интерпретировать по-разному (нечеткая семантика - fuzzy semantic, fsp). Если за веса принять нормированные значения состояний а=хнорм, а за меры - субъективные вероятности у=ц(х), то обобщенная энтропия системы S в нечеткой семантике fs-i запишется

AWS, fs-1) Ex,Норм log (j,/, /— 1,...,л, (8)

где х, норм = fa - minx,)/(maxx, - minx,) - нормированные значения состояний х, норме (0,1]; |u,(x,)e (0,1] — субъективные вероятности ненормированных значений соответствующих состояний. Чтобы избежать неопределенности в случае единственного состояния (x,=maxx,=minx,), примем х,Норм=1-

Возможна и двойственная семантика. Веса - субъективные вероятности а=д, а меры - нормированные значения состояний у=х. Обобщенная энтропия в семантике fs2 запишется

Нобщ (S, fe2) , log х, норм, i~ 1, ■ ■ ■,л. (8 )

Из (8'),(8") следует, что ненормированная энтропия и энтропия Шеннона -частные случаи обобщенной энтропии (в выбранной семантике) при Х/НОрм=Ц/-При постоянных ц,=ц получим Н0бщ(5, /яО = - 1од|Д>/норм, Н0бщ(5, /з2) = - цБод Х/норм- Если постоянен шаг значений (равномерная сетка) состояний Ах=Мп, то Х/норм= Нп И Ех,норм= (1/п)Е/ = 0.5(1 +п), Е1одх/норм= Бод(//л)< 0. Если постоянны вероятности и шаг, то Н0бщ (Э, fs■^) = -0.5(1+л)1од ц, Н0бщ(5, /з2) = - цЕ1од(//л). Усредненные значения соответствуют переходу к большему беспорядку.

Отметим, что функция интенсивности в обобщенной энтропии зависит от двух параметров, симметрична относительно нулевой вертикали и не нормирована. Для практического использования ее удобнее сдвинуть по обеим горизонтальным осям на +0.5 и пронормировать. Аналогично можно использовать и двухмерную функцию параболоидного типа (7):

Рт(у,а) = 1- [2| у- 0.5|) т + (2| а- 0.5|) т], т = 1,2,3... (7")

Другие характеристики нечетких систем. Функция интенсивности (8) и обобщенная энтропия напоминают средневзвешенное (математическое ожидание, центр тяжести, первый начальный момент) случайной величины (в логарифмической шкале при р, = ц,-и единичной мощности Ец,=1). Применим и другие (кроме энтропии) характеристики случайных величин к нечетким системам. Нечеткие моменты по аналогии с [2] определим так:

МГ(А ) = Тх,\А) д,-(А) / Хд,(А),п= 1,2,3,... (9)

Первый момент назовем «нечетким» средним, второй - «нечеткой» дисперсией и т.д. Нечеткие моменты характеризуют нечеткость системы по двум направлениям х и д, и их также можно рассматривать как аналоги обобщенной энтропии.

Энтропия сложной нечеткой системы. Сложной нечеткой системой назовем нечеткое объединение взаимосвязанных нечетких подсистем. Определим энтропию такой системы как энтропию декартова произведения ее подсистем в некоторой семантике (предметной области). Тогда энтропия сложной системы из двух подсистем в «тах-гтнп» семантике Заде запишется:

Н(5сложн) = /-/(Э1,Э2) =Н(51)хН(52) = ХХтт(д„ |а,)/тах(х,, х),

/=1,...,л;у=1,...,/<. (10)

В общем случае 5СЛ0ЖН = {5-|,52,...,5л} для произвольной семантики fsr^.

сложи) XX X (|Л-. 1Л '.....1Л . ) / /52(Х,1 ,Х/2,... ,Х/Л),

/1=1,..., Пь /2=1л2;..., /*=1,..., Пк, (100

где fs■^ - Т-норма (обобщение операции гтнп), /з2 - 5-норма (обобщение операции тах).

Выводы. Различные энтропии дают различные оценки нечеткости, не всегда совпадающие даже качественно. Классическая энтропия и ее аналоги (нормированная, ненормированная и обобщенная энтропии) зависят только от субъективных вероятностей, но не зависят от носителя нечеткой системы. Все они являются частными случаями сопоставимой энтропии. Классическая энтропия применима только к системам единичной мощности Хд,=1 (полной группе несовместных состояний, с законом сохранения, закрытых), остальные -для систем любой мощности Хд,?И (без закона сохранения, открытых). Все аналоги классической энтропии являются, в свою очередь, частными случаями обобщенной энтропии (в семантике-1 или 2), зависящей не только от субъективных вероятностей, но и от носителя нечеткой системы. Обобщенная энтропия в семантике-1 дает наиболее информативные (правдоподобные) оценки меры нечеткости. Двойственная энтропия может трактоваться как мера четкости. Сопоставимая энтропия дает оценки, близкие к двойственной, но без учета носителя (таблица).

Сравнительная оценка характеристик нечетких систем

№ Сложная система 5={А,В}, А,В - нечеткие подсистемы Закрытая (мощность=1) Открытая система (мощность ?И)

Ннорм Нсопост Нненорм Нобщ (fsi) Нобщ [fS2) Mi М2

1 А=0.5/1+1/2+0.5/3 1.00 1.00 1.00 1.00 1.00 2 4.5

6=0.1/2+0.5/3+0.035/4 0.65 0.32 0.50 5.34 0.50 2.9 8.6

Отношение характеристик А /В 1.54 3.14 2.00 0.19 2.00 0,69 0,52

Нечеткость сложной системы 1 2.51 - 3.00 17.67(11.9) 1.6(3.05) 2.95 5.72

2 А= 0.3/1 +1/3+0.5/4+0.2/5 1.24 1.24 1.49 0.75 1.21 3.15 11.15

В= 0.1/1 +0.5/3+0.2/4 0.88 0.55 0.80 2.99 0.29 3 9.75

Отношение характеристик А /В 1.42 2.27 1.87 0.25 4.20 1.05 1.14

Нечеткость сложной системы 1 3.35 - 5.17 18.71 (10.33) 0.49 (3.66) 4.08 10.33

3 А= 0.1/1 +0.2/2+0.3/3+0.4/4 1.38 0.88 1.38 3.25 0.49 3 10

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

В= 0.6/6+0.7/7+0.8/8+0.9/9 1.49 1.49 0.84 0.53 1.58 7.7 60

Отношение характеристик А /В 0.93 0.59 1.65 6.05 0.31 0.39 0.17

Нечеткость сложной системы 1 3.53 - 6.06 17.41 (10.84) 2.17(3.71) 4.5 30.67

4 А= 0.1/1 +0.2/2+0.3/3+0.4/4 1.38 0.88 1.38 3.25 0.49 3 10

В= 0.5/6+0.7/7+0.8/8+1/9 1.47 1.47 0.76 0.39 1.58 7.8 62

Отношение характеристик А /В 0.94 0.60 1.82 8.44 0.31 0.38 0.16

Нечеткость сложной системы 1 3.53 - 6.06 17.41 (10.84) 2,17(3.71) 4.5 30.67

5 А= 0.5/1 +0.5/2+0.5/3+0.5/4 1.50 1.29 1.50 2.00 1.09 2,5 7.5

В= 0.5/6+0.7/7+0.8/8+1/9 1.47 1.47 0.76 0.39 1.58 7.8 62

Отношение характеристик А /В 1.02 0.88 1.98 5.19 0.69 0.32 0.12

Нечеткость сложной системы 1 6.0 - 3.58 8.0 (6.0) 4.3(11.4) 5.63 61.3

Сравнительная оценка (0-5 баллов) 2 4 3 5 4 3 3

Примечание. Прочерк (-) означает, что оценка не имеет смысла (только для сопоставления двух систем). В скобках показано значение в семантике произведения, а перед скобкой - значение в семантике Заде.

Управление сложной системой. Из (8), (10) следует, что энтропия нечеткой системы не обязательно равна сумме энтропий ее подсистем. Эффективное управление предполагает снижение энтропии сложной нечеткой системы за счет подходящей реорганизации ее структуры. Это можно сделать за счет изменения: 1) экспертных оценок; 2) значений состояний; 3) состава подсистем; 4) связей между подсистемами.

При анализе сложных нечетких систем целесообразно использовать и другие «мягкие» вычисления (гибридные сети и др.). Это требует привлечения не только экспертов в предметной области, но и специалистов по анализу данных (Data Mining) и дополнительных затрат. Лучшим решением для этого, по нашему мнению, является разработка нечеткой экспертной системы.

Литература

1. Аверкин А.Н. Нечеткие множества в моделях управления и искусственного интеллекта / А.И. Аверкин, И.З. Батыршин, А.Ф. Блишун и др.; под общ. ред. Д.А. Поспелова. М.: Наука, 1986.

2. Вентцель ЕС. Теория вероятностей. М.: Наука, 1964.

3. Орлов AM. Нечисловая статистика. М.: МЗ-Пресс, 2004.

4. Федотов В.Х. Об определении меры упорядоченности искусственных систем // Вестник Чувашского университета. 2009. № 3. С. 521-531.

5. De Luca A., Termini S. A definition of a non-probabilistic entropy in the setting of fuzzy sets theory // Information and Control. 1972. Vol. 20. P. 301-312.

ФЕДОТОВ ВЛАДИСЛАВ ХАРИТОНОВИЧ - кандидат химических наук, доцент кафедры информационных систем, Чувашский государственный университет, Россия, Чебоксары (fvh@inbox.ru).

FEDOTOV VLADISLAV KHARITONOVICH - candidate of chemical sciences, assistant professor, Chuvash State University, Russia, Cheboksary.

НОВОЖИЛОВА НИНА ВАСИЛЬЕВНА - кандидат экономических наук, доцент кафедры информационных систем, Чувашский государственный университет, Россия, Чебоксары (mallln@mall.ru).

NOVOZHILOVA NINA VASILYEVNA - candidate of economics sciences, assistant professor, Chuvash State University, Russia, Cheboksary.

i Надоели баннеры? Вы всегда можете отключить рекламу.