Научная статья на тему 'Методические аспекты математико-статистического анализа медицинских данных Часть 2*. Атрибутивная статистика в медицинских исследованиях'

Методические аспекты математико-статистического анализа медицинских данных Часть 2*. Атрибутивная статистика в медицинских исследованиях Текст научной статьи по специальности «Математика»

CC BY
563
103
i Надоели баннеры? Вы всегда можете отключить рекламу.
Область наук
i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Методические аспекты математико-статистического анализа медицинских данных Часть 2*. Атрибутивная статистика в медицинских исследованиях»

© В.А.Уткин, 2009 УДК 61.001.8 (083.41)

МЕТОДИЧЕСКИЕ АСПЕКТы МАТЕМАТИКОСТАТИСТИЧЕСКОГО анализа медицинских данных

Часть 2*. АТРИБуТИВНАя СТАТИСТИКА

в медицинских исследованиях

в.а. уткин

Пятигорский государственный технологический университет

В современной медицине нечасто применяются методы атрибутивной статистики, где параметры наблюдений не измеряются непосредственно, а выражаются номинальными переменными в форме «да/ нет» или «наличествует/отсутствует», или же выносятся относительные, чаще всего субъективные суждения в виде балльных оценок, рангов по условию упорядочения, или же формируются непараметрические заключения, когда количественные результаты предпочтительней заменить их атрибутами, выразить в долях или процентах, найти моды или медианы в распределениях величин и т.п.

Недооценка роли атрибутивной статистики нередко влечет избыточность сбора экспериментального и клинического материала да еще и, как следствие, неполноту и несовершенство заключений. Встречаются и ошибочные суждения, когда к ранговым (выражаемым в баллах или оценках степени тяжести или уровней интенсивности проявлений) показателям применяются критерии вариационной статистики. Особое место занимают решения, где необходимо учесть или сопоставить совокупности наблюдений с разнотипными параметрами. Чаще всего это случаи, где оценивается динамика наблюдаемых параметров или определяется зависимость между ними, или же, напротив, сравниваются или классифицируются многомерные наблюдения с разнотипными параметрами. На самом деле

Уткин Владимир Александрович, доктор медицинских наук,профессор кафедры управления и информатики в технических системах Пятигорского государственного технологического университета, профессор кафедры организации здравоохранения и курортологии Академии последипломного образования МЗ РФ.

Тел.: 89283171627. E-mail: [email protected]

* Часть I опубликована в № 4, 2008 г

анализ данных, представленных атрибутивными переменными, обычно проще, чем если бы это были результаты измерений, но уже в силу того, что соответствующие методы и критерии нечасто встречаются в литературе и в наиболее популярных пакетах прикладных программ, это вызывает затруднения при обработке данных и подчас влечет некорректные выводы.

Данная работа посвящена методическим аспектам применения атрибутивной статистики. Не приводя формальных выкладок, мы покажем лишь возможности их применения и дадим образцы оформления результатов статистического анализа для отдельных рядов и совокупностей номинальных и ранговых переменных, а также и для случаев, когда сопоставляются ряды с переменными разного типа, поскольку немалое значение на практике имеют гипотезы об их зависимости.

Анализируя отдельный ряд номинальных переменных, мы так же, как и для вариационного ряда, представленного интервальными переменными, должны оценить не только характеристики положения и рассеяния, но и показатели динамики наблюдений. В таблице 1 приведены в последовательности применения показатели, которые как минимум могли бы охарактеризовать пусть только некоторые его особенности и дать определенные основания для выводов.

Вполне очевидно, что в первую очередь мы сопоставим доли случаев «да» и «нет» в общем числе наблюдений, выразив их непосредственно или в процентах. Реально может быть найдена и ошибка доли, и коэффициент вариации подобно тому, как это принято при анализе рядов действительных переменных. Но все же обычно в первую очередь требуется определить, достоверно ли отличие между числом случаев «да» и

Таблица 1

Характеристики для отдельного ряда номинальных переменных

Изучаемые характеристики Комментарии (ссылки на источники) 1*

доля«черного»= %, доля«белого»= % [58! с. 218-233]

Критерий знаков Z = , р < [14, с. 130-133; 105, т. 2, с. 120-122]

Несоразмерность по Хейбермену Н = , р < [8! с. 87]

Несоразмерность по Энскамби А = , р < [8! с. 87]

Отличие от ожидаемой доли Р = , рф = , Р < [24! с.52-53! 324-325]

Серийный критерий Вальда-Вольфовица V = , р < [39, с. 172-173; 100, с. 71-73; 122, с. 97]

Критерии Валлиса и Мура = ■ Р < к= !..Р< [19, с. 81; 48, с. 28-32; 84, с. 390]

Тренд-критерий Кендэла Т = ! Р < [47, с. 53-55; 48, с. 33]

Дисперсионный критерий нестационарности Х2(п - ,) = ! Р < [51, с. 180; 19, с. 370; 118, с. 192]

л - критерий нестационарности ^)...= !-£.< [19, с. 374; 100, с. 68-70; 81, с. 237-239]

Тренд-критерий Кокса и Льюиса 1 = ! Р < [5І! с. 56-62]

* В разделе «Комментарии (ссылки на источники)» указаны номера ссылок из подготовленного нами к печати справочника «Формулы и методы математической статистики». Разумеется, каждый исследователь в такой таблице волен поставить те номера по перечню авторов и те номера страниц, которые он сочтет необходимыми вынести в таблицу и в список приводимой им в конце своей работы литературы.

«нет», сколь значимо их неравновесие, велико ли отличие от середины (доли 0,5) или быть может от ожидаемого не обязательно равновесного соотношения. Первое достигается с применением критерия «знаков» [3, 4, 20], а несоразмерности и отличия от ожидаемого соотношения могут быть оценены непосредственно или с применением менее известных критериев Хейбермена и Энскамби [1, 21].

Возможно, соотношение между числом знаков «да» и «нет» или «плюс» и «минус» меняется от начала к концу ряда, или же эти соотношения проявляют периодичность, отчего сделанные нами изначально выводы окажутся сомнительными, что можно проверить, воспользовавшись непараметрическими критериями для выявления тенденций [3, 9, 10]. Этой цели могут послужить серийный критерий Вальда-Вольфовица, знакопеременные критерии Валлиса и Мура или тренд-критерий Кендэла. Они применяются для

так называемых «рядов редких событий». Когда же ряды достаточно велики, и наблюдения в них могут быть сгруппированы на равных отрезках или интервалах, можно воспользоваться опирающимися на меру %2 - Пирсона или X - Колмогорова критериями нестационарности для «рядов частых событий» [13].

В медицине особое значение имеют наблюдения, представленные «рядами редких событий», где не число событий, а интервалы времени между ними играют главенствующую роль. Это могут быть, к примеру, обострения хронически протекающих заболеваний, циклически или с некоторой тенденцией проявляющиеся симптомы нарушений сердечной деятельности в кардиологии, изменения в состоянии нервной системы и психики в неврологии или психиатрии, метеопатии и т.п. И тогда тенденции значимых изменений можно доказательно выявить с применением, в частности, критерия Кокса и Льюиса, где анали-

Таблица 2

Критерии для совокупности рядов номинальных переменных

Критерии Комментарии (ссылки на источники)

Критерий Пирсона Х2(п - 1) = ! Р < [105, т.1. с.359-361; 19, с. 370; 118, с. 192; 58, с. 482-484]

Критерий лямбда ^(Щ.= ! Р < [100, с. 68-70; 65, с. 48-52]

Критерий положения типа «омнибус» 0 = ! Р < [122! с. 123]

Критерий отличия отдельного ряда из совокупности т = ! Р < [122! с. 123]

Критерий для гипотезы контраста Йк.-.дГ ! Р < [122! с. 123]

Критерий Кохрана для равновеликих рядов с сопряженными метками Х2(п - 1) = ! Р < [14, с. 346-247; 100, с. 61-66]

«да» «нет»

Ряд X а Ъ

Ряд У с а

Рис 1. Образец четырехпольной таблицы для сравнения двух рядов номинальных переменных.

зируется динамика величин интервалов времени между событиями [12].

Когда результаты наблюдений представляют собою совокупность из нескольких рядов номинальных переменных, их однородность или неоднородность проявляется в распределении от

^ Ряд X Ряд У «да» «нет»

«да» а Ъ

«нет» с а

Рис 2. Образец четырехпольной таблицы для сопоставления двух равновеликих рядов номинальных переменных с сопряженными наблюдениями.

ряда к ряду либо только лишь удельного числа меток «да» или «нет» либо их соотношений между собою (табл. 2). Кроме сопоставления их распределений с применением критериев X или х2, бывает необходимо проверить, не проявляется ли от ряда к ряду тенденция к возрастанию или убыванию в соотношении числа меток «да» и «нет», не является ли особенным отличие отдельного ряда в совокупности рядов, а также может возникнуть и необходимость проверить гипотезу линейного контраста - гипотезу о несхожести наблюдаемой и предполагаемой нами изначально неоднородности сопоставляемых рядов номинальных пере-

менных [21]. Эти гипотезы могут быть проверены как для равновеликих, так и неравновеликих рядов наблюдений. Но тогда, когда мы имеем дело с параллельными наблюдениями номинальных величин в нескольких рядах - т.е. с равновеликими рядами с сопряженными переменными, можно воспользоваться созданным специально для этого случая критерием Кохрана [3, 11, 19].

В сопоставлениях с целью установки отличия двух неравновеликих рядов номинальных переменных (табл. 3) обычно анализируют четырехпольные таблицы (рис. 1), где в гнездах а и Ь отражается число случаев «да» и «нет» одного ряда, а в гнездах с и С - число случаев «да» и «нет» другого ряда. При этом либо используют классические четырехпольные критерии Пирсона [6, 15,

19, 20] и представляют отличие в доверительной форме р < , либо применяют точный критерий Фишера [6, 21], чтобы конкретно представить вероятность отличия в форме р = или р ~. Реже используется весьма чувствительный к отличию наблюдений непараметрический критерий Шел-линга-Вольфейля [2].

Для пар равновеликих рядов с сопряженными значениями чаще всего проверяются гипотезы типа «до/после», и в гнездах а и С четырехпольной таблицы (рис. 2) отражается число случаев совпадения меток «да» и «нет», а в гнездах Ь и с

- число случаев их несовпадения.

Применение критерия Макнимара предполагает, что учитываются только случаи несовпадения меток, т.е. лишь содержимое гнезд Ь и с и об отличии судят по величине отношения их разности к сумме [5, 19]. Полагая условием сопряженности наблюдений эквивалентность сопоставляемых параметров, иногда необходимо бывает определить долю только лишь совпадающих значений или только лишь долю случаев совпадения меток «да» в общем числе наблюдений. Иногда долю случаев совпадения меток «да» в общем числе наблюдений оценивают в соотношении с числом наблюдений за вычетом числа совпадений меток «нет». Соответствующие критерии Со-

Таблица 3

Критерии отличия для двух рядов номинальных переменных

Критерии Комментарии (ссылки на источники)

Для неравновеликих рядов и вне условия сопряженности Четырехпольный критерий Пирсона *(М - 2) = , Р < [60, с. 104; 8, с. 19]

Критерий Пирсона с поправкой Йейтса т = , Р < [8, с. 20; 58, с. 481-482]

Точный критерий Фишера - , р = [8, с.21]

Критерий Шеллинга-Вольфейля т = , р < [10, с.128-132]

Для пар рядов с сопряженными наблюдениями Критерий Макнимара с.т= ,р< [23, с.297-299; 100, с. 57-61]

Критерий Сокала и Миченера Сз= , р < [87, с. 141-143; 125, с.161-163]

Критерий Рассела-Рао с = , р < [87, с. 141-143]

Критерий Жаккара с1 = , р < д ’ м [87, с. 141-143; 125, с.161-163]

Критерий Пуассона т = , р < [14, с. 171; 71, т. 2, с. 465-466]

Таблица 4

Критерии зависимости для двух рядов номинальных переменных

Критерии Комментарии (ссылки на источники)

Коэффициент контингенции Пирсона ф = , Р < [96, с. 326-329; 23, с. 145-149, 287; 46, с. 720-725, 736, 739, 744; 19, с. 311]

Коэффициент ассоциации Юла Га = . Р < [46, с.720-725; 19, с. 308;]

Коэффициент коллигации Юла Гс = . Р < [46, с.720-725]

Коэффициент Фехнера г, = , Р < [19, с. 308; 32, с.97]

Коэффициент Сокала и Миченера Сз = ■ Р < [87, с. 141-143; 125, с. 161-163]

Коэффициент Рассела-Рао Сг = , Р <

Коэффициент Жаккара с1 = , р < д ’ г

кала и Миченера, Рассела-Рао и Жаккара чаще интерпретируются не как показатели отличия, а как меры зависимости и находят применение не только в элементарных сопоставлениях наблюдений, но и в кластерном анализе [17].

Иногда возникает необходимость сравнения числа только лишь меток «да» или только лишь меток «нет» в сопоставляемых рядах, и тогда можно воспользоваться нечасто встречающимся в литературе, но приведенным в «Математической энциклопедии» [16, т. 2, с. 465-466] критерием сравнения двух пуассоновских величин (частот событий).

Когда же анализируются зависимости для пар рядов номинальных переменных с сопряженными значениями (табл. 4), также используются четырехпольные таблицы, где в гнездах а и С отражается число случаев совпадения меток «да» и «нет», а в гнездах Ь и с - число случаев их несовпадения (рис. 2). При этом интерпретация результатов применения критериев Фехнера, Сокала и

Критерии для таблиц

Миченера, Рассела-Рао и Жаккара определенно проще, хотя и требует оговорок по смыслу их приложений [4, 8, 16]. Все же более привычным и общеупотребительным с целью только лишь установки самого факта зависимости является критерий Пирсона [4, 5, 8]. Близкие по смыслу организации и легко выражаемые один из другого коэффициенты ассоциации и коллигации Юла на практике применяются реже, и сложности интерпретации оснований к их выбору и применению не всегда бывают оправданы в достаточной мере [8].

В раздел атрибутивной статистики обычно относят и анализ таблиц сопряженности частот событий с размерностью более чем 2 Ч 2. К примеру, это могут быть размещения по патологии числа случаев смертности детей до 2-х лет в распределении по регионам. При этом для таблиц размерности т Ч п необходимо бывает определить как наличие неоднородностей в таком распределении, так и взаимосвязи градаций и ка-

Таблица 5

сопряженности М х N

Критерии Комментарии (ссылки на источники)

Критерий однородности Пирсона Х (т - 1, п - 1) , р < [46, с. 746, 748; 58. с. 479; 9, с. 35; 81, с. 121; 94, с. 190]

Критерий сопряженности Пирсона ф2 = , р < [96, с. 334-340; 58, с. 480]

В общем случае Коэффициент сопряженности Пирсона Р = , р < [96, с. 335-340; 77, с. 120, 137; 46, с. 746-751]

Коэффициент сопряженности Чупрова Т = , р < [96, с. 335-340; 77, с. 120, 137; 46, с. 746-751]

Коэффициент сопряженности Крамера с = , р < [46, с. 746-751; 8, с. 35]

Когда градации Критерий Шеллинга-Вольфейля (т х т) Б = , р < [10, с. 128-132]

и категории ранжированы Зависимость по Кендэлу и Стьюарту т = , р < [46, с. 752-758]

Зависимость по Гудмену и Краскелу д = , р < [46, с. 752-758]

Таблица 6

Критерии непротиворечивости и согласия для таблиц номинальных и ранговых переменных

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Критерии Комментарии (ссылки на источники)

Критерий непротиворечивости Кендэла и Смита П = , Р < [47, с. 157-161]

Критерий согласия Кендэла и Смита С = , Р < [47, с. 162-169]

Критерий конкордации Кендэла и Смита \ы = , Р < [47, с. 104-111]

Коэффициент конкордации для неполного латинского квадрата (квадрат Юдена) \№ = , Р < [47, с. 115-118]

Парный коэффициент ранговой корреляции Спирмена Р = , Р < [47, с. 15-18, 28-31б 48-52]

Парный коэффициент ранговой корреляции Кендэла т = , Р < [47, с. 46-47, 77-84, 140]

тегорий [8, 14, 18]. Соответствующие критерии приведены в первой части таблицы 5.

Иногда в таблицах сопряженных наблюдений градации и категории, в соответствии с которыми размещаются частоты случаев, могут быть расположены по возрастанию или убыванию их роли, т.е. ранжированы [2, 8]. И во второй части таблицы 5 приведены критерии именно для такого случая.

Особое место в атрибутивной статистике занимают экспертные оценки и критерии (табл. 6), особенно тогда, когда необходимо сформировать предпочтения в совокупности, на первый взгляд, равноценных объектов [10]. Но выражаемые однозначно в форме предпочтения или отрицания мнения отдельного эксперта по каждой позиции из предложенного перечня анализируемых наблюдений обычно образуют отнюдь не свободные от противоречий цепи. К примеру, в последовательности предпочтений объектов А ^ В ^ С ^ О объект А предпочитается объекту В, объект В предпочитается объекту С, объект С предпочитается объекту О, а тот вдруг оказывается предпочтительнее объекта В! И в целом необходимо определиться с тем, сколь велика и значима ли мера непротиворечивости эксперта, что может быть оценено с применением критерия непротиворечивости Кендэла и Смита. А если нескольким экспертам было предложено то же самое задание, то может быть оценена и мера их согласованности с применением критерия согласия тех же авторов. Ими же рассмотрен случай, когда несколько экспертов выражают

свои предпочтения не в альтернативной форме,

а, ранжируя объекты по мере предпочтения, разумеется, субъективно. Такой критерий согласованности мнений экспертов, когда каждому объекту каждый эксперт присваивает свой ранг, получил название критерия конкордации. Этот критерий может использоваться и в форме квадрата Юдена, где возможно ранжирование каждым экспертом не всех, а только некоторых, но в определенном порядке предлагаемых объектов, что без утраты эффективности может сделать экспертизу менее дорогостоящей и занять на нее меньше времени.

Когда мнения экспертов выражаются рангами, в качестве меры согласия двух экспертов могут использоваться парный коэффициент ранговой корреляции Спирмена или Кендэла, причем последний предпочтительнее, поскольку во всех случаях практических приложений он дает более надежные результаты.

Содержание данной работы оказалось бы не полным, если бы осталась без внимания область, где атрибутивные и интервальные переменные наблюдаются совместно. Чаще всего это случаи, когда необходимо установить зависимость между ними. На практике совместные наблюдения величин интервальных и атрибутивных параметров не редкость и не всегда оправданы решения, где предполагается их зависимость, а интерпретируются сравнения характеристик двух рядов интервальных переменных, один из которых соотносится с положительными, а другой - с отрицательными метками ряда номиналь-

Зависимости для рядов номинальных и действительных переменных

Таблица 7

Изучаемые зависимости Комментарии (ссылки на источники)

Точечно-бисериальный коэффициент корреляции ГРЬ = , Р < [ 23, с. 149-151, 289; 46, с. 417]

Рангово-бисериальный коэффициент корреляции ГгЬ = , Р < [ 47, с. 54 ]

Бисериальный коэффициент корреляции Фехнера Г, = , Р < [ 19, с. 308; 32, с .97 ]

ных переменных. В случае, когда не наблюдается значимых отклонений в распределении от нормального, рекомендуется применять точечно-бисериальный коэффициент корреляции [5], как и большинство других выражающий зависимость величинами, принадлежащими интервалу от -1 до +1. Зависимость между рядом интервальных и номинальных переменных, как и рядом номинальных и ранговых переменных, может быть выявлена с применением рангово-бисериального коэффициента корреляции Кендэла [10]. Если вместо значений в ряду интервальных переменных взять лишь знаки разности между ними и его средним (модой или медианой), то становится возможным непараметрический подход, где будут уже анализироваться зависимости для пары рядов номинальных переменных с сопряженными значениями, что показано выше (табл. 4). Чаще всего при этом используется основанный на таком именно подходе бисериальный коэффициент корреляции Фехнера (табл. 7) [4, 7].

Следует, вероятно, упомянуть и возможности в некоторых случаях найти числовые эквиваленты атрибутивным переменным, в частности, когда они наблюдаются совместно с интервальными переменными и, быть может, зависимы от них. Это имеет немаловажное значение, когда необходимо воспользоваться методами факторного анализа применительно к совокупности сопряженных наблюдений, где одновременно присутствуют не только интервальные, но атрибутивные параметры, и не хотелось бы ограничиваться только лишь получением факторного отображения, а еще и получить нормированные значения величин факторов в проекции наблюдений. Приведение атрибутивных переменных к виду интервальных может оказаться полезным и тогда, когда необходимо более четко и желательно количественно выразить интенсивность проявления тех или иных явно или скрыто проявляющихся симптомов или же привести в соответствие с интервальными замерами субъективные суждения, представленные в виде рангов, баллов или степеней тяжести. Эта область в математической статистике пока еще мало исследована, но в рамках вышеозначенных целей нами подробно изучены проблемы согласования метрик и получения практически полезных выводов, что с достаточной полнотой и доказательностью представлено в работе [22].

Завершая, отметим, что приведенными в данной работе методами анализа наблюдений, представленных атрибутивными переменными, конечно же, далеко не исчерпывается их многообразие. И, хотя среди них остались еще не нашедшие практического применения, существуют «белые пятна», где при сформировавшихся уже потребностях клиники и эксперимента не найдено удовлетворительных решений. В частности, это проблемы формальной классификации и диагностики для объектов с разнотипными параметрами, о чем будет сказано в следующей, заключительной работе данной серии.

литература

1. Аптон, Г. Анализ таблиц сопряженности. / Г Аптон.- М.: Мир, 1982. - 143 с.

2. Бессмертный, Б.С. Математическая статистика в клинической, профилактической и экспериментальной медицине / Б.С. Бессмертный. - М.: Медицина, 1967. - 303 с.

3. Браунли, К.А. Статистическая теория и методология в науке и технике / К.А. Браунли.

- М.: Наука, 1977. - 407 с.

4. Венецкий, И.Г. Основные математико-статистические понятия и формулы в экономическом анализе/И.Г Венецкий, В.И. Венец-кая. - М.: Статистика, 1979. - 448 с.

5. Гласс, Д. Статистические методы в педагогике и психологии / Д. Гласс, Д. Стенли. - М.: Прогресс, 1976. - 495 с.

6. Зайцев, ГН. Методика биометрических расчетов / ГН. Зайцев. - М.: Наука, 1973. - 256 с.

7. Закс, Ш. Теория статистических выводов / Ш. Закс. - М.: Мир, 1975. - 776 с.

8. Кендалл, М.Д. Статистические выводы и связи / М.Д. Кендалл, А. Стюарт. - М.: Наука, 1973. - 899 с.

9. Кендэл, М. Временные ряды / М. Кендэл.

- М.: Финансы и статистика, 1981. - 199 с.

10. Кендэл, М. Ранговые корреляции / М. Кендэл. - М.: Статистика, 1975. - 214 с.

11. Кокрен, У Методы выборочного исследования / У Кокрен. - М.: Статистика, 1976. - 440 с.

12. Кокс, Д. Статистический анализ последовательности событий / Д. Кокс, П. Льюис. - М.: Мир, 1969. - 312 с.

13. Кокс, Д. Прикладная статистика / Д. Кокс, Э.Снелл.- М.: Мир, 1984. - 200 с.

14. Крамер, Г. Математические методы статистики / Г. Крамер.- М.: Мир, 1975. - 648 с.

15. Кюн, Ю. Описательная и индуктивная статистика / Ю. Кюн. - М.: Финансы и статистика, 1981. - 126 с.

16. Математическая энциклопедия / Под ред. И.М. Виноградова. - Сов. энциклопедия, 1977-1985.

17. Парницкий, Г. Основы статистической информатики / Г. Парницкий. - М.: Финансы и статистика, 1981. - 199 с.

18. Романовский, В.И. Элементарный курс математической статистики / В.И. Романовский. - М.-Л.: Госпланиздат, 1939. - 359 с.

19. Рунион, Р. Справочник по непараметрической статистике / Р. Рунион. - М.: Финансы и статистика, 1982. - 198 с.

20. Урбах, В.Ю. Математическая статистика для биологов и медиков / В.Ю. Урбах. - М.: АН СССР 1963. - 324 с.

21. Уткин, В.А. Статистические технологии в медицинских исследованиях / В.А. Уткин. - Пятигорск: ГНИИК, 2002. - 214 с.

22. Уткин, В.А. К проблеме совместимых шкал и метрик в задачах «сжатия информации» / В.А. Уткин // Труды VIII Международной научно-технической конференции по динамике технологических систем, Ростов-на-Дону, 2007. - Т. 3.- С. 191-197.

i Надоели баннеры? Вы всегда можете отключить рекламу.