CC BY
11ИНФОРМАЦИОННО-ТЕЛЕКОММУНИКАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ
УДК [004.946:658.62]:[338.47:654.15]
МЕТОДИКА МОНИТОРИНГА И ОЦЕНКИ КАЧЕСТВА ТЕЛЕКОММУНИКАЦИОННЫХ УСЛУГ
Статья поступила в редакцию 04.09.2013, в окончательном варианте 11.10.2013.
Квятковская Ирина Юрьевна, доктор технических наук, профессор, Астраханский государственный технический университет, 414025, Российская Федерация, г. Астрахань, ул. Татищева, 16, е-mail: [email protected]
Фам Куанг Хиеп, аспирант, Астраханский государственный технический университет, 414025, Российская Федерация, г. Астрахань, ул. Татищева, 16, е-mail: phamhi-ephd@gmail. com
В работе рассмотрена система показателей оценки качества телекоммуникационных услуг, составленная на основе Государственных стандартов РФ. Охарактеризованы варианты использования структурированного и неструктурированного множества показателей. Для первого случая сформирован состав системы, определены связи между элементами. Описана структура системы с заданным уровнем детализации. Для формализации задачи оценки качества сформирована теоретико-множественная модель, отражающая состав, структуру и взаимосвязи между показателями. Предложен способ формирования комплексного показателя на основе решающих матриц Поспелова. Определены задачи выбора, альтернативами в которых являются состояния качества однородных объектов в структуре управления телекоммуникационной компании. Для случая использования неструктурированного множества показателей разработан алгоритм ранжировки объектов, позволяющий определить приоритеты объектов и выбрать наилучшие из них. Решен вопрос выравнивания экспертных оценок, имеющих различный порядок измерений, с использованием вербально-числовой шкалы Хар-рингтона. Сделаны выводы о применимости разработанной методики.
Ключевые слова: показатель качества, теоретико-множественная модель, качество услуг, телекоммуникационная услуга, множество показателей, ранжирование, фактор-множество, ассоциативная матрица, альтернатива, экспертная оценка
METHOD FOR MONITORING AND EVALUATION OF TELECOMMUNICATIONS SERVICES QUALITY
Kvyatkovskaya Irina Yu., D.Sc. (Engineering), Professor, Astrakhan State Technical University, 16 Tatishchev St., Astrakhan, 414025, Russian Federation, е-mail: i.kvyatkovskaya @astu.org.
Pham Quang Hiep, post-graduate student, Astrakhan State Technical University, 16 Tatishchev St., Astrakhan, 414025, Russian Federation, е-mail: [email protected]
In this article, we consider the system of indicators for assessing the quality of telecommunication services, which based on the Russian standards. Characterized uses structured and unstructured set of indicators. For the first case formed part of the system, defined by the relationship between the elements. Describe the structure of a system with the level of detail. To the problem of quality assessment, has formed a set of theoretical models, reflecting the composition, structure and the relationship between the indexes. We propose a method of forming a composite index based on matrix solving Pospelov. Identify the problem of alternative choices of quality status of the objects in the management structure of the telecommunications company. When using unstructured set of indicators, developed an algorithm to rank the objects, which al-
lows to determine the priority of the object and choose the best from them. Problem Solving balance assessment experts with different measurement procedures, using verbal and numerical scales Harrington. Draw conclusions about the applicability of the developed techniques.
Keywords: quality score, the set-theoretic model, quality of service, telecommunications service, multitude criteria, ranking, factor set, associative matrix, alternative, peer review
Введение. Мониторинг и оценка качества услуг - важнейшие составляющие эффективного менеджмента в сфере телекоммуникаций. Они позволяют проводить контроль качества обслуживания, предоставляют информационную базу для анализа и принятия управленческих и инженерно-технических решений, обеспечивают обратную связь, необходимую для устойчивости и способности к развитию системы управления.
Для поставщиков и операторов телекоммуникационных услуг (ТКУ) актуальной является задача, связанная с обеспечением требуемого уровня качества ТКУ. Мониторинг и оценка качества их предоставления становятся все более важными и имеют стратегическую значимость, критическое значение для выживания и развития компаний.
Любая компания, предоставляющая ТКУ, должна пользоваться набором измеряемых характеристик качества ТКУ (КТКУ). Он необходим для предоставления потребителям убедительных доказательств уровня обслуживания, для достижения и поддержания соответствующего их ожиданиям КТКУ, для определения направлений, по которым можно повышать эффективность работы компании [7]. Проблемой при решении данной задачи является отсутствие механизмов формирования набора показателей КТКУ. В частности, отсутствует системный подход для оценки и мониторинга КТКУ, не определена система факторов, описывающая эти показатели, их взаимосвязи, способ формирования интегральной оценки для совокупности показателей КТКУ, источники данных, измеряемые факторы.
Поэтому целью данной статьи является разработка методики мониторинга и оценки КТКУ в телекоммуникационных компаниях на основе упорядочивания альтернатив между показателями качества.
Совокупность показателей качества можно представить как в структурированном, так и неструктурированном виде.
Определение структуры показателей качества ТКУ. Показатели качества, используемые для мониторинга объектов оценивания, так же как и объекты оценивания, предлагается представить в сетевой форме с выделенными иерархическими структурами Саати [8, 10]. Авторами используется пятиуровневая иерархическая структура показателей качества (рис. 1).
Для оценки качества предоставления ТКУ определим множество оценок качества, получаемых в процессе мониторинга КТКУ, как множество точек критериального пространства, имеющих в формальном виде критериальное представление. Для формирования описания оценок требуется решение следующих задач.
1. Построение множества оценок.
2. Определение наборов аспектов.
3. Выполнение измерений и обработка результатов.
Для выбора показателей в системе мониторинга КТКУ определим оценку качества предоставления услуг телекоммуникации как альтернативу в задаче многокритериального принятия решения [9]. Для этого определим множества допустимых оценок для системы показателей качества предоставления ТКУ. Затем среди них выберем наиболее точную оценку, выражающую свойства системы показателей качества предоставления ТКУ.
Часть показателей отражает параметры работы технической системы, другая часть формируется посредством обработки данных, хранящихся в корпоративной информационной системе предприятия, остальные формируются экспертным путем, либо в результате опроса.
Качество телекоммуникационных услуг (P°>
g Pi
В -1
Требования к техническим показателям (['-■)
Требования к функциональным показателям d'^)
Измеряемые показатели
Рис. i. Иерархия показателей качества телекоммуникационных услуг
Теоретико-множественную модель, описывающую задачу оценки качества [2, 4] предоставления ТКУ, опишем в виде совокупности элементов:
G = <A, P, R, W, Z, E>, (1)
a — -
где A = { 7 }, 7 = 1, n , j=1, m - множество элементов, характеризующих процесс предоставления и использования ТКУ; i - глубина уровня элемента; j - порядковый номер элемента на этом уровне; P = { Pj, kij. }, - множество показателей качества элементов системы; pij. - показатель качества для объекта оценивания aH ; kH - значение показателя качества для pH ; R =
ij ij ij
{ г'}1 }, г'}1 - множество связей (отношений) между элементами системы (l - номер элемента
n+1 уровня); W = { wjj } - множество мощностей связей, оценивающих степень влияния показателей друг на друга; Z - множество целей, обеспечивающих достижение наилучших значений показателей качества элементов системы; E - множество экспертов, из числа которых формируется состав экспертной группы: E = <Eks, Komp>, Eks = { ekss } - множество
опрашиваемых, s=1, S.
Komp = {kompf } - множество экспертов, f= 1, F.
Состав ТКУ, рассматриваемых в данной работе, включает в себя услуги телефонной связи в сети общего пользования, услуги сотовой связи, услуги «Передача данных», услуги «Предоставление виртуальной частной сети (VPN)», услуги доступа в Интернет и пр. Однако в силу ограничений на размер статьи проблему оценки качества услуг телефонной связи в сети общего пользования и сотовой связи мы только упоминаем. Этот тип традиционных услуг связи необходим для частных лиц, организаций, учреждений, компаний и предприятий.
На рис. 1 уровень P0 соответствует глобальному уровню оценки КТКУ; уровень P - множеству требований участников процесса предоставления и использования ТКУ; уровень P2 - мно-
жеству требований о виде показателей качества; на уровнях Р и Р детализируются элементы, соответствующие этим уровням - для оценок видов показателей по их характеристикам.
Характеристика значений показателей на уровнях Р и представлена в табл.1.
Таблица 1
Показатели качества ТКУ [5, 11, 14, 15]
Потребительское свойство услуги Наименование показателя Единицы измерения
(Р13) - качество предварительного обслуживания (Р14) - время ответа о наличии или отсутствии возможности предоставления ТКУ с момента подачи потребителем заявления День
(Р24) - количество потребителей, ожидающих ответа о возможности предоставления ТКУ, сверх контрольного срока Единица
(Р34) - количество потребителей, получивших ответ, в контрольные сроки Единица
(Р44) - среднее время ответа о возможности предоставления ТКУ с момента подачи потребителем заявления Единица
(Р2 ) - доступность услуги (Р54) - время выполнения начального подключения потребителя к сети День
(Р64) - количество потребителей, ожидающих предоставления доступа к телекоммуникационной сети сверх контрольного срока Единица
(Р74) - среднее время ожидания потребителем предоставления доступа к телекоммуникационной сети с момента заключения договора День
(Р84) - доля потребителей, получивших доступ к ТКУ не позже контрольного срока, от общего за анализируемый период количества потребителей, получивших доступ к услуге Процент
(Р33) - доступность сети (Р94) - количество повреждений в расчете на одну абонентскую линию в год Повреждения / (Абонентская линия * год)
(Р14) - доля повреждений, устраненных в сроки, не превышающие контрольных Процент
(Р1) - доля таксофонов в рабочем состоянии Процент
(Р43) - доступность телефонного соединения (Р ) - доля неуспешных вызовов потребителя Процент
(Р53) - скорость установлений соединения (Р3) - среднее время установления соединения Секунда
(РЦ) - время ответа для справочных услуг Секунда
(Р63) - качество передачи речи (Р5) - средняя балльная оценка качества передачи речи Балл
(Р73) - корректность выставления счета (Р14 ) - доля некорректно выставленных счетов Процент
PRIKASPIYSKIY ZHURNAL: Upravlenie i Vysokie Tekhnologii (CASPIAN JOURNAL: Management and High Technologies), 2013, 4 (24) INFORMATION AND TELECOMMUNICATION SYSTEMS AND TECHNOLOGIES
( P83 ) - степень удовлетворенности () - степень удовлетворённости потребителей качеством обслуживания Балл
(Р18) - степень удовлетворённости потребителей качеством информационного и материального обеспечения ТКУ Балл
(Р149) - степень удовлетворённости потребителей техническими параметрами качества услуги Балл
(Р2о) - степень удовлетворённости потребителей качеством технической поддержки телекоммуникационной услуги Балл
( P93 ) - претензионные показатели (Р2"1) - доля ответов на письменные обращения, данных с нарушением контрольных сроков, от общего количества ответов на письменные обращения за контрольный период Процент
Составим математическое описание теоретико-множественной модели (1). В общем случае п-ый уровень иерархии показателей качества ТКУ содержит Сп вершин (элементов). Введем вектор глобальных приоритетов для каждой вершины
Rn =< r", r2n
, rn >,
где гЩ - это вес вершины, определяемый таким образом, чтобы ^ гк = 1; Кт - множество
к=1
ребер, указывающих на наличие взаимосвязи между вершинами, где к - номер вершины уровня п, т.е. начало дуги; т - номер вершины уровня п+1, т.е. конец дуги.
Коэффициенты Wnm = W(гЩт) определяют вес (локальный приоритет) вершины т уровня п+1 по отношению к вершине п-ого уровня.
На коэффициенты гЩ и Wnт накладываются аналогичные соотношения, связывающие локальные приоритеты между собой:
!Хт = 1. (2)
оценивающие силу влияния, связанные ограниче-
k=1
n
Ребрам приписываются веса Wk m ниями [1]:
О < W" < 1.
, ZWknm = 1.
(3)
k=1
Решением задачи является вектор глобальных приоритетов вершин нижнего уровня. Для этого применяется метод решающих матриц Поспелова. Составляется матрица
Qn
w:
Wn
wn
wn
wn
(4)
С 1 с с
Столбцы матрицы - это вектора локальных приоритетов. Вычислив глобальные приоритеты вершин п-ого уровня и используя данную матрицу, можно найти глобальные приоритеты вершин вышестоящего уровня [1]:
rn = Q
Zs i
n, n+1
х гп+1. (4)
Данная математическая модель позволяет найти глобальный приоритет вершины нулевого уровня, который является комплексным показателем качества всей системы
130
n
m
Мониторинг и оценка качества предоставления услуг. Для мониторинга и оценки качества предоставления ТКУ мы предлагаем последовательно выполнять 3 шага общего алгоритма, описываемые ниже.
На первом шаге общего алгоритма формируются знания об экспертах и методах сбора информации. Для решения вопроса о выравнивании экспертных оценок, имеющих различный порядок измерений, предложено ввести шкалирование всех показателей в форме числовой оценки на интервале [0, 1]. Для интерпретации полученных данных используется вербально-числовая шкала Харрингтона, которая помогает оценить удовлетворенность качеством поставляемых услуг [12, 13] (табл. 2).
Таблица 2
Вербально-числовая шкала _
Степень удовлетворенности услугой Значение
Высокая удовлетворенность 1-0,8
Средняя удовлетворенность 0,8-0,6
Низкая удовлетворенность 0,59-0,35
Очень низкая удовлетворенность 0,34-0,2
Не удовлетворен 0,2-0
Все компоненты ri ранжируются экспертами по уровню их значимости в отношении выполнения оценок КТКУ. При этом каждому /-му компоненту ri ставится в соответствие
Сп
его вес Ж(г/), причем ^ Ж(г/) = 1. Для формирования системы весов показателей с целью
к=1
построения рейтинга компонентов в отношении оценок качества ТКУ каждый эксперт осуществляет ранжирование компонентов по убыванию их значимости:
Гк>...>П >...> Гг, (5)
где к Фг - индексы компонентов. Веса ребра Ж(г/) либо заранее назначаются экспертами, либо, в условиях неполной информации, ранжируются по убыванию их предпочтений с использованием формулы Фишберна [3]:
„„ ч 2(т - / +1)
ж (г) = ^—^, (6)
т(т +1)
где т - количество компонентов. Описанный способ позволяет упорядочить компоненты по степени их значимости с учетом мнений всех экспертов.
На втором шаге общего алгоритма происходит агрегирование показателей качества предоставления услуг и интерпретация полученных данных. При наличии иерархической структуры показателей оценки качества используется результирующий показатель, оценивающий достижение глобальной цели в отношении совокупности показателей, представленных в иерархической форме. При наличии неструктурированного множества показателей
Т>п ^ ,.п п п ^ ~
оценки качества К =< г1 ,г2 ,...,гС >, отражающих его отдельные свойства, применяются
интегральный или векторный критерии оценки. Интегральный критерий вычисляется по формуле:
и = |> • Ж (Г/) = 1, (7)
/=1
где / - индекс критерия; Сп - количество показателей на уровне п; Ь/ - параметр весомости
для /-ого критерия; Ж(rpi) - нормированное значение /-го частного критерия, Ж(г/) е[0,1].
На третьем шаге общего алгоритма происходит анализ полученных данных для формирования лицом, принимающим решения (ЛПР), действий направленных на повышение
качества предоставления ТКУ. Анализ проводится на основании сравнения оценок качества, выполненных либо для различных филиалов телекоммуникационных компаний, либо в различные моменты времени t.
Результатом разработанной методики являются сформированные вектора состояний
Dt _ -J -J -J ^ Dt+1 _ -J+1 -J+1 -J+1 ^
качества R =< r1 ,r2,...,rC > R =< r1 ,r2 ,...,rC >, соответствующие моделям данных,
предоставленных либо в виде пространственной выборки, либо временного ряда.
Определив каждый вектор как альтернативу из множества сгенерированных альтернатив, можно производить анализ множества альтернатив - путем сравнения текущего состояния RPt с ретроспективными. Например, можно сравнить оценки качества ТКУ, предоставляемых несколькими филиалами, или оценки качества ТКУ одной компании, выполненные в различные моменты времени.
Для сравнения оценок качества в различные моменты времени используем методику Ю.В. Кандырина [6], на базе которой авторами разработан описываемый ниже частный алгоритм для реализации 3-го шага общего алгоритма.
3.1. На основании поставленной цели оценки ЛПР выбирает набор информативных показателей качества {k1, k2,,,,, km}, по которым будет осуществляться сравнение объектов из множества OBJ = <Obj1t Obj2, .....Objn>. Предполагается, что эти показатели слабо коррелированны между собой - т.е. несут различную информацию.
3.2. Строится множество исходных данных, представленное в виде реляционного отношения (табл. 3). Показатели {kj}, j=1,m альтернатив {Obji}, i=1, n характеризуются значениями { Ki ■ }.
Таблица 3
Структура исходных данных, полученных для оценки качества ТКУ,
Альтернативы {Obji} Показатели альтернатив {kj} и их значения
Показатель k1 Показатель k2 Показатель km
Obj1 Ки K1,2 K1,m
Obj2 K2,1 K 2,2 K 2, m
Objn Kn,1 K n,2 K n ,m
3.3. Построение фактор-множеств на основе информации о линейных порядках альтернатив L(OBJ/kj),j=1,m по показателям качества {kj}.
Дадим определение окрестности 0(0BJ/kj) в фактор-множестве по показателю качества kj для отношения у =:
Oi(OBJ/kj) = {Obj : j Obji) ^ kj( Objp), Objp, Obj e OBJ, Objp у = Objt },p=\n.
Тогда фактор-множество OBJ/kj можно представить как совокупность окрестностей, построенных для всех элементов множества OBJ:
OBJ/kj= {Oi(OBJ/kj)}, ie{1, ..., |OBJ|}.
3.4. Построение n линейных порядков L(OBJ/ki), i=1, n , для каждого из которых необходимо сформировать ассоциативные матрицы фактор-множеств AMi (табл. 4). В них каждый столбец задает окрестность Op( Obji) i-го объекта и включает множество всех доминирующих и эквивалентных объектов для него.
Таблица 4
Ассоциативная матрица АМ для фактор-множества линейного порядка
" ———_____ i-Окрестности Альтернативы " —— О)( Obji /kj) О2( Objг /к,) On( Objt /к,)
Obj1 0 am12 amin
Obj2 am21 0 am2n
Objn amni amn2 0
Элемент amip ассоциативной матрицы определяется следующим образом: если альтернатива Objt доминирует Objp, то элемент ассоциативной матрицы amip принимает значение «1». В противном случае элемент матрицы равен «0». Элементы, которые стоят на главной диагонали, всегда принимают значение «0» - это значит, что альтернатива не может войти в собственную окрестность.
lo, Objp У Obji,Obj р е L(OBJ/k}),i ф p,
0 i = p, . (8) 1, Objp -< Obj i, Obji,p е L(OBJ / kf), i ф р.
3.5. Вычисление пересечения фактор-множеств по каждому из показателей качества. В результате такой операции может быть получена результирующая ассоциативная матрица более высокого порядка для совокупности показателей качества (табл. 5).
атг p =
Таблица 5
Результирующая ассоциативная матрица
" "—-——____i-Окрестности Альтернативы " —— 01(Obji) 02(Obj) On(Obji)
Obj1 0 G12 G1n
Obj2 G21 0 G2n
Objn Gn1 Gn2 0
Элемент результирующей ассоциативной матрицы определяется следующим образом:
1, ат) „ пат2„...п атт„ = 1
0' (9)
G.
г. Р
0,
am1 nam2 ...n ammp am) nam2 ...n ammp
где ат] р - элемент ассоциативной матрицы для показателей качества {&/}. Альтернатива
Obji включается во множество парето оптимальных решений, если для окрестности Op (Obji / kj) альтернативы Obji выполняется условие [6]:
V = 0.
г. p
(10)
3.6. По результирующей матрице возможно ранжировать объекты множества OBJ, что позволяет определить приоритеты объектов и выбрать наилучшие из них. Несравнимые альтернативы, для которых Gi,p= Gp,= 1, образуют слои Парето.
В результате работы алгоритма происходит лексикографическое упорядочение исходного множества альтернатив.
Заключение. Сформировано множество показателей качества предоставления ТКУ. Предложена теоретико-множественная модель для оценки и мониторинга качества предоставления услуг. Разработана методика мониторинга и оценки качества предоставления услуг в телекоммуникационных компаниях.
Данная методика позволяет объединить группу показателей. характеризующих потребительские свойства ТКУ. и рассчитать комплексный показатель качества. Он может быть применен. например. для сравнения различных хозяйствующих субъектов. предоставляющих телекоммуникационные услуги - сотовых компаний и их филиалов. Предложенный алгоритм позволяет выполнить ранжирование таких компаний в условиях неполной информированности экспертов.
Список литературы
1. Азгальдов Г. Г. О квалиметрии / Г. Г. Азгальдов. Э. П. Райхман. - Москва : Изд-во стандартов. 1972. - 172 с.
2. Бармина Е. А. Мониторинг качества работы коммерческой организации. Структурирование показателей применения когнитивных карт / Е. А. Бармина. И. Ю. Квятковская // Вестник Астраханского государственного технического университета. - 2010. - №2. - С. 15-20.
3. Букреева А. А. Качественная оценка факторов стоимости металлургических компаний / А. А. Бук-реева. - Режим доступа: http://rae.rufs/?section=content&op=show_article&article_id=7781367 (дата обращения 24.06.2013). свободный. - Загл. с экрана. - Яз. рус.
4. Бялецкая Е. М. Формирование набора показателей для оценки качества управления жилыми домами / Е. М. Бялецкая. И. Ю. Квятковская. В. Ф. Шуршев // Вестник Астраханского государственного технического университета. Серия: управление. вычислительная техника и информатика. -2011. -№ 2. - С. 143-149.
5. ГОСТ Р 53532-2009. Качество услуг связи. Показатели качества услуг телефонной связи в сети общего пользования. Общие требования. - Москва : Стандартинформ. 2011. - 16 с.
6. Кандырин Ю. В. Математические модели структурирования альтернатив для решения задач выбора в САПР / Ю. В. Кандырин. Л. Т. Сазонова. Г. Л. Шкурина // Известия Волгоградского государственного технического университета : межвуз. сб. науч. ст. - 2011. - № 3 (76). - С. 111-115.
7. Качество услуг связи: всесторонняя оценка. Режим доступа: http://www.osp.ru /nets/2010/05/13002124/ (дата обращения 05.10.2013). свободный. - Загл. с экрана. - Яз. рус.
8. Квятковская И. Ю. Интегрированные механизмы информационной поддержки принятия решений крупномасштабной территориально-распределенной экономической системы / И. Ю. Квятковская.
B. Ф. Шуршев. К. И. Квятковский // Вестник Саратовского государственного технического университета. -2010. - Т. 4. № 2. - С. 181-189.
9. Олейников Д. П. Инверсия в методах принятия решений / Д. П. Олейников. Л. Н. Бутенко.
C. П. Олейников // Прикаспийский журнал: управление и высокие технологии. - 2013. - № 2 (22). -С. 146-150.
10. Саати Т. Принятие решений: метод анализа иерархий : пер. с англ. / Т. Саати. - Москва : Радио и связь. 1993. - 278 с.
11. Berg. Sanford V. The Measurement and Encouragement of Telephone Service Quality / Berg. Sanford V. and G. John. Jr. Lynch // Telecommunications Policy. - 1992. - P. 210-224.
12. Kamyshnykova E. Theoretical and methodical approach to enterprise's economic security / E. Kamyshnykova // Business and Management 2010 : The 6th International Scientific Conference. Vilnius. 2010. - P. 1008-1014.
13. Trautmann H. On the distribution of the desirability index using Harrington's desirability function / H. Trautmann. C. Weihs // Metrica. - 2006. - № 63 (2).
14. Lehr William. Quality and Reliability of Telecommunications Infrastructure / Lehr William. -NJ : Lawrence Erlbaum Associates. 1995. - 253 р.
15. Landsbergen David. Establishing Telecommunications Standards: A Problem of Procedures and Values / Landsbergen David // Informatization and the Public Sector 2. - 1992. - № 4. - P. 392-396.
References
1. Azgaldov G. G., Raykhman E. P. O kvalimetrii [On qualimetry]. Moscow, Standarts Publ., 1972.
172 p.
2. Barmina Ye. A., Kvyatkovskaya I. Yu. Monitoring kachestva raboty kommercheskoy organizatsii. Strukturirovanie pokazateley primeneniya kognitivnykh kart [Work quality monitoring of commercial organization. Structuring the use of indicators of cognitive maps]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta [Bulletin of Astrakhan State Technical University], 2010, no. 2, pp. 15-20.
3. Bukreeva A. A. Kachestvennaya otsenka faktorov stoimosti metallurgicheskikh kompaniy [Quality assessment of factors of steel companies cost]. Available at: http://rae.ru/fs/?section=content&op =show_article&article_id=7781367 (accessed 24.06.2013).
4. Byaletskaya Ye. M., Kvyatkovskaya I. Yu., Shurshev V. F. Formirovanie nabora pokazateley dlya otsenki kachestva upravleniya zhilymi domami [Formation a set of indicators to assess the quality of management of residential buildings]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriya: upravlenie, vychislitelnaya tekhnika i informatika [Bulletin of Astrakhan State Technical University. Series: management, computation and informatics], 2011, no. 2, pp. 143-149.
5. GOST R 53532-2009. Quality of telecommunication services. Criteria of quality of telecommunication services in public network. General requirements. Moscow, Standartinform Publ., 2011. 16 p. (In Russ.)
6. Kandyrin Yu. V., Sazonova L. T., Shkurina G. L. Kandyrin Yu. V. Matematicheskie modeli struk-turirovaniya alternativ dlya resheniya zadach vybora v SAPR [Mathematical models of structuring alternatives for solving problems of selection in CAD]. Izvestiya Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta [News of Volgograd State Technical University], 2011, no. 3 (76), pp. 111-115.
7. The quality of communication services: a comprehensive assessment. Available at: http://www.osp.ru/nets/2010/05/13002124/ (accessed 05.10.2013). (In Russ.)
8. Kvyatkovskaya I. Yu., Shurshev V. F., Kvyatkovskiy K. I. Integrirovannye mekhanizmy informat-sionnoy podderzhki prinyatiya resheniy krupnomasshtabnoy territorialno-raspredelennoy ekonomicheskoy sistemy [The integrated mechanisms of information support of decision-making of the large-scale territorial distributed economic system]. Vestnik Saratovskogo gosudarstvennogo tekhnicheskogo universiteta [Bulletin of Saratov Technical University], 2010, vol. 4, no. 2, pp. 181-189.
9. Oleynikov D. P., Butenko L. N., Oleynikov S. P. Inversiya v metodakh prinyatiya resheniy [Inversion in decision-making methods]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Management and High Technologies], 2013, no. 2 (22), pp. 146-150.
10. Saati T. Prinyatie resheniy: metod analiza ierarkhiy [Decision making: method of hierarchy analysis]. Moscow, Radio i svyaz, 1993. 278 p.
11. Berg, Sanford V. and John G., Lynch Jr. The Measurement and Encouragement of Telephone Service Quality. Telecommunications Policy, 1992, pp. 210-224.
12. Kamyshnykova E. Theoretical and methodical approach to enterprise's economic security. Business and Management 2010: The 6th International Scientific Conference. Vilnius, 2010, pp. 1008-1014.
13. Trautmann H., Weihs C. On the distribution of the desirability index using Harrington's desirability function. Metrica, 2006, no. 63 (2).
14. Lehr William. Quality and Reliability of Telecommunications Infrastructure. NJ: Lawrence Erlbaum Associates, 1995. 253 p.
15. Landsbergen David. Establishing Telecommunications Standards: A Problem of Procedures and Values. Informatization and the Public Sector 2, 1992, no. 4, pp. 392-396.
