CC BY
25
New York: Wiley, i959.
iS. Адлер Ю. П., Хунузиди Е. И., Шпер В. Л. Методы постоянного совершенствования сквозь призму цикла Шухарта-Деминга // Методы менеджмента качества. 2005. № 3. С. 29-36.
19. Feigenbaum A. Total quality control. i983.
20. Porter L. J., Parker A. J. Total quality management - the critical success factors // Total quality management. i993. Vol. 4. Iss. i. P. i3-22.
21. Kanji G. K. Total quality management: the second industrial revolution // Total Quality Management. i990. Vol. i. Iss. i. P. 3-i2.
22. Croft N. H. ISO 900i: 20i5 and beyond-Preparing for the next 25 years of quality management standards // International Organization for Standardization, 20i2. http://bitly. com/next25years.
Evolution of the quality management
Viktor Yakovlevich Tsvetkov, Professor, Doctor of Technical Sciences, Moscow technological University (MIREA).
The article describes the evolution of the quality management. The article reveals the contents of the quality management and quality control system. The article shows the difference between these concepts. The article reveals the contents of the Trinitarian model of quality management. The article reveals the contents of the quality of the pentagram as a model entity and relationship patterns. This article describes five star quality as a quality control stages of evolution. The article proves that quality is a complex concept, involving four complementary quality trait
Keywords: information technology, quality, quality management, quality management, quality of the pentagram, the quality of the triad.
УДК. 519.23
ОППОЗИЦИОННЫЙ МАСШТАБНЫЙ АНАЛИЗ
Цветков Виктор Яковлевич, профессор, д-р техн. наук, лауреат премии Президента РФ, лауреат премии Правительства РФ, «Заслуженный деятель науки и образования», «Почетныйработник науки и техники», «Почетный работник высшего профессионального образования», «Отличник геодезической службы», академик: Российской академии космонавтики им. К. Э. Циолковского (РАКЦ), Российской академии естествознания (РАЕ), Российской академии информатизации образования (РАО), Международной академии наук Евразии (IEAS), e-mail: [email protected], Чехарин Евгений Евгеньевич, зам. начальника центра информатизации, ст. преподаватель кафедры инструментального и прикладного программного обеспечения, e-mail: [email protected] Московский технологический университет (МИРЭА), https://www.mirea.ru
Статья раскрывает содержание оппозиционного масштабного анализа. Описана три-нитарная система анализа. Описано применение методов теории возможностей для обработки нечетких данных. Отмечена целесообразность использования шкалы Лайкерта и модели Раша для сбора информации в единой системе анализа. Описана информационная модель парных сравнений, которая служит основой алгоритма сведения данных в единую ранговую систему.
Ключевые слова: информация; анализ; оппозиционный анализ; оппозиционные переменные; тринитарная система; предпочтения; алгоритм; информационная технология.
Введение DOI: 10.21777/2312-5500-2017-1-71-79
Оппозиционный масштабный анализ (scale analysis) представляет собой инструментарий, который применяют в математике [1], в статистике [2], при тестировании,
при социологических исследованиях, при решении задач теории нечетких множеств. Оппозиционный масштабный анализ служит основой построения алгоритмов информационной интерпретации [3]. Оппозиционный масштабный анализ представляет собой сочетание оппозиционного анализа [4], дихотомического Й анализа [5] и методов семантической Ш интерпретации. В геоинформатике он представляет собой применение методов генерализации для анализа про-В.Я. Цветков странственной информации, что можно обозначить термином «генерализационный анализ». Оппозиционный масштабный анализ имеет точки соприкосновения с мультимасштабным или многомерным анализом [6].
\ !
Е.Е. Чехарин
Тринитарная система анализа. Близким оппозиционному масштабному анализу является статистический подход [2] масштабного анализа. В статистике масштабный анализ представляет собой совокупность методов анализа данных обследований, в которых ответы на вопросы объединяются, чтобы измерить скрытую переменную или получить обобщенную оценку.
Ответы на вопросы могут быть дихотомическими (этот вид/ другой вид) оппозиционными (да/нет, правильно/неправильно, понятно/непонятно), вероятностными (возможно да/ возможно нет) или политомическими (не согласен сильно / не согласен / нейтрально / согласен / полностью согласен). Требуется, чтобы данные в ответах на вопросы были надежными, валидными, однородными и сопоставимыми с результатами других исследований.
К сожалению, несмотря на большое число работ в этой области, результаты исследований не систематизированы и не представляют собой некой целостной системы. В данной работе вводим такую систему. Она строится на основе тринитарного анализа [7] и поэтому называется «тринитарная система масштабного анализа». Эта модель приведена на рис. 1.
Тринитарная система масштабного анализа представляет собой правильную трини-тарную систему до пятого уровня (пентарный уровень) и неоднородную тринитарную систему с седьмого уровня и ниже. Верхний уровень характеризует полную информационную неопределенность [8], поэтому он является нейтральным (#1). В условиях информационной неопределенности вопросы не задают, и на этом уровне нет ответов. На всех уровнях символ N обозначает нейтральность. На бинарном уровне возникает первая оппозиционная пара ответов, которая обозначена символами (П/НП). Они могут обозначать пару оппозиционных ответов (понятно/непонятно; предпочтительно/не предпочтительно, приемлемо/неприемлемо и
Информационная неопределенность
Бинарный уровень
П ВНП;
N7
Рис. 1. Тринитарная система масштабного анализа
Гептарный уровень
кнп
другие). В алгоритмическом представлении этой паре соответствует 1 и 0. Такие значения упрощают анализ и позволяют подключать формальную логику и логические цепочки вывода.
На следующем тринитарном уровне появляются три варианта ответа: положительный (П), отрицательный (НП) и нейтральный N3 (не П и не НП). Индекс у N3 показывает номер уровня. Нейтральный моделирует информационную ситуацию, для которой нельзя дать однозначного ответа. Начиная с тринитарного уровня все нижележащие уровни - нечетные. Число ответов в них: 5, 7, 9 и так далее. Эти уровни задают масштаб. Самый мелкий масштаб у бинарного уровня. На нем только два ответа, что означает огрубление ответов.
На пентарном уровне имеется пять вариантов ответов: понятно (П); возможно, понятно (ВП); нейтрально (N5); возможно, непонятно (ВНП); непонятно (НП). Еще раз отметим, что П может означать многие характеристики: предпочтительно, хорошо, допустимо, приемлемо и т. д. На пентарном уровне шкала масштаба расширена. Это пример масштабного анализа, при котором меняется масштаб ответов и вопросов. Пентар-ный уровень представляет собой шкалу Лайкерта [9].
На гептарном уровне имеется семь вариантов ответов: категорически понятно (КП); понятно (П); возможно, понятно (ВП); нейтрально (N7); возможно, непонятно (ВНП); непонятно (НП); категорически непонятно (КНП). Термин «категорически» означает усиление сравнения понятий, он самый сильный. На рассмотренных семи уровнях показана методика. Каждый раз при увеличении масштаба опроса создается новый уровень, на котором появляется два новых вопросов и ответа. Эти новые ответы имеют наибольшую силу в сравнении с другими ответами и являются оппозиционными друг другу. На рис. 2 показаны сравнительные характеристики ответов.
ВП
-X A/z
-Шкала уверенности-►
Рис. 2. Сравнительные характеристики ответов на гептарном уровне
Тринитарная система масштабного анализа (рис. 1) является симметричной относительно нейтральных ответов. Можно выделить условно позитивную (положительные ответы) и негативную (отрицательные ответы) симметрическую часть. Это упрощает анализ, построение алгоритмов и математическую обработку. Поэтому на рис. 2 приведена только левая (позитивная) часть тринитарной системы масштабного анализа. По существу, это часть модели Раша.
На рис. 2 показаны следующие значения категорий: категорически понятно (КП); понятно (П); возможно понятно (ВП); нейтрально (N7). По горизонтали расположена шкала уверенности ответов. По вертикали сила значения ответа, которая в практической деятельности выражается в баллах. Принципиальным является использование трапециевидных чисел по шкале уверенности. Это означает, что точечные значения не целесообразны. Это означает, что ответы имеют некий диапазон и перекрываются друг с другом. Даже нейтральный ответ (N7) не является точечным и характеризует некий интервал. Такая модель дает возможность использовать модифицированную теорию возможностей или теорию нечетких множеств.
Применение теории возможностей в оппозиционном масштабном анализе.
Теория возможностей или теория нечетких множеств помогает обрабатывать результаты исследования, если они принадлежат к нечеткой области. Нечеткость означает, что нет полной уверенности в точных значениях исследуемой величины, ее значения отобража-
_û
с;
го с;
го ^
3
ются треугольными, интервальными или трапециевидными числами. С теорией нечетких множеств связаны понятия лингвистической переменной и функции принадлежности. Напомним, лингвистической переменной называется пятерка параметров [10]
(ш, Т, и, 5, М), (1)
где ш - название переменной, Т - терм-множество значений, т. е. совокупность ее лингвистических значений, и - носитель, G - синтаксическое правило, порождающее термы множества Т, М - семантическое правило, которое каждому лингвистическому значению ш ставит в соответствие его смысл М(ш), причем М(ш) обозначает нечеткое подмножество носителя и.
Пусть задана лингвистическая переменная (рис. 3) из модели на рис. 2. Ее имя ш -«категорически предпочтительно». Базовое множество значений определяется спецификой конкретной задачи и определяет пределы вариации значений в соответствии с рассматриваемой задачей. В данном случае базовое множество лингвистической переменной «категорически предпочтительно» изменяется в пределах интервала и = [22, 86] условных единиц.
На рис. 3 представлена функция принадлежности нечеткого множества «категорически согласен», полученная на основании опроса ряда экспертов. Видно, что параметр от 35 до 75 оценивается экспертами как категорически предпочтительный, а меньше 22 и выше 86 - как не категорически предпочтительный. В диапазоне от 22 до 35 и от 75 до 86 эксперты проявляют неуверенность в своей классификации, и структура этой неуверенности как раз и передается графиком функции принадлежности.
Рис. 3. Функция принадлежности нечеткого подмножества «категорически предпочтительно»
Можно использовать материалы тринитарной системы анализа на рис. 1 Терм-множество лингвистической переменной «сравнительные характеристики ответов на пентарном уровне» имеет пять значений Т = {«П», «ВП», «#5», «НВП», «НП} (рис. 4). Синтаксическое правило 5 генерирует количество и имена термов терм-множества лингвистической переменной ш. Обычно это правило задается экспертами в соответствии с конкретной решаемой задачей.
Ц А
1
100 80 60 40 20 о "20 -40 -60 -80
^-Шкала оппозиционных ответов-►
Рис. 4. Терм-множество лингвистической переменной «сравнительные характеристики ответов на пентарном уровне»
Считается, что значения лингвистической переменной принадлежат ее терм-множеству, термы которого, в свою очередь, описываются нечеткими числами [11], т. е. каждому из термов терм-множества Т соответствует нечеткое число. Термы, как правило, описываются нечеткими трапециевидными числами, но это определяется типом описываемой величины. Если нечеткое число характеризует разовое измерение, то его описывают треугольным числом. Если нечеткое число характеризует множество вариантов с четкими границами (например, множество маршрутов, лежащих внутри минимального и максимального по расстоянию пути), то такие информационные ситуации описывают интервальным числом.
Семантическое правило М формирует значения лингвистической переменной ш и генерирует нечеткое подмножество М множества и. Функция принадлежности (А(и) -это функция, областью определения которой является носитель и, и е и, а областью значений - единичный интервал [0, 1]. Чем выше (А(и), тем выше оценивается степень принадлежности элемента носителя и нечеткому множеству А. В нашем случае (рис. 4)
М = {( (и X ( ВП (и X ( (и), ( то (и), ( НП (и )},
где, например,
(П(и)■
0, и е [> 36], и е [86,100], и - 20
15
55 - и
5
и е [70,86], и е [50,35],
1,
и е [50,70].
Остальные значения лингвистической переменной ш задаются аналогично. Семантическое правило формирует вид значений (термов) лингвистической переменной. Как видно из рис. 4, термы или значения ^ (/ = 1, 2, ..., 5), где ^ = «П малая», г2 = «ВП», ..., г5 = «НП» лингвистической переменной у представляют собой нечеткие трапециевидные числа, которые могут быть также представлены четырьмя значениями [11]:
(г, г,, г ., г )
V II ' тп' п / ?
(2)
где
гх - левая граница нулевого уровня достоверности, г4 - правая граница нулевого уровня достоверности,
г2, г3 - соответственно левая и правая границы интервала достоверности, соответствующего уровню принадлежности, равному 1 (рис. 5).
Определим основные арифметические операции над значениями лингвистических переменных. Пусть заданы два значения лингвистических переменных Т1 (слева) Т2 (справа):
~ = г 2, ? з, г 4 ) ,
Т2 =(г,, г 2, г 3,г 4).
2 \ ш1~ т 2~ т 3~ т 4 / •
Тогда их сумма определяется следующим образом [10, 11]:
Т +Т =(/+/, Г 1 4). (3)
1 2 , 2 т1 т 2 3 т3 4 т 4
Рис. 5. Границы достоверности величины П с рис. 4
2 т1 т 2 3 т3 4
Разность определяется по следующей формуле [12]:
т - т =(г, 1 - г2, г, 1 - г 2, г . - г, 2, г1 - г, 2). (4)
1 2 \ 11 г 2 " т11 тг 2' тг 1 т12' г 1 12 / • V V
При умножении коэффициента V на одно из значений лингвистической переменной Т = ((, г2, г3, г4) используется формула
V - Т1 = (У- гр V -г 2, V -г з, V -г 4 ). (5)
Помимо арифметических операций над значениями лингвистических переменных при оппозиционном масштабном анализе необходимо проводить сравнения. Это основная операция. Она реализуется путем сравнения значений лингвистических переменных. Для сравнения значений лингвистических переменных может использоваться следующий показатель, физически и геометрически представляющий собой центр тяжести трапеции [12]:
т(~) = . (6)
При выполнении операции сравнении для каждого из значений лингвистических переменных на рис. 4 вычисляется «показатель 6» по формуле (6), а затем по этим показателям выбирается наименьшее или наибольшее из всех значений. Именно такая методика используется в тринитарной системе масштабного анализа.
Если «показатели 6» равны для двух различных нечетких чисел Т1 и Т2, то нужно использовать другой критерий для их сравнения.
Например, если заданы два нечетких числа Т1 = (-п, -т11, -тг1, -г1) и
Т2 = ((2, -т12, -тг 2, 'г 2
), то Т < если -1 < -12, и -т1 < -т12 , и -тг1 < -тг2 > и -г1 < 'г2 .
Другие критерии сравнения нечетких чисел, соответствующих значениям лингвистической переменной можно ввести также в зависимости от специфики конкретной рассматриваемой задачи. Все перечисленные операции необходимы для проведения вычислений в алгоритмах задач оппозиционного масштабного анализа. В лингвистических переменных процедура образования новых значений 5 зависит от множества базовых значений Т.
Существует другой класс лингвистических переменных, для которых процедура образования новых значений зависит не от множества базовых значений Т, а от области определения и, т. е. 5 = 5(и) . Например, лингвистическая переменная «эффективность инновационной разработки» с базовыми значениями «малая», «средняя», «большая» может принимать произвольные значения вида «около 200 тыс. руб.», «приблизительно 500 тыс. руб.» и т. п. Такие лингвистические переменные называют синтаксически независимыми [12]. Произвольные значения синтаксически независимой лингвистической переменной взаимно однозначно определяются некоторыми значениями области определения и. В силу этого произвольное значение формально можно задавать в виде <и, и, Са> или < [щ,и2], и, Са>, где и, и1, и2 еи. Причем значение и и интервал
[и1,и2] являются ядром нечеткого множества Са. Так значение «около 20 млн руб.»
можно записать в виде < 20, [0,100], Са > , а значение «приблизительно 40-45 млн руб.»
- в виде < [40,45], [0,100],С > .
Рассмотрим способ определения произвольных значений, предложенный в работе
[13].
Пусть а1 = <и1,и,С > и а2 =<и2,и ,С2 > - два «соседних» базовых значения синтаксически независимой лингвистической переменной в с функциями принадлежности (и) и ^(и) соответственно. Пусть а ' = < и',и,С' > - произвольное значение, для которого выполняется условие и1 < и' < и2. Обозначим через ф1, ф2 и ф' следующие функции: ф1 (Г) = Ра1 (и1 + ТО; ф2 (т) = Ца2 (и2 + Т) ; ф'(т) = Ца' (Ы' + Т) .
Рассматриваемый способ основывается на следующем предположении: если значения а1 и а2 таковы, что ф1(т) = ф2(т), то и для значения а ' выполняется равенство ф1(т) = ф2(т) = ф'(т). Далее, если для значений а1 и а2 такое условие не выполняется (функции ф1 и ф2 различны), то чем ближе значение и' к и1 по сравнению с и2, тем ме-
нее значения функции ф' отличаются от ф1 и более от значений ф2 и наоборот (рис. 5).
Рассмотрим данный подход при задании функций принадлежностей с помощью стандартных унимодальных функций [11]. Параметры последних подбираются так, чтобы получились приближенные представления заданных функций принадлежностей. Поэтому можно записать
Ми) = л(м' 11' и1);
Ца 2 (и) = я(и, 12. и2); (и) = ж(п, I ', и') . Здесь функция п имеет следующий вид:
[>ъ(и, и'-г', и '-г'/2, и') при и < и'; я(и, г , и ) = <
[1 -£(и, и' -г ', и ' -г '/2, и') при и > и'.
Функция ^ определяется в следующем виде:
[0, и
2 х (и' - и)2 /(и-О2, и <Х;
1 - 2 х (и' - и)2 /(и-^)2, х < и < и';
1, и > и'.
5(и, X,и ') =
Функции ж(и,г13и1) и ж(и,г2,и2) определяются аналогично.
Таким образом, при задании функций принадлежности с помощью стандартных ^-функций задача определения произвольного значения а ' = < и ',и, С ' > синтаксически независимой лингвистической переменной в сводится к определению функции ж(и, ги' ) или, иными словами, к определению параметра г ' по заданным параметрам
г1 и г2 .
Общая методика анализа. Методы теории нечетких множеств являются одним из инструментов обработки информации, которая во многих случаях является нечеткой. Важной является технология анализа. Оппозиционный масштабный анализ содержит следующие принципы:
1. Первый шаг состоит в определении части области исследования, в которой применятся данный анализ.
2. Следующий шаг включает выбор такой группы вопросов, ответы на которые могут быть объединены одной мерой или одним масштабом.
3. Затем следует выбрать метод и алгоритм подсчета баллов и свести систему баллов к единой оценке.
4. Необходимо обоснование и выбор шкалы Лайкерта [9] и методов визуализации данных.
5. При формировании уровней с пентарного и ниже необходимо обоснование и выбор политомической модели Раша [14] как части единой системы оппозиционного анализа
6. Исходя из требуемой точности необходимо обоснование и выбор глубины (числа уровней) тринитарной системы масштабного анализа рис. 1
7. Исходя из фактической информационной ситуации необходимо обоснование и выбор количества исследуемых параметров.
8. Для проверки качества системы анализа необходимо создание или применение известной бенчмарки [15] для проверки правильности функционирования системы на рис. 1.
9. Проведение исследований.
10. Сбор результатов в таблицы.
11. Проведение попарных сравнений для анализа каждого параметра.
12. Введение для параметров статистически весов, определяющих значимость каждого параметра в единой тринитарной системе масштабного анализа рис. 1
13. Сведение результатов измерений в единую таблицу рангов. Пункты с 9 по 13 совпадают с методами теории предпочтений [16] и могут быть заимствованы из этой теории.
Таблица 1 показывает пример построения матрицы парных сравнений. В таблице приведена матрица оценки одного параметра или показателя на основе измерений, полученных с помощью тринитарной системы масштабного анализа рис. 1. Для каждого показателя составляется своя таблица. В таблице сравнивают объекты исследования каждый с каждым.
Таблица 1
Матрица парных сравнений оценки параметра Р\ для четырех объектов А1-А4
А1 А2 Аз А4 Е
А1 ОП ОП НПО S1
А2 НПО НПО ОП S2
Аз НПО ОП НПО S3
А4 ОП НПО ОП S4
В таблице 1 ОП - оценка предпочтительности. НПО - не предпочтительная оценка. Si - сумма оценок по строкам. Она различается для уровня оценивания и служит основой получения рейтинга или сравнительной оценки. Например, для бинарного уровня ОП = 1, НПО = 0. Начиная с третьего уровня появляется нейтральная оценка N. Для тринитарного уровня (рис. 1) имеют место ПО = 1, НПО = 0, N = 1/2. С пентарного уровня ПО > 1. Матрицы парных сравнений составляются для каждого уровня. Частная оценка получается по одному уровню. Полная оценка получается при использовании матриц парных сравнений для всех уровней системы на рис. 1. Полная оценка является согласованной и надежной.
С позиций теории измерения масштаб определяет точность измерения. Это иллюстрируется при составлении баллов для тестирования в сфере высшего образования по балльной системе. Можно оценивать результаты тестирования по 10-балльной системе или по 100-балльной [17]. В последнем случае выявляется больше различий между тестируемыми и она является более точной. Однако в существующей системе тестирования количество баллов не согласовано и не систематизировано. Тринитарная система масштабного анализа является согласованной системой оценок разного количества баллов. Оппозиционный масштабный анализ включает эту систему в свой состав.
Заключение. Оппозиционный масштабный анализ является полезным и широко используемым инструментом для решения задач во многих областях. Этот анализ рекомендуется как метод получения наиболее полной информации на единицу интеллектуальных усилий, включая анализ безразмерных величин. Оппозиционный масштабный анализ является интегрированным анализом, включающим методы тринитарного анализа, расчета с помощью теории нечетких множеств и теории предпочтений, сбора информации с помощью шкалы оценок с помощью модели Раша. Это повышает надежность анализа, но существенно повышает его трудоемкость и делает доступным только специалистам в области математической статистики.
Литература
1. https://en.wikipedia.org/wiki/Scale_analysis_(mathematics).
2. https://en.wikipedia.org/wiki/Scale_analysis_(statistics).
3. Чехарин Е. Е. Методы и алгоритмы информационной интерпретации // Образовательные ресурсы и технологии. 2016. № 5 (17). С. 39-49.
4. Tsvetkov V. Уа. Opposition information analysis // European Journal of Technology and Design. 2014. Vol. 6. Iss. 4. P. 189-196.
5. Tsvetkov V. Yа. Dichotomic Assessment of Information Situations and Information Superiority // European researcher. Series A. 2014. Vol. 86. Iss. 11-1. P. 1901-1909.
6. https://en.wikipedia.org/wiki/Multiple-scale_analysis.
7. Цветков В. Я. Триада как интерпретирующая система // Перспективы науки и образования. 2015. № 6. С. 18-23.
8. Цветков В. Я. Информационная неопределенность и определенность в науках об информации // Информационные технологии. 2015. № 1. С. 3-7.
9. https://en.wikipedia.org/wiki/Likert_scale.
10. Zadeh L. A. The concept of a linguistic variable and its application to approximate reasoning // Information Sciences. 1975. Vol. 8. Iss. 3. P. 199-249.
11. Алтунин А. Е., Семухин М. В. Модели и алгоритмы принятия решений в нечетких условиях: монография. - Тюмень: ТюмГУ, 2000.
12. Дюбуа Д., Прад А. Теория возможностей / Пер. с франц. - M.: Радио и связь, 1990.
328 с.
13. Малышев Н. Г., Берштейн Л. С., Боженюк А. В. Нечеткие модели для экспертных систем в САПР. - М.: Энергоатомиздат, 1991. 136 с.
14. https://en.wikipedia.org/wiki/Rasch_model.
15. https://ru.wikipedia.org/wiki/Тест_производительности.
16. Цветков В. Я. Основы теории предпочтений. - М.: Макс Пресс, 2004. 48 с.
17. Нейман Ю. М., Хлебников В. А. Педагогическое тестирование как измерение. - М.: Центр тестирования МО РФ, 2002.
Opposition scale analysis
Viktor Yakovlevich Tsvetkov, Professor, Doctor of Technical Sciences, Moscow technological University (MIREA).
Evgeniy Evgen'evich Chekharin, Deputy Head of the Informatization Center, The senior teacher of the department of instrumentalAnd application software, Moscow Technological University (MIREA)
The article reveals the contents of a large-scale analysis of the opposition. This article describes the trinitarian analysis system. The article describes the use of methods of the theory of opportunities for processing fuzzy data. This article describes the feasibility of using Likert scale and Rasch model to gather information. This article describes the information model of paired comparisons, which is the basis of the algorithm of data information into a single ranking system.
Keywords: information analysis, analysis of the opposition, the opposition variables Trinitarian system preferences, algorithm, information technology.
УДК 001.6: 001.51
ИНФОРМАЦИОННЫЕ ПРОСТРАНСТВЕННЫЕ ОТНОШЕНИЯ
Виктор Петрович Савиных, д-р техн. наук, профессор, президент Московского государственного университета геодезии и картографии,
член-корреспондент РАН, летчик-космонавт, дважды Герой Советского Союза, лауреат Государственной премии, лауреат премии Президента РФ, дважды лауреат премии Правительства РФ, «Заслуженный деятель высшей школы», «Почетный работник науки и техники»,
«Заслуженный геодезист», академик: Российской академии космонавтики им. К. Э. Циолковского (РАКЦ), Инженерной академии, Международной академии астронавтики, Международной академии наук Евразии, Московский государственный университет геодезии и картографии,
http://www.miigaik.ru
