CC BY
53
НАУКА и ОБРАЗОВАНИЕ
Эл № ФС 77 - 30569. Государственная регистрация №0421100025. 155Е1 1994-0408
Программный комплекс анализа индексов производительности распределённых систем обработки данных 77-30569/296095
# 02, февраль 2012 Григорьев Ю. А.
УДК 004.415.2.043
МГТУ им. Н.Э. Баумана [email protected]
В настоящее время существует несколько инструментальных средств анализа временных характеристик распределённых систем обработки данных (РСОД). В [1] приведено описание инструментально-моделирующего комплекса КОК для оценки качества функционирования информационных систем. В этой системе для оценки показателя своевременности используется СМО M/G/1/a> с различными дисциплинами обслуживания очередей. Здесь входные потоки - это запросы (заявки) пользователей на ввод исходной информации в БД, получение выходных данных и пересылку сообщений, запросы на выполнение технологических операций. Обслуживание включает следующие работы: запоминание в БД, получение выходных документов, выполнение технологических операций, пересылку сообщений. Но в предлагаемой модели не учитываются особенности выполнения приложений и SQL-запросов; для неё непросто получить исходные данные; трудно проверить выполнение предпосылок использования модели. Тем более в этой модели не учитывается механизм декомпозиции запросов к распределенной базе данных на подзапросы и особенности их обработки в узлах РСОД; не учитываются объемы данных промежуточных и результирующих таблиц базы данных, передаваемых по каналам связи.
В [2] предлагаются методы и система синтеза оптимальных логических структур и базы метаданных репозитария распределённых баз данных в АСУ на основе анализа временных характеристик проектируемой системы. В системе запросы и транзакции задаются в виде деревьев поиска (обновления) на канонической структуре БД. Такая форма затрудняет (а по существу делает невозможным) описание условий поиска, вариантов соединения таблиц и др. Это приводит к тому, что при обращении к группе данных моделируется поиск всех экземпляров группы (записей), что конечно неправильно. При этом непросто найти соответствие между запросами, транзакциями предлагаемой системы и реальными SQL-операторами обращений к базе данных.
В работе [3] сделана попытка разработки экспертной системы (ЭС) прогнозирования характеристик производительности РСОД. При расчёте прогнозных оценок система учитывает параметры схемы базы данных проектируемой системы и описание спецификаций приложений. По утверждению автора разработанный комплекс инструментальных средств проектирования (КИСП) не выполняет функции синтеза, а служит средством поддержки принятия решений. Но, к сожалению, в теоретической и практической частях работы [3] в основном решаются проблемы математического моделирования (формирования базы знаний) механизмов доступа к базам данных типа ADABAS и ДИСОД, которые функционируют в среде ОС 6.0, 7.0 на вычислительных машинах, совместимых с ЕС ЭВМ. Указанные технические и программные средства в настоящее время являются морально устаревшими. В [3] указывается на необходимость учёта неопределённости исходных данных при расчётах, но в предлагаемой системе КИСП эта возможность не была реализована. Здесь также не реализован механизм объяснения получаемых результатов, что затрудняет поиск "узких мест" проектируемой РСОД. Комплекс работает только в среде MS DOS в текстовом режиме и имеет ограниченные возможности.
В [4] рассматривается проект EDPEPPS для имитационного моделирования РСОД. Здесь приложения моделируются на уровне описания используемых ресурсов: процессора, памяти, жёсткого диска, сети. Описание выполняется на уровне задания времени занятия каждого ресурса и числа обращений к ресурсу. Предлагается способ моделирования передачи пакетов по протоколу TCP/IP. Для этой цели моделируется использование ресурсов при обработке транспортного (ведение окна), сетевого (маршрутизация) и канального (CSMA/CD) уровней OSI протокола. Но в работе [4] не указывается, как можно определить исходные данные модели. Оценка этих данных представляет собой очень непростую задачу. Предлагаемый в [4] детальный способ моделирования позволяет реально изучить поведение системы на небольшом промежутке времени. При этом возникают вопросы о времени перехода модели в стационарный режим и о представительности выборки при сборе статистики.
Таким образом, рассмотренные системы анализа показателей качества проектируемых РСОД имеют существенные недостатки, которые затрудняют их практическое использование. В настоящее время назрела необходимость разработки новой интеллектуальной системы поддержки принятия решений в процессе проектирования РСОД, которая обеспечивала бы анализ различных моделей доступа к распределённым базам данных. Ниже вырабатываются требования к такому комплексу.
1. Комплекс должен обеспечивать поддержку принятия решений проектировщиком РСОД.
Задачи синтеза схемы базы данных, архитектуры РСОД, прикладных программ не удаётся свести к традиционным задачам нахождения экстремума [3]. В таких задачах даже не всегда удаётся априорно перечислить варианты возможных решений, т. к. они появляются в процессе анализа предыдущих решений. Возникают сложности в определении (формализации) списка критериев, по которым должно быть найдено оптимальное
решение, а также важности этих критериев относительно друг друга. В [3, 5] отмечается, что проектировщик при выборе решения использует так называемые гештальты (целостные представления) альтернативных вариантов решений. Гештальт, как правило, богаче соответствующего набора признаков (критериев), в связи с чем решения, принятые на основе целостных представлений, часто не совпадают с решениями той же задачи, рассматриваемой как многокритериальная [5]. Поэтому сведение задачи разработки логической схемы распределённой базы данных к однокритериальной задаче оптимизации [2] не совсем оправдано, и такой подход имеет ограниченное практическое применение. Комплекс инструментальных средств должен оценивать некоторые важные показатели качества вариантов. Эти оценки проектировщик "вплетает" в соответствующие гештальты, которые он использует для выработки решения. Т. е. комплексу отводится роль "поддержки", а основная роль в принятии решений принадлежит человеку [6].
2. Комплекс должен выполнять оценку индексов производительности РСОД.
Показатели качества РСОД условно можно разделить на две группы [3]: количественные и качественные. Количественных показателей немного, это - характеристики производительности (эффективности использования ресурсов [7]), надёжности и стоимости. Качественных показателей намного больше, можно выделить следующие группы [7]:
• функциональная пригодность (пригодность для применения, точность, защищённость, способность к взаимодействию, согласованность со стандартами и правилами проектирования),
• применимость (понятность, обучаемость, простота использования),
• сопровождаемость (удобство для анализа системы, изменяемость, стабильность, тестируемость),
• переносимость (адаптируемость, структурированность, замещае-мость, внедряемость),
• функциональные показатели качества информации БД (полнота накопленных в БД описаний объектов, достоверность данных, безошибочность данных, актуальность данных) и др.
В [6] отмечается, что способность к логическим обобщениям и решениям в неопределённых ситуациях, способность к анализу событий, распределённых во времени и в пространстве, и их распознаванию более характерны для человека, чем для компьютера. Т. е. проектировщик РСОД оценивает качественные показатели намного адекватнее. Анализ системы КОК [1] показывает, что попытка количественно оценить качественные показатели приводит к неутешительным результатам.
С другой стороны вычислительные возможности у компьютера существенно выше, чем у человека [6]. Поэтому для сложных расчётов количественных показателей лучше использовать компьютерные инструментальные средства. Например, при создании распределённых автоматизированных систем большое значение имеет анализ временных характеристик. Но даже опытному проектировщику РСОД бывает очень трудно спрогнозировать их значения, т. к. временные показатели зависят от большого числа параметров, выбираемых на ранних этапах проектирования распределённой системы. На индексы производительности влияют параметры концептуальной схемы базы данных, спецификаций разрабатываемых программ, архитектуры будущей системы (модели доступа к данным, комплекса технических средств, операционной системы, системы управления базой данных), наполнения базы данных. Более того, для выполнения расчётов необходимо знать достаточно сложные математические методы анализа автоматизированных систем. Поэтому важно дать проектировщику, выполняющему разработку в среде СУБД, инструмент, позволяющий прогнозировать временные показатели распределённых систем и выявлять по-
тенциальные "узкие места" РСОД на основе описаний проектных решений. Это особенно важно, если учесть, что основной язык (SQL) доступа к данным относится к классу непроцедурных языков. Неосторожное использование спецификаций этого языка может привести к существенному увеличению времени реакции системы. Следует также отметить, что характеристики надёжности часто можно свести к показателям производительности [8], т. к. отказы системы приводят к дополнительным временным задержкам, которые связаны с ожиданием восстановления системы после сбоев.
3. Разрабатываемый комплекс должен выполнять функции экспертной системы (ЭС).
Можно выделить следующие классы систем искусственного интеллекта [9]:
• системы с интеллектуальными интерфейсами, использующими естественный язык, гипертекст и мультимедиа, когнитивную графику,
• статические и динамические экспертные системы,
• самообучающиеся системы на принципах индуктивного вывода, нейронных сетей, поиска прецедентов, организации информационных хранилищ,
• адаптивные системы на основе использования CASE-технологий и/или компонентных технологий.
Но именно экспертные системы предназначены для решения достаточно трудных для проектировщиков задач на основе накапливаемой базы знаний, отражающей опыт работы специалистов (проектировщиков, математиков, экспериментаторов и др.) в рассматриваемой предметной области [9]. ЭС является инструментом, усиливающим интеллектуальные способности проектировщика РСОД, и может играть роль ассистента в связи с необходимостью анализа проектировщиком различных вариантов принятия решений.
4. Комплекс должен настраиваться на анализ различных моделей доступа к базам данных распределённых РСОД.
В настоящее время используется достаточно много различных моделей доступа к базам данных [10]. Важно уметь оценивать эффективность этих моделей. К сожалению, ни одна из рассмотренных в начале статьи систем анализа показателей качества не обеспечивает настройку системы на ту или иную модель доступа к данным, они ориентированы, в основном, на исследование усечённой модели сервера баз данных.
5. Комплекс должен позволять оценивать индексы производительности автоматизированных систем, где используется язык манипулирования данными SQL (Structured Query Language).
В современных РСОД язык SQL является общесистемным средством, поскольку он
• является стандартным языком манипулирования данными (SQL/92 [11], SQL 3 [10]), который используется практически во всех современных СУБД [10] и, следовательно, во всех моделях доступа к базам данных,
• выступает как стандартное средство коммуникации между серверами баз данных при выполнении сложных запросов.
В настоящее время появились модификации и расширения языка SQL [12]: OQL (Object Query Language), XML QL, XQL, RDF Query, используемые для доступа к объектно-ориентированным СУБД и к данным из XML-документов.
Спецификации операторов языка SQL не используются для описания приложений проектируемой РСОД в рассмотренных в начале статьи системах анализа показателей качества. Так в комплексе оценки качества КОК [1] спецификации прикладных программ вообще не учитываются. В системе синтеза логической схемы БД [2] запросы и транзакции задаются в виде деревьев поиска (обновления) на некоторой канонической структуре
БД. В комплексе КИСП [3] учитываются спецификации операторов языка ДИОД (СУБД ДИСОД), возможность применения БОЬ только декларируется.
6. При разработке комплекса необходимо учитывать, что параметры РСОД имеют нечёткую природу на ранних стадиях проектирования.
Ясно, что в начале проектирования очень трудно предсказать точные значения многих параметров РСОД, т. е. они являются размытыми (нечёткими). Например, можно оценить лишь приближённо количество рабочих станций, интенсивность обращений к транзакциям, параметры запросов, показатели наполнения базы данных и др. В системах КОК [1] и синтеза ЛС БД [2] задачи решаются в чёткой постановке. В [3] предлагается оригинальный подход к определению нечётких значений (нечётких чисел) временных характеристик РСОД на основе свойств внутренней и внешней монотонности СМО [13], но в системе КИСП этот подход не реализован.
К сожалению ни одна из рассмотренных выше систем анализа показателей качества РСОД не удовлетворяет всем перечисленным требованиям 1 - 6. Ниже рассматриваются концепции нового Комплекса инструментальных Средств Анализа Моделей доступа к базам данных РСОД (КСАМ). КСАМ относится к классу экспертных систем. На рис. 1 представлена обобщённая структура ЭС [9].
Рис. 1. Структура экспертной системы
Рассмотрим представленные на рис. 1 компоненты ЭС применительно к разработанному комплексу КСАМ.
1. База знаний (БЗ) - это совокупность декларативных и процедурных знаний о предметной области [9]. Основное отличие базы знаний от базы данных заключается в активности БЗ [14]. В процессе решения задачи (вывода) база знаний при необходимости пытается активно пополнить недостающие сведения из различных источников: из базы данных, у пользователя и т. д. В настоящее время существует несколько моделей представления знаний [9, 14]:
• логическая модель реализует знания с помощью предикатов первого порядка математической логики. Здесь факты задаются в виде отношений, а правила вывода - в виде логической формулы (предиката) над схемами отношений фактов. Механизм вывода осуществляет перебор фактов, относящихся к правилу, и отбирает те факты, для которых соответствующая логическая формула принимает значение "истина",
• в продукционной модели знания представляются в виде правил "Если-То". Для доказательства некоторой гипотезы "7" на основании факта "А" механизм вывода пытается построить цепочку рассуждений "А; Если А, То В; Если В, То С; ... Если Y, То 7; 7",
• в модели, основанной на семантических сетях, знания представляются в виде объектов (понятий) и семантических связей между ними. Механизм вывода по исходным понятиям и связям между ними (т. е. по исходным фактам) пытается найти подграф семантической сети, который максимально соответствовал бы исходным фактам. Дуги семантической сети, исходящие из найденного подграфа, указывают на результаты вывода (на новые факты),
• во фреймовой модели знания представляются в виде фреймов, состоящих из слотов различных типов. Механизм вывода выполняет поиск требуемого фрейма по образцу, т. е. по значениям некоторых заполненных слотов (для этого используются значения слотов по умолчанию, ссылки на присоединённые процедуры, указатели на дочерние фреймы). Значения остальных слотов найденного фрейма и связанных с ним других фреймов определяют результаты вывода,
• объективно-ориентированная модель является развитием фреймовой модели. Здесь реализуется обмен сообщениями между объектами (фреймами). Эта модель в большей степени ориентирована на решение динамических задач и отражение поведенческой модели.
Для реализации КСАМ наиболее подошла фреймовая модель. В качестве значений слотов фреймов выступают как обычные значения данных, так и указатели на присоединённые процедуры. Т. е. фрейм может описывать как декларативные знания, так и процедурные. Это важно для
оценки индексов производительности, т. к. база знаний должна хранить не только результаты измерений показателей эффективности для различных конфигураций серверов, но и описания математических моделей. Если фрейм связать с оператором БРЬ, то фреймы объединяются в сеть, которая соответствует последовательности выполнений БрЬ-операторов приложений, запускаемых пользователями РСОД. Т. к. при выполнении операторов БРЬ используются различные ресурсы вычислительной сети, то сеть фреймов отображается на ресурсы вычислительной сети (рис. 2, сеть фреймов разработана в соавторстве с Плутенко А.Д.).
На рис. 2 пунктирные стрелки указывают на узлы вычислительной сети, где выполняются прикладные программы (транзакции). Сплошные стрелки определяют узлы, ресурсы которых используются при выполнении соответствующего запроса БрЬц (этот запрос взят в качестве примера).
Сеть фреймов
Рис. 2. Пример отображения сети фреймов на ресурсы вычислительной сети
2. База данных - это база, где хранятся параметры и характеристики проектируемой РСОД. Здесь могут храниться некоторые декларативные знания БЗ, например, реестры с результатами тестов, проведённых на некоторых типовых конфигурациях. Комплекс КСАМ обеспечивает описание:
• концептуальной (инфологической) схемы базы данных РСОД и наполнения базы данных (прогнозируемое число записей в таблицах и мощности атрибутов),
• запросов (БОЬ-операторов) и транзакций РСОД, которые могут обращаться к другим транзакциям распределённой системы,
• архитектуры РСОД (топологии и характеристик узлов и сетей из реестров результатов тестов и параметров сетей),
• распределения таблиц (с учетом тиражирования) и транзакций по узлам РСОД,
• интенсивностей обращений рабочих станций к транзакциям и транзакций к другим транзакциям.
3. Механизм вывода, используя сведения из базы данных и базы знаний, оценивает индексы производительности РСОД. Был предложен следующий алгоритм работы машина вывода (МВ). МВ последовательно просматривает в БД описания запросов транзакций и для очередного БРЬ-оператора активизирует соответствующий фрейм, который автоматически заполняет пустые слоты и связывается с описаниями ресурсов вычислительной сети, используемых при выполнении запроса (см. рис. 2). Фрейм оценивает время использования этих ресурсов (процессоров, дисков, шин ЛВС, каналов связи и др.) при выполнении соответствующего оператора SQL и накапливает составляющие загрузок ресурсов. Важно подчеркнуть, что распределённые системы обработки данных проектируются, как правило, в условиях большой неопределённости исходных данных. Поэтому в
КСАМ предусмотрена возможность описания параметров и расчёта характеристик РСОД с использованием нечётких чисел. Таким образом, машина вывода КСАМ оперирует нечёткими числами. Для этой цели была реализована соответствующая арифметика.
4. Механизм объяснений. При анализе времени выполнения запросов и транзакций, а также загрузок устройств проектировщик РСОД может обнаружить отклонения этих характеристик от предельных значений. КСАМ рассчитывает составляющие загрузок узлов и сетей по запросам к базе данных и транзакциям, а также составляющие времени выполнения транзакций по запросам, другим (вложенным) транзакциям, узлам и сетям для выявления лицом принимающим решение (ЛПР) "узких мест" РСОД. Т. е. комплекс "объясняет", какие аппаратные и программные ресурсы могут являться критическими.
5. Механизм приобретения знаний. База знаний отражает знания экспертов (специалистов) в данной предметной области о методах анализа, устойчивых или измеренных показателях. Выявлением знаний и последующим их представлением в БЗ занимаются специалисты, называемые инженерами знаний. Они должны обеспечивать ввод в КСАМ декларативных и процедурных знаний, используя для этой цели пользовательский интерфейс или средства программирования.
6. Пользовательский интерфейс. Важнейшим требованием к организации диалога пользователя с ЭС является естественность, которая не означает буквально описание запросов пользователя предложениями естественного языка (хотя это и не исключается). Важно, чтобы последовательность решения задачи была гибкой, соответствовала представлениям проектировщика РСОД и велась в профессиональных терминах [9].
Известно [9], что по степени сложности решаемых задач экспертные системы можно классифицировать следующим образом:
• По способу формирования решений экспертные системы разделяются на два класса: аналитические и синтетические. Аналитические системы предполагают оценку вариантов решений или проверку гипотез, синтетические системы осуществляют генерацию вариантов решений или формирование гипотез.
• По способу учёта временного признака экспертные системы могут быть статическими или динамическими. Статические системы решают задачи при неизменяемых в процессе решения данных и знаниях, динамические системы допускают такие изменения.
• По видам используемых данных и знаний экспертные системы классифицируются на системы с детерминированными (чётко определёнными) данными или знаниями и неопределёнными (в данном случае нечёткими) данными или знаниями.
• По числу используемых источников знаний экспертные системы могут быть построены с использованием одного или множества источников знаний. Источники знаний могут быть альтернативными или дополняющими друг друга.
В соответствии с приведённой выше классификацией КСАМ является аналитической, статической, с неопределёнными данными и с множеством дополняющих друг друга источников знаний экспертной системой. Такие ЭС часто называют доопределяющими [9]. Эти системы решают задачи интерпретации исходных данных и диагностики вариантов решений.
В соответствии с рассмотренными выше концепциями в Московском государственном техническом университете им. Н.Э. Баумана и в Амурском государственном университете был разработан комплекс инструментальных средств анализа моделей доступа к базам данных распределённых систем обработки данных (КСАМ), который предназначен для проведения вычислительных (модельных) экспериментов с целью анализа временных
показателей РСОД. В отличие от существующих систем анализа в этом комплексе явно назначаются параметры схемы базы данных проектируемой РСОД, характеристики наполнения БД, спецификации транзакций на уровне SQL-операторов, параметры распределения таблиц БД и транзакций по узлам РСОД. Причём анализ выполняется с учётом конфигураций узлов, выбираемых из реестра с результатами тестов, проведённых по спецификациям международной организации Transactional Processing Performance Council (ТРС). Этот комплекс относится к классу экспертных систем и реализован в среде Personal Oracle и Developer/2000. При реализации КСАМ были использованы оригинальные модели анализа, разработанные автором. Эти модели выступают в качестве процедурных знаний экспертной системы.
ЛИТЕРАТУРА
1. Безкоровайный М.М., Костогрызов А.И., Львов В.М. Инструментально-моделирующий комплекс для оценки качества функционирования информационных систем "КОК". - М.:СИНТЕГ, 2000. - 116 с.
2. Сиротюк В.О. Модели и методы синтеза оптимальных логических структур и базы метаданных репозитария распределённых баз данных в АСУ // Автоматика и телемеханика (М.). - 1999. - № 1. - С. 166-179.
3. Григорьев Ю.А. Разработка научных основ проектирования архитектуры распределённых систем обработки данных: Дисс... на соискание учёной степени д-ра техн. наук. - МГТУ им. Н.Э. Баумана, 17.10.96 г. - 243 с.
4. An Environment for the Design and Performance Evaluation of Portable Parallel Software: Final EDPEPPS Simulator: Report / Center for Parallel Computing University of Westminster. - EDPEPPS/41. - London, July 1997. - 63 p.
5. Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия решений. - М.: Знание, 1985. - 32 с. (Новое в жизни, науке, технике. Сер. Математика, кибернетика; № 10).
6. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. - М.: СИН-ТЕГ, 1998. - 376 с.
7. Липаев В.В. Системное проектирование сложных программных средств для информационных систем. - М.: СИНТЕГ, 1999. - 224 с.
8. Приоритетные системы обслуживания / Гнеденко Б.В., Даниелян Э.А., Димитров Б.Ни др. - М.: Изд-во МГУ, 1973. - 447 с.
9. Тельнов Ю.Ф. Интеллектуальные информационные системы в экономике. -М.: СИНТЕГ, 1998. - 216 с.
10. Григорьев Ю.А., Плутенко А.Д. Жизненный цикл проектирования распределённых баз данных. - Благовещенск: Изд-во Амурского гос. ун-та, 1999. - 266 с.
11. Кузнецов С.Д. Стандарты языка реляционных баз данных БОГ: краткий обзор // Системы управления базами данных (М.). - 1996. - № 2. - с.6-36.
12. Жигалов В. Как нам обустроить поиск в сети? // Открытые системы (М.). -2000. - № 12. - С.53-61.
13. Штоян Д. Качественные свойства и оценки стохастических моделей. - М.: Мир, 1979. - 268 с.
14. Герман О.В. Введение в теорию экспертных систем и обработку знаний. -Мн.: ДизайнПРО, 1995. - 255 с.
electronic scientific and technical periodical
SCIENCE and EDUCATION
___________El. .Vs KS 77 - 30569. -V«042l 100025. ISSN 1994-0408_
Software for analysis of productivity indexes in distributed systems of data processing 77-30569/296095
# 02, February 2012 Григорьев Ю.А.
Bauman Moscow State Technical University [email protected]
Concepts of complex that belongs to class of expert systems and designed for conduction of numeric experiments (simulation) in order to analyze productivity (timing data) indexes of distributed systems of data processing (DSDP) were considered. New class of analysis model of DSDP’s timing performances was developed in this work with optimization mechanisms of queries to distributed database taken in the account. Application of the decisionmaking process, based on holistic selection of architecture type was also developed. If frame of expert system is connected with SQL operator, then frames unite into network that corresponds to the sequence of SQL operators’ execution. Different resources of computer network are used when SQL operators are executed that is frame network goes into resources of computer network.
Publications with keywords: knowledge base, complex of performance analysis, query optimization, data access model, Frame model , data base, expert system, distributed system of data processing
Publications with words: knowledge base, complex of performance analysis, query optimization, data access model, Frame model , data base, expert system, distributed system of data processing
Reference
1. Bezkorovainyi M.M., Kostogryzov A.I., L'vov V.M., Instrumental and modeling complex to assess the quality of functioning of information systems "KOK", Moscow, SINTEG, 2000, 116 p.
2. Sirotiuk V.O., Models and methods for the synthesis of optimal logical structures and meta-database of repository of distributed databases in ACS, Avtomatika i telemek-hanika 1 (1999) 166-179.
3. Grigor'ev Iu.A., Development of scientific bases of design of architecture of distributed data processing systems (Dr.Sci.Tech. dissertation), Moscow, MGTU im. N.E. Baumana - BMSTU, 1996, 243 p.
4. An Environment for the Design and Performance Evaluation of Portable Parallel Software: Final EDPEPPS Simulator: Report, Center for Parallel Computing University of Westminster, EDPEPPS/41, London, July, 1997, 63 p.
5. Emel'ianov S.V., Larichev O.I., Multicriterial methods of decision making, Moscow, Znanie, 1985, 32 p.
6. Trakhtengerts E.A., Computer decision support, Moscow, SINTEG, 1998, 376 p.
7. Lipaev V.V., Systems engineering of complex software tools for information systems, Moscow, SINTEG, 1999, 224 p.
8. Gnedenko B.V., Danielian E.A., Dimitrov B.N., et al., Priority systems of service, Moscow, Izd-vo MGU, 1973, 447 p.
9. Tel'nov Iu.F., Intelligent Information Systems in Economics, Moscow, SINTEG,
1998, 216 p.
10. Grigor'ev Iu.A., Plutenko A.D., The life cycle of design of distributed databases, Blagoveshchensk, Izd-vo Amurskogo gos. un-ta, 1999, 266 p.
11. Kuznetsov S.D., Standards of Language of Relational Database SQL: a brief overview, Sistemy upravleniia bazami dannykh 2 (1996) 6-36.
12. Zhigalov V., How to Equip a web search?, Otkrytye sistemy 12 (2000) 53-61.
13. Shtoian D., Qualitative properties and evaluations of stochastic models, Moscow, Mir, 1979, 268 p.
14. German O.V., Introduction to the theory of expert systems and knowledge processing, Mn., DizainPRO, 1995, 255 p.
