CC BY
108
Осипов В.П. Osipov УР.
кандидат технических наук, доцент, ведущий научный сотрудник Федерального государственного бюджетного учреждения науки Института прикладной математики им. М.В. Келдыша Российской академии наук, Россия, г. Москва
Сивакова Т.В. Sivakova Т.У
младший научный сотрудник Федерального государственного бюджетного учреждения науки
Института прикладной математики им. М.В. Келдыша Российской академии наук, Россия, г. Москва
Судаков В.А. Sudakov УЛ.
кандидат технических наук, доцент, старший научный сотрудник Федерального государственного бюджетного учреждения науки Института прикладной математики им. М.В. Келдыша Российской академии наук, Россия, г. Москва
Трахтенгерц Э.А. Trahtengerts Е.Л.
доктор технических наук, профессор, главный научный сотрудник Федерального государственного бюджетного учреждения науки Института проблем управления им. В.А. Трапезникова Российской академии наук, Россия, г. Москва
Загреев Б.В. Zagreev Б.У.
кандидат физико-математических наук, начальник лаборатории Федерального государственного унитарного предприятия «Центральный научно-исследовательский институт машиностроения», Россия, г. Королев
УДК 519.816
МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ПРИ ПЛАНИРОВАНИИ НАУЧНО-ПРИКЛАДНЫХ ИССЛЕДОВАНИЙ И ЭКСПЕРИМЕНТОВ НА МЕЖДУНАРОДНОЙ КОСМИЧЕСКОЙ СТАНЦИИ (МКС)
В статье рассматривается автоматизация и информатизация формирования программ научно-прикладных исследований и экспериментов, планируемых на российском сегменте МКС. Проведен анализ существующих документов, регламентирующих принятие решений в данной предметной области. Выделены основные этапы организации экспертиз с применением компьютеризированной системы поддержки принятия решений. Предложены интернет-платформа и программные средства для обработки и анализа результатов экспертиз заявочной документации. Все сценарии реализуются через соответствующие веб-интерфейсы, в том числе
и для выгрузки собранных данных о поданных заявках и их оценках экспертами для последующей обработки средствами компьютеризированной системы поддержки принятия решений. С использованием сетевых технологий будет развиваться дистанционная экспертиза, выполняемая с применением удаленного доступа к информационным ресурсам специализированных баз данных с результатами реализованных космических экспериментов, которые необходимо развивать и сопровождать. Она может служить площадкой для публикации актуальной информации в Интернете для широкого использования членами экспертного сообщества.
Ключевые слова: научно-прикладные исследования, долгосрочная программа космических экспериментов, международная космическая станция, система поддержки принятия решений, экспертное оценивание, база данных, веб-сервер.
METHODOLOGICAL BASE OF SUPPORT DECISION-MAKING IN THE PLANNING OF SCIENTIFIC AND APPLIED RESEARCH AND EXPERIMENTS ON THE INTERNATIONAL SPACE STATION (ISS)
The article deals with automation and computerization in formation programs of scientific and applied research and experiments planned on the Russian segment of the ISS. Existing documents governing decisions in this domain were analyzed. The main stages of the organization expertise with the use of computerized decision support systems have been identified. Internet platform and software for processing and analyzing the results expertise of application documents was proposed. All scenarios are implemented through appropriate web interfaces, including the unloading of the data collected on submitted applications and their estimates of experts for further processing means a computerized decision support system. By using network technologies will develop remote examination, performed with the use of remote access to the information resources of specialized databases with the results of the realized space experiments that are necessary to develop and maintain. It can serve as a platform for the publication of relevant information on the Internet for general use by members of the expert community.
Key words: scientific and applied research, long-term program of space experiments, the International Space Station, a decision support system, expert evaluation, database, web server.
Условия на борту МКС представляют собой специфическую среду для выполнения научных и прикладных исследований. Это особый ресурс космического полета, который можно плодотворно использовать для научных и технических целей.
Оценка состояния исследований в этой области показывает, что в современной России имеются глубокие исторические корни, идущие еще от работ К.Э. Циолковского, наработан значительный задел практических исследований на автоматических спутниках и долговременных орбитальных станций, еще сохранился отряд специалистов на предприятиях Роскосмоса, опытных ученых в РАН и научной молодежи.
В настоящее время, в связи с увеличением количества предложений по новым космическим экспериментам (КЭ), а также КЭ, находящихся в стадии подготовки и реализации, актуальным является повышение эффективности экспертных процедур при выявлении приоритетов и формировании Долгосрочной программы (ДП) научно-прикладных исследований и экспериментов, планируемых на российском сегменте (РС) МКС (http://knts.tsniimash.ru) [1]. Достигнуть этого, по мнению авторов, возможно путем применения информационных, в том числе сете-
вых, технологий (ИТ) на стадии принятия решений [2, 3] о включении проектов в ДП.
1. Предпосылки информатизации и автоматизации
А) Широкий спектр проводимых исследований. Большие объемы фактических данных о результатах ранее проведенных исследований
Советскими и российскими исследователями на борту космических аппаратов (КА) за более чем 30-летнюю историю проведено свыше 1 000 экспериментов по физике невесомости и космическим технологиям. Получены обширные данные по особенностям протекания фазовых переходов в условиях микрогравитации, по результатам выращивания в космосе различных полупроводниковых кристаллов, стекол, новых сплавов, композитов. Разработано разнообразное специальное научное и обеспечивающее оборудование. Выявлено существенное влияние микроускорений на процессы тепломассо-переноса. Разработаны оригинальные системы для их демпфирования. Проведены широкие исследования и по другим направлениям: астро- и геофизике, дистанционному зондированию Земли. Особенно много космических экспериментов проводится
в области биомедицины, биотехнологии и технических экспериментов с целью дальнейшего освоения космического пространства.
Б) Потребность во всестороннем изучении и анализе приобретенного опыта
Микрогравитация и другие факторы космического пространства являются весьма сложными и мало изученными явлениями. Опыт проведенных ранее экспериментальных исследований на автоматических и пилотируемых КА говорит о том, что в этой среде могут быть получены как положительные, так и отрицательные результаты. Такая неопределенность создает значительные трудности для инстанций, принимающих решения о финансировании новых экспериментальных исследований. Объективная оценка заявок на КЭ без доступа к информации о ранее полученных результатах, существе предлагаемых проектов, компетенции и научном авторитете их авторов и т. п. без всестороннего учета научных и технических приоритетов и располагаемых ресурсов крайне затруднительна.
При постановке на борт дорогостоящего оборудования возрастает потребность в актуальных сведениях, необходимых для технико-экономического обоснования КЭ, сопоставления наиболее перспективных направлений отечественных исследований с уровнем работ в мировом научном сообществе.
В) Высокий уровень развития вычислительной техники и информационных технологий
Сегодня мы являемся свидетелями бурного роста возможностей вычислительной техники, что определяет прогресс современных средств моделирования и информационных технологий. Появились новые возможности обобщения и критического сопоставления экспериментальных и новейших теоретических данных. Широкое применение сетевых технологий обеспечивает свободный и оперативный доступ к информации через глобальную сеть Интернет. Российские ученые и специалисты, принимающие участие в подготовке, экспертизе и отборе перспективных проектов, реализуемых на борту КА, нуждаются в едином информационном пространстве. Эта потребность имеет объективный характер.
Г) Недостаточное использование компьютерных средств поддержки принятия решений при формировании ДП КЭ
Несмотря на бурное развитие и широкое использование информационных технологий в различных областях практической деятельности, в рассматриваемой нами предметной области они носят пока вспомогательный характер. Помимо информационного ресурса Координационного научно-технического совета (КНТС) Роскосмоса (http://knts.tsniimash.ru)
следует выделить лишь сайт РКК «Энергия» (http:// www.energia.ru/ru/iss/researches/iss-researches.html). Здесь поддерживается актуальная база данных (БД) о готовящихся и проводимых на МКС экспериментах. Этого явно недостаточно для эффективной работы экспертного сообщества.
Д) Приобретен положительный опыт информационного моделирования предметной области микрогравитационных исследований и практического использования компьютеризированных систем поддержки принятия решений
Исходя из необходимости развития и внедрения информационных технологий и перехода к информационному сообществу, ИПМ им. М.В. Келдыша РАН вместе с ЦНИИМаш предложили концепцию информатизации и автоматизации, в основе которой лежит идея создания единой информационной среды и интегрированной с ней компьютеризированной системы поддержки принятия решений (СППР) [4, 5]. Идея нашла воплощение в разработанном ИПМ им. М.В. Келдыша РАН интернет-портале www.microgravity.ru. Были отработаны необходимые технологии информационного моделирования предметной области, созданы необходимые базы данных, предложена процедура экспертизы заявочной документации с применением компьютеризированной СППР, исследованы типовые алгоритмы обработки результатов экспертиз и соответствующее программное обеспечение. Учеными и специалистами ИПМ им. М.В. Келдыша, ИПУ РАН и МАИ, на основании имеющегося опыта создания и практического использования компьютеризированных СППР [2, 3], по заданию и при непосредственном участии ЦНИИМаш в рамках НИР «СППР-1» была отработана методология аналитической обработки результатов экспертиз заявочной документации.
Формирование единого информационного пространства предполагает объединение, стандартизацию и унификацию необходимых информационных, программных и системных ресурсов творческих коллективов, предприятий и компаний, участвующих в формировании и реализации программ КЭ. Единая информационная среда открывает новые возможности для повышения эффективности процедуры формирования ДП КЭ.
Из всего вышесказанного следует, что в настоящее время:
• осознаны предпосылки для информатизации и автоматизации процедуры формирования ДП КЭ на РС МКС;
• предложены реальные пути формирования распределенной информационной среды и развития информационной поддержки российских ученых
и специалистов, принимающих участие в планировании и проведении КЭ на РС МКС [4, 5];
• получен необходимый опыт в создании специализированных информационных ресурсов [6, 7].
Необходимо отметить еще одно важное обстоятельство: на российском рынке нет решения в области информационных систем управления, полностью готового к применению в рассматриваемой области. Это связано с тем, что ведущим направлением деятельности постановщиков КЭ является научно-исследовательский и инновационный процесс. Большинство же представленных на рынке систем ориентировано на производство и торговлю. Функциональность, необходимая в нашем случае, частично может быть реализована в различных готовых системах, однако общего решения для различных предметных областей пока не существует.
2. Анализ существующего регламента формирования Долгосрочной программы космических экспериментов на РС МКС. Рекомендации и предложения по его оптимизации и автоматизации
Существующие нормативы, требования к процедуре отбора КЭ и порядок включения экспериментов
в ДП определяются ГОСТом Р 52017-2003 [8] и Приложением 2 к ДП [1]. Предварительный анализ существующих нормативов показал, что они касаются общего порядка формирования ДП КЭ. Рассмотрим составляющие этого процесса более подробно.
Предусмотрено два пути прохождения заявок на КЭ для включения его в ДП КЭ. Первый регламентирован ГОСТом Р 52017-2003 и реализуется при формировании ДП КЭ, второй - определяется Порядком изменения ДП КЭ, который прописан в Приложении к обновленной ДП КЭ версии 2008 г. Отличия в них не принципиальные, и оба регламентируют процедуру, которая представлена на рис. 1. Схема, выполненная в нотации IDEF0 [9], представляет модель процесса формирования ДП КЭ, которая содержит для каждого этапа наименование, входной и выходной потоки данных, регламентирующие (управляющие) условия и механизмы реализации этапов.
Проведение экспертиз профильными секциями КНТС является обязательным. Существующие нормативы регламентируют состав и содержание заявочной документации, подтверждают необходимость проведения экспертиз заявочной документации, определяют участников этого процесса и их роли. В частности,
Рис. 1. Схема процессов формирования долгосрочной программы КЭ
головная организация, обеспечивающая деятельность КНТС (ЦНИИМаш), является организатором экспертиз и потребителем ее результатов, а секции КНТС привлекают экспертов и проводят экспертизу.
По результатам экспертиз ЦНИИМаш формирует проект ДП КЭ, который в дальнейшем является основой для формирования загрузки РС МКС и распределения имеющихся на борту ресурсов (энергетика, время занятости экипажа и т. д.).
Предварительный анализ существующих нормативов, проведенный с целью определения исходных предпосылок для информатизации и автоматизации экспертизы заявочной документации, показал следующее.
1. Нормативные документы [1, 8]:
- позволяют формализовать бизнес-процессы прохождения этапов согласования заявки (workflow), который возможно автоматизировать;
- содержат определения сущностей и их атрибутов, необходимых в процессе автоматизации;
- позволяют задать систему фильтрации на основе сформулированных ограничений, то есть определить те заявки, которые не должны рассматриваться;
- определяют параметры заявок, которые могут рассматриваться как критерии оценок, например, научная значимость, реализуемость и т. п.
2. В основе процедуры в соответствии с ГОСТом Р 52017-2003 [8] лежит экспертный анализ заявочной документации. Ввиду необходимости учета многих факторов при формировании экспертной оценки процедуру отбора космических экспериментов следует рассматривать как процесс выработки решения многокритериальной слабоструктурированной или неструктурированной задачи [2-4].
3. Изученная нормативная документация не содержит исчерпывающего списка критериев и правил ранжирования по этим критериям.
4. В настоящее время информация по космическим экспериментам хранится в слабоструктурированном виде. Степень структуризации хорошо прослеживается на сайте http://knts.tsniimash.ru.
5. Необходима дальнейшая нормализация входной информации до уровня атрибутов, которые могут рассматриваться как числовые или лексические (качественные) критерии.
6. Актуальной задачей остается создание базы данных экспертного сообщества. Сейчас поиск подходящего эксперта в соответствующей области ведется без привлечения компьютера. Одним из направлений автоматизации наполнения базы по экспертам может быть автоматическое сканирование интернет-баз разнородных систем. Например, из базы по научным статьям http://elibrary.ru или
из базы http://grants.extech.ru по молодым ученым
- победителям грантов. Другим направлением разработки базы экспертного сообщества может стать система ранжирования экспертов. Она позволит по ряду критериев определить ограниченное подмножество экспертов, которые им соответствуют. Здесь будет важно оценивать компетенцию эксперта в данной предметной области и возможную личную заинтересованность в конкретном проекте.
7. Актуальными являются две близкие задачи:
• принятие решения по выбору заявок на проведение новых космических экспериментов на МКС;
• принятие решений о необходимости продолжить или прекратить эксперименты, которые уже ведутся.
8. Анализ существующих заявок показал, что большая их часть может быть отфильтрована по формальным признакам на соответствие нормативам. Для автоматизации подобной фильтрации целесообразно создать систему, реализующую работу с множеством логических выражений на языке первого порядка.
9. Дерево показателей для оценки заявок на космические эксперименты, разработанное ЦНИИМаш, включает как числовые, так и лексические шкалы. Для работы с номинальными лексическими шкалами без их перевода в аддитивную цифровую шкалу целесообразно воспользоваться комбинированными методами выявления предпочтений.
3. Основные этапы организации экспертиз с применением компьютеризированной СППР
Поскольку человеческая оценка имеет субъективную природу, одной из главных задач принятия решений является повышение объективности оценок. Возможный способ повышения объективности
- получение коллективных (групповых) экспертных оценок.
Задачи, решаемые малыми группами (МГ) экспертов, характеризуются специализацией предметной области (ПО). Чем более специальный характер имеет анализируемая ПО, тем уже круг участников МГ. В связи с этим очевидными выглядят требования к их профессионализму. И чем более ответственным должно быть принятое решение, тем они выше.
Важным является вопрос и о численности МГ. Малое число участников (2-3 человека) не способствует повышению объективности оценки. Возрастание численности влечет усложнение коммуникаций участников на этапе обсуждения проблемы, усложняет организацию экспертизы и обработку ее результатов.
К определению численности группы, так же как и для многих других задач умозрительного анализа, во многих случаях может быть применена известная оценка [2, 3] размерности 7±2.
Очевидно, что участники принятия решения могут придерживаться различных точек зрения на рассматриваемую проблему. Поэтому важным фактором группового выбора является поиск согласованных оценок. В соответствии с этим под групповым выбором понимается выработка согласованного решения о порядке предпочтения рассматриваемых объектов на основе индивидуальных мнений членов группы.
Групповой выбор альтернатив может быть основан на принципе большинства (мажоритарный принцип). Несмотря на очевидность применения, он сопряжен с решением ряда проблем, которые будут рассмотрены ниже.
Организация экспертизы зависит от специфики решаемой задачи. Тем не менее имеются достаточно общие этапы решения многих задач [2, 3].
1. Постановка задачи. В этом процессе обычно участвуют лицо, принимающее решение (ЛПР), системный аналитик и возможный исполнитель. Они знакомятся с проблемой, изучают различные источники информации и ставят задачу оценивания.
2. Формирование экспертной группы. Определяется количество и подбирается состав участников группы в соответствии со спецификой решаемой задачи.
3. Оценка компетентности экспертов. В качестве количественной оценки используются весовые коэффициенты экспертов. Их может назначать ЛПР, другие эксперты, либо участники оценивают друг друга. Примером исходной информации для определения весовых коэффициентов экспертов может стать таблица парных сравнений (аналогично турнирной таблице). В ней отражены предпочтение одного эксперта другому в различных парах.
4. Определение способа оценивания. Возможны различная степень анонимности (оценка доступная или недоступная для других), разный регламент оценивания (очная или заочная оценка) или способ представления информации для оценивания.
5. Предъявление информации для оценивания. Желательным является предварительное ознакомление экспертов с информацией, подлежащей оцениванию. Подготовка экспертов к совместной работе способствует улучшению взаимопонимания и экономит время.
6. Выполнение оценивания. В зависимости от принятой процедуры эксперты выставляют индивидуальные оценки либо вырабатывают коллективные в процессе обсуждения предъявленной информации. На основе индивидуальных оценок вычисляются групповые.
7. Оценка согласованности мнений экспертов. Оценивается разброс индивидуальных оценок и сте-
пень близости их к групповой оценке. Если разброс оценок превышает заданный предел (например, выше 20 %), делается попытка их согласования. При отсутствии готовности к компромиссным решениям группа может быть расформирована, и осуществляется возврат к п. 2 процедуры. Здесь максимально используются компьютерные методы согласования.
8. Регистрация оценок. Результаты работы экспертов регистрируются на электронном или бумажном носителе и протоколируются с указанием времени выполнения оценки. Это необходимо для того, чтобы эксперт имел возможность впоследствии подтвердить данные им оценки.
9. Экспериментальное исследование. Выполняется проверка принятых решений на модели или на практике. При положительном результате принятое групповое решение утверждается. В противном случае организуется повторная групповая экспертиза с учетом полученной дополнительной информации.
Существенное повышение эффективности процедур принятия решений возможно за счет компьютеризированных СППР, играющих роль «систем-советчиков».
Концепция построения таких систем заключается в следующем:
• Решения, принимаемые ЛПР, носят субъективный характер. Одно и то же решение может быть идеальным для одного пользователя и совершенно не подходить для другого.
• Система поддержки решений должна быть ориентирована на конкретного ЛПР и помогать лично ему. Для этого она должна обладать средствами выявления и формализации системы ценностей пользователя, которая может отображаться в виде следующих его предпочтений на полном множестве альтернатив.
• Процедура ввода субъективной информации, критериев, их «весов» и т. п. должна быть понятна и удобна ЛПР.
• Система должна быть максимально свободна от субъективизма разработчика, то есть ограничения, принимаемые при разработке системы, должны как можно меньше влиять на результат. Если разработчик вынужден принять принципиальное решение, то он должен сформулировать его максимально доступным для понимания пользователя.
• ЛПР не обязано быть специалистом в информатике, то есть может не понимать структуры системы, и от него должны требоваться только обычные навыки работы с компьютером.
Всем перечисленным требованиям к компьютеризированной «системе-советчику» удовлетворяет СППР DSS/UTES, которая была создана на кафедре 302 МАИ
для решения широкого круга слабоструктурированных и неструктурированных задач многокритериального выбора высокой размерности. При этом система имеет возможность настройки на индивидуальные особенности ЛПР [3]. Это обстоятельство становится особенно существенным, когда речь идет об использовании универсальных СППР, ориентированных на работу с различными предметными областями.
4. Информационная среда обеспечения экспертиз в рамках web-проекта
Подготовка и сопровождение процедуры экспертизы и отбора заявок на КЭ связаны с реализацией ряда процессов.
Часть из них регламентируется нормативной документацией [1, 6] (рассылка предложений, проведение экспертизы) (рис. 1). Другая часть определяется процедурой проведения экспертиз. На рис. 2 приведена модель процессов, составляющих экспертизу заявочной документации, выполненной в нотации IDEF0. Диаграмма является составной частью общей модели (рис. 3). Она показывает место информационной среды и компьютерной СППР в процессе экспертизы заявочной документации.
Как видно, в экспертизе участвуют несколько участников: ЛПР, аналитическая группа, эксперты. Этапы процесса реализуются с помощью информационной среды и компьютеризированной СППР,
Рис. 2. Схема процесса «Экспертиза заявочной документации»
которые являются компонентами информационной системы. По функциональным признакам информационная среда обеспечивает соответствующими информационными ресурсами внешние запросы к системе, которые реализуются через Интернет, а компьютеризированная СППР поддерживает внутренние (локальные) запросы. Как правило, внешние запросы формируют разработчики заявочной документации и эксперты. Внутренние запросы
осуществляют аналитическая группа и ЛПР. Хранилище данных обеспечивает информацией как внешних потребителей, так и внутренних.
Проект представляет собой классическое серверное web-приложение, работающее по стандартной трехзвенной схеме: «База данных - Сервер приложений - «Тонкий» Клиент». Под «тонким» клиентом подразумевается браузер в сети Интернет, подключенный к системе по протоколам HTTP/HTTPS.
Ы-мерный кубданных
Рис. 3. Схема взаимодействия внешних и внутренних ресурсов
Сервер базы данных обеспечивает хранение всей информации, необходимой для корректного функционирования системы. База данных обслуживается сервером баз данных Microsoft SQL Server 2008, содержит в себе набор связных таблиц как для хранения основных данных бизнес-модели разрабатываемой системы, так и служебной информации, необходимой для корректного функционирования самого приложения.
Сервер приложения представляет собой службу Internet Information Services, запущенную на выделенном сервере и исполняющую приложение ASP. NET, обеспечивающее все функции системы - доступ к базе данных, манипуляция данными, обслуживание запросов из Web, поддержка функционирования web-служб, рассылка электронной почты и т. п.
На рис. 4 указаны основные варианты использования системы для удовлетворения информационных потребностей основных участников. Здесь не указаны вспомогательные сценарии, например, по редактированию личных настроек.
Все сценарии реализуются через соответствующие интерфейсы, в том числе и для выгрузки собранных данных о поданных заявках и их оценках экспертами для последующей обработки средствами компьютеризированной системы поддержки принятия решений. Подробнее ознакомиться с функциональными особенностями информационной среды можно непосредственно по адресу в Интернете http://knts .tsniimash.rU/D S S/.
Заключение
Полученные результаты и приобретенный опыт показали, что назрела необходимость перехода от стадии информационного моделирования и макетирования к стадии разработки полнофункциональной информационной среды с интегрированной СППР.
В рамках системы необходимо реализовать:
• эффективные процедуры формирования электронных заявок на эксперименты с необходимой информационной поддержкой;
• удаленную работу экспертов, участвующих в экспертизе заявочной документации;
• аналитическую обработку результатов экспертиз в виде ранжированных списков КЭ;
• документирование в электронной форме информации о промежуточных и окончательных результатах экспертиз.
Авторы надеются, что проект информационной среды с интегрированной СППР станет динамично развивающейся системой. С использованием сетевых технологий будет развиваться дистанционная экспертиза, выполняемая с применением удаленного доступа к информационным ресурсам специализированных баз данных с результатами реализованных КЭ, которые необходимо развивать и сопровождать. Она может служить площадкой для публикации актуальной информации в Интернете для широкого использования членами экспертного сообщества.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 13-0100895 А.
Список литературы
1. Долгосрочная программа научно-прикладных исследований и экспериментов, планируемых на российском сегменте МКС [Текст] / Версия 2008 г. -ЦНИИМаш, инв. № 8004-31/1 от 28.11.08 г.
2. Трахтенгерц Э.А. Компьютерная поддержка принятия решений [Текст] / Э.А. Трахтенгерц. - М.: СИНТЕГ, 1998. - 376 с.
3. Судакова В.А. Поддержка принятия многокритериальных решений по предпочтениям пользователя. СППР DSS/UTES [Текст] / К.А. Афонин, В В. Бомас, В.А. Судакова. - М.: Изд-во МАИ, 2006. - 170 с.
4. Сивакова Т.В. Компьютерные технологии как средства поддержки принятия решений при выборе рациональных программ микрогравитационных исследований [Текст] / А.В. Гончаров, А.А. Григорьева, К.С. Елкин и др. // Космонавтика и ракетостроение. - 2006. - № 4. - С. 105-112.
5. Осипов В.П. Развитие сетевых ресурсов систем поддержки принятия решений на примере СППР «Микрогравитация» [Текст] / А.А. Григорьева, В.П. Осипов // Материалы VIII Международной конференции по неравновесным процессам в соплах и струях (№№2010), 25-31 мая 2010 г., Алушта. -М.: Изд-во МАИ-ПРИНТ, 2010. - С. 385-387.
6. Осипов В.П. Создание информационно-аналитической системы для обеспечения исследований в области микрогравитации - насущная задача космического производства [Текст] / В.С. Авдуев-ский, В.П. Осипов, В.П. Шалимов // Космонавтика и ракетостроение. - 2000. - Вып. 19. - С. 22-27.
7. Осипов В.П. Концептуальные требования к информационно-аналитической системе для обеспечения исследований в области микрогравитации и описание демонстрационного макета [Текст] / В.С. Ав-дуевский, В.П. Осипов, М.З. Мухоян // Космонавтика и ракетостроение. - 2000. - Вып. 19. - С. 28-35.
8. ГОСТ Р 52017-2003. Аппараты космические. Порядок подготовки и проведения космического эксперимента [Текст]. - М.: ИПК, Изд-во стандартов, 2003. - 19 с.
9. Черемных С.В. Структурный анализ систем: ГО^-технологии [Текст] / С.В. Черемных, И.О. Семенов, В.С. Ручкин. - М.: Финансы и статистика, 2003. - 208 с.
