CC BY
221
УДК 004.05, 519.8
Евсеев Евгений Александрович
Evseev Evgeny Alexandrovich
кандидат физико-математических наук, доцент, доцент кафедры социального анализа и математических методов в социологии Санкт-Петербургского государственного университета dom-hors@mail.ru
Тулин Михаил Михайлович
PhD (Phys.-Math.), Assistant Professor of the Social Analysis and Mathematic Methods in Social Science Subdepartment, Social Science Department, St. Petersburg State University dom-hors@mail.ru
Tulin Mikhail Mikhailovich
студент факультета социологии Санкт-Петербургского государственного университета dom-hors@mail.ru
МОДЕЛЬ ОЦЕНКИ B2B ИНТЕРНЕТ-ПОРТАЛОВ
Student, Social Science Department, St. Petersburg State University dom-hors@mail.ru
MODEL FOR B2B INTERNET PORTALS EVALUATION
Аннотация:
В статье предложена модель оценки интернет-порталов (бизнес-то-бизнес, Ь2Ь), основанная на методе анализа иерархий. Опираясь на анализ структуры бизнес-коммуникаций в Интернете, авторы построили иерархическую структуру критериев оценки порталов, провели оценку нескольких порталов по методике МАИ.
Ключевые слова:
метод анализа иерархий, МАИ, b2b-портал, бизнес-коммуникации.
The summary:
The article suggests a model for business-to-business (b2b) web portals evaluation, which is based upon the method of hierarchy analysis. Guiding by the analysis of the online business communication structure the authors develop a hierarchical criteria structure for internet portals assessment, and carry out a valuation of some portals using the AHP method.
Keywords:
Analytical Hierarchy Process, AHP, b2b portal, business communications.
Интернет играет особую роль играет для современного бизнеса - в Интернете ищут партнеров и клиентов, создают структуры организации и поддержки своего бизнеса, автоматизируют операции с партнерами и клиентами, создают и развивают интернет-магазины. Проходит повальное увлечение созданием контентных сайтов и представительских страниц, и утверждается понимание того, что Интернет - это оптимальная среда для организации бизнес-коммуникаций.
На сегодняшний день в российской среде электронной коммерции, как и во всем мире, быстро развивается сегмент Ь2Ь-коммуникации, то есть бизнес-коммуникаций, в качестве которых выступают юридические лица. На практике Ь2Ь-коммуникация реализуется в основном посредством Ь2Ь-порталов, представляющих собой веб-сайты, созданные для обслуживания бизнес-коммуникации и проведения бизнес-сделок в рамках сети Интернет. Данные порталы выступают в качестве платформы для продавцов и покупателей, на которой можно разместить свой товар или услугу и привлечь потенциального клиента. Несмотря на большое разнообразие Ь2Ь-порталов, их структуры имеют много общих элементов, поэтому задача оценки и построения эффективного Ь2Ь-портала представляется весьма актуальной.
Коммуникации являются необходимым условием совместной экономической деятельности людей, они присутствуют на всех стадиях воспроизводственного цикла (производства, распределения, обмена и потребления товаров). Бизнес-коммуникация - коммуникация по поводу выгоды. Результатом бизнес-коммуникации всегда является выгода, причем обычно выгода обоюдная. Бизнес-коммуникация, как правило, осуществляется в
условиях неопределенности и представляет собой информационные действия в нечеткой информационной среде [1; 2], что обусловлено отсутствием или неполнотой информации о других участниках коммуникации, прогнозах изменения социально-экономической ситуации, более того, любое, даже самое точное описание или прогноз, может оказаться недостоверным из-за динамичных изменений среды. В связи с этим, часто выделяют ряд принципов эффективных бизнес-коммуникаций, например [3]:
- Принцип достаточности информации - во время коммуникативной практики необходимо представлять столько информации, сколько требуется в данный момент, не больше и не меньше.
- Принцип качества информации - информация должна быть точной, из достоверных источников.
- Принцип ситуативности, включающий необоснованность ожидания именно той реакции на коммуникативное воздействие, которая является желательной, возможность нахождения объекта воздействия в состоянии напряженности, которое трудно распознать, и субъективность в интерпретации ситуаций.
Эффективность бизнес-коммуникации также зависит от таких факторов, как канал или средство коммуникации, участвующие стороны, уровень и тип коммуникации и т. д. Разделение бизнес-коммуникации по критерию коммуницирующих сторон на сегодняшний день отлично прослеживается в Интернете, где можно выделить следующие типы бизнес-коммуникации: Ь2Ь (business-to-business / бизнес-бизнес) - взаимодействие юридических лиц, с2с (consumer-to-consumer / потребитель-потребитель) - интернет-аукционы типа еВау, Ь2с (business-to-consumer / бизнес-портебитель) - бизнес-коммуникация между юридическими и физическими лицами, потребителю предоставляется возможность самостоятельно устанавливать стоимость для различных товаров и услуг, предлагаемых компаниями, Ь2д (business-to-government / бизнес-государство) - коммуникации между юридическими лицами и государством, с2д (consumer-to-govemment / потребитель-государство) - коммуникации между физическими лицами и государством.
На сегодняшний день в российской среде электронной бизнес-коммуникации, как и во всем мире, в основном развивается сегмент бизнес-бизнес (Ь2Ь), основным элементом которого является Ь2Ь-портал. Порталы типа Ь2Ь являются вертикальными корпоративными портами - специализированными, тематическими сайтами, представляющими различные сервисы в рамках определенного направления. Более точно определить Ь2Ь-портал поможет рассмотрение составляющих его элементов.
Торговая площадка. Это раздел сайта, на котором участники выставляют свою продукцию / услуги на продажу и где, с помощью встроенной поисковой системы, можно найти интересующий товар. Средняя площадка Ь2Ь-портала имеет порядка 100 тысяч участников, что дает возможность расширять свою сеть бизнес-коммуникации посред-ствам поиска новых клиентов и поставщиков из этого нового сообщества. Тесно работая с членами нового сообщества, компании получают все шансы значительно увеличить масштабы своего бизнеса.
Электронный каталог. Этот раздел Ь2Ь-портала, помогает проводить эффективную навигацию, предоставляет возможности по поиску и интеграции для организации и публикации информации о продукте, а также позволяет управлять покупками и продажами в режиме реального времени. Единая база данных портала способствует созданию стандартной электронной версии спецификации товаров и услуг.
Торгово-закупочная цепочка. Интегрированная в Ь2Ь-портал, торгово-закупочная цепочка, как правило вынесенная в отдельный раздел портала, охватывает каждый этап продажи продукта, включая переговоры, счета и отслеживание процесса отгрузки. Элек-
тронные продажи значительно снижают затраты на общий цикл закупки. Электронные ресурсы в продажах также помогают минимизировать ошибки в документации, часто связанные с использованием бумажных носителей. Все это происходит через вполне понятный интерфейс с использованием самых современных технологий вебпрограммирования.
Электронный офис. Это общее название для набора сервисов на Ь2Ь-портале, которые могут быть объединены в один раздел. В большинстве случаев электронный офис включает в себя следующие инструменты, позволяющие управлять процессами купли-продажи товаров, работ, услуг, обеспечивающие внутренний обмен необходимой информацией и контроль за размещением информации. Электронный офис, по сути, представляет собой информационный образ организации, ее структуру, внутренние и внешние связи и значительно сокращает расходы.
Доска объявлений. Использование данного раздела портала b2b позволяет участникам размещать предложения о продаже. Это исключительно эффективный способ поиска партнеров, так как данная страница является одной из самых посещаемых на сайте. В отличие от торговой площадки, где участники указывают информацию о товарах, которые они продают, на доске объявлений часто можно увидеть объявления о покупке. Формат доски объявлений, как правило, менее стандартизирован и не предполагает заполнение установленных разработчиком портала форм.
Говоря об инструментах Ь2Ь-коммуникации в Интернете, а именно Ь2Ь-порталах, надо не забывать о том, что порталы должны создаваться и функционировать с расчетом на то, чтобы его пользователям было удобно не просто совершить разовую покупку, а вступить в отношения, то есть наладить непосредственную экономическую связь со своим поставщиком. Использование Ь2Ь-порталов имеет ряд преимуществ, позволяет упростить процесс закупки товаров путем стандартизации сделок со всеми продавцами, уменьшить затраты при помощи повышения эффективности закупочного процесса и уменьшения вероятности возникновения погрешностей, экономить время за счет ускорения подтверждения заказа и процесса доставки, иметь доступ к новым потенциальным поставщикам и покупателям за счет использования торговой площадки и многое другое.
Таким образом, Ь2Ь-портал представляет собой специализированный интернет-ресурс, платформу, созданную для обслуживания бизнес-коммуникации и проведения бизнес сделок в рамках сети Интернет. Существует множество общих методик оценки сайтов, однако при оценке Ь2Ь-порталов необходимо учитывать специфику их пользователей - юридических лиц. Интересы пользователей таких порталов, безусловно, отличаются от интересов людей, просматривающих персональные страницы или блоги. Первый, наиболее общий уровень образуют три группы критериев: юзабилити, функциональность и информативность. Рассмотрим их подробнее.
1. Юзабилити. Наиболее подходящее значение термина usability в контексте анализа веб-сайтов - это удобство использования сайтом, ориентации на сайте. В общем смысле, это такое качество сайта, которое позволяет удобно и комфортно им пользоваться. В состав критериев группы юзабилити для оценки Ь2Ь-порталов предлагается включить следующие частные критерии: дизайн, навигация, авторизация и многоязыч-ность. А теперь рассмотрим более подробно каждый из этих критериев второго уровня.
Дизайн Ь2Ь-портала определяется в первую очередь визуальной привлекательностью его страниц. Сюда входят графическое оформление, размер и шрифт текста, цветовая гамма, а также количество и качество мультимедиа средств (фото, видео, аудио). Эти элементы должны быть реализованы гармонично и в меру. Пользователь должен чувствовать себя «уютно» на страницах Ь2Ь-портала, а ситуации вроде многоминутных
задержек при загрузке страницы с сотнями фотографий продукции фирмы не допустимы вовсе. Впечатление от дизайна портала очень важно, оно складывается еще при первом просмотре и помогает пользователю выбрать дальнейшие действия. При всем этом дизайн должен быть удобный и эргономичный, все должно быть на своем месте.
Навигация сайта - это система перемещения по сайту, включающая в себя меню, ссылки, кнопки и другие управляющие элементы, служащие для удобства работы с сайтом. Критерий навигации включает в себя оценку организации перехода от одной страницы портала к другой, то есть сюда входят меню, ссылки, кнопки переходов, карта сайта и т. д. Хорошо структурированная и правильно размещенная навигация позволяет пользователю быстро добраться до интересующей его информации.
Авторизация на Ь2Ь-портале - это идентификационная процедура, необходимая для получения пользователем прав доступа к определенными сервисами. Напомним, что b2b-порталы в основном имеют два вида членства: базовое и VIP. Базовое членство бесплатно и позволяет пользоваться лишь некоторыми сервисами портала, в то время как VIP-членство имеет установленную стоимость и дает максимальный доступ к ресурсам портала. Таким образом, оценивая портал по данному критерию, необходимо в основном учесть соответствие стоимости авторизации и набора предлагаемых сервисов, оценить сколько времени займет регистрация на портале. Также в критерий авторизации входит оценка реализации такого сервиса, как личный кабинет, который появляется у участника после завершения регистрации.
Многоязычность b2b-портала является важным критерием, так как одной из целей Ь2Ь-коммуникации названо расширение бизнеса, в том числе и в масштабах всего мира. Солидный Ь2Ь-портал должен иметь хотя бы английскую версию. Причем не только интерфейс сайта должен быть переведен на иностранные языки, но и все его наполнение, будь то информация о компаниях-участниках или предложения на доске объявлений.
2. Функциональность. Функциональность Ь2Ь-портала определяется как наличие и реализация определенных сервисов, необходимых для реализации бизнес-коммуникации. При оценке функциональности будем учитывать реализацию таких сервисов, как поиск информации, сервисы совершения сделок, внутрипортального общения, безопасности.
Обеспечение поиска информации - это одна из важнейших функций Ь2Ь-портала. Если исходить из структуры Ь2Ь-портала, поиск информации реализуется за счет следующих элементов: электронный каталог, директория компаний, торговая площадка, доска объявлений, а также через сервис общего поиска. Электронный каталог представляет собой стандартный классификатор (каталог) товаров и услуг, предоставленных участниками. При помощи него в значительной степени облегчается ведение бизнес-коммуникации за счет эффективного доступа к информации. Директория компаний - это список всех зарегистрированных участников Ь2Ь-портала, как правило упорядоченный как по категории бизнеса, так и в алфавитном порядке, а встроенная поисковая система позволяет найти нужную компанию по заданным критериям.
Электронные торговые площадки (Ь2Ь-площадки, business-to-business marketplace) создаются для того, чтобы упростить взаимодействие между предприятиями, поставщиками и покупателями независимо от их размеров, географического положения и отраслевой принадлежности. Торговая площадка представляет собой часть сайта, где компании-участники могут найти опубликованную информацию о продаваемой продукции. Доски торговых объявлений позволяют участникам размещать информационные объявления и объявления о покупке и продаже в режиме реального времени.
Оценивая портал по критерию поиска информации, нужно понимать, что сам сервис поиска должен охватывать все ресурсы, которыми портал располагает: например, должна быть возможность поиска не только по названиям фирм, но и по продуктам или услугам, которые они предоставляют. В общем, если поиск есть, то он должен быть максимально «раскинут» на весь портал, быть всеобъемлющим и полезным. Оценивая портал по критерию поиска информации, мы оцениваем возможность быстрого и удобного поиска интересующей информации на портале с помощью приведенных выше сервисов.
Совершение сделок на портале Ь2Ь - еще одна важная и необходимая функция для пользователей. Этот критерий, как правило, основан на оценке сервиса управления сделками, который представляет собой страницу, на которой отображается список всех сделок определенного участника портала, их статус и архив. Также через этот сервис происходят сами сделки, здесь можно выписать счет, произвести оплату и проследить доставку. Какого-либо стандартного вида для сервиса совершения сделок нет, так как на каждом портале он устроен по-разному. С помощью данного критерия оценивается реализация этого сервиса, его удобство, простота и возможности.
Внутрипортальное общение необходимо на Ь2Ь-портале, например, для ведения переговоров о ценах и размерах поставок или же для обсуждения продукции, компаний, плюсов и минусов ведения электронного взаимодействия и т. п. Общение может происходить как между участниками портала, так и между участником и администрацией портала. Этот критерий основан на оценке сервисов внутрипортального обмена сообщениями, форума и обратной связи.
Внутрипортальный обмен сообщениями или же внутренняя система связи на портале позволяет участникам посылать и принимать сообщения от других участников, причем, как правило, сообщения не покидают защищенного сервера, поэтому компаниям не следует беспокоиться об утечке важной информации.
Форум или доска обсуждений является организованной, интерактивной доской сообщений где участники могут вести дискуссии по поводу интересующего набора тем, размещая вопросы, ответы и комментарии.
Обратная связь на Ь2Ь-портале важна при возникновении каких-либо проблем с его использованием или же, например, для высказывания пожеланий и рекомендации для работы портала.
Наконец, безопасность или защищенность информации во многом определяет функциональность портала, насколько им вообще можно пользоваться. Риски для участников должны быть минимальны. Одним из главных рисков использования Ь2Ь-порталов многие называют риск, связанный с неопределенностью при взаимодействии с новыми, непроверенными контрагентами. В лучшем случае, при регистрации на портале все компании должны проверяться, что должно закрывать путь на портал компаниям-однодневкам и другим участникам с сомнительной деловой репутацией. Помимо этого, b2b-портал должен оказывать юридическую помощь при возникновении конфликтных ситуаций, связанных с недобросовестностью поставщиков или заказчиков, не выполняющих взятые на себя обязательства, страховать и защищать сделки.
Вторая категория рисков - технологические риски: сбои в работе интернет-провайдеров, угроза утечки информации, DоS-атаки и т. п. В системах Ь2Ь должны применяться мощные средства информационной безопасности, криптографическая защита. Также хорошо, чтобы обязательным было применение электронной цифровой подписи.
Следующим фактором, который также можно отнести к рискам использования Ь2Ь-порталов и соответственно проведения электронных сделок, является отсутствие в России необходимой правовой базы для ведения торговли в Интернете. Законодательно
не определены основные понятия данного вида экономической активности, нет четких механизмов урегулирования споров между участниками интернет-взаимодействия. Работа систем b2b должна базироваться на тщательно проработанном блоке регламентов и инструкций, системы должны полностью соответствовать требованиям ГК РФ.
3. Информативность. Информация на портале «должна подбираться в соответствии с интересами целевой аудитории. Критерий информативности действительно важен для b2b-портала, ведь, по сути, информация - это то, зачем компании приходят на такие порталы. Оценивая информативность Ь2Ь-портала нужно исходить из имеющихся на сайте аналитических материалов, новостных блоков, ссылок, актуальности (обновляемости) информации, возможности предоставления помощи и дополнительной информации.
Аналитические материалы, как правило, представляют собой аналитические отчеты и публикации, позволяющие получать общее представление о тенденциях рынка. Традиционное определение бизнес-аналитики сводит ее к методам и инструментам для построения информативных отчетов о текущей ситуации. Это инструменты, используемые для преобразования, хранения, анализа, моделирования, доставки и трассировки информации в ходе работы над задачами, связанными с принятием решений на основе фактических данных, в том числе и в реальном времени.
Наличие новостных блоков на Ь2Ь-портале необходимо для того, чтобы его пользователи всегда были в курсе последних событий. Причем это могут быть не только новости портала, например о появлении новых объявлений, только что зарегистрированных компаний, аналитических материалов, но и новости рынка, его основные показатели, политические события, курсы валют и другое.
Ссылки на другие ресурсы - важный элемент любого Ь2Ь-портала, так как они позволяют пользователям расширить круг Ь2Ь-коммуникации. Чаще всего на портале существует страница, где размещены ссылки на его партнеров. Здесь вы можете найти различные электронные торговые площадки, сети электронной коммерции, доски торговых объявлений и другие сайты b2b. Хорошо, когда для удобства ссылки распределены по группам в соответствии, например, с географическим положением стран, в которых находятся компании, или по другому схожему принципу.
Обновляемость или же актуальность контента важна, так как она формирует представление о b2b-портале. Все вышеперечисленные критерии информативности должны сосуществовать в паре с обновляемостью. Оценить обновляемость очень просто
- достаточно проверить дату последних изменений на портале.
Безусловно, эффективность использования Ь2Ь-портала подразумевает легкость в обращении со всеми сервисами без возникновения каких-либо вопросов, но все же раздел помощи или инструкций по использованию представляют особую важность на любом b2b-портале. Здесь должны быть четко прописаны процедуры использования всех сервисов портала, а также должен существовать раздел ФАК (frequently asked questions / часто задаваемые вопросы), где пользователь обнаружит ответы на самые часто задаваемые вопросы, а также сможет сам задать вопрос администратору сайта.
Критерий дополнительной информации основан на тех формах, которые b2b-портал предлагает для заполнения пользователям при регистрации, предлагая поля с информацией, которые в дальнейшем будут видны другим участникам. Необходимым минимумом здесь считается наличие следующих полей: название компании, адрес, контактная информация, описание, отрасль / вид деятельности, сколько лет существует. Также, поля для заполнения о предлагаемых продуктах должны наиболее полно отражать всевозможную информацию о товаре, в том числе, название, производителя, ориентировочную стоимость, местонахождение, наличие и другое.
Приведенная иерархическая структура критериев может быть использована для оценки и ранжирования Ь2Ь-порталов с помощью метода анализа иерархий [4; 5; 6; 7; 8]. На наш взгляд метод анализа иерархий вполне адекватен задаче оценки и ранжирования b2b-порталов. Наличие большого числа слабоформализуемых критериев делает проблематичным использование традиционных количественных методов оценки. Привлечение экспертов из различных предметных областей для построения матриц парных сравнений также может повысить, на наш взгляд, адекватность оценок. На адекватность метода анализа иерархий именно в подобных областях указывают многие авторы. Поэтому, несмотря на определенные проблемы в теоретическом обосновании этого метода [9], он достаточно широко используется на практике при оценке сложных, слабоформализуемых объектов и дает хорошие результаты.
Предложенная структура критериев была использована для оценки нескольких ведущих b2b-порталов: EC21 (www.ec21.com), RusBiz (www.rusbiz.ru), RusMarket
(www.rusmarket.ru). Оценка порталов проводилась двумя экспертами, являющимися руководителями компаний среднего масштаба в промышленном и финансовом секторах экономики, с помощью программы Ехрег^оюе, в соответствии с методикой МАИ. Оба эксперта имели одинаковый приоритет при определении итогового ранжирования, хотя и имели различные представления о важности критериев. На основе матриц парных сравнений построенных экспертами было получено итоговое ранжирование - результаты приведены в таблице.
Таблица
Итоговые весовые коэффициенты ранжирования порталов
Весовой коэффициент
Место Альтернативы ^^порталы) Эксперт А Эксперт Б Комбинированный (оценка Ь2Ь-портала)
1 www.ec21 .com 0,553 0,531 0,545
2 www.rusmarket.ru 0,282 0,297 0,279
3 www.rusbiz.ru 0,165 0,171 0,176
Заметим, что общий коэффициент несогласованности составил всего 4 %, что, безусловно, является хорошим результатом.
Для сравнения проанализируем рейтинг сайта Alexa.com для рассмотренных b2b-порталов на момент проведения нашего исследования. Сервис Alexa - это машина поиска, использующая такие известные базы данных, как Google и DMOZ. Alexa собирает информацию о сайтах непосредственно от пользователей, которые установили Alexa Toolbar (специальную надстройку для веб-браузера). Ранг Alexa Rank учитывает как среднее число посетителей в день, так и количество просмотров страницы за последние три месяца и обновляется ежедневно. Несмотря на определенные проблемы при сборе информации, рейтинг Alexa Rank весьма популярен и достаточно адекватен. На крупных биржах ссылок это основной показатель для определения стоимости ссылки на продажу, рекламодатели также в первую очередь смотрят на данный показатель.
Согласно рейтингу Alexa Rank, рассмотренные нами Ь2Ь-порталы на момент исследования располагались в следующем порядке: EC21 (www.ec21.com), RusMarket (www.rusmarket.ru), RusBiz (www.rusbiz.ru). Отметим, что полученный нами порядок распределения мест между Ь2Ь-порталами совпал с порядком их расположения в рейтинге Alexa.com. Можно сказать, что подобная согласованность косвенно подтверждает работоспособность предложенной методики оценки Ь2Ь-порталов. Разработанная иерархия
критериев может быть использована в дальнейшем для разработки новых порталов или изменения уже существующих, с целью улучшения условий ведения Ь2Ь-коммуникации.
Ссылки:
1. Бойко А. Есть ли риски участия в системах электронной торговли? [Электронный ресурс]. URL: http://www.b2b-center.ru/info/experts.html?id=4020 (дата обращения: 27.11.2012).
2. Моисеенко Е.А. Коммуникации в бизнесе. Ростов н/Д, 2007.
3. Почепцов Г.Г. Теория коммуникации М., 2003.
4. Подиновская О.В. Метод анализа иерархий как метод поддержки принятия многокритериальных решений // Информационные технологии моделирования и управления. 2010. № 1 (60). С. 71-80.
5. Подиновский В.В. Многокритериальные задачи с упорядоченными по важности однородными критериями // Автоматика и телемеханика. 1976. № 11. С. 118-127.
6. Подиновский В.В., Подиновския О.В. О некорректности метода анализа иерархий // Проблемы управления. 2011. № 1. С. 8-13.
7. Саати Т. Принятие решений. Метод анализа иерархий М., 1993.
8. Саати Т., Кернс.К. Аналитическое планирование. Организация систем. М., 1991.
9. Подиновская О.В. Указ. соч.
References (transliterated):
1. Boyko A. Est' li riski uchastiya v sistemakh elektronnoy torgovli? [Electronic resource]. URL: http://www.b2b-center.ru/info/experts.html?id=4020 (date of access: 27.11.2012).
2. Moiseenko Y.A. Kommunikatsii v biznese. Rostov n/D, 2007.
3. Pocheptsov G.G. Teoriya kommunikatsii M., 2003.
4. Podinovskaya O.V. Metod analiza ierarkhiy kak metod podderzhki prinyatiya mnogokriterial'nykh resheniy // Infor-matsionnie tekhnologii modelirovaniya i upravleniya. 2010. № 1 (60). P. 71-80.
5. Podinovskiy V.V. Mnogokriterial'nie zadachi s uporyadochennymi po vazhnosti odnorodnymi kriteriyami // Avtomat-ika i telemekhanika. 1976. № 11. P. 118-127.
6. Podinovskiy V.V., Podinovskiya O.V. O nekorrektnosti metoda analiza ierarkhiy // Problemy upravleniya. 2011. № 1. P. 8-13.
7. Saati T. Prinyatie resheniy. Metod analiza ierarkhiy M., 1993.
8. Saati T., Kerns.K. Analiticheskoe planirovanie. Organizatsiya sistem. M., 1991.
9. Podinovskaya O.V. Op. cit.
