CC BY
31
УДК 338.24
Б.П. Воловиков
Омский институт (филиал) Российского государственного торгово-экономического университета
ПРОГНОЗИРОВАНИЕ ПРОДАЖ НА РЫНКЕ B2G В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ ВНЕШНЕЙ СРЕДЫ
В статье приведен сравнительный анализ методов прогнозирования временных рядов продаж промышленных товаров на рынке B2G. Результаты оценки адекватности и качества прогнозов моделей временных рядов позволяют определить границы применимости рассматриваемых моделей и сформулировать требования к выбору наиболее эффективной маркетинговой стратегии с учетом особенностей рынка государственных закупок.
Ключевые слова: рынок госзакупок, методы моделирования временных рядов, теория нейронных сетей, метод авторегрессионного проинтегрированного среднего скользящего.
Рынок товаров условно делится на два основных сегмента: рынок B2B, предназначенный для удовлетворения потребностей юридических лиц, использующих товары этого рынка для дальнейшего применения в производственном процессе, и рынок потребительских товаров B2C. Разновидностью индустриального рынка B2B является рынок электронных госзакупок, называемый рынком B2G (bussines to government). Стратегическая важность этого вида торгов обусловлена тем, что результаты торгов напрямую влияют на деятельность государственных структур, а порой и на обороноспособность государства в целом. Являясь инструментом для получения информации и организации взаимодействия между государством и бизнес-структурами, позволяющим избежать затрат на организацию открытых торговых площадок, рынок B2G предоставляет также возможность проведения качественных маркетинговых исследований. Возможность учета заключенных контрактов за различные периоды создает возможность составления достоверных прогнозов, а идентификация проданных изделий позволяет выделить те группы товаров, динамика продаж которых свидетельствует о перспективности их производства. По сравнению с другими видами торговых площадок, такими как валютные торги, рынок B2G имеет ряд отличительных особенностей, а с рынком промышленных товаров B2B имеет и некоторые общие черты. Для прогнозирования валютных торгов разработано много методик, учитывающих особенности этого рынка, основанных на применении современных статистических методов и теории нейронных сетей [7]. Изучение различий между валютными и конкурсными торгами позволяет сделать вывод о необходимости разработки нового методологического аппарата для исследования происходящих на рынке B2G процессов. Перед тем, как приступить к разработке моделей прогнозирования продаж на рынке B2G, стоит подробно изучить закономерности этого типа рынка и сформулировать требования, предъявляемые к маркетинговым инструментам их моделирования. На рынке госзакупок на соотношение спроса и предложения сильное влияние оказывает внешняя среда, поэтому обратимся к описанию факторов, формирующих это соотношение.
Для проведения исследований в качестве объекта изучения был выбран рынок открытых конкурсных торгов радиорелейных станций, обеспечивающих линейную связь в госструктурах. Потребителями систем радиосвязи являются крупные госкорпорации, министерства и ведомства. Каждая совершенная сделка отмечается в истории электронных торгов, при этом на соответствующем сайте госзакупок можно найти дату заключения сделки, сумму и предмет контракта (количество единиц приобретаемого оборудования) [1-3]. Процесс заключения сделок носит ярко выраженный стохастический характер, тем не менее, стратегическое планирование торговой деятельности невозможно без прогнозов, составление которых, в свою очередь, требует разработки модели протекания процессов во времени, оценки ее адекватности и степени достоверности.
Целью исследований является разработка модели прогнозирования рынка открытых электронных конкурсных торгов для формирования в дальнейшем маркетинговой стратегии. Достижению поставленной цели способствует решение следующих задач: 1) формирование требований к моделям рынка B2G; 2) оценка адекватности выбранных моделей; 3) оценка достоверности прогнозов выбранной модели.
В табл. 1 приведен перечень основных факторов, определяющих баланс спроса и предложения и влияющих на динамику развития рынка B2G. Все группы факторов, представленные в таблице, имеют конкретные причины возникновения и характер проявления. Понимание закономерностей этих факторов связано со знанием тенденций макроэкономики и политических событий, а также вероятности их проявления. Определение наиболее значимых факторов позволит составить более корректную модель рынка B2G.
Таблица 1
Факторы, формирующие спрос ^ на рынке радиорелейных станций_
Название фактора, формирующего спрос Пример проявления Периодичность проявления Степень влияния на динамику торгов
Экономические Проекты развития инфраструктуры РЖД, Газпрома т.п. Циклический характер Высокая
Политические Вооруженные конфликты Политическая ситуация характеризуется стохастичностью и непредсказуемостью Низкая (особых всплесков активности рынка не отмечено)
Социальные Необходимость развития новых сегментов, например, мобильных комплексов связи для решения задач МЧС Скорее спонтанный характер Низкая доля контрактов
Инновационно-техногенные Развитие высокочастотного сегмента радиосвязи Периодичность - раз в 4-5 лет происходит моральный (4-5 лет) и физический износ (10 лет) оборудования и последующая смена формата связи (частоты, способа передачи и т.п.) Высокая степень, так как именно новации формируют вектор дальнейшего развития сегмента
Экологические Необходимость защиты окружающей среды формирует требования к техническому заданию на разработку новых систем Рост спроса на системы радиосвязи из-за возникновения экологических бедствий не имеет регулярности Средняя степень влияния
Примечание. Представленные в таблице данные основаны на исследованиях рынка систем радиосвязи за 2007-2011 гг.
Рынок систем радиосвязи является высокотехнологичным, динамично развивающимся сегментом и характеризуется невысокой продолжительностью жизненного цикла инноваций (4-5 лет). Этот фактор во многом объясняет ту цикличность процессов насыщения рынка, которая отмечается при изучении временных рядов, построенных по данным продаж за прошедший период, равный 4 годам. Ни одна из ранее предлагаемых в научной литературе моделей не сможет учесть те тенденции инновационного развития отрасли радиосвязи, которые определяют начало и падение спроса на рынке. Учет специфических особенностей жизненного цикла систем радиосвязи позволит правильно выбрать параметры горизонта прогнозирования. Для этого можно использовать предложенный В. Белоконем безразмерный показатель глубины (дальности) прогнозирования (т):
т = м / г , (1)
где Дt - абсолютное время упреждения; t - величина эволюционного цикла объекта прогнозирования. Для рынка систем радиосвязи жизненный цикл инновации колеблется в пределах от 6 до 10 лет. Если моральный износ наступает через 6 лет, то физический износ, обусловленный гарантийным сроком, равняется 10 годам. Некоторые из перечисленных в табл. 1 факторов можно прогнозировать и учесть в модели в качестве циклической переменной, но для большинства указанных факторов отмечен случайный характер, доминирует отсутствие причинных связей.
Для исследования выделим два наиболее активных сегмента рынка систем радиосвязи: сегмент стационарных радиорелейных станций (РРС) и мобильные комплексы связи (МКС). Для общего представления о характере распределения статистических данных, о суммах заключенных контрактов на рис. 1 представлен пример временного ряда продаж РРС за период с июля 2007 г. по ноябрь 2009 г. По оси ординат указаны объемы продаж (в руб.), а по оси абсцисс - периоды (в месяцах).
Период, мес.
Рис. 1. Пример временного ряда систем радиосвязи
Представленная зависимость объемов продаж РРС за несколько лет является типичным примером временного ряда рынка B2G систем радиосвязи (аналогично выглядят временные ряды и для другого сегмента МКС) и обладает рядом особенностей, главной из которых является ярко выраженная нелинейность. Изучение этих характеристик совместно с анализом внешних факторов позволяет сделать предварительные выводы о характеристиках объекта моделирования:
1. Характер протекания процессов рынка B2G систем радиосвязи обусловлен стохас-тичностью экзогенных факторов (плохо прогнозируемой вероятностью проявления), исключение составляет группа инновационно-техногенных факторов. В отрасли существует закономерность насыщения рынка определенной группой товаров, причем цикличность ее проявления имеет нестационарный характер и зависит от ускорения инновационных процессов.
2. Недетерминированность эндогенных факторов. Каждый участник рынка, являясь, как правило, производителем, может по мере своего инновационного потенциала разработать новое решение и предложить более конкурентоспособный продукт. Появление новой технологии у конкурента предсказать сложно, также сложно прогнозировать рост продаж каждого участника рынка.
3. Важной чертой рынка систем радиосвязи, и в частности рынка B2G, является его проектная направленность. Каждый контракт, как правило, становится новым проектом, так как каждый заказчик выдвигает свои требования и вероятность того, что каждая сделка может стать техническим инновационным проектом, очень высока. Это еще раз подчеркивает значимость инновационной составляющей и ее доминирование в динамике развития рынка конкурсных торгов.
4. Важную роль в моделировании играет сезонная составляющая, определяемая моментами объявления конкурсных торгов. Активность на рынке B2G значительно возрастает в конкретные периоды времени, поэтому целесообразно проводить оценку достоверности прогнозов по полугодиям. Такой подход к оценке достоверности позволит учесть возможные смещения сроков проведения торгов.
5. В сравнении с рынком валютных торгов, если корректно в данной ситуации применить такой показатель, как волатильность цены, по отношению к рассматриваемым сегментам отмечается слабый характер его проявления. Играть на резком понижении цены могут только посредники, для предприятия-производителя снижение стоимости ниже точки безубыточности грозит убытками и не имеет смысла. Да и, как показывает опыт прошедших конкурсных торгов, те игроки, которые предлагают цены значительно ниже, чем у остальных участников рынка, обычно блефуют.
Перед тем как приступить к задаче прогнозирования временных рядов, остановимся поподробнее на характеристиках известных методов, применяемых при моделировании временных рядов. В табл. 2 приведено краткое описание наиболее распространенных методов прогнозирования.
Основными критериями выбора метода прогнозирования являются ошибки выбранной модели, определяемые как среднеквадратичное отклонение от реальных значений, и ошибки прогнозирования, определяемые в результате сравнения прогнозов расчетных и действительных. Каждый из предлагаемых методов моделирования имеет свои ограничения. Например, метод наименьших квадратов предполагает нормальное распределение ошибок, вызванных воздействием случайных факторов, а для характера протекания рыночных процессов, выявленных в результате предварительных исследований рынка B2G, нет никакой гарантии в соблюдении этого требования. В целом требование нормального закона распределения, содержащееся в большинстве статистических методов, во многом искажает реальную картину, слишком ее идеализируя. Эти и другие недостатки свидетельствуют об ограниченности применения методов статистического прогнозирования. В данной статье рассмотрены практические аспекты применения метода авторегрессионного проинтегрированного среднего скользящего - ARIMA (p,d,q) для прогнозирования открытых конкурсных торгов, а в качестве альтернативы представлены результаты моделирования временных рядов методом искусственных нейронных сетей.
Для решения задачи моделирования временных рядов был выбран ряд моделей, наиболее соответствующих ранее указанным характеристикам процессов рынка B2G: модели ARIMA (p,d,q) и нейронные сети.
Первым этапом моделирования по методу ARIMA является идентификация типа модели, т.е. выбор тех параметров модели, которые обеспечат наибольшее приближение к действительности (степень адекватности). Требованием метода ARIMA является стационарность процесса, а так как все почти все изучаемые процессы обладают только некоторой степенью стационарности, то для приведения к стационарному процессу требуется выполнение дополнительных процедур: вычисляются параметры авторегрессии p, разности от стационарного отклонения и параметры среднего скользящего . Таким образом, формируется модель ARIMA (p,d,q), реализующая метод ARIMA.
Таблица 2
Сравнение методов прогнозирования_
Метод Целевое назначение Ограничения
Метод наименьших квадратов Построение модели временного ряда с целью определения основного тренда. Краткосрочное прогнозирование 1. Случайные ошибки должны иметь нормальное распределение. 2. Отсутствие автокорреляции ошибок. 3. Гомоскедастичность
Метод экспоненциального сглаживания Метод экспоненциального сглаживания дает возможность получить оценку параметров тренда, характеризующих не средний уровень процесса, а тенденцию, сложившуюся к моменту последнего наблюдения. Среднесрочное прогнозирование Основным и наиболее трудным моментом для метода экспоненциального сглаживания является выбор параметра сглаживания а, начальных условий и степени прогнозирующего полинома
Метод вероятностного моделирования Является развитием метода экспоненциального сглаживания Недостатком модели является требование большого количества наблюдений и незнание начального распределения, что может привести к неправильным оценкам
ARMA, ARIMA-модели Некоторые модификации этих моделей позволяют описывать временные ряды, в том числе и с сезонной составляющей. Учитывают процессы авторегрессии и скользящего среднего Многие реальные процессы не могут адекватно быть описаны с помощью традиционных статистических моделей, поскольку, по сути, являются существенно нелинейными и имеют либо хаотическую, либо квазипериодическую, либо смешанную природу (стохастика, хаос-динамика и детерминизм)
Нейронные сети Возможность обучения предполагает возможность автоматического подбора весовых коэффициентов аппроксимирующих функций. Прогнозирование краткосрочное и среднесрочное 1. Неопределенность в выборе числа слоев и количества нейронных элементов в слое. 2. Медленная сходимость. 3. Сложность выбора подходящей скорости обучения. 4. Влияние случайной инициализации весовых коэффициентов нейронной сети на поиск минимума функции среднеквадратической ошибки
В результате проведенных расчетов для описания динамики изменения объемов продаж на рынке радиорелейных станций построена модель ARIMA (10, 2, 0)
+{ . (2) Скорректированный коэффициент детерминации равен 0,86, что свидетельствует об удовлетворительном качестве построенной модели. На рис. 2 представлены два временных ряда: один - построенный по реальным данным, второй - при помощи модели ЛИМА (10, 2, 0). По оси абсцисс указаны периоды (1-й соответствует июлю 2007 г., последний у вертикальной черты 37-й - декабрю 2009 г.). Кривая, расположенная левее, является отображением реальных данных, а вторая - результатом моделирования. Кривая за вертикальной чертой является графическим прогнозом на последующий период. Если качество модели определяется коэффициентом детерминации, то качество прогнозов можно оценить относительной ошибкой прогнозирования за период, равный году. В качестве периода прогнозирования был выбран именно год, так как этот период позволяет оценить стратегическую перспективу. Данные модели позволяют получить достоверный прогноз на ближайший год. Для прогнозирования на следующий период модель рекомендуется создавать заново. Так как данная мо-
дель предназначена для формирования маркетинговой стратегии предприятия, то прогнозы рынка, составленные на год, позволят правильно выбрать целевой сегмент и определить направление его дальнейшего развития (инновационной, технологической и других компонент).
Рис. 2. Результаты моделирования и прогнозирования с применением модели АШМА (10, 2, 0)
На примере 2010 г. было проведено сравнение прогнозируемых и реальных значений (кривая прогнозов как результата моделирования находится справа от вертикальной линии). По оси ординат указаны объемы продаж в руб. Суммарное значение продаж по модели составило = 64 631 407 руб., реальное значение продаж по открытым конкурсным торгам составило 69 357 471,44 руб. Результатом сравнения является абсолютное отклонение от реального значения, равное 4 726 064 руб., относительная величина ошибки прогнозирования равна 6%. Если в качестве периода прогнозирования выбран период, равный году, то величину ошибки прогнозирования можно считать допустимой. При меньшем периоде прогнозирования, равном кварталу или месяцу, из-за несовпадения периода колебаний ошибка прогнозирования будет увеличиваться, т.е. предлагаемая модель годится больше для стратегических прогнозов, а не для оперативного управления. Попытка составления на больший период закончилась неудачей: ошибка прогнозов на 2011 г. составила более 50%. Это говорит о том, что глубина прогнозирования для данной модели не превышает одного года. Для прогнозирования на более длительной период необходимо корректировать параметры модели.
Вторым методом прогнозирования выбран метод нейронных сетей. Нейронные сети -обучаемые математические модели, состоящие из отдельных связанных между собой входами и выходами искусственных нейронов, причем степень влияния каждой связи определяется соответствующими весами. Применительно к открытым конкурсным торгам существуют определенные предпосылки применения метода нейронных сетей, так как требуется инструментарий, способный обходиться небольшими массивами исходных данных и автоматически определяющий аппроксимирующие функции. В качестве основного предназначения выбранного метода предполагается разработка маркетинговой стратегии предприятия, поэтому наибольшую значимость имеет такой стратегический показатель рынка, как его потенциальная емкость [4, 5]. Кроме устранения вышеперечисленных недостатков статистических методов,
нейронные сети обладают свойством обучения: они не программируются, а обучаются, и в этом их основное преимущество.
Рис. 3. Результаты прогнозирования рынка систем радиосвязи методом нейропрограммирования
Системы искусственного интеллекта, к которым относятся нейронные сети, являются для маркетинговых исследований направлением достаточно новым. Известны примеры применения нейронных сетей при решении задач прогнозирования продаж и кластеризации изучаемых объектов, например, потребителей определенного вида продукции. Самоорганизующиеся карты Кохонена как одна из разновидностей нейронных сетей нашли широкое применение в решении задач классификации и сегментации рынка [6]. Алгоритм нейронной сети позволяет путем автоматического подбора оптимальных значений весовых коэффициентов между нейронами добиться высокой степени адекватности реальной действительности самой модели. Нейронные сети позволяют более полно определить характер зависимости между входными и выходными значениями, который невозможно выявить статистическими моделями [28].
В статье основное внимание уделено практическому применению этого метода при прогнозировании объемов продаж рынков радиорелейных станций и мобильных комплексов связи. Достоверность составления прогнозов рынка особенно важна при выборе наиболее привлекательного сегмента как одного из ключевых факторов формирования маркетинговой стратегии предприятия [5-7].
Данные о продажах по конкурсным торгам были взяты из официальных электронных источников [1-3]. Значения суммы заключенных сделок за период с 2007 по 2009 г. представлены на рис. 3.
2. Составление выборки по результатам мониторинга рынка за прошедший период
3. Создание обучающей выборки
4. Определение параметров нейронной сети
Рис. 4. Блок-схема алгоритма прогнозирования с применением нейронных сетей
По оси ординат указана сумма заключенных контрактов в рублях, а по оси абсцисс -соответственно период времени с указанием месяца и года. До значения 09.12 (декабрь 2009 г.) на обоих графиках показаны суммы продаж за период, предшествующий прогнозируемому периоду. Все значения по оси ординат правее декабря 2009 г. являются прогнозами на последующий 2010 г. Характерной особенностью рынка этой группы товаров является седлообразный профиль кривой продаж, свидетельствующий о насыщении рынка данным продуктом. В реальной действительности жизненный цикл этого вида радиостанций в последующем году действительно приблизился к насыщению и сумма сделок резко упала. Наметилась предпосылка введения нового продукта на рынок, возможно систем радиосвязи другого поколения.
Алгоритм решения задачи прогнозирования методом нейронных сетей представлен в виде блок-схемы на рис. 4. Все расчеты производились на базе аналитической платформы Deductor Studio Academic 5.2. На первом этапе согласно предлагаемым программным продуктом опциям выбирается тип нейронной сети. Опуская описание этой процедуры, сразу перейдем к результа-
ту - в качестве нейронной сети был выбран многослойный персептрон со следующими параметрами: количество входов - 6, количество нейронов в первом слое - 4, во втором - 2, выход - 1 (прогнозируемый объем продаж). Для нейронной сети при создании обучающей выборки важную роль играет объем входной информации (выборки). Под выборкой в дальнейшем понимается совокупность данных о продажах каждой номенклатурной единицы за рассматриваемый период (в нашем случае 2007-2009 гг.). В исследованиях использовалась тотальная выборка, т.е. вся информация о совершенных сделках, имеющаяся на электронных ресурсах. В случае ее недостаточности метод нейронных сетей располагает возможностью расширения входной информации на входе путем разделения на дополнительные массивы (в нашей ситуации - 6 массивов вместо одного). Такое преобразование можно выполнить путем применения скользящего окна в программе Deductor Studio Academic 5.2.
Рис. 5. Нейросеть для решения задачи прогнозирования
Обработка данных, полученных в результате мониторинга конкурсных торгов и преобразование массива исходных данных в обучающую выборку, производится на втором и третьем этапах. Параметры нейросети (количество слоев и нейронов) были определены в результате многократного прогона. Варьирование параметров настройки обучающей выборки позволило определить оптимальный режим расчета. Критерием правильности выбранной модели являлась ошибка моделирования. Представленный на рис. 5 граф нейронной сети показывает, как происходит преобразование 6 входных сигналов в первом слое (4 нейрона), передача во второй слой (2 нейрона) и формирование выходного сигнала. Линиями показаны те самые связи, о весовых коэффициентах которых упоминалось ранее.
Анализ результатов прогнозирования нейронными сетями включал разработку критериев оценки достоверности полученных результатов. Оценка достоверности проводилась по двум критериям: суммарному объему продаж в прогнозируемом периоде и направленности тренда, позволяющей судить о стратегической перспективе для предприятия присутствия на этом рынке. Так как основное предназначение выбранного метода - разработка маркетинговой стратегии предприятия, то наибольшую значимость имеет такой стратегический показатель
рынка, как его потенциальная емкость [6]. Поэтому, опуская детализацию поквартального прогноза продаж (достоверность которого сомнительна для любого метода), определим объем суммарных продаж на прогнозируемый период в целом за весь год. Нейромодель «спрогнозировала» 75 млн руб. В реальности сумма заключенных контрактов за 2010 г. по проведенным конкурсным торгам составил 69,4 млн руб. Ошибка в прогнозах для нейросетевого метода составила 9%. Очевидно, что нейронные сети как инструмент исследований наиболее эффективны при прогнозировании не только рынка конкурсных торгов, но и любого другого вида рынка, характеризующегося стохастичностью происходящих в нем процессов.
Для того чтобы добиться максимальной эффективности использования метода нейронных сетей при изучении процессов, происходящих во внешней среде, следует соблюдать принцип регулярности проведения мониторинга: с началом каждого нового периода рекомендуется делать краткосрочные прогнозы на полугодие, предоставляя возможность постоянной корректировки маркетинговой стратегии предприятия. Через несколько месяцев - повторить исследования.
Из всего вышесказанного о практических аспектах применения нейронных сетей моделей АММА в маркетинговых исследованиях следует остановиться на наиболее важных моментах.
1. Сравнение результатов прогнозирования двух моделей, основанных на статистическом методе ARIMA и методе нейронных сетей, позволяет сделать вывод о перспективности применения обоих методов в стратегическом маркетинге. Трудоемкость ручного подбора параметров моделей почти одинакова для обоих методов. Модель АММА дает более близкие к реальным значениям результаты. Нейронные сети эффективны как инструмент прогнозирования рынка при условиях стохастичности факторов, ярко выраженной нелинейности процессов и высокой степени неопределенности внешних факторов, влияющих на процессы развития рынка. Эти характеристики присущи многим рынкам. Конкурсные торги можно именно по этим признакам причислить к такому типу рынков.
2. В отличие от известных статистических методов, в которых выбор исследователем аппроксимирующей функции оказывает влияние на результаты моделирования, нейронные сети обладают возможностью самонастройки.
3. Применение теории нейронных сетей и метода ARIMA имеет широкие перспективы в стратегическом маркетинге при выборе стратегии позиционирования предприятия. Оба метода имеют определенное неудобство из-за высокой трудоемкости настройки, но обладают высокой достоверностью прогнозов. При выборе целевого сегмента не предъявляются такие высокие требования к точности прогнозирования, как при планировании объемов продаж, аналитиков больше интересует общий прогноз на ближайший период. Нейронные сети и модели АММА позволяют получить такие прогнозы, сделать заключение о привлекательности целевых сегментов и определить целесообразность присутствия предприятия на данном рынке.
4. При решении задач поэтапного распределения ресурсов и планирования объемов продаж на рынке Б20, когда требуется знать, в какие конкретные периоды и сколько изделий будет продано, оба метода не дали достоверных результатов.
Библиографический список
1 Официальный сайт госзакупок [Электронный ресурс]. - Режим доступа: http://zakup-ki.gov.ru/wps/portal/base/topmain/home.
2. «Конкурсные торги» [Электронный ресурс]. - Режим доступа: http://www.pravia.ru/da-ta_www.bob.ru.html.
3. «Электронные торги» [Электронный ресурс]. - Режим доступа: http://www.trade.su/.
4. Воловиков, Б.П. Разработка оптимального бизнес-портфеля промышленного предприятия / Б.П. Воловиков // Вестник ОмГУ. Серия «Экономика». - 2010. - № 1. - С. 142-146.
5. Воловиков, Б.П. Применение комплексного подхода к формированию корпоративной стратегии / Б.П. Воловиков // Практический маркетинг. - 2010. - № 9 (163). - С. 32-36.
6. Дебок, Г. Анализ финансовых данных с помощью самоорганизующихся карт / Г. Дебок, Т. Кохонен ; пер. с англ. - М. : Альпина, 2001. - 317 c.
7. Кратович, П.В. Нейронные сети и модели arima для прогнозирования котировок / П.В. Кратович // Программные продукты и системы. - 2011. - № 1. - С. 32-36.
8 Ламбен, Жан-Жак. Менеджмент, ориентированный на рынок / Жан-Жак Ламбен ; пер. с англ. ; под ред. В.Б. Колчанова. - СПб. : Питер, 2006. - 800 с. : ил. - (Серия «Классика МВА»).
© Воловиков Б.П., 2012
Автор статьи - Борис Петрович Воловиков, кандидат технических наук, доцент, Омский институт (филиал) Российского государственного торгово-экономического университета, e-mail: v-boris-p@rambler.ru. Рецензент - Т.М. Безбородова, кандидат экономических наук, доцент, Омский институт (филиал) Российского государственного торгово-экономического университета.
