CC BY
42
вторым языком ценится не меньше. Обучаясь за рубежом, подтянуть иностранный язык намного легче.
В связи со всем вышесказанным, можно сделать вывод, что с помощью информатизации наша страна сделала огромный шаг в модернизации общества.
Прогресс не стоит на месте, и нам остается только ждать нововведения, которые будут решать задачи, стоящие на пути.
Библиографический список:
1. Сущность и задачи информатизации образования [Электронный ресурс]. - Режим доступа:
https://vuzlit.ru/483246/suschnost_tseli_zadachi_infor matizatsii_obrazovaniya
2.В.А. Красильникова. Использование информационных и коммуникационных технологий в образовании. Оренбург. 2012
3.История развития дистанционного образования. Менделеев Н. Е., Зилько В. Э. История развития дистанционного образования // Молодой ученый. 2017. №21.
4.Положительные и отрицательные стороны информатизации образования [Электронный ресурс]. - Режим доступа: https://studwood.ru/1337460/pedagogika/polozhitelnye _otritsatelnye_storony_infoImatizatsii_obrazovamya
5.Технический прогресс и изменение содержания труда человека [Электронный ресурс]. - Режим доступа: https://studwood.ru/2007583/psihologiya/tehnicheskiy _progress_izmenenie_soderzhaniya_truda_cheloveka
ПРИМЕНЕНИЕ МЕТОДОВ КЛАСТЕРИЗАЦИИ ДЛЯ УПРАВЛЕНИЯ ЗАПАСАМИ ТОВАРНО-
МАТЕРИАЛЬНЫХ ЦЕННОСТЕЙ_
Люнченко Станислав
АННОТАЦИЯ
Важнейший этап в процессе управления - постановка целей. Для обоснованности и достижимости целей предприятия проводят процедуру бенчмаркинга, т.е. сравнение своих показателей с другими предприятиями (внешний бенчмаркинг), или сопоставление показателей межу своими подразделениями (внутренний бенчмаркинг). Но возможности бенчмаркинга сильно ограничены в случае целей низкого уровня (например по отдельной категории товарно-материальных ценностей (далее -ТМЦ)). В настоящей статье представлен подход к постановке обоснованных и достижимых целей по эталонной группе объектов, выделяемой с использованием методов кластеризации. Представлен обзор популярных методов кластеризации, проведено сравнение и оценка результатов их работы на практическом примере.
Ключевые слова
Товарные запасы, постановка целей, кластеризация, качество кластеризации, AgglomerativeQustering, KMeans, MfinityPшpagation, DBSCAN.
1. Введение
Задача многофакторного анализа очень распространена на практике. В большинстве случаев изучаемые объекты имеют множество показателей, ни один из которых по отдельности не характеризует объект полностью. Это описание всецело относится и к области управления запасами ТМЦ. На промышленном предприятии может быть более 200 тысяч номенклатурных позиций и большое количество ключевых показателей, которые характеризуют данную область.
Одной из важнейших процедур в процессе управления является постановка обоснованных и достижимых целей. Для определения целевых значений контрольных показателей выполняется процедура бенчмаркинга. Бенчмаркинг может быть внешним - когда предприятие сравнивает свои показатели с показателями других предприятий, или внутренний - когда сравнение производится, например, между цехами или подразделениями самого предприятия.
В случае целей более низкого уровня, когда речь идет об отдельной категории ТМЦ, возможности классического бенчмаркинга сильно ограничены. Разумный подход в такой ситуации -выделить из общего массива объектов эталонную группу, которая и будет выступать внутренней
бенчмаркой. Использование методов
кластеризации для выделения такой эталонной группы - наиболее технологичное и современное решение.
2. Обзор методов четкой кластеризации
Хороший обзор основных понятий и терминов связанных с кластерным анализом, формул расчета различных расстояний между отдельными объектами и кластерами, а также методов кластеризации представлен в работах [1-3]. Описание реализаций алгоритмов кластеризации представлено в официальной документации пакета scikit-leam [4]. В данной статье будет приведен краткий обзор методов, которые были использованы для поставленной задачи исследования.
Первый уровень классификации методов кластеризации - разделение их на четкие и нечеткие. Четкие методы кластеризации подразумевают отнесение каждого объекта только к одному из кластеров. Нечеткие методы позволяют одному объекту принадлежать одновременно к нескольким кластерам с различной степенью соответствия. Рассматриваемая задача
кластеризации запасов товарно-материальных ценностей относится к четким методам кластеризации.
Иерархические методы. Основной принцип работы иерархических методов - последовательное объединение меньших кластеров в более крупные (агломеративные методы) или разбиение крупных на более меньшие (дивизивные методы). Итог работы таких алгоритмов можно представить в виде многоуровневого дерева кластеров, в корне которого содержится вся выборка, а в листьях -каждый отдельный объект. Различие в результатах работы конкретных алгоритмов, работающих по иерархическому методу, сводится к способу решения задачи расчета расстояния между двумя кластерами.
Метод ^средних. Данный метод относится к группе итеративных методов, является наиболее популярным методом кластеризации. Объекты разбиваются на заранее известное количество кластеров. В начале алгоритма произвольно выбираются объекты, которые будут выступать центрами кластеров. К этим центрам присоединяются все другие объекты по принципу наименьшего расстояния (объект относится к ближайшему центру). Далее, в образовавшихся группах выполняется расчет средних значений, которые выступают новыми центрами на следующем шаге итерации. Описанные итерации повторяются до тех пор, пока координаты кластерных центов перестанут изменяться.
Метод распространения близости. Работа алгоритма подробно описана в статье [5]. Метафорой для понимания алгоритма могут выступать выборы в Государственную думу. Но, этот процесс построен поэтапно: сначала на самом низком территориальном уровне (улицы или небольшого района) выбираются представители, эти представители выбирают другого представителя на более крупном территориальном уровне и так далее, пока не будет определен круг из наиболее важных представителей. Каждый конечный представитель объединяет вокруг себя всех голосовавших за него по иерархии.
Плотностный метод. Метод не сложен в реализации и интуитивно понятен, он был предложен Мартином Эстер, Гансом-Питером Кригель и их коллегами в 1996 году [6]. Входными параметрами выступают критерий близости и минимальное количество объектов в группе. Первый параметр определяет на каком максимальном расстоянии должны быть объекты, чтобы считать их близко расположенными. Второй параметр - это минимальное количество объектов, которые должны быть расположены так близко, чтобы можно было считать их группой. Принцип работы алгоритма можно проиллюстрировать на прикладном примере идентификации групп географических точек на карте, описанном в работе [7]. Существует множество исследований, направленных на модификацию и устранение
недостатков данного метода, примеры предоставлены в работах [8-10].
Кластерный анализ получил широкое практическое распространение в том числе при решении задач, связанных с управлением запасами. Например, в исследовании [12] приведены результаты сравнения различных методов кластеризации для выполнения ABC анализа. В работе [13] представлен подход, использующий алгоритмы кластеризации в задаче управления продажами компании.
3. Методы оценки качества кластеризации
Одна из главных проблем в классе задач обучения без учителя - оценка качества результатов работы алгоритмов. С одной стороны, эффективность каждого метода может быть доказана на конкретных размеченных примерах. Но необходимо обосновать, что метод корректно работает применительно к другим данным, структура которых заранее неизвестна.
Когда данные не размечены, стандартный подход к оценке качества представляет задачу кластеризации как задачу дискретной оптимизации. Необходимо оценить
внутриклассовое расстояние (его нужно минимизировать), и межклассовое расстояние (его нужно максимизировать). Данный подход позволяет как сравнивать между собой результаты разных методов кластеризации, так и подбирать гиперпараметры одного метода.
Одна из популярных мер основанная на данном подходе называется «силуэтом». Отдельно для каждого объекта кластера «силуэт» рассчитывается по формуле:
s =
b-a
max (a,b)'
где а - среднее расстояние от объекта до других объектов того же кластера, Ь - среднее расстояние от объекта до объектов ближайшего кластера. Силуэт кластера считается как среднее значение силуэтов всех его объектов. Значение силуэта близко к 1 соответствует плотным четко выделенным кластерам.
Другой распространенный метод оценки качества - визуальный анализ. Существуют методы позволяющие снизить размерность исходных данных. Один из наиболее популярных -выделение главных компонент. С помощью этого метода многомерные данные можно представить в виде двух или трех суррогатных измерений и отобразить их в графическом виде (пример на рисунке 3). При этом, конечно, происходит потеря части информации, но алгоритм дает оценку какая часть дисперсии приходится на каждую из выделяемых компонент. Если на две компоненты приходится до 80% дисперсии, то графическому представлению данных можно доверять.
1.5
1.0
0.5
0.0
-0.5
-1.0
♦ •
г •
V*
*
Ф • 71« V
—. — & ■
• • • Бек^а
• • • Уегэ1со1оиг и • • \/1гд1гнса
-3-2-101234 Рисунок 3. Пример диаграммы рассеивания для визуальной оценки структуры данных
Также, существует подход, основанный на формировании ансамблей различных методов для подтверждения корректности получаемой структуры (пример исследования представлен в работе [11]). Предполагается, что получаемая структура корректна, если различные методы кластеризации разбивают объекты на схожие кластеры. Однако, подход не сработает, в случае если часть методов входящих в ансамбль не способны выявлять формы кластеров
присутствующие в данных. Из официальной документации к пакету scikit-leam (рисунок 4) видно, что только в одном простейшем случае результаты большей части методов сходятся. В остальных случаях, ансамбль из всех методов будет сигнализировать о низком качестве кластеризации. Таким образом, для применения данного подхода, необходимо удостовериться, что объединенные в ансамбле методы способны выявлять схожие формы кластеров.
пЮакИКМеаА; © ,02э ЕПпКуРгорадайо © 4.265 |р€«га1С1и51ег1т © .345 1отегайуеС1и5и © .065 :пп£)ВБСАМ © ,01з ОРТ1СБ © .¡54', ВтсЬ 1 © .025
.025 5.345 .065 .775 .125 .095 .015 .915 .035 .015
#1 к Л, ^ V г. 5
ч Ми X ч Ч ч ч ч ч ч Ч
т * .025 т ♦ 2.105 * * * .055 * * * .185 * * .205 * * * .075 4* » * .025 * * ,795 * * .025 * » * .015
.035 1.995 .105 .155 .075 .ОбБ .015 .815 .025 .015
Рисунок 4. Сравнение методов кластеризации на различных структурах данных
В качестве альтернативы ансамбля методов может быть использован подход, предлагающий проведение анализа чувствительности результатов метода к его гиперпараметрам. Если в случае изменения гиперпараметров сохраняется иерархия кластеров (т.е. более крупные кластеры делятся на
более мелкие), то можно сделать вывод о выявлении алгоритмом истиной структуры данных. 4. Описание тестовых данных Далее будет рассмотрена возможность применения методов кластеризации в работе категорийного менеджера. В зоне ответственности такого работника на предприятии находится ряд
схожих номенклатур ТМЦ. Его задача, в части управления запасами ТМЦ, сводится к обеспечению оптимального уровня запаса, соответствующего уровню потребления, контроль сроков залегания, оборачиваемости и других ключевых показателей. Как правило, в зоне ответственности менеджера большое количество номенклатур и множество контрольных показателей. По каждому из показателей необходимо устанавливать обоснованные цели и контролировать их соблюдение. Использование методов кластеризации - один из разумных подходов к систематизации решения такой задачи.
Для тестирования были взяты три группы ТМЦ: твердосплавный инструмент, химические товары и промышленная электроника. Исходные данные представляют собой помесячные оборотно-сальдовые ведомости (начальный остаток, приход, расход, конечный остаток) с детализацией по каждой номенклатуре. В качестве анализируемых параметров выбраны:
1.Длительность залегания ТМЦ - сколько месяцев лежит на складе текущий запас. Расчёт показателя выполняется по партиям поставок ТМЦ как средневзвешенная величина по формуле:
Б
214 '
где D - длит залегания ТМЦ, ^ - объем партии, ^ - длительность от даты поставки партии до периода расчета показателя, п - кол-во партий.
2.Количество цехов, которые используют данные ТМЦ.
З.Оборачиваемость ТМЦ - рассчитывается как отношение среднего остатка в течение года к сумме расхода за год. Для пересчета показателя в месяца необходимо дополнительно умножить значение на 12 (если в днях - на 365).
4.Излишний запас исходя из срока поставки -разница между оборачиваемостью и сроком поставки ТМЦ. Логика расчета показателя: оборачиваемость ТМЦ можно интерпретировать
как средний уровень запасов в месяцах (или днях). Если запас можно восполнить за время равное длительности поставки, то нет смысла держать запас на период больший периода поставки. Это грубая оценка максимального уровня запасов.
5.Регулярность остатка - отношение количества периодов, в течение которых на предприятии был остаток к общему количеству анализируемых периодов. Показатель в большей степени позволяет отделить новые номенклатуры, недавно появившиеся на предприятии.
6.Регулярность расхода - отношение количества периодов, в течение которых был расход к количеству периодов, в течение которых был остаток по номенклатуре.
Данные показатели с различных сторон характеризуют интенсивность использования ТМЦ. Так как анализ выполняется по отдельности в разрезе каждой из категорий идентичных объектов, предполагается что совокупность относительно однородна. То есть в данных нет принципиально разных явно выделяемых кластеров, как это предполагается в классической постановке задачи кластеризации. В рамках данной работы предполагается выделить среди ТМЦ каждой категории один кластер, который отражает наиболее характерное распределение целевых показателей. Данный кластер будет выступать для анализируемой категории как источник целеполагания для остальных ТМЦ, не вошедших в него.
5. Первичный анализ
Для лучшего понимания структуры анализируемых данных была выполнена их проекция в двумерное пространство с помощью метода выделения главных компонент. Результаты представлены на рисунке 5. Отмечено, что из-за небольшого количества анализируемых признаков и схожести их природы, распределение хорошо представляется в двумерном пространстве. На первые две выделяемые компоненты приходится более 90% дисперсии.
Рисунок 5. Выделение главных компонент
Во всех случаях существует область повышенной плотности, где сосредоточена большая часть объектов, и разреженная область номенклатур с различными отклонениями. Кроме
того, для категорий «твердосплавный инструмент» и «промышленная электроника» имеются обособленные области визуально отделяемые от основного массива.
На рисунке 6 представлены диаграммы распределений каждого из анализируемых показателей. Для показателя «регулярность расхода» отмечено наличие неожиданных значений, превышающих единицу (выделены цветом на рисунке 6). Исходя из формулы расчета показателя, такие значения возможны в случае, когда в отдельные периоды расходуются все запасы номенклатуры. Учитывая, что для таких номенклатур характерны низкие значения регулярности остатка (большая часть менее 0.5), можно сделать вывод что это номенклатуры разового потребления.
Для номенклатур разового потребления характерны более быстрая оборачиваемость и низкая длительность залегания и-за отсутствия остатка в части периодов. На распределении данных по главным компонентам видно, что большая часть таких номенклатур находятся в областях высокой плотности, которые будут отнесены к целевым кластерам. Так как такие значения в целом не характерны для анализируемой совокупности, они будут искажать значения показателей целевых кластеров. Для дальнейшего анализа данные номенклатуры будут исключены.
Длительность залегания
600
400
200 О
||.....
Количество цехов
600
400
200 о
L
Оборачиваемость
200
100
10 13 26 34 42
S 11 14 17 20
10 14 18
Регулярность расхода
150
100
Е0 0
О ООО О . H еН «Ч
Регулярность остатка
300 200
I lllhl.ll
Излишний запас
600
400
200
о t I [\j {VI ul m К й m О ocjoocbo CJ Û cjo^i
IlIIIIII____________
2 Ë 10 14 13
П ром.электро и и ка Твердосплавный имстр. Химические товары
Рисунок 6. Распределения показателей, анализ отклонений регулярности расхода.
Также отмечено наличие «хвоста» в распределении показателя «длительность залегания». Если этот показатель больше 24 месяцев, то можно считать такие номенклатуры
неликвидными запасами. Эти ТМЦ легко отделимы и на распределении по главным компонентам -рисунок 7. Для целей кластеризации эти номенклатуры также будут исключены.
Длительность залегания
600
400 200
__□
2 10 13 26 34 42
Пром.электроника Твердосплавный инсгр. Химические тозары
Рисунок 7. Неликвидные ТМЦ
Еще один важный вопрос который должен быть рассмотрен при первичном анализе данных -наличие корреляции между показателями. Матрица корреляции признаков представлена на рисунке 8. Видно, что показатели «оборачиваемость» и «излишний запас» имеют функциональную зависимость. Это связано со следующей особенностью исходных данных которая была выявлена: значения срока поставки указываются не
для каждой номенклатуры ТМЦ, а наследуются от номенклатурной группы. В связи с этим, срок поставки имеет минимальную вариацию и показатель «излишний запас» полностью определяется оборачиваемостью. В связи с этим, для устранения внутренней корреляции при кластеризации ТМЦ, показатель «излишний запас» будет исключен.
Длит залегания 1-0 Количество цехов Оборачиваемость Излишний запас Регулярность остатка Регулярность расхода
-0.1 0.6 06 0 3 -0.3
-0.1 -0.2 -0.2 01 0.3
06 -0.2 01 -0.5
06 -0.2 01 -0.4
0 3 01 0.1 01 0.0
-0.3 0 3 -0.5 -0.4 0.0
I
г
и с п
п £
=1
лл
0
1
о 1(1
о
а
и
I
I
о 8
о п с п
I
□
0
1
У
I
п.
с;
I
<и О-
I
п а.
8 г а. п
I 0_
- 1.0 -0.3 -0.6 -0.4 0.2 0.0 - -0.2 - -04
Рисунок 8. Матрица корреляции показателей.
6. Кластеризация ТМЦ
Сравнение результатов кластеризации с использованием различных методов представлено на рисунке 9. Расстояние между объектами во всех случаях рассчитывалось как Евклидова мера. В агломеративном алгоритме для объединения
кластеров использовался метод ward минимизирующий дисперсию. Для плотностного алгоритма было установлено, что минимальное количество объектов в группе равно 5. Все остальные настройки, предусмотренные в пакете sklearn были оставлены по умолчанию.
Рисунок 9. Результаты кластеризации с использованием различных методов.
В ходе тестирования было выявлено, что метод распространения близости непригоден для данной задачи. Алгоритмом было выделено множество отдельных кластеров, ни один из которых нельзя использовать в качестве общей характеристики совокупности. Остальные алгоритмы, по визуальной оценке, идентично определяют местоположение целевого кластера. В качестве дополнительного варианта кластеризации можно рассмотреть ансамбль из трех методов (т.е.
пересечение объектов всех трех результатов кластеризации).
Рассматриваемая задача не предполагает наличия в данных истинных значений кластеров, поэтому для оценки качества кластеризации будет использован коэффициент «силуэта», о котором упоминалось в 3 разделе. Полученные характеристики целевых кластеров представлены в таблице 1.
Таблица 1.
Характеристики целевых кластеров __
Показатель Ансамбль методов Иерархич. метод Метод К-средних Плотностный метод
Промыш. электроника Кол-во объектов 74 167 139 74
Доля от общего кол-ва 37% 83% 69% 37%
Силуэт кластера 0.74 0.56 0.59 0.74
Твердосплавн. инструмент Кол-во объектов 272 292 299 303
Доля от общего кол-ва 65% 70% 71% 72%
Силуэт кластера 0.65 0.66 0.65 0.58
Химические товары Кол-во объектов 198 227 237 198
Доля от общего кол-ва 62% 71% 74% 62%
Силуэт кластера 0.67 0.65 0.64 0.67
При оценке с использованием «силуэта» полученных целевых кластеров от остальных
наилучшие результаты показал ансамбль 3-х объектов. Полученные результаты представлены на
методов. Значения близкие к 1 свидетельствуют о рисунке 10. высокой плотности и четкой отделимости
Рисунок 10. Полученные целевые кластеры
7. Постановка целей
Как упоминалось выше, полученные кластеры имеют высокую плотность и большую долю в общем количестве номенклатур каждой из категорий (до 65%). В дальнейшем они будут
использованы для постановки цели в рамках каждой категории ТМЦ. В таблице 2 представлены значения контрольных показателей в разрезе по категориям ТМЦ, по целевым кластерам и объектам не вошедшим в них.
Таблица 2.
Значения контрольных показателей
Показатель Промышленная электроника Твердосплавный инструмент Химические товары
Целевой кластер Прочие ТМЦ Целевой кластер Прочие ТМЦ Целевой кластер Прочие ТМЦ
Количество номенклатур 74 128 272 147 198 122
Длительность залегания, мес. Среднее 0.9 6.7 2.5 9.9 1.6 8.5
Ст. отклонение 1.2 4.8 2.2 5.3 1.3 5.6
Оборачиваемость, мес. Среднее 3.0 10.4 4.3 13.1 2.9 9.3
Ст. отклонение 1.4 5.0 2.6 5.8 1.9 4.7
ТМЦ попавшие в целевые кластеры имеют, в среднем, более низкие значения длительности залегания и более быструю оборачиваемость. Так как эти значения получены по конкретным номенклатурам их можно считать достижимыми, и они могут быть использованы для постановки цели для всех ТМЦ каждой из категории.
По результатам проведенного анализа может быть сформулирована следующая цель для категорийных менеджеров: для всех ТМЦ каждой из категорий, обеспечить средние значения показателей оборачиваемости и длительности залегания на уровне средних для целевых кластеров. Достижение данной цели будет означать для предприятия сокращение длительности залегания ТМЦ в среднем на 61% и ускорение оборачиваемости на 47%.
8. Заключение
В статье был проведен обзор популярных методов кластеризации, представлены подходы к оценке качества результатов их работы на неразмеченных данных. Кластерный анализ один из самых перспективных для использования на практике подходов анализа, так как не требует существенных затрат на подготовку данных. Область его применения не ограничивается задачами идентичными классификации. Как показано на практическом примере, он может быть использован и для выявления выбросов и постановки целей.
Кластерный анализ хорошо подходит для систематизации работы категарийного менеджера на предприятии. В зоне его ответственности может находиться более тысячи номенклатур по нескольким номенклатурным группам. Как показано на практическом примере, существующие алгоритмы кластеризации хорошо справляются с задачей выделения групп номенклатур со стабильными значениями контрольных показателей. Эти группы могут быть использованы как внутренний бенчмарк для всей категории ТМЦ и стать основой для постановки достижимых на практике целей.
Список литературы
[1] Леончик Е. Ю., Савастру О. В. Кластерный анализ //Терминология, методы, задачи. Одесса: ОНУ им. ИИ Мечникова. - 2007. - Т. 6.
[2] Воронцов К. В. Лекции по алгоритмам кластеризации и многомерного шкалирования //М.: МГУ. - 2007.
[3] Бериков В. С., Лбов Г. С. Современные тенденции в кластерном анализе //Всероссийский
конкурсный отбор обзорно-аналитических статей по приоритетному направлению «Информационно -телекоммуникационные системы. - 2008. - С. 1-26.
[4] Документация к алгоритмам кластеризации пакета scikit-learn: https://scikit-learn.org/stable/modules/clustering.html.
[5] Frey B. J., Dueck D. Clustering by passing messages between data points //science. - 2007. - Т. 315. - №. 5814. - С. 972-976.
[6] Ester M., Kriegel H.P., Sander J., XiaoweiXu A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise. Published in Proceedings of 2nd International Conference on Knowledge Discovery and Data Mining (KDD-96).
[7] Люнченко С.И. Применение статистических методов для анализа случаев сбоя в работе систем спутникового контроля автотранспорта // Журнал «Внутренний аудитор», выпуск №4 (8), 2019. Издание Ассоциации «Институт внутренних аудиторов».
[8] Тханг В. В., Пантюхин Д. В., Галушкин А. И. Гибридный алгоритм кластеризации FastDBSCAN //Труды Московского физико-технического института. - 2015. - Т. 7. - №. 3 (27).
[9] Smiti A., Elouedi Z. Fuzzy density based clustering method: Soft DBSCAN-GM //2016 IEEE 8th International Conference on Intelligent Systems (IS). - IEEE, 2016. - С. 443-448.
[10] Hou J., Gao H., Li X. DSets-DBSCAN: a parameter-free clustering algorithm //IEEE Transactions on Image Processing. - 2016. - Т. 25. -№. 7. - С. 3182-3193.
[11] Пестунов И. А., Рылов С. А., Бериков В. Б. Иерархические алгоритмы кластеризации для сегментации мультиспектральных изображений //Автометрия. - 2015. - Т. 51. - №. 4. - С. 12-22.
[12] Коновалов А. С., Барладян И. И., Токмакова А. Б. СРАВНИТЕЛЬНЫЙ АНАЛИЗ ЭФФЕКТИВНОСТИ РАЗЛИЧНЫХ МЕТОДОВ КЛАСТЕРИЗАЦИИ В ЗАДАЧАХ ПРЕДПРОЕКТНОГО ОБСЛЕДОВАНИЯ АВТОМАТИЗИРУЕМЫХ СИСТЕМ УПРАВЛЕНИЯ СНАБЖЕНИЕМ И ЛОГИСТИКИ* //Теория активных систем-2009: Международная научно-практическая Мультиконференция" Управление большими системами-2009". - 2009. -С. 255-259.
[13] Недосекин А. О., Пачуева О. В., Комаров С. Е. Управление продажами торговой компании на основе трехпортфельной кластерной модели.
