CC BY
50
001: 10.18721/1Е.13607 УДК 65.012.123
ИСПОЛЬЗОВАНИЕ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ ДЛЯ ОЦЕНКИ ПОСТАВЩИКОВ ПРОДУКЦИИ
Поцулин А.Д., Сергеева И.Г., Руденко В.Д.
Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Санкт-Петербург, Российская Федерация
В работе исследована проблема влияния субъективных факторов на выбор поставщика. Для принятия объективного решения по выбору поставщика продукции предлагается использовать модели машинного обучения. За счёт использования моделей машинного обучения оценка поставщиков формируется исходя из анализа результатов их деятельности, благодаря чему минимизируется влияние субъективных факторов на выбор поставщика. В рамках написания статьи проведено исследование на основе набора данных, источниками которых является информация, полученная в ходе анализа годового отчёта отдела закупок мясоперерабатывающего предприятия, а также открытая информация, опубликованная на сайте Рос-сельхознадзора. Сформирована выборка для проведения обучения модели классификации поставщиков на надёжных и ненадёжных. Для решения задачи классификации поставщиков использованы такие методы, как логистическая регрессия и дерево принятия решений. Предложены порядковые шкалы для оценки поставщиков, по таким критериям как наличие и правильность оформления товарно-сопроводительной документации, соответствие маркировки, наличие реакций на отзывы и т. п. Это дало возможность спроектировать структуру базы данных, содержащей информацию о поставщиках. В соответствии с заданной структурой сформирована выборка для проведения обучения модели классификации поставщиков на надёжных и ненадёжных. Для решения задачи классификации поставщиков использованы такие методы, как логистическая регрессия и дерево принятия решений. С использованием метрики АиС выполнен сравнительный анализ выбранных методов. Предложенная методика может найти применение не только для оценки поставщиков пищевой продукции при условии модификации состава критериев. За счёт использования моделей машинного обучения оценка поставщиков формируется, исходя из анализа результатов их деятельности, что позволяет снизить влияние субъективных факторов. Использование полученных результатов упростит процесс выбора поставщиков, будет содействовать развитию конкуренции на товарных рынках Российской Федерации, позволит предприятиям сократить управленческие расходы и сэкономить время на осуществление поиска, оценки и выбора добросовестных поставщиков.
Ключевые слова: оценка поставщиков, методы оценки поставщиков, логистическая регрессия, дерево принятия решений, критерии оценки, машинное обучение
Ссылка при цитировании: Поцулин А.Д., Сергеева И.Г, Руденко В.Д. Использование методов машинного обучения для оценки поставщиков продукции // Научно-технические ведомости СПбГПУ. Экономические науки. 2020. Т. 13, № 6. С. 79-90. DOI: 10.18721/Ш.13607
Это статья открытого доступа, распространяемая по лицензии СС BY-NC 4.0 (https://crea-tivecommons.Org/licenses/by-nc/4.0/)
MACHINE LEARNING METHODS USING FOR PRODUCT SUPPLIERS EVALUATION
A.D. Potsulin, I.G. Sergeeva, V.D. Rudenko
St. Peterburg National Research University of Information Technologies, Mechanics and Optics, Saint-Petersburg, Russian Federation
The paper is dedicated to the problem of the subjective factors influence on the choice of supplier. To make an objective decision on choosing a product supplier, machine learning models applying is suggested. Due to the use of machine learning models, the evaluation of suppliers is formed based on the analysis of the results of their activities, which minimizes the influence of subjective factors on the choice of supplier. The paper presents the results of the research based on a set of data, including the information obtained during the analysis of the annual report of the purchasing department of a meat processing enterprise, as well as open information published on the Rosselkhoznadzor (Federal Service for Veterinary and Phytosanitary Surveillance of Russian Federation) official site. A sample was formed for training the model for classifying suppliers into reliable and unreliable ones. Methods such as logistic regression and decision tree are used to solve the problem of supplier classification. Ordinal scales are proposed for evaluating suppliers, based on such criteria as the availability and correctness of the design of the product accompanying documentation, compliance with labeling, the presence of reactions to reviews, etc. This made it possible to design the structure of a database containing information about suppliers. In accordance with the specified structure, a sample was formed for training the model for classifying suppliers into reliable and unreliable ones. Methods such as logistic regression and decision tree are used to solve the problem of supplier classification. A comparative analysis of the selected methods was performed using the AUC metric. Modifications of the composition criteria will allow to use the proposed method not only for evaluating the suppliers of food products. Due to machine learning models using, the evaluation of suppliers is formed based on the analysis of their performance, which reduces the influence of subjective factors. The obtained results can simplify the process of selecting suppliers, promote competition in the commodity markets of the Russian Federation, allow enterprises to reduce management costs and save time on searching, evaluating and selecting bona fide suppliers.
Keywords: supplier evaluation, supplier evaluation methods, logistic regression, decision tree, evaluation criteria, machine learning
Citation: A.D. Potsulin, I.G. Sergeeva, V.D. Rudenko, Machine learning methods using for product suppliers evaluation, St. Petersburg State Polytechnical University Journal. Economics, 13 (6) (2020) 79-90. DOI: 10.18721/JE.13607
This is an open access article under the CC BY-NC 4.0 license (https://creativecommons.org/li-censes/by-nc/4.0/)
Введение
Управление закупками является одной из составных частей производственной цепи, где поставщик выступает основным звеном, непосредственно влияющим на качество и безопасность готового продукта. При этом процесс выбора поставщиков является критически важным, т. к. оказывает непосредственное влияние на конечное снижение затрат и прибыльность компании. Одной из основных проблем, возникающих при закупке товаров является выбор поставщика. Важность решения данной проблемы обусловлена снижением затрат, сокращением простоев в случае грамотного подхода к выбору поставщика. Поставщик должен быть надежным партнером для организации-потребителя, производить поставки точно в срок, а поставляемая им продукция соответствовать требованиям качества и безопасности при разумном соотношении цены и качества. Решение данной задачи связано с определением допустимых пределов изменения ценовых и качественных оценок товара, обеспечивающих взаимную выгоду обоим участникам обменного процесса [1].
На каждом из российских товарных рынков функционирует большое количество поставщиков, производящих схожую продукцию, следовательно, возникает сложность их выбора и идентификации. При этом методика ранжирования и отбора поставщиков с учетом их профессиональных качеств не регламентирована [2]. Организациям необходимо выстроить процесс коммуникации с поставщиками. Данный процесс включает оценку способности поставщика удовлетворять ожиданиям и требованиям к качеству и безопасности продукции [3]. Согласно требованиям стандартов ГОСТ Р ИСО 9001-2015 и ГОСТ Р ИСО 22000-2019 проведение оценки поставщиков и мониторинга результатов их деятельности является обязательными условиями для внедрения и поддержания систем менеджмента качества и безопасности пищевой продукции в организации.
Объектом настоящего исследования является процедура оценки поставщиков продукции. Предметом исследования выступает анализ возможностей и ограничений использования моделей машинного обучения при проведении оценки поставщиков продукции.
Критерии оценки и отбора поставщиков зависят от того, насколько важен в производственном или торговом процессе тот или иной продукт, материал или изделие [4—9]. На основе анализа формируется перечень конкретных поставщиков, с которыми в дальнейшем заключается соответствующий договор. Окончательный выбор поставщика осуществляется лицом, принимающим решения в отделе закупок, следовательно, на выбор оказывают влияние субъективные факторы.
Распространение технологий больших данных и искусственного интеллекта побудило исследователей рассмотреть их применение в таких аспектах исследования операций, как управление рисками цепочки поставок и выбор поставщиков [10, 11].
Использование методов машинного обучения в управлении закупками стало объектом исследования ряда ученых. В частности, Абдулла A., Барьяннис Д. и Баги И. описали и применили модель машинного обучения для выбора наиболее подходящего поставщика. В упомянутом исследовании набор данных для машинного обучения взят из практики деятельности двух нефтегазовых компаний Ливии: «Sri Oil» и «Lifeco» [11]. Харикришнакумар Р., Дэнд А., Наннапа-нени С. и Кришнан К. опубликовали алгоритмы контролируемого обучения (классификации), которые применяются для решения задачи оценки поставщиков, где модель обучается на основе предыдущих исторических данных, а затем тестируется на новом наборе [12]. Также Харикриш-накумар Р. Наннапанени С. и Кришнан К. в своей работе предлагают использовать алгоритмы контролируемого машинного обучения, позволяющие разделить поставщиков на четыре категории: отличные, хорошие, удовлетворительные и неудовлетворительные. В их исследовании алгоритмы контролируемого обучения (классификации) применяются к задаче оценки поставщика, где модель обучается на основе предыдущих исторических данных, а затем тестируется на новом наборе [13]. В статье Кавальканте Я.М., Фраззона Э.М., Форселлинии Ф. и Иванова Д. представлена гибридная методика выбора поставщиков, сочетающая моделирование и машинное обучение, способствующая повышению надежности поставки. Так, авторы рассматривают своевременную поставку как показатель надежности поставщика [14]. В работе [15] Баклушинский В.В. и Пустынникова Е.В. представили результаты составления и тестирования моделей машинного обучения, созданных в целях оценки надежности предприятий как поставщиков.
Перечисленными выше авторами были разработаны модели, позволяющие проводить оценку поставщиков и ранжировать их с учетом их качественных характеристик.
Цель и задачи исследования
Целью исследования является доказательство возможности и целесообразности применения методов машинного обучения в процессе оценки и выбора поставщиков. Для достижения поставленной цели необходимо решение следующих задач: проведение анализ существующих методов оценки и выбора поставщиков, обучение и тестирование модели оценки сформированной выборки поставщиков, оценка точности и преимуществ предлагаемой модели.
Научная новизна исследования заключается в обосновании возможностей применения методов машинного обучения (методов логистической регрессии и деревьев решений (деревьев классификации)) для оценки поставщиков продукции.
Практическая значимость работы обусловлена возможностью применения предложенной методики при проведении предприятиями оценки поставщиков продукции.
Методы исследования
Для решения задачи классификации поставщиков были использованы такие алгоритмы машинного обучения, как логистическая регрессия и дерево принятия решений.
Логистическая регрессия определяет, принадлежит ли объект одному из двух классов, на основе значений функции логистической кривой [16]. Значения этой функции определены в промежутке (0 < x <1) и, округленные до целого числа, отражают принадлежность объекта к одному из двух классов (класс «1» характеризует поставщика как надёжного для дальнейшего сотрудничества, «0» — ненадёжный поставщик).
Дерево решений наглядно показывает, что почти каждый выбор поставщика связан с некоторой неопределенностью, а также с риском, присущим этому решению. Чтобы умело пользоваться деревом решений, специалист по закупкам обязан определить возможные варианты выбора поставщиков, критерии оценивания и варианты успеха или неудачи [17]. По типу прогнозируемой метрики деревья решений подразделяются на два разных типа: деревья классификации и деревья регрессии. Дерево решений с непрерывным прогнозируемым показателем называется деревом регрессии, в то время как деревья классификации, напротив, предсказывают дискретные показатели. Дерево классификации позволяет выстраивать классификатор, состоящий из листьев (классов), которые присваивает модель, и узлов проверки (критериев, по которым классифицируются объекты) [18]. В рамках решения задачи выбора поставщика используется бинарное дерево. Бинарное дерево принятия решений — это дерево принятия решений, из каждого узла которого выходит ровно два ребра [19].
Преимуществом метода дерева принятия решений является простота в реализации и устойчивость к выбросам. Для определения категориальных значений лучше использовать деревья решений, чем метод логистической регрессии. Также дерево принятия решений является более гибким методом, по сравнению с логистической регрессией [20—21].
Результаты исследования
Исследование проведено на основе набора данных, источниками которых является информация, полученная в ходе анализа годового отчёта отдела закупок мясоперерабатывающего предприятия, а также открытая информация, опубликованная на сайте Россельхознадзора. В качестве критериев выбраны следующие показатели: наличие и правильность оформления товарно-сопроводительной документации (ТСД), соответствие маркировки, результаты текущего (входного, производственного) контроля, наличие реакций на отзывы, качество продукции, стоимость продукции (руб./кг) и срок доставки. При этом стоимость продукции (руб./кг) и срок доставки представлены в исходном наборе данных как количественные показатели. Для остальных критериев оценки поставщиков введены порядковые шкалы (табл. 1).
Основные этапы исследования [22]:
1. Формирование выборки для обучения моделей. В качестве атрибутов принята информация, полученная в ходе анализа годового отчёта отдела закупок мясоперерабатывающего предприятия а также данные лабораторного контроля, размещённые на сайте Россельхознадзора, цены, представленные в каталогах производителей мясной продукции, отзывы потребителей и ответы на них, проанализированы сайты поставщиков с целью выявления срока доставки продукции.
2. Работа с данными для приведения их к форме, пригодной для использования. Перечисленные выше данные были сведены в таблицу с помощью программного обеспечения Microsoft Office Excel.
3. Подготовка обучающей выборки из полученного на предыдущем этапе набора. В качестве выборки из таблицы извлечены данные по 100 предполагаемым поставщикам. На основании оценок по критериям, каждому поставщику присвоен статус: «1» — надёжный для дальнейшего сотрудничества, «0» — ненадёжный поставщик.
4. Преобразование таблицы Excel в CSV файл и выгрузка данных в Microsoft Azure Learning Studio.
Таблица 1. Перечень критериев для оценки поставщиков Table 1. List of supplier evaluation criteria
Критерии Показатель Оценка
Наличие и правильность оформления (ТСД) ТСД правильно оформлена и предоставляется своевременно, в полном объёме 3
ТСД правильно оформлена и предоставляется своевременно 2
ТСД оформлена с нарушениями, либо предоставлена несвоевременно 1
Соответствие маркировки Маркировка соответствует требованиям нормативной документации (НД) 3
Маркировка частично не соответствует требованиям НД 2
Маркировка не соответствует требованиям НД 1
Результаты текущего (входного, производственного) контроля Продукция соответствует требованиям НД 3
Наличие единичного несоответствия требованиям НД, отсутствие повторного несоответствия по одному и тому же показателю в течение 12 месяцев 2
Показатели качества и безопасности поставляемой продукции не стабильные, регулярные повторные несоответствия 1
Реакция на претензию (рекламацию) Оперативно и эффективно реагирующий на претензии, замечания, предложения 3
Недостаточно оперативно реагирует на претензии, замечания, предложения 2
Несвоевременно реагирует и неэффективно отрабатывает претензии, замечания, предложения 1
Качество продукции Продукция соответствует требованиям НД. Отсутствие нареканий со стороны органов Федеральной исполнительной власти (Роспотребнадзор, Россельхознадзор) 5
Наличие единичного несоответствия требованиям НД, отсутствие повторного несоответствия. Отсутствие нареканий со стороны органов Федеральной исполнительной власти 4
Наличие единичного несоответствия требованиям НД. Есть замечания со стороны органов Федеральной исполнительной власти 3
Наличие несоответствий требованиям НД. Показатели качества и безопасности поставляемой продукции не стабильные. Есть замечания со стороны органов Федеральной исполнительной власти 2
Показатели качества и безопасности поставляемой продукции нестабильные, регулярные повторные несоответствия. Поставщик занесён в реестр «недобросовестных» поставщиков органами Федеральной исполнительной власти 1
5. Разделение выборки случайным образом с помощью блока Split Data на тренировочную и тестовую части в отношении 80/20. Тестовая выборка используется на этапе оценки точности.
6. Выбор методов машинного обучения и построение моделей.
7. Обучение моделей и оценка их точности.
После обучения модели она позволит с той или иной степенью точности классифицировать организацию-поставщика по данным критериям, в результате поставщик будет признан надёжным или ненадёжным для дальнейшего сотрудничества.
Результаты прогнозирования с помощью каждой из выбранных моделей представлены на рис. 1 и 2. Столбец «Cooperation_decision» представляет собой фактические значения отклика, «Scored Labels» — предсказанные значения. В столбце Scored Probabilities указаны вероятности отнесения поставщика к положительному классу.
Рассчитанные вероятности отнесения элементов к тому или иному классу методом логистической регрессии по большей части принадлежат диапазону от 20 % до 60 %. Модель машинного обучения принимает решение по отнесению того или иного элемента к классу по рассчитанным вероятностям и этот параметр настраивается. По вероятностям, рассчитанным методом логистической регрессии, граница между классами размыта, т. к. трудно определить значение вероятности, которое разделяет классы. Поэтому данный метод неудобен в использовании, для более точной настройки модели требуется гораздо большая обучающая выборка данных.
Рис. 1. Результаты прогнозирования, полученные с помощью метода логистической регрессии Fig. 1. The results of forecasting via a trained logistic regression method
Рис. 2. Результаты прогнозирования путем использования дерева решений Fig. 2. The results of forecasting applying decision tree technique
У метода дерева принятия решений вероятности для класса 0 в основном принадлежат диапазону от 0,1 % до 5 %, а для класса 1 от 50 % до 100 %. Данный метод удобнее в применении, для него легче подобрать вероятность, отделяющую классы. Поэтому для обучения и более точной настройки модели будет достаточно меньшей обучающей выборки данных
На рис. 3 представлено одно из построенных деревьев принятия решений, по которому можно оценить глубину дерева. На основе полученного дерева возможно проанализировать логику данной модели и сделать вывод о том, что с помощью модели были выявлены факторы, наиболее влияющие на принятие решения по работе с поставщиком: «Qaim_reactюn_rate», <Юе1гуегу_ speed_days», «Cost_rub/kg» и «Control_result_rate», что соответствует условиям, по которым формировались отклики в обучающей выборки.
Возможность анализа логики отнесения элементов к классам является преимуществом метода дерева принятия решений перед остальными методами, потому что можно быстро перенастроить модель под необходимые условия, по которым предприятие выбирает поставщиков.
Рис. 3. Дерево принятия решений, построенное соответствующей моделью машинного обучения Fig. 3. Decision tree built by the corresponding machine learning model
Рис. 4. Показатели точности обученной модели логистической регрессии Fig. 4. The accuracy indicators of a trained logistic regression model
На рис. 4 представлены показатели точности метода логистической регрессии: ROC-кривая (кривая ошибок), которая показывает зависимость доли истинно положительных объектов от доли ложноположительных объектов. Для количественной оценки точности метода используется показатель AUC (англ. «area under the curve»), который рассчитывается как площадь под кривой ошибок и показывает производительность метода.
На рис. 5 представлены показатели точности метода дерева принятия решений.
Для метода логистической регрессии AUC составила 0.626, а для метода дерева принятия решений — 0.727. Отсюда следует вывод, что метод дерева принятия решений дает больше верных прогнозов, чем метод логистической регрессии.
Платформа для решения задач машинного обучения, используемая в рамках текущей работы, также рассчитывает классические параметры точности модели: accuracy, recall и precision.
О Prediction
с 41 Positive Negative
«а Positive 2 1
Pi Negative 7 10
AUC = 0.727
Positive Label -1
accuracy precision
0.600 0.667
recall Fl Score
0.222 0.333
Negative Label - 0
Рис. 5. Показатели точности обученной модели дерева принятия решений Fig. 5. The accuracy indicators of a trained decision tree model
Метрика Accuracy рассчитывается по формуле 1, отражает долю правильных ответов и является общей оценкой точности для всех классов.
TP + TN
accuracy =-, (1)
TP + TN + FP + FN
где TP — верно определенный моделью класс 1, TN — верно определенный моделью класс 0, FP — модель ошибочно предсказала класс 1, FN — модель ошибочно предсказала класс 0.
Precision можно интерпретировать как долю объектов, которые классификатор назвал положительными, при этом являющихся действительно положительными, а recall показывает, какую долю объектов положительного класса из всех объектов нашел алгоритм [11].
Precision и recall рассчитываются по следующим формулам:
TP
precision =-, (2)
TP + FP
TP
recall =-. (3)
TP + FN
Из метрик accuracy, precision и recall для текущей задачи релевантными является precision и recall. Метод дерева принятия решений по обоим показателям имеет значения выше, чем метод логистической регрессии.
Также точность каждой метода можно оценить по полученным результатам прогноза, представленным на рис. 4 и 5.
Поскольку для решения текущей задачи приоритет имеет поиск и выбор достойных и надежных поставщиков, то следует сделать вывод, что метод дерева принятия решений дает более точный результат, выявляя большее количество подходящих поставщиков.
Заключение
В проведенном исследовании рассматриваются возможности применения моделей машинного обучения (методов логистической регрессии и дерева решений) для оценки поставщиков продукции. После определения состава критериев для оценки поставщиков были предложены порядковые шкалы для их оценивания. Это дало возможность спроектировать структуру базы
данных, содержащей информацию о поставщиках. В соответствии с заданной структурой сформирована выборка для обучения модели проведению классификации поставщиков на надёжных и ненадёжных. Для решения задачи классификации поставщиков использованы такие методы, как логистическая регрессия и дерево принятия решений. С целью оценки точности исследуемых методов проведен их сравнительный анализ с использованием метрики АиС. В результате проведенного анализа было доказано, что метод дерева принятия решений позволяет получить более точный результат. Таким образом, за счёт использования моделей машинного обучения оценка поставщиков формируется, исходя из анализа результатов их деятельности, что дает возможность снизить влияние субъективных факторов.
Направления дальнейших исследований определяются универсальностью предложенной методики и возможностью ее применения не только для оценки поставщиков в пищевой отрасли, но и в других отраслях экономики при условии модификации состава критериев. Применение моделей машинного обучения для оценки и выбора поставщиков возможно для организаций любого типа. Кроме того, представленность информации о предприятиях в открытом доступе позволяет создавать различные классификаторы, применяемые для оценки поставщиков.
СПИСОК ЛИТЕРАТУРЫ
1. Яковлев А.А., Глухов В.В. Модель взаимодействия производителей и потребителей через основные характеристики товара: полезность, качество, цена, меновая стоимость // Научно-технические ведомости СПбГПУ. Экономические науки. 2018. Т. 11, № 3. С. 194-202. DOI: 10.18721/ JE.11317
2. Сергеева И.Г., Поцулин А.Д. Совершенствование системы выбора и оценки поставщиков товаров // Modern Economy Success. 2019. № 6. С. 194-198.
3. Федосеева У.С., Полякова Л.И. Методология оценки поставщиков в системе менеджмента безопасности пищевой продукции // Техника и технология пищевых производств. 2015. № 2. C. 125-131.
4. Дегтярёв Н.М., Яковлев Р. Методические подходы к выбору и оценке поставщиков предприятия // Вестник Волжского университета им. В. Н. Татищева. 2015. С. 100-105.
5. Еремеева Ю.В. Управление выбором поставщиков продукции на предприятии автосервиса (на примере ООО «Пермьтранссервис») // Современное состояние, проблемы и перспективы развития отраслевой науки: материалы Всероссийской конференции с международным участием, 23-24 ноября, Москва. 2017. С. 322-326.
6. Жамсуева Г.С. Разработка методики работы с поставщиками в системе менеджмента качества электролампового завода // Неразрушающий контроль: электронное приборостроение, технологии, безопасность: сборник трудов V Всероссийской научно-практической конференции студентов, аспирантов и молодых учёных, Томск, 25-29 мая 2015 г. : в 2 т. Томск : Изд-во ТПУ. 2015. С. 34-39.
7. Соловейчик К.А., Левенцов В.А., Фарбер Э.М. Модель выбора поставщика при техническом перевооружении предприятия // Научно-технические ведомости СПбГПУ. Экономические науки. 2018. Т. 11, № 1. С. 199-210. DOI: 10.18721/JE.11118
8. Сырисько Я.А., Саченок Л.И. Использование экспертных оценок при выборе поставщика ООО «ЦАРЬ-ХЛЕБ» // Весник молодёжной науки Калининградского государственного технического университета. 2017. C. 1-5.
9. Шамыгин А.А., Самарина В.П., Галева Р.В. Выбор поставщика дисковых керамических вакуум-фильтров на металлургическом предприятии // Молодежь и XXI век: материалы VII Международной молодежной научной конференции, 21-22 февраля, Курск. 2017. С. 205-208.
10. Sepehri S. Supplier Selection and Relationship Management: An Application of Machine Learning Techniques // Faculty of Business Programs. 2020. 91 pp.
11. Abdulla A., Baryannis G., Badi I. Weighting the key features affecting supplier selection using machine learning techniques // Proceedings of the 7th International conference on Transport and Logistics. 2019. DOI: 10.20944/preprints201912. 0154.v1
12. Harikrishnakumar R., Dand S., Nannapaneni S., Krishnan K. Supervised Machine Learning Approach for Effective Supplier Clas-sification // 18th IEEE In-ternational Conference On Machine Learning And Applications (ICMLA). 2020. DOI: 10.1109/ICMLA.2019.00045
13. Harikrishnakumar R., Nannapaneni S., Krishnan K. Developing procurement strategy by applying classification algorithms for effective supplier assessment // 17th Annual Capitol Graduate Research Summit in Topeka. 2020. URL: http://hdl.handle.net/10057/17178.
14. Cavalcante I.M., Frazzon E.M., Forcellinia F.A., Ivanov D. A supervised machine learning approach to data-driven simulation of resilient supplier selection in digital manufacturing // International Journal of Information Management. 2019. Vol. 49. Pp. 86-97. DOI: 10.1016/j.ijinfomgt.2019.03.004
15. Баклушинский В.В., Пустынникова Е.В. Машинное обучение как инструмент корпорации для выбора поставщиков // Вестник университета. Научный журнал на тему: Экономика и бизнес, Науки об образовании, Социологические науки, Психологические науки, Право. 2019. № 9. С. 48-53. DOI 10.26425/1816-4277-2019-9-48-53
16. Farrelly C.M. Topology and Geometry in Machine Learning for Logistic Regression // PsyArXiv. 2017. DOI: psyarxiv.com/v8jgk
17. Выбор поставщика // The Most Valued Procurement. 2013. URL: http://mv-procurement.com/ vibor-postavchika/vy-bor-postavshhika-chast-1 (дата обращения: 20.10.2020).
18. Nasteski V. An overview of the supervised machine learning methods. HORIZONS.B. Vol. 4. 2017. Pp. 51-62.
19. Попова О.Б. Новые метод усиления интеллекта и способ представления дерева принятия решений, которые приближены к естественному интеллекту // Научные труды КУБГТУ. 2016. №1. С. 38-47.
20. Cock M.De., Dowsley R., Horst C., Katti R., Anderson C.A. Nascimento, Wing-Sea Poon, Truex S. Efficient and Private Scoring of Decision Trees, Support Vector Machines and Logistic Regression Models Based on Pre-Computation // IEEE Transactions on Dependable and Secure Computing. 2019. Vol. 16. I. 2. Pp. 217-230. DOI: 10.1109/TDSC.2017.2679189
21. Wilson V.H., Arun Prasad N.S., Shankharan A., Kapoor S., Rajan J.A. Ranking of Supplier Performance Using Machine Learning Algorithm of Random Forest // International Journal of Advanced Research in Engineering and Technology (IJARET). 2020 11(5), 2020, pp. 298-308.
22. Поцулин А.Д., Сергеева И.Г. Использование моделей машинного обучения при проведении оценки поставщиков // Системный анализ в проектировании и управлении: Сборник научных трудов XXIV Междунар. науч. и учебно-практич. конф. СПб. ПОЛИТЕХ-ПРЕСС. 2020. В 3 ч. Часть 3. С. 159-165.
REFERENCES
1. A.A. Yakovlev, V.V. Glukhov, Model' vzaimodeystviya proizvoditeley i potrebiteley cherez os-novnyye kharakteristiki tovara: poleznost', kachestvo, tsena, menovaya stoimost' // Nauchno-tekhniches-kiye vedomosti SPbGPU. Ekonomicheskiye nauki. 2018. T. 11, № 3. S. 194-202. DOI: 10.18721/JE.11317
2. I.G. Sergeyeva, A.D. Potsulin, Sovershenstvovaniye sistemy vybora i otsenki postavshchikov tovarov [Improving the system for selecting and evaluating suppliers of goods] // Modern Economy Success. 2019. № 6. S. 194-198.
3. U.S. Fedoseyeva, L.I. Polyakova, Metodologiya otsenki postavshchikov v sisteme menedzhmenta bezopasnosti pishchevoy produktsii [Methodology for evaluating suppliers in the food safety management system] // Tekhnika i tekhnologiya pishchevykh proizvodstv. 2015. № 2. C. 125-131.
4. N.M. Degtyarev, R. Yakovlev, Metodicheskiye podkhody k vyboru i otsenke postavshchikov pred-priyatiya [Methodological approaches to the selection and evaluation of enterprise suppliers] // Vestnik Volzhskogo universiteta im. V. N. Tatishcheva. 2015. S. 100-105.
5. Yu.V. Yeremeyeva, Upravleniye vyborom postavshchikov produktsii na predpriyatii avtoservisa (na primere OOO «Permtransservis»)[Managing the selection of product suppliers at a car service company (on the example of Permtransservice LLC)] // Sovremennoye sostoyaniye, problemy i perspektivy razvi-tiya otraslevoy nauki: materialy Vserossiyskoy konferentsii s mezhdunarodnym uchastiyem, 23-24 noya-brya, Moskva. 2017. S. 322-326.
6. G.S. Zhamsuyeva, Razrabotka metodiki raboty s postavshchikami v sisteme menedzhmenta kachest-va elektrolampovogo zavoda [Development of methods for working with suppliers in the quality manage-
ment system of an electric lamp factory] // Nerazrushayushchiy kontrol: elektronnoye priborostroyeniye, tekhnologii, bezopasnost: sbornik trudov V Vserossiyskoy nauchno-prakticheskoy konferentsii studentov, aspirantov i molodykh uchenykh, Tomsk, 25—29 maya 2015 g. : v 2 t. Tomsk : Izd-vo TPU. 2015. S. 34—39.
7. K.A. Soloveichik, V.A. Leventsov, E.M. Farber, Model for choosing a supplier for the technical re-equipment of an enterprise // Scientific and technical statements of SPbSPU. Economic sciences.
2018.Vol. 11, No. 1. P. 199-210. DOI: 10.18721 / JE.11118
8. Ya.A. Syrisko, L.I. Sachenok, Ispolzovaniye ekspertnykh otsenok pri vybore postavshchika OOO «TsAR-KhLEB» [Use of expert assessments when choosing a supplier for TSAR-KHLEB LLC] // Vesnik molodezhnoy nauki Kaliningradskogo gosudarstvennogo tekhnicheskogo universiteta. 2017. C. 1-5.
9. A.A. Shamygin, V.P. Samarina, R.V. Galeva, Vybor postavshchika diskovykh keramicheskikh vakuum-filtrov na metallurgicheskom predpriyatii [Choosing a supplier of ceramic disk vacuum filters at a metallurgical enterprise] // Molodezh i XXI vek: materialy VII Mezhdunarodnoy molodezhnoy nauch-noy konferentsii, 21-22 fevralya, Kursk. 2017. S. 205-208.
10. S. Sepehri, Supplier Selection and Relationship Management: An Application of Machine Learning Techniques // Faculty of Business Programs. 2020. 91 pp.
11. A. Abdulla, G. Baryannis, I. Badi, Weighting the key features affecting supplier selection using machine learning techniques // Proceedings of the 7th International conference on Transport and Logistics. 2019. DOI: 10.20944/preprints201912. 0154.v1
12. R. Harikrishnakumar, S. Dand, S. Nannapaneni, K. Krishnan, Supervised Machine Learning Approach for Effective Supplier Clas-sification // 18th IEEE In-ternational Conference On Machine Learning And Applications (ICMLA). 2020. DOI: 10.1109/ICMLA.2019.00045
13. R. Harikrishnakumar, S. Nannapaneni, K. Krishnan, Developing procurement strategy by applying classification algorithms for effective supplier assessment // 17th Annual Capitol Graduate Research Summit in Topeka. 2020. URL: http://hdl.handle.net/10057/17178.
14. I.M. Cavalcante, E.M. Frazzon, F.A. Forcellinia, D. Ivanov, A supervised machine learning approach to data-driven simulation of resilient supplier selection in digital manufacturing // International Journal of Information Management. 2019. Vol. 49. Pp. 86-97. DOI: 10.1016/j.ijinfomgt.2019.03.004
15. V.V. Baklushinskiy, Ye.V. Pustynnikova, Mashinnoye obucheniye kak instrument korporat-sii dlya vybora postavshchikov [Machine learning as a corporate tool for selecting suppliers] // Vestnik universiteta. Nauchnyy zhurnal na temu: Ekonomika i biznes, Nauki ob obrazovanii, Sotsiologicheskiye nauki, Psikhologicheskiye nauki, Pravo. 2019. № 9. S. 48-53. DOI 10.26425/1816-4277-2019-9-48-53
16. C.M. Farrelly, Topology and Geometry in Machine Learning for Logistic Regression // PsyArXiv. 2017. DOI: psyarxiv.com/v8jgk
17. Vybor postavshchika // The Most Valued Procurement. 2013. URL: http://mv-procurement.com/ vibor-postavchika/vy-bor-postavshhika-chast-1 (data obrashcheniya: 20.10.2020).
18. V. Nasteski, An overview of the supervised machine learning methods. HORIZONS.B. Vol. 4. 2017. p. 51-62.
19. O.B. Popova, Novyye metod usileniya intellekta i sposob predstavleniya dereva prinyatiya resheniy, kotoryye priblizheny k yestestvennomu intellektu [A new method for enhancing intelligence and a way to represent the decision tree that is close to natural intelligence] // Nauchnyye trudy KUBGTU. 2016. № 1. S. 38-47.
20. M.De. Cock, R. Dowsley, C. Horst, R. Katti, C.A. Anderson, Nascimento, Wing-Sea Poon, Truex S. Efficient and Private Scoring of Decision Trees, Support Vector Machines and Logistic Regression Models Based on Pre-Computation // IEEE Transactions on Dependable and Secure Computing.
2019. Vol. 16. I. 2. pp. 217-230. DOI: 10.1109/TDSC.2017.2679189
21. V.H. Wilson, N.S. Arun Prasad, A. Shankharan, S. Kapoor, J.A. Rajan, Ranking of Supplier Performance Using Machine Learning Algorithm of Random Forest // International Journal of Advanced Research in Engineering and Technology (IJARET). 2020 11(5), 2020, pp. 298-308.
22. A.D. Potsulin, I.G. Sergeyeva, Ispolzovaniye modeley mashinnogo obucheniya pri provedenii otsenki postavshchikov [The use of machine learning models in the evaluation of suppliers] // Sistem-nyy analiz v proyektirovanii i upravlenii: Sbornik nauchnykh trudov XXIV Mezhdunar. nauch. i ucheb-no-praktich. konf. SPb. POLITEKh-PRESS. 2020. V 3 ch. Chast 3. S. 159-165.
Статья поступила в редакцию 31.10.2020.
СВЕДЕНИЯ ОБ АВТОРАХ / THE AUTHORS
ПОЦУЛИН Антон Дмитриевич
E-mail: anton.potsulin@yandex.ru POTSULIN Anton D.
E-mail: anton.potsulin@yandex.ru
СЕРГЕЕВА Ирина Григорьевна
E-mail: igsergeeva@itmo.ru SERGEEVA Irina G.
E-mail: igsergeeva@itmo.ru
РУДЕНКО Вячеслав Дмитриевич
E-mail: sloveres@yandex.ru RUDENKO Vyacheslav D.
E-mail: sloveres@yandex.ru
© Санкт-Петербургский политехнический университет Петра Великого, 2020
