CC BY
0
Модели оппортунистического поведения в электроэнергетике
И.В. Лошкарёв Южный федеральный университет, Ростов-на-Дону
Аннотация: Статья посвящена динамическому моделированию оппортунистического поведения активных агентов в электроэнергетике. Рассмотрены две постановки: задача оптимального управления с точки зрения отдельного агента и иерархическая игра контролера с несколькими агентами. Предполагается, что агенты в сговоре с контролёром могут занижать показатели потребления электроэнергии пропорционально величине взятки. Основное внимание уделяется численному исследованию этих задач с помощью метода качественно репрезентативных сценариев имитационного моделирования. Показано, что использование небольшого числа правильно выбранных сценариев имитации позволяет сохранить приемлемую качественную точность прогноза динамики системы. Проведен анализ результатов расчетов, сформулированы рекомендации по ограничению коррупции. Увеличение коэффициента штрафа при поимке контролёра за получение "отката" или увеличение его доли официального вознаграждения делает "откаты" невыгодными.
Ключевые слова: задача оптимального управления, иерархическая динамическая игра, имитационное моделирование, оппортунистическое поведение.
Теоретико-игровые модели широко используются для описания производящих компаний и пользователей в электроэнергетике [1]. Соответствующие исследования можно разделить на две группы: модели использования электроэнергии пользователями и управления ценовыми стратегиями производящих компаний. В числе моделей первой группы изучено управление внутренней нагрузкой для пользователей, применяющих цены в реальном времени [2]. Авторы [3] ввели автономную распределённую систему управления потреблением энергии, которая сокращает общие затраты и ежедневное потребление энергии каждым пользователем. Авторы [4] разработали механизм управления торговлей электроэнергией на конкурентном рынке, основанный на оценке вклада агентов.
В рамках моделей второй группы авторы [5] подытожили четыре типичные теоретико-игровые проблемы в области "умных сетей" в
Введение
электроэнергетике. Авторы [6] описали игру Штакельберга, основанную на новой модели отклика спроса, включающую одну производящую компанию и нескольких пользователей при равновесии спроса и предложения. В работах [7,8] рассматривается случай нескольких производящих компаний и нескольких пользователей, когда производящие компании действуют на одной и той же территории продаж. Однако, на реальных рынках производящие компании могут конкурировать за различные и пересекающиеся территории продаж. Это обстоятельство учитывается в статье [9], в которой построена теоретико-игровая модель Штакельберга с несколькими ведущими и ведомыми, в которой ведущие (производящие электроэнергию микросети) конкурируют за нескольких пользователей.
Общая концепция моделирования коррупции изложена в [10]. Для решения динамических задач оптимального и конфликтного управления приходится использовать численные методы [11]. Основным используемым в настоящей статье инструментом исследования является метод качественно репрезентативных сценариев имитационного моделирования [12].
Рассмотрим динамическую постановку задачи управления агента. Владелец предприятия заинтересован в снижении отчётной величины потребляемой предприятием электроэнергии, поскольку это позволяет уменьшить величину платежей. Контролёр может в обмен на взятку пойти на искажение истинной величины потребляемой электроэнергии. Технически это реализуется путём перемотки счётчика электроэнергии и другими способами. Соответствующая модель оптимального управления (с точки зрения агента) имеет вид:
Задача оптимального управления
т
3 = |[кхЦ) + [1 - ЪЦ)]р(гЦ) - аЦ))}Ж ^ тах 0
(1)
и
0 < Ъ(г) < 1/2; (2)
х = ея (г) - кх(г), х(0) = х0 . (3)
Здесь х(г) - величина собранных налогов за использование электроэнергии в году V, е - налоговая ставка (тариф на электроэнергию); к - доля отчислений различного типа (субсидий, дотаций и т.п.) агенту (владельцу предприятия); г (г) - величина истинного потребления электроэнергии в году я (г) - величина потребления электроэнергии в году I, указываемая контролёром; р(-) -заданная функция дохода агента от неучтённого потребления; Ъ(г) - "откат" контролёру от величины неучтённого дохода в году J - общий доход агента за период Т; р - коэффициент дисконтирования; х0 - начальная величина собранных налогов.
С точки зрения агента функцию коррупции я(г) = я(Ъ(г)) будем считать заданной, например, в виде [10]
я(Ъ) = г - АЪ = г(1 - 2Ъ). (4)
Здесь предполагается, что при отсутствии коррупции ( Ъ = 0 ) контролёр указывает в отчёте истинное значение потреблённой электроэнергии я = г, а при максимально возможной (теоретически) доле отката Ъ = 1/2 вообще не показывает потребления: я = 0.
В качестве функции дохода агента от неучтённого потребления электроэнергии р(-) в первом приближении берётся степенная функция вида:
р(у) = ауа,0 <а< 1. (5)
Тогда модель (1) - (3) преобразуется к виду:
J = Iв~р{кх(г) + (1 - Ъ)а[2гЪ(г)]а }йг ^ тах (6)
0
и
0 < b(t) < 1/2; (7)
x = cr (t)[1 - 2b(t)] - kx(t), x(0) = x0 . (8)
После дискретизации модель (6) -(8) примет вид:
J = X Je~pt{kx(t) + (1 - b)a[2rb(t)]a }dt =
*=1t,-i
n t T
Xk Je~ptx(t)dt + (1 - b)a2a ba Je~ptra (t)dt ^ max
*=1 t-i 0
(9)
0<b < 1/2; i = 1,2,...,n. (10)
Уравнение динамики (8) остается без изменений.
При имитационном исследовании модели необходимо разумным образом задавать значения величин b ,* = 1,2,...,n и, перебирая их, найти те, которые доставляют максимум целевому функционалу (9). Число возможных вариантов значений величин b ,* = 1,2,...,n бесконечно. Один из возможных вариантов разумного выбора стратегий поведения предоставляет метод качественно репрезентативных сценариев имитационного моделирования (метод КРС ИМ) [12].
Были проведены имитационные эксперименты в соответствии с приведённым итеративным алгоритмом на компьютере с процессором AMD Ryzen 5 3550H с оперативной памятью 8 Гб на объектно-ориентированном языке программирования C++. Среднее время одного имитационного эксперимента для построения множества QRS составило около миллисекунды. Анализ полученных результатов проводился на основе суммарного дисконтированного выигрыша агента.
Было проведено порядка 200 численных экспериментов, при этом варьировались величины x0, r, c, a, к, a. x0 от 1 до 100 млн руб; r от 0.1 до 100
М Инженерный вестник Дона, №8 (2024) ivdon.ru/ru/magazine/arcliive/n8y2024/9407
млн.КВт час; с от 0.00001 до 1 руб./ (млн КВт час год); а от 0.1 до 100 (год
(млн.КВт час) а )-1; к от 0.01 до 0.99 год-1; а от 0.02 до 0.9.
-1.
Динамическая игровая модель
В этом разделе рассматривается динамическая теоретико-игровая постановка задачи с точки зрения контролёра при нескольких агентах (владельцах предприятий), которая обобщает описанную в предыдущем разделе задачу оптимального управления. Контролёр предъявляет агентам механизм управления с обратной связью, сообщая им, на сколько будет уменьшена отчётная величина потреблённой электроэнергии в зависимости от величины "отката". Соответствующая дифференциально-игровая модель управления:
целевой функционал контролера:
I ■
Л = I е-р \
тх(г) +
1 -¿X (г)
1ЕМ
л
- ш X я,, (г)
1ЕМ
X
1ЕМ
Ъ (г)р, (г, (г) - я, (г))
ограничения на управления контролера:
ёг ^ тах
(11)
0 < я, (г) < г (г),, е N;
(12)
целевые функционалы агентов:
Т
Л, = \ е-р{к,х(г) + [1 - Ъ, (г)]р, (г (г) - я, (г))}ёг ^ тах
I
0
ограничения на управления агентов:
(13)
0 < Ъ (г) < 1/2, г е N ;
(14)
уравнение динамики:
Т
0
( \
X = с
X ^ (0 - т + ^ к1
V ^ у
х(1), х(0) = х0 . (15)
Здесь N = {1,2,...,п} - множество агентов; х(1) - суммарная величина собранных налогов за использование электроэнергии в году 1:; т - доля официального вознаграждения (заработной платы) контролёра; &г - доля отчислений различного типа г -му агенту (владельцу предприятия); г (1) -величина истинного потребления г -м агентом электроэнергии в году 1:; ^ (1) -величина потребления электроэнергии г -м агентом в году 1:, указываемая контролёром; с - налоговая ставка (тариф на электроэнергию); р ( ) - заданная функция дохода г -го агента от неучтённого потребления; Ъг(1) - "откат" г -го агента контролёру от величины неучтённого дохода в году г() -вероятность поимки контролёра на взятке как функция суммарной величины отчётных показаний; М - коэффициент штрафа при поимке; , J1 - величины
суммарного дохода контролёра и г -го агента за период Т; р - коэффициент дисконтирования; х0 - известная начальная величина собранных налогов.
В качестве функции дохода агента от неучтённого потребления электроэнергии р () в первом приближении вновь берётся степенная функция вида:
Рг(У) = агУа,0 <а <1 г е N.
Функция г(-) монотонно убывающая, при этом должно выполняться два
( \
условия: 1(0) = 1,2 Xгг (1)
у
=0.
В качестве функции г(-) берется линейная функция вида:
IГ (1) - У
*(У) =
геN
Iгг (1)
геN
Рассматривается информационный регламент игры Гермейера в программных стратегиях вида Г , или обратной игры Штакельберга. Алгоритм построения равновесия в обратной игре Штакельберга состоит в следующем.
1. Строятся равновесия Нэша при фиксированном управлении контролера: bNE (s i (t)). Если их несколько, то для каждого агента выбирается равновесие, которое дает ему больший выигрыш.
2. Находятся стратегии наказания агентов контролером, если они отказываются с ним сотрудничать (ie N)
sp(t) = axgmaxmin Ji(bNE,si) . bNE Si(t)
Находится гарантированный выигрыш каждого из агентов, если они отказываются сотрудничать с контролером:
L = max min J) (bNE, Si) .
bNE s(t)
3. Находится максимальный выигрыш контролера, если агенты с ним сотрудничают. Для этого решается задача (11), (12), (14), (15). Причем, ищется максимум целевого функционала контролера (11) одновременно и по управлениям агентов, и по управлениям контролера. При этом для каждого
агента необходимо выполнение условия J > LP; i e N . Находятся стратегии
поощрения агентов контролером, если агенты будут сотрудничать с ним:
(sf (t), bf (t)) = arg max Jt (bt, Si).
bi ,si
Если агенты при выборе своих управлений руководствуются только экономической целесообразностью, то они всегда выберут стратегию поощрения.
4. Равновесие в системе имеет вид: (sf (t), bf (t)).
и
Применён метод КРС ИМ. Предполагая, что агенты меняют свои стратегии поведения не более р раз, по аналогии с предыдущим разделом получим точный дискретный аналог модели (11) - (15):
целевой функционал контролера:
р и
0
у=4-
шх(1) +
IГ «) - I slJ
1 - (1 + М) -
) II(0
1еЫ
I У (г ^)- SlJ У ■
1еЫ
Ж
^ тах
(16)
ограничения на управления контролера:
0 < SiJ < тт г О, I е = 1,2,.., р ;
У < <tJ
(17)
целевые функционалы агентов:
¿1 = I \е~*(к*(0 + [1 -Ъу(г(0 - ^У1 )Й
J=4-
^ тах
(18)
ограничения на управления агентов:
0 < Ъу < 1/2, I е N
(19)
уравнение динамики (15) остается без изменений.
Здесь = 81 (tJ); Ъу = Ъ (tj); I е N.
Аналогично рассматривается случай игры Штакельберга с обратной связью по управлению.
и
Заключение
По модели оптимального управления получены следующие результаты.
1. Для широкого класса рассмотренных входных данных оптимальной стратегией агента является средняя - половину возможных
средств агент тратит на "откат", т.е. (Ъ1(*),Ъ(\...,ъР) = (0.25,0.25,...,0.25).
2. При уменьшении дохода агента от использования неучтенной электроэнергии ему становится невыгодно давать "откат":
(ър, ър,..., Ър)=т...,0).
Доход агента при этом падает для большинства рассмотренных входных данных на 10-20%. Например, при уменьшении дохода агента от использования неучтенной электроэнергии (коэффициент а=0.001 (год (млн КВт час)а )-1) агенту становится невыгодно давать "откат". Его доход становится равным 38,5 млн. руб., т.е. падает на 10% по сравнению со случаем коэффициента а =1 (год (млн КВт час)а )-1. Но коррупции в этом случае нет.
3. Изменение оптимальной стратегии агента происходит, если его доход от использования неучтенной электроэнергии становится меньше поступлений за учтенное количество электроэнергии.
4. С уменьшением величины начальных сборов выигрыш агента уменьшается, причем линейным образом.
5. С увеличением отдачи от неучтенного потребления электроэнергии в три-пять раз доход агента растет, но не так значительно, а на 20-30% .
6. С уменьшением истинного потребления электроэнергии в 2-3 раза доход агента не сильно, но падает - на 10-15% .
7. С ростом доли отчислений агенту его доход ожидаемо растет, но не так быстро. С ростом в 5-10 раз доход возрастает в 2-3 раза.
8. С ростом тарифа на электроэнергию, например, в 2-3 раза доход агента совсем незначительно (на 5-10%), но растет.
9. С изменением показателя степени в функции дохода агента от неучтенного потребления электроэнергии доход агента меняется незначительно.
Анализ проведенных имитационных экспериментов показал, что для ограничения и, в перспективе, искоренения коррупции необходимо увеличение (для широкого класса входных данных значительное до 0.95) доли отчислений агенту и сокращение дохода агента от неучтенного потребления электроэнергии. Другими словами, доход агента от использования неучтенной электроэнергии должен быть меньше разного рода поступлений (субсидий) ему за оплаченную электроэнергию.
По теоретико-игровой модели результаты следующие.
10. Изменение коэффициентов в функциях дохода агентов от неучтённого потребления электроэнергии рг () приводит к нерегулярному изменению выигрышей контролера и самих агентов. В большинстве рассмотренных примеров увеличение дохода агентов от неучтённого потребления электроэнергии (увеличение коэффициентов а) вызывает рост выигрыша контролера и агента, у которого этот коэффициент увеличивается. Но в ряде примеров наблюдается обратный эффект. Последнее зависит от значения коэффициента т и вида функции, определяющей вероятность наказания контролера за занижение реального потребления электроэнергии агентом.
11. С увеличением начальной величины собранных доходов выигрыш контролера всегда растет, агентов - в большинстве случаев. Но для агентов есть примеры входных данных, при которых увеличение
начальной величины собранных доходов вызывает уменьшение их выигрыша.
12. С ростом тарифа на электроэнергию выигрыши всех субъектов растут, но медленнее тарифов. Например, для широкого класса входных данных увеличение тарифа в 3 раза вызывает рост выигрыша контролера примерно на 60%, а агентов - на 40%.
13. При увеличении доли отчислений различного типа агентам их выигрыш ожидаемо растет, а контролера уменьшается. Изменение происходит нелинейно.
14. Увеличение доли официального вознаграждения контролёра вызывает рост его выигрыша, резкое уменьшение выигрыша агентов. Это связано с тем, что при увеличении официального вознаграждения контролер указывает реальное потребление электроэнергии агентами, не уменьшая их за "откаты".
15. Увеличение коэффициента штрафа при поимке контролера ожидаемо уменьшает его выигрыш. Как показали эксперименты, имеется некоторое пороговое значение этого коэффициента, при переходе через которое контролеру становится невыгодно занижать реальное потребление электроэнергии агентами за откат и он перестает брать взятки.
В целом, анализ проведенных имитационных экспериментов показал, что для ограничения и, в перспективе, искоренения коррупции в рамках рассмотренной теоретико-игровой модели необходимо увеличение коэффициента штрафа при поимке контролёра за получение "отката" или увеличение его доли официального вознаграждения. Тогда контролёру становится невыгодно брать "откат" и коррупции в системе нет.
References
1. Saad W., Han Z., Poor H. et al. Game-theoretic methods for the smart grid: an overview of microgrid systems, demand-side management, and smart grid communications // IEEE Signal Process Mag, 2012, 29, pp.86-105.
2. Yu M.M., Hong S.H. A real-time demand-response algorithm for smart grids: a Stackelberg game approach // IEEE Trans Smart Grid, 2016, 7, pp.879-888.
3. Mohsenian-Rad A. H., Wong V. W. S., Jatskevich J. et al. Autonomous demand-side management based on game-theoretic energy consumption scheduling for the future smart grid // IEEE Trans Smart Grid, 2010, 1: pp.320331.
4. Park S., Lee J., Bae S. et al. Contribution-based energy-trading mechanism in microgrids for future smart grid: a game theoretic approach // IEEE Trans Ind Electron, 2016, 63: pp.4255-4265.
5. Mei S.W., Wei W. Hierarchical game and its applications in the smart grid // J Syst Sci Math Sci, 2015, 34: pp.1331-1344.
6. Yu M.M., Hong S.H. Supply-demand balancing for power management in smart grid: a Stackelberg game approach //Applied Energy, 2016, 164: pp.702710.
7. Chai B., Chen J.M., Yang Z.Y. et al. Demand response management with multiple utility companies: a two-level game approach // IEEE Trans Smart Grid, 2014, 5: pp.722-731.
8. Maharjan S., Zhu Q.Y., Zhang Y. et al. Dependable demand response management in the smart grid: a Stackelberg game approach // IEEE Trans Smart Grid, 2013, 4: pp.120-132.
9. Li S.Z., Zhang Z.Q. Floatboost Learning and Statistical Face Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.26, n.9. September 2004. pp. 1112-1123.
M Инженерный вестник Дона, №8 (2024) ivdon.ru/ru/magazine/arcliive/n8y2024/9407
10. Gorbaneva O.I., Usov A.B., Ougolnitsky G.A. Mechanisms of struggle with corruption in dynamic social and private interests coordination engine models // Contributions to Game Theory and Management, 2019, 12, P.140-150.
11. Rao A.V. A Survey of Numerical Methods for Optimal Control //Advances in the Astronautical Sciences. 2009. Vol. 135. P.497—528.
12. Ougolnitsky G.A., Usov A.B. Computer Simulations as a Solution Method for Differential Games // Computer Simulations: Advances in Research and Applications. Eds. M.D. Pfeffer and E. Bachmaier. N.Y.: Nova Science Publishers, 2018. pp.63-106.
Дата поступления: 7.06.2024 Дата публикации: 25.07.2024
