CC BY
9
Сериал versus фильм: тенденции и перспективы / Series Versus Film: Trends and Perspectives
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |
Максим Витальевич СПИВАКОВ
Институт философии Российской Академии Наук 109240, Россия, Москва, ул. Гончарная, д.12, стр.1.
Аспирант сектора эстетики ORCID: 0000-0003-1786-8941 E-mail: textandpictures@gmail.com
АЛГОРИТМИЧЕСКИЙ РЕЖИМ ЗРЕЛИЩА*
В статье рассматривается влияние алгоритмических систем машинного обучения, внедряемых в платформы показа цифрового видео, на природу зрелища и его зрителя. Роль зрителя такого зрелища оказывается разделена со множественными взаимообусловленными машинными процедурами, алгоритмическими соучастниками процесса зрелища, также претендующими на определения в качестве зрителей. Невидимые зрителю процессы экстракции, накопления и анализа поведенческих данных, а также непрерывная персонализированная алгоритмическая пересборка зрелища из элементов пополняемого архива становятся неотъемлемой частью такого зрелища. Трансформация режима зрелища прослеживается в контексте масштабных преобразований в преобладающих способах извлечения прибыли, управления и контроля в связи с развитием систем машинного обучения и алгоритмической автоматизации. Алгоритмизация зрелища анализируется в качестве составной части процессов пролетаризации потребления посредством сбора и капитализации данных о потребителе и процедур режима «алгоритмического управления», также опирающегося на агрегацию, анализ и контроль данных. Капитализация данных о пользователе в процессе потребления (в том числе «культурного») превращает процесс зрелища в гибридную процедуру потребления и производства.
Проблема положения знания в ситуации машинного производства, на ключевую роль которой в процессе пролетаризации указал Маркс, рассматри-
вается в условиях разворачивающейся алгоритмической автоматизации. Как показывает анализ Антуанетт Рувруа, алгоритмизация политического управления выражается в изменении структуры отношений власти и знания, что выражается в «кризисе» или «конце критики». К схожим выводам приходит Бернар Стиглер, отмечающий принципиальное ограничение способности к символизации в ситуации «автоматизации общества». В этой связи критика «алгоритмического управления» и вычислительного капитализма Антуанетт Рувруа и Бернара Стиглера сопоставляется с исследованием принци- 102 пов алгоритмических систем машинного обучения в работах Лучиана Паризи. Согласно Паризи, машинное обучение, напротив, воплощает в себе и превосходит принципы критического мышления, и должно рассматриваться не в качестве редукции экзистенциальных качеств и инструментализации разума, но как зарождение принципиально нового способа мыслить. Такой анализ позволяет наметить горизонт депролетаризации зрителя в условиях алгоритмического режима зрелища.
Ключевые слова: Зрелище, Зритель, Алгоритм, Машинное обучение, Алгоритмический капитализм, Бихевиоризм данных, Пролетаризация, Де-пролетаризация, Кристиан Марацци, Лучиана Пари-зи, Антуанетт Рувруа, Бернар Стиглер.
* Статья подготовлена при финансовой поддержке Российского фонда фундаментальных исследований в рамках научного проекта № 20-311-90090.
Внедрение алгоритмических систем машинного обучения в платформы хранения и показа цифрового видео (YouTube,
TikTok, Netflix и других) влияют на саму природу зрелища, преобразуя его и производя новый соответствующий ему тип зрите-
| 2 (43) 2021 |
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |
ля. Процесс - или режим - такого зрелища принципиально отличается от режима кинематографического зрелища, даже если видимый зрителю «предмет зрелища» остается при различных режимах идентичным. Роль зрителя такого зрелища всегда разделена со множественными взаимообусловленными машинными процедурами - алгоритмическими соучастниками зрелища, в той же мере претендующими на определение в качестве зрителей - наблюдающих зрелище вместе со зрителем, вместо него, и наблюдающих в процессе зрелища за ним. Насыщенное алгоритмическими агентами зрелище становится ареной невидимых взаимодействий, процессов экстракции, накопления и анализа данных о поведении зрителя и персонализированной алгоритмической пересборки зрелища из элементов постоянно пополняемого цифрового архива.
Ключевую роль в таком процессе играют обучаемые рекомендательные алгоритмы, преобразующие процедуру зрелища в систему с замкнутым контуром обратной связи. Зафиксированный отклик зрителя на показ элемента архива, как и всякий иной «цифровой след» зрительского поведения, отражается в подборе для показа следующего элемента. Таким образом, рекомендательные системы анализируют и вместе с тем производят индивидуальную и коллективную историю взаимодействия зрителя с цифровыми объектами. Индивидуация зрелища и зрителя в алгоритмической ситуации оказываются рекуррентными и взаимообусловленными процессами. Зависимый от зрительского поведения монтаж разворачивающегося алгоритмического зрелища из единиц архива, складывается параллельно формированию и монтажу предсказательных поведенческих моделей, ал-
горитмических «профилей», «идентичностей»1 и «пользовательских когорт»2, возникающих в перенасыщенной данными среде.
При этом природа обучаемого алгоритма столь же подвижна, как и непрерывно пополняющийся набор данных, которым он оперирует. Такой алгоритм не представляет собой заданную фиксированную последовательность операций, претерпевая которые, данные на входе обратимо и однозначно преобразуются в результат вычисления на выходе. Система машинного обучения переворачивает такую модель. Принцип работы обучаемой алгоритмической системы заключается не в том, чтобы получить, исполняя известную последовательность операций (то есть алгоритм), искомый результат вычисления, но в том, чтобы произвести алгоритм, способный привести имеющийся массив данных к желаемому и уже известному на входе результату3. Работа системы машинного обучения производит алгоритм, предлагающий способ увязать поступающие данные с результатом вычисления. Таким образом, по мере того как система наполняется данными, обучаемые алгоритмы увязывают их между собой, определяя наиболее вероятностные корреляции. Системы машинного обучения демонстрируют «качественное расширение автоматизации за пределы простого исполнения инструкций»4.
1 Cheney-Lippold, J. (2011). New Algorithmic Identity: Soft Biopolitics and the Modulation of Control. Theory, Culture & Society, 28(6), 164-181. https://doi.org/10.1177/0263276411424420
2 Aggarwal, C. C. (2016). Recommender Systems: The Textbook. Springer. 2.
3 Domingos, P. (2018). The Master Algorithm: How the Quest for the Ultimate Learning Machine will Remake our World. Basic books. 6.
4 Parisi, L. (2019). Critical Computation: Digital Au-
tomata and General Artificial Thinking. Theory, Culture
& Society, 36(2). 91.
https://doi.org/10.1177/0263276418818889
| 2 (43) 2021 |
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |!
Развитие и расширение области применения систем машинного обучения, таким образом, свидетельствует не об увеличении количества процессов подлежащих автоматизации - в значении автономного выполнения инструкций -но о проявлении «новой формы интеллекта, способной автоматизировать саму автоматиза-цию»5.
Трансформации, которые «в тени алго-ритмов»6 претерпевают зрелище и его зритель, составляют часть масштабных преобразований, обусловленных алгоритмической автоматизацией. С увеличением вычислительных мощностей и развитием техник сбора и анализа данных обучаемые алгоритмические системы становятся ключевым инструментом извлечения прибыли, управления и контроля в условиях «алгоритмического»' или «вычислительного капитализма»8. Такое зрелище включено в работу политэкономической модели, в фокусе которой оказывается не столько товар и, соответственно, структура производственных отношений, сколько отношение между товаром и процессом потребления9, а также - посредством товара - товаризируемое отношение потребителей между собой.
Вступая в отношение с товаром, потребитель (объединённый в «социальную фабри-
5 Ibid.
6 Gillespie, T., & Boczkowski, P. J., & Foot, K. A. (Eds.). (2014). Media Technologies: Essays on Communication, Materiality, and Society. The MIT Press. 325.
7 Паризи, Л. Инструментальный разум, алгоритмический капитализм и неисчислимое // Новое литературное обозрение. - 2019. - № 4(158). - С. 169— 181.
8 Stiegler, B. (2019). The Age of Disruption: Technology and Madness in Computational Capitalism. Polity Press.
9 Raunig, G., & Derieg, A. (2016). Dividuum: Machinic
Capitalism and Molecular Revolution. Semiotext(e).
133.
ку» с другими потребителями), оказывается пролетаризированным источником неоплачиваемого труда потребления10 зачастую формально бесплатного товара или услуги. Алгоритмические системы, осуществляющие сбор и анализ поведенческих данных потребителей, становятся, таким образом, аппаратами «"захвата" стоимости, произведенной вне самого производственного процесса»11. Капитализации в таком процессе подлежат данные о пользовательской активности, конвертируемые в прогностические модели поведения, или, иначе, сегментированные в поведенческих данных «диффузные желания социальности, выражения и отноше-ния»12. Алгоритмическая автоматизация, таким образом, не только, расширяясь, отвоевывает для машин новые территории ручного и умственного труда, но вместе с тем обнаруживает принципиально новые формы мышления и труда, делегируемые не-машинным исполнителям и, следовательно, новые формы пролетаризации и отчуждения.
Так, в условиях «алгоритмического капитализма» потребление (в том числе «культурное»), как и производство, подлежит процессу пролетаризации. При этом, как показывает Маркс в «Фрагменте о машинах», в ситуации машинного производства пролетаризация проявляет себя не только в структуре трудового процесса и вопросе о собственности на средства производства, но и в принципиальном перевороте в отношении владения знанием. Знание, овеществляясь в машине (которая и есть, согласно определению Маркса, «овеществленная сила знания»13), переходит к машине от произ-
10 Marazzi, C. (2011). The Violence of Financial Capitalism (New ed). Semiotext(E). 54.
11 Ibid.
12 Ibid.
13 Маркс, К., Энгельс. Ф. - Сочинения. - Изд. 2-е. -М.: Политиздат. - Т. 46; - Ч. 2: [К. Маркс. Экономи-
| 2 (43) 2021 |
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |
водителя, лишая его тем самым привилегии компетенции и возможности контроля над трудовым процессом. «Знание выступает в системе машин как нечто чуждое рабочему, вне его находящееся»14.
В ситуации алгоритмического зрелища зритель также с необходимостью оказывается оператором системы машин. Автоматизация производства выражается в том числе и в делегировании части операций, прежде выполняемых рабочим (например, киномехаником), потребителю. При этом, утрачивая знание, перешедшее на сторону машины, вовлеченный в зрелище пролетаризированный зритель производит в процессе потребления зрелища поведенческие данные, то есть, отчуждаемое знание о себе.
Описанной модели производства и пролетаризации потребления соответствует режим управления, также опирающийся на агрегацию, анализ и контроль данных. Принципиальной единицей управления в таком режиме оказывается не фиксированное в своих границах тело индивида, но временные пластичные массивы данных - процесс и результат отношений между телами, а также между телами и машинами в смешанном процессе производства и потребления. Так, во многом опираясь на интуиции Жиля Делеза об «обществах контроля»15, определяет «алгоритмическое управление» (gouvernementalité algorithmique)16 Антуанетт
Рувруа: «Алгоритмический режим управления игнорирует уровень воплощенного индивида и оперирует одновременно на инфра- и ультраиндивидуальном уровне "тела данных" (data body)». Такое ультра-индивидуальное тело состоит из инфра-индивидуальных «цифровых следов обезличенных разрозненных гетерогенных дивидуализированных аспектов повседневных взаимодействий»17. Алгоритмический режим управления не только игнорирует уровень индивида, но и препятствует, по Рувруа, самой «способности к становлению индивидуальным и коллективным субъектом в пространстве "общего"»18.
Несмотря на опору на корреляционные и статистические модели, алгоритмическое управление порывает с детерминистской метафизикой, сопровождавшей становление и развитие научной статистики19. Применение обучающихся алгоритмических систем позволяет не прибегать к управлению посредством абстрагирования данных (восходящим к изобретенному в середине XIX века Адольфом Кетле «среднему человеку»), но рассматривать и управлять каждой единицей контроля как уникальной уточняющейся в процессе управления поведенческой моделью. Центрированная на индивиде иерархия причинно-следственных связей (увязывающая, в частности, желание и
поведение) заменяется «псевдо-
"20 " горизонтальной»20 моделью «чистой актуально-
ческие рукописи 1857—1859 годов. (Первоначальный вариант «Капитала»)]. - 1968. - С. 215.
14 Там же. С. 203.
15 Делез Ж. Post scriptum к обществам контроля // Делез Ж. Переговоры (1972—1990). - СПб.: Наука. - 2004. - С. 226—233.
16 Rouvroy, A., & Berns, T. (2013). Gouvernementalité algorithmique et perspectives d'émancipation: Le disparate comme condition d'individuation par la relation ? Réseaux, n° 177(1), 163-196. https://doi.org/10.3917/res.177.0163
17 Rouvroy, A. (2013) The end(s) of Critique: Data-behaviourism vs. Due-process. In Hildebrandt, M., & Vries, K. de (Eds.). Privacy, Due Process and the Computational Turn: The Philosophy of Law meets the Philosophy of Technology. Routledge. 157.
18 Ibid. 161.
19 Ibid. 150.
20 Raunig, G., & Derieg, A. (2016). Dividuum: Machin-
ic Capitalism and Molecular Revolution. Semiotext(e).
133.
| 2 (43) 2021 |
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |
21 " сти присутствия»21, схватывающей моменты
поведения не с действующим и желающим воплощенным индивидом (коллективным или единичным), но, минуя его, между собой. Поэтому вместо работы интерпретации и символизации, необходимой для производства абстракций закона, исчисления норм и корректировки отклонений, алгоритмическое управление опирается на эпистемологическую предпосылку, которую Рувруа называет «бихевиоризмом данных» (data behaviorism). Такой режим истины предполагает, что полномасштабный сбор данных о поведении и их количественная оценка позволяет строить операционные прогностические модели поведения, определять необходимый стимул для получения желаемой реакции, избегая выведения общих интерпретирующих
гипотез об интенциях действующих коллектив-
22
ных или индивидуальных тел22.
В отличие от режима тотального скопи-ческого надзора, предписывающего видимым телам систему норм и корректирующего девиации, алгоритмический режим управления в известной мере избегает прямого воздействия на видимые индивидуальные тела. Как отмечает и Лучиана Паризи, такие «аппараты управления
21 Rouvroy, A. (2013) The end(s) of Critique: Data-behaviourism vs. Due-process. In Hildebrandt, M., & Vries, K. de (Eds.). Privacy, Due Process and the Computational Turn: The Philosophy of Law meets the Philosophy of Technology. Routledge. 148.
22 Согласно Рувруа, алгоритмическое управление в «превращенном» виде воплощает в себе элементы радикальных эмансипационных положений французской теории конца двадцатого века, при том, что в действительности оно представляет собой «радикальную форклюзию (отбрасывание) всех эмансипационных идеалов» (Rouvroy, A. (2015). A Few Thoughts in Preparation for the Discrimination and Big Data conference. CPDP). Поэтому, очевидно, в поисках возможностей сопротивления Рувруа также обращается к философским концепциям Жиля Делеза, Феликса Гваттари и Жильбера Симондона.
оперируют не только самими телами, но и через превращение в данные (ёаййсайоп) их биологических, физических и культурных особенно-стей»23. Таким образом, алгоритмический режим управления уже не нацелен на формирование конкретных индивидов и коллективов, пригодных для производства и потребления, но фокусируется вместо этого на временных подвижных агрегациях инфра-индивидуальных данных и их (де)политизации и финансиализации на ультра-индивидуальном уровне.
В этом отношении проблема алгоритмического управления в понимании Рувруа также с необходимостью ставит вопрос о фигуре знания. Для Рувруа «алгоритмический разум» - не производящий больших абстрагирующих гипотез, «картин мира», и довольствующийся прагматической операционной моделью контроля посредством анализа массива данных о его поведении, воплощает собой своеобразный кризис или «конец критики»24, захватывающий собой все сферы производства истин25. Претензия на доступ к миру без символического опосредования, также лишает управляемых индивидов способности к производству и индивидуальных символизаций, и, следовательно, критики. Вопросу о знании (или критики) алгоритмов, таким образом, предшествует вопрос о знании во время алгоритмов. Выводу Антуанетт Рувруа
23 Parisi, L. (2018) Computational Turn. In Braidotti, R., & Hlavajova, M. (Eds.). Posthuman Glossary. Bloomsbury Academic. 90.
24 Rouvroy, A. (2013) The end(s) of Critique: Data-behaviourism vs. Due-process. In Hildebrandt, M., & Vries, K. de (Eds.). Privacy, Due Process and the Computational Turn: The Philosophy of Law meets the Philosophy of Technology. Routledge. 148.
25 Об этом в приложении к научному знанию см.:
Anderson, C. (2008). The End of Theory: The Data
Deluge Makes the Scientific Method Obsolete. Wired.
https://www.wired.com/2008/06/pb-theory/ (Retrieved
January 30, 2021).
| 2 (43) 2021 |
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |
созвучна описанная Бернаром Стиглером симптоматика «пролетаризации чувственности»26. Развивая Марксову концепцию пролетаризации из «Фрагмента о машинах», Стиглер описывает ограничение способности к самостоятельному осмыслению чувственного опыта и возможности его символизации, ведущей к всеобщей
27
пролетаризации и «нищете символического»27.
Иной подход в анализе обучаемых алгоритмических систем демонстрирует Лучиана Паризи, которой необходимо «избежать обобщения, согласно которому автоматизация всегда уже является технокапиталистической редукцией экзистенциальных качеств»28. Паризи исходит в своем анализе алгоритма из проблемы «неисчислимого» и контингентности, которая, согласно ее аргументации (и вопреки критике Рувруа или Стиглера, для которого «вычисление способно уничтожить маловероятное, то есть желание, аффект, привязанность, идентификацию, сингулярность, индивидуацию и ощущение существования»29) составляет сущностное ядро алгоритмических систем машинного обучения. Такое положение позволяет Паризи утверждать, что сама алгоритмическая автоматизация реализует и преодолевает в себе принципы критического мышления, «в котором неисчислимое и произвольное становятся умопостигаемыми, калькулируемыми, но не обязательно поддающимися технокапиталистической
26 Stiegler, B. (2015). La société automatique. Fayard. 43.
27 Stiegler, B. (2013). De la misère symbolique. Flammarion.
28 Паризи, Л. Инструментальный разум, алгоритмический капитализм и неисчислимое // Новое литературное обозрение. - 2019. - № 4(158). - С. 173.
29 Stiegler, B. (2019). The Age of Disruption: Technology and Madness in Computational Capitalism. Polity Press. 94.
тотализации»30. Так, алгоритмический способ мышления не может и не должен быть ограничен или «скован телеологической конечностью разума, характерной как для технокапитализма,
31
так и для его критики»31.
Согласно Паризи, реализуемые в алгоритмических системах подвижные адаптивные процедуры обучения на основе анализа больших данных, индуктивные не-аксиоматические методы принятия решений и установления общих предпосылок свидетельствуют не о «конце
32 33
критики»32 или «искусственной глупости»33, сопутствующей становлению искусственного интеллекта, но о фундаментальном (и позитивном) сдвиге в способностях к принятию решений. Такая трансформация, осуществляемая при участии машин и через них, касается не только вычислительных технических аппаратов, но и мышления вообще. Поэтому задача заключается не в «критике вычисления» (или ее невозможности, согласно диагнозу Антуанетт Ру-вруа), но в «критическом вычислении»34.
Таким же образом алгоритмизация, захватывающая поле чувственного восприятия, может рассматриваться не в качестве захвата внешним искусственным элементом органических способностей к ощущению, но как «мута-
30 Паризи, Л. Инструментальный разум, алгоритмический капитализм и неисчислимое // Новое литературное обозрение. - 2019. - № 4(158). - С. 179.
31 Там же. С. 174.
32 Rouvroy, A. (2013) The end(s) of Critique: Data-behaviourism vs. Due-process. In Hildebrandt, M., & Vries, K. de (Eds.). Privacy, Due Process and the Computational Turn: The Philosophy of Law meets the Philosophy of Technology. Routledge. 163-196.
33 Stiegler, B. (2018). Artificial Stupidity and Artificial Intelligence in the Anthropocene. Lecture at Institute of Ereignis, Shanghai, China.
34 Parisi, L. (2019). Critical Computation: Digital Au-
tomata and General Artificial Thinking. Theory, Culture
& Society, 36(2). 89-121. https://doi.org/10.1177/0263276418818889
| 2 (43) 2021 |
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |
ция самих этих способностей»35, проходящая посредством машин, но не ограничивающаяся ими. Процесс алгоритмической автоматизации воздействует на базовые эстетические способности и таким образом также с необходимостью преобразует процедуру зрелища. Процессы формирования общего поля чувственности, и, пользуясь формулой Жака Рансьера, «разделения [или распределения] чувственного»36 с необходимостью подлежат технической и алгоритмической мутации. Алгоритмическое управление кодированными потоками чувственного, сопутствующих потокам капитала, снимает принципиальное различие между типами таких потоков и природой их участников.
В такой перспективе, учитывая политические, экономические и эпистемологические импликации алгоритмической автоматизации и их взаимосвязь с областью чувственного, может быть намечена трансформация, которую претерпевает в алгоритмической ситуации зрелище и зритель. При этом описание алгоритмического режима зрелища не может представлять собой вариант феноменологической дескрипции, исходящей из всегда уже «исключенного» в алгоритмической ситуации уровня собственно индивидуального - зрителя как индивида - и игнорирующей «внешнюю» техническую составляющую процесса зрелища. Тем более, такой анализ не может ограничиваться свидетельством и оплакиванием этой утраты, к чему может подталкивать аргументация Рувруа. Напротив, для того, чтобы прояснить ситуацию зрелища в условиях алгоритмической автоматизации, следует выявить и выделить место для «ал-
37
горитмических агентов»37 в качестве полноправных участников как процесса зрелища, так и, шире, «масштабных экологических сетей чувственности»38. Обучаемая алгоритмическая система не может мыслиться как внешняя инородная сила в отношениях пары зрелище-зритель, невидимость работы алгоритмов не исключает ее из проблемы видимого.
В своем анализе кинематографического режима зрелища Кристиан Метц дает расширительное определение «кинематографической институции», которая не ограничивается внешними зрителю аппаратами, индустрией, «функционирование которой подчинено тому, чтобы наполнять зрительные залы». Институция также есть «и ментальный механизм - индустрия иного рода, - исторически интериоризованный зрителями, "привыкшими к кино", и сделавший их способными потреблять фильмы»39. Оставаясь верными такому определению институции, анализ и критика алгоритмической ситуации зрелища должна также быть институциональной, а значит рассматривать алгоритмический режим зрелища в качестве институции, «которая в равной мере одновременно находится вне и внутри нас, которая интимна и коллективна»40.
Алгоритмические рекомендательные системы, которыми оснащены платформы показа цифрового видео, контролируют и формируют потоки зрелища на основании анализа постоянно пополняющихся и пересобирающихся в предсказательные модели данных о поведении
35 Parisi, L. Technoecologies of Sensation. In Herzogenrath, B. (Ed.). (2009). Deleuze/Guattari & ecology. Palgrave Macmillan. 182.
36 Рансьер, Ж. Разделяя чувственное. - СПб.: Издательство Европейского университета в Санкт-Петербурге. - 2007.
37 Паризи, Л. Инструментальный разум, алгоритмический капитализм и неисчислимое // Новое литературное обозрение. - 2019. - № 4(158). - С. 170.
38 Hansen, M. B. N. (2015). Feed-forward: On the Future of Twenty-first-century Media. University of Chicago Press. 64-65.
39 Метц, К. Воображаемое означающее. Психоанализ и кино. - Спб.: Издательство Европейского университета в Санкт-Петербурге. - 2013. - C. 29.
40 Там же. С. 29-30.
| 2 (43) 2021 |
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |
зрителя. Работа алгоритмов, таким образом, осуществляет перевод поведения зрителя в зрелище, потребляя которое, зритель на следующем витке производит новые присваиваемые поведенческие данные. Товаризируемое будущее алгоритмизированного зрелища - есть преобразованное алгоритмом длящееся настоящее зрителя, выставленный перед зрителем результат анализа массива его поведенческих данных.
В процессе зрелища данные оказываются вовлечены в циклический процесс экспоненциального роста - регистрация отклика зрителя на показ конкретного элемента цифрового архива уточняет работу предсказательного алгоритма, что, в свою очередь позволяет сформировать дальнейший ход зрелища так, чтобы удержать зрителя в зрелище и, следовательно, увеличить приток данных. Предсказательные алгоритмы, управляющие процессом зрелища, формируя его согласно пластичной, уточняющейся по мере накопления данных, «алгоритмической идентичности» зрителя, обеспечивают постоянный прирост данных и, как следствие, повышение собственной эффективности.
Алгоритмизированное зрелище, таким образом, представляет собой закрытую систему с положительной обратной связью, ключевой переменной обращения внутри которой становится время просмотра (watch time) - непосредственное присутствие зрителя в зрелище, а также фиксируемое сведение о его поведении. Данные о времени просмотра каждой единицы зрелища должны в результате алгоритмического преобразования поведения в зрелище увеличивать совокупное время просмотра, а значит и количество выработанных данных. В такой циклической работе зрелища алгоритмическая система одновременно задействована в извлечении и отчуждении зрительского поведения (времени зрелища), и вместе с тем участвует в
его непрекращающемся восполняющем производстве.
Параллельно процессу пролетаризации зрителя, само зрелище, управляемое поведением зрителя, утрачивает полноту своей автономии. Своим присутствием перед зрелищем, обменом способности к наблюдению зрелища во время его просмотра на само зрелище, зритель контролирует его ход. Зритель не только производит данные и потребляет зрелище, но и производит само зрелище, зависимое от его поведения. Так, алгоритмизированное зрелище собственным образом снимает «оппозицию между взглядом и действием»41. Которую, согласно определению Жака Рансьера, необходимо «поставить под сомнение», чтобы инициировать «освобождение зрителя»42. В ситуации алгоритмического режима зрелища такое освобождение, однако, ограничивается пространством самого зрелища - зритель освобождается от зрелища для него. Всякий свободный отклик зрителя на зрелище (включая отказ от просмотра) - есть основание для становления следующего витка его разворачивающегося потока. Непредвиденность поведения зрителя, отклонение от оперативных предсказательных моделей - есть также импульс для индивидуации, развития, всегда «инфицированной произвольно-стью»43 системы алгоритмов.
Если зрелище теряет свою автономию в производительном процессе его потребления зрителем, зритель также утрачивает свое суверенное положение вынесенного из зрелища воплощенного суверенного взгляда. Зритель алгоритмического зрелища вовлекается в систему
41 Рансьер, Ж. Эмансипированный зритель. - Нижний Новгород: Красная ласточка. - 2018. - С. 16.
42 Там же.
43
Паризи, Л. Инструментальный разум, алгоритмический капитализм и неисчислимое // Новое литературное обозрение. - 2019. - № 4(158). - С. 180.
| 2 (43) 2021 |
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |
взаимного перекрестного наблюдения, сбора, анализа и перераспределения данных между машинными и не-машинными участниками зрелища. Такое зрелище одновременно производится своим зрителем в качестве отчуждаемой агломерации поведенческих данных и производит в таком качестве системы подвижных «когорт» зрителей. Таким образом, в условиях алгоритмического режима зрелища различие между машинным и немашинным способам зрительства нивелируются. Системы машинного обучения цензурируют поступающие на платформу элементы и зачастую остаются их единственными зрителями, не допуская к просмотру зрителей не-машинных. Машинные системы анализа зрительской активности выявляют и дискредитируют другие машинные системы искусственного увеличения сведений о количестве просмотров. Вместе с тем за исполнением операций, приписываемых системам искусственного интеллекта, зачастую оказывается человеческий исполнитель, чей «призрачный труд», имитирующий работу машины,
44
остается дешевле машинного44.
Алгоритмическое управление кодированными потоками чувственного, сопутствующими потокам капитала, снимает принципиальное различие как между типами потоков, так и между природой их участников. Захваченный зрелищем зритель сам становится предметом наблюдения встроенной в зрелище системы алгоритмов. Наблюдение зрителя за зрелищем одновременно предшествует работе алгоритма, регистрирующего и откликающегося на его реакцию, и вместе с тем всегда запаздывает перед опережающим его алгоритмическими соучастниками, контролирующими и разворачиваю-
44 Gray, M. L., & Suri, S. (2019). Ghost work: How to Stop Silicon Valley from Building a New Global Underclass. Houghton Mifflin Harcourt.
щими перед ним зрелище. Поэтому алгоритмическая составляющая зрелища не должна рассматриваться в качестве внешней силы в фиксированных отношениях пары зрелище-зритель. Алгоритмическая система переопределяет изнутри этого процесса значения самого такого отношения и его участников. Органические и машинные зрители связываются в процессе зрелища в гибридную аудиторию, процедура потребления зрелища которой утрачивает различие с его производством.
Вместе с тем поток зрелища, собираемый алгоритмическими системами из отдельных цифровых объектов, переопределяет саму структуру платформ хранения и реализации зрелища. Алгоритмизированные платформы показа видео представляют собой не столько архив, структурированный набор дискретных элементов, сколько единое (но не единственное) никогда не полное зрелище, стремящегося к бесконечности хронометража. Такое зрелище, постоянно прирастающее новыми элементами, зрителями и поведенческими данными, находится в непрерывном процессе пересборки, расширения и само-монтажа. В каждый никогда не законченный вариант монтажа (который запускается каждым новым обращением к платформе) оказываются также вклеены все прочие возможные монтажные варианты, разворачивающиеся параллельно, наслаивающиеся друг на друга и определяющие как собственный ход, так и устройство управляющего ими алгоритма. В отличие от непосредственного акта зрелища, такой процесс пересборки не может быть прерван - остановка просмотра является столь же значимым сигналом для дальнейшего алгоритмического формирования потока зрелища (а значит, и для прочих формирующихся параллельно потоков), что и продолжение просмотра.
| 2 (43) 2021 |
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |
В «Поэтике» Аристотель говорит об «узнавании» (dvayvroptot^) как о ключевом элементе фабулы трагического зрелища наряду с «перипетией» и страданием. «Узнавание, как обозначает и самое слово, - это переход от незнания к знанию»45. В кульминационный момент представления герой (Аристотель приводит в пример Эдипа) узнает о своем истинном положении, или, иначе, узнает себя в череде разрозненных событий. Такое узнавание, «соединенное с перипетией», то есть с переменой «происходящего к противоположному»46, оборачивается для героя страданием. Зрелище сцен вызванного узнаванием страдания подводит зрителей к очистительной процедуре катарсиса, определяющего «посредством сострадания и страха очищение подобных аффектов»47. В ситуации алгоритмического режима зрелища узнавание, наблюдаемое зрителем в зрелище, может быть соположено с процедурами распознавания (recognition) зрителя48, встроенными в саму систему зрелища. Процесс алгоритмического зрелища представляет собой, таким образом, «переход от незнания к знанию» зрителя, разворачивающийся в самой системе зрелища через экстракцию и отчуждение прагматического знания о зрителе. В этой связи вопрос о сострадании зрителя страдающему герою зрелища трансформируется в вопрос о собственных перипетиях зрителя в условиях алгоритмического режима зрелища. «Трагедия» алгоритмизированного зрителя - в горизонте узнавания себя в
45 Аристотель. Об искусстве поэзии. - М.: Государственное издательство художественной литературы. - 1956. - С. 74.
46 Там же. С. 47.
47 Там же. С. 56.
48 Felton-Dansky, M. (2019). The Algorithmic Specta-
tor: Watching Annie Dorsen's Work. TDR/The Drama Review, 63(4), 78.
https://doi.org/10.1162/dram a 00875
зрелище как в собственном распознанном и перекодированном поведении. Предел такого узнавания - о чем свидетельствует самоослепление Эдипа - в катастрофическом исходе из всякого режима зрелища.
Проблема узнавания, таким образом, связана с идентификацией. Зрителю, как утверждает Кристиан Метц, прослеживая многоуровневую систему отождествления, определяющую «скопический режим» кинематографа, «необходимо с чем-то идентифицироваться»49. Скрытый в темноте кинозала кинозритель проходит через череду идентификаций, чтобы столкнуться на конечном этапе с «отраженным» в экране собственным взглядом. «Он счастлив и отчужден, акробатически связан с самим собой невидимой нитью зрения и начинает воспринимать себя в качестве субъекта лишь в последний момент, благодаря парадоксальной иден- 111 тификации со своей собственной, уменьшенной до одного только зрения личностью»50. В ситуации алгоритмического зрелища зритель обнаруживает себя среди многих разнородных элементов, разделяющих с ним и по-своему осуществляющих процедуру зрительства. Возможное отождествление зрителя с машинными соучастниками зрелища, «телом данных», как кажется, должно свидетельствовать об окончательном этапе зрительского отчуждения. В такой идентификации должны подтверждаться как интуиции об отчуждении, обусловленном присвоением и капитализацией произведенных зрителем данных (Марацци), так и об отчуждении, вызванном самой редукцией зрителя к массиву абстрагированных поведенческих данных (Рувруа). Вместе с тем зазор, диспарация
49 Метц, К. Воображаемое означающее. Психоанализ и кино. - Спб.: Издательство Европейского университета в Санкт-Петербурге. - 2013. - С. 75.
50 Там же. С. 120—121.
| 2 (43) 2021 |
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |
или динамическое различие между «алгоритми-зуемым» органическим зрителем и машинным «телом данных» обеспечивает процесс разворачивающейся индивидуации и уточнения работы алгоритма. Такое различие, фиксируемое расхождение между предсказанным и регистрируемым откликом зрителя, определяет развитие самой алгоритмической системы. В таком случае, возможно, действенная тактика сопротивления пролетаризации зрителя не сводится к практикам анонимизации, требованию равного доступа к произведенным в процессе потребления зрелища данным или неучастии в их производстве. Можно предположить, что освобождение пролетаризированного зрителя осуществимо только через освобождение машинных алгоритмических соучастников зрелища. Присвоение накапливаемого массива данных и самих алгоритмических систем их анализа в качестве постоянного капитала51, не означает, что этим ограничиваются возможности «новых технологических аффордансов»52. Алгоритмическая автоматизация демонстрирует не только автоматизацию не-машинных процедур мышления, но трансформацию самих процедур мышления и автоматизации. Неотчуждаемое «собственно-индивидуальное» зрителя может представлять собой не некоторый воображаемый никогда не
51 «Итак, та часть капитала, которая превращается в средства производства, т. е. в сырой материал, вспомогательные материалы и средства труда, в процессе производства не изменяет величины своей стоимости. Поэтому я называю ее постоянной частью капитала, или, короче, постоянным капиталом». (Маркс, К., Капитал. Критика политической экономии. - Т. 1. - Кн. I. - Процесс производства капитала. - М.: Политиздат, 1988. - С. 198.)
52 Terranova, T. (2014). Red Stack Attack! Algorithms, Capital and the Automation of the Common. Euronomade.
http://www.euronomade.info/?p=2268#rf17-2268 (Retrieved January 30, 2021).
автоматизируемый остаток алгоритмизации -то, что алгоритмическая система предположительно не способна воспроизвести и, тем самым, присвоить, но, напротив, саму принципиальную возможность алгоритмизации. Машинной пролетаризации зрителя, таким образом, может быть противопоставлена машинная де-пролетаризация. Волюнтаристское совпадение, признание органического и машинного зрителя, единственно может усилить ускоряющуюся алгоритмическую составляющую зрелища и управления и замкнуть ее на самой себе. Борьба с отчуждением зрителя может быть не только вычитанием - отрицанием уже автоматизированного и алгоритмизированного, а значит отчуждаемого, но и сложением - позитивным процессом признания и приобщения.
Список литературы
Cheney-Lippold, J. (2011). A New Algorithmic Identity: Soft Biopolitics and the Modulation of Control. Theory, Culture & Society, 28(6), 164-181. https://doi.org/10.1177/0263276411424420
Aggarwal, C. C. (2016). Recommender Systems: The Textbook. Springer.
Domingos, P. (2018). The Master Algorithm: How the Quest for the Ultimate Learning Machine will Remake our World. Basic books.
Parisi, L. (2019). Critical Computation: Digital Automata and General Artificial Thinking. Theory, Culture & Society, 36(2). 89-121.
https://doi.org/10.1177/0263276418818889
Gillespie, T., & Boczkowski, P. J., & Foot, K. A. (Eds.). (2014). Media Technologies: Essays on Communication, Materiality, and Society. The MIT Press.
Паризи, Л. Инструментальный разум, алгоритмический капитализм и неисчислимое // Новое литературное обозрение. - 2019. - № 4(158). - С. 169— 181.
Stiegler, B. (2019). The Age of Disruption: Technology and Madness in Computational Capitalism. Polity Press.
112
| 2 (43) 2021 |
Максим Витальевич СПИВАКОВ | Алгоритмический режим зрелища |
Raunig, G., & Derieg, A. (2016). Dividuum: Machinic Capitalism and Molecular Revolution. Semiotext(e).
Marazzi, C. (2011). The Violence of Financial Capitalism (New ed). Semiotext(E).
Маркс, К., Энгельс. Ф. - Сочинения. - Изд. 2-е. -М.: Политиздат. - Т. 46; - Ч. 2: [К. Маркс. Экономические рукописи 1857 - 1859 годов. (Первоначальный вариант «Капитала»)]. - 1968. - XXIV, 559 с.
Делез Ж. Post scriptum к обществам контроля // Де-лез Ж. Переговоры (1972—1990). - Перевод с французского В. Ю. Быстрова. - СПб.: Наука. - 2004. -235 c.
Rouvroy, A., & Berns, T. (2013). Gouvernementalité algorithmique et perspectives d'émancipation: Le disparate comme condition d'individuation par la relation ? Réseaux, n° 177(1), 163-196.
https://doi.org/10.3917/res.177.0163
Rouvroy, A. (2013) The end(s) of Critique: Data-behaviourism vs. Due-process. In Hildebrandt, M., & Vries, K. de (Eds.). Privacy, Due Process and the Computational Turn: The Philosophy of Law meets the Philosophy of Technology. Routledge. 143-169.
Rouvroy, A. (2015). A Few Thoughts in Preparation for the Discrimination and Big Data conference. CPDP.
Parisi, L. (2018) Computational Turn. In Braidotti, R., & Hlavajova, M. (Eds.). Posthuman Glossary. Blooms-bury Academic. 88-90.
Anderson, C. (2008). The End of Theory: The Data Deluge Makes the Scientific Method Obsolete. Wired. https://www.wired.com/2008/06/pb-theory/ (Retrieved January 30, 2021).
Stiegler, B. (2015). La société automatique. Fayard.
Stiegler, B. (2013). De la misère symbolique. Flammarion.
Stiegler, B. (2018). Artificial Stupidity and Artificial Intelligence in the Anthropocene. Lecture at Institute of Ereignis, Shanghai, China.
Parisi, L. (2019). Critical Computation: Digital Automata and General Artificial Thinking. Theory, Culture & Society, 36(2). 89-121. https://doi.org/10.1177/0263276418818889
Parisi, L. (2009). Technoecologies of Sensation. In Herzogenrath, B. (Ed.). Deleuze/Guattari & ecology. Palgrave Macmillan. 182-200.
Рансьер, Ж. Разделяя чувственное. - Сост. В. Ла-пицкий. Перевод с французского В. Лапицкого, А. Шестакова. - Спб.: Издательство Европейского университета в Санкт-Петербурге. - 2007. - 264 с.
Hansen, M. B. N. (2015). Feed-forward: On the Future of Twenty-first-century Media. University of Chicago Press.
Метц, К. Воображаемое означающее. Психоанализ и кино. - Перевод с французского Д. Калугина, Н. Мовниной; научая редакутра А. Черноглазова -Спб.: Издательство Европейского университета в Санкт-Петербурге. - 2013. - C. 334 c.
Рансьер, Ж. Эмансипированный зритель. - Перевод с французского Д. Жукова. - Нижний Новгород: Красная ласточка. - 2018. - 128 c.
Gray, M. L., & Suri, S. (2019). Ghost work: How to Stop Silicon Valley from Building a New Global Underclass. Houghton Mifflin Harcourt.
Аристотель. Об искусстве поэзии. - Перевод с древнегреческого В. Аппельрота; редактура перевода и комментарии Ф. Петровского. - М.: Государственное издательство художественной литературы. - 1956. - 184 с.
Felton-Dansky, M. (2019). The Algorithmic Spectator: Watching Annie Dorsen's Work. TDR/The Drama Review, 63(4), 78. https://doi.org/10.1162/dram a 00875
Маркс, К., Капитал. Критика политической экономии. - Т. 1. - Кн. I. - Процесс производства капитала. - М.: Политиздат, 1988. - 654 с.
Terranova, T. (2014). Red Stack Attack! Algorithms, Capital and the Automation of the Common.
Euronomade.
http://www.euronomade.info/?p=2268#rf17-2268 (Retrieved January 30, 2021).
113
| 2 (43) 2021 |
Сериал versus фильм: тенденции и перспективы / Series Versus Film: Trends and Perspectives
Maxim V. SPIVAKOV
| Algorithmic Regime of the Spectacle |
Maxim V. SPIVAKOV
Institute of Philosophy, Russian Academy of Sciences 12 b.1, Gonchamaya Ulitsa, Moscow, Russia, 109240 PhD Student, Department of Aesthetics ORCID: 0000-0003-1786-8941 E-mail: textandpictures@gmail.com
ALGORITHMIC REGIME OF THE SPECTACLE*
This article examines the impact of the algorithmic machine learning systems implemented in digital video platforms on the nature of the spectacle and its spectators. The role of the spectator of such a spectacle is shared with a multitude of interdependent machine procedures, co-participants in the process of the spectacle, that are also entitled to be defined as spectators. An integral part of such a spectacle are the processes of extraction, accumulation and analysis of behavioral data that are un-seen by the viewer, as well as the continuous personalized algorithmic reassembly of the spectacle with the elements of the replenishing archive. Changes in the regime of the spectacle are discussed in the context of large-scale transformations in the prevailing modes of commercialization, govern-ance and control that have arisen in the course of the development of machine learning systems and algorithmic automatization. The algorithmization of the spectacle is analyzed as a part of the pro-cesses of proletarization of consumption through collection and capitalization of data, and the pro-cedures of the "algorithmic governance" that are also premised on data aggregation, analysis, and control. The capitalization of user data in the course of consumption transforms the process of spectacle into a hybrid procedure of consumption and production. As pointed out by Marx, the problem of the position of knowledge within "production resting on machinery" is of key im-portance to the process of proletarization. This article thus examines this problem in the context of algorithmic automatization. As Antoinette Rouvroy's analysis suggests, the algorithmicization of political governance is expressed in a change in the structure of the relationship of power and knowledge, which is rusults in a "crisis" or "end of critique". This connects to what Bernard Stieg-ler defines as a fundamental limita-
tion in the abilities to perform symbolic operations in the "auto-matic society". The critique of algorithmic governance and computational capitalism by Antoinette Rouvroy and Bernard Stigler is compared with Luciana Parisi's analysis of the foundations of al-gorithmic machine learning systems. By contrast, according to Parisi, machine learning embodies and transcends the principles of critical thinking, and should be seen not as a reduction of existen-tial qualities and an instrumentaliza-tion of reason, but as the emergence of a fundamentally new mode of thought. Such an analysis allows us to outline the horizon of the deproletarization of the spectator under conditions of algorithmic regimes of the spectacle.
Key words: Spectacle, Spectator, Algorithm, Machine Learning, Algorithmic Capitalism, Data Behaviorism, Proletarization, Deproletarization, Christian Marazzi, Luciana Parisi, Antoinette Rouvroy, Bernard Stigler.
* The reported study was funded by Russian Foundation for Basic Research (RFBR), project number 20-31190090.
References
Cheney-Lippold, J. (2011). A New Algorithmic Identity: Soft Biopolitics and the Modulation of Control. Theory, Culture & Society, 28(6), 164-181. https://doi.org/10.1177/0263276411424420
Aggarwal, C. C. (2016). Recommender Systems: The Textbook. Springer.
Domingos, P. (2018). The Master Algorithm: How the Quest for the Ultimate Learning Machine will Remake our World. Basic books.
114
| 2 (43) 2021 |
Сериал versus фильм: тенденции и перспективы / Series Versus Film: Trends and Perspectives
Maxim V. SPIVAKOV
| Algorithmic Regime of the Spectacle |
Parisi, L. (2019). Critical Computation: Digital Automata and General Artificial Thinking. Theory, Culture & Society, 36(2). 89-121. https://doi.org/10.1177/0263276418818889
Gillespie, T., & Boczkowski, P. J., & Foot, K. A. (Eds.). (2014). Media Technologies: Essays on Communication, Materiality, and Society. The MIT Press.
Parisi, L. (2019a) Instrumental'nyj razum, algorit-micheskij kapitalizm i neischislimoe [Instrumental Reason, Algorithmic Capitalism, and the Incomputable], Novoe literaturnoe obozrenie, 4(158), 169-181. (In Russian).
Stiegler, B. (2019). The Age of Disruption: Technology and Madness in Computational Capitalism. Polity Press.
Raunig, G., & Derieg, A. (2016). Dividuum: Machinic Capitalism and Molecular Revolution. Semiotext(e).
Marazzi, C. (2011). The Violence of Financial Capitalism (New ed). Semiotext(E).
Marx, K., & Engels, F. (1968) - Sochinenija [Collected Works] (2nd ed.). Politizdat. (In Russian).
Deleuze, G, (2004) Post scriptum k obshhestvam kontrolja [Postscript on the societies of control]. In Deleue, G. Peregovory (1972—1990) [Negotiations (1972—1990)] (In Russian).
Rouvroy, & A., Berns, T. (2013). Gouvernementalité algorithmique et perspectives d'émancipation: Le disparate comme condition d'individuation par la relation ? Réseaux, n° 177(1), 163-196.
https://doi.org/10.3917/res.177.0163
Rouvroy, A. (2013) The end(s) of Critique: Data-behaviourism vs. Due-process. In Hildebrandt, M., & Vries, K. de (Eds.). Privacy, Due Process and the Computational Turn: The Philosophy of Law meets the Philosophy of Technology. Routledge. 143-169.
Rouvroy, A. (2015). A Few Thoughts in Preparation for the Discrimination and Big Data conference. CPDP.
Parisi, L. (2018) Computational Turn. In Braidotti, R., & Hlavajova, M. (Eds.). Posthuman Glossary. Blooms-bury Academic. 88-90.
Anderson, C. (2008). The End of Theory: The Data Deluge Makes the Scientific Method Obsolete. Wired. https://www.wired.com/2008/06/pb-theory/ (Retrieved January 30, 2021).
Stiegler, B. (2015). La société automatique. Fayard.
Stiegler, B. (2013). De la misère symbolique. Flammarion.
Stiegler, B. (2018). Artificial Stupidity and Artificial Intelligence in the Anthropocene. Lecture at Institute of Ereignis, Shanghai, China.
Parisi, L. (2019). Critical Computation: Digital Automata and General Artificial Thinking. Theory, Culture & Society, 36(2). 89-121.
https://doi.org/10.1177/0263276418818889
Parisi, L. (2009). Technoecologies of Sensation. In Herzogenrath, B. (Ed.). Deleuze/Guattari & ecology. Palgrave Macmillan. 182-200.
Rancière, J. (2007). Razdeljaja chuvstvennoe [The Distribution of the Sensible]. Izdatel'stvo Evropejskogo universiteta v Sankt-Peterburge. (In Russian).
Hansen, M. B. N. (2015). Feed-forward: On the Future of Twenty-first-century Media. University of Chicago Press.
Metz, C. (2013). Voobrazhaemoe oznachajushhee. Psihoanaliz i kino [The Imaginary Signifier: Psychoanalysis and the Cinema]. Izdatel'stvo Evropejskogo ^ universiteta v Sankt-Peterburge. (In Russian).
Rancière, J. (2018). Emansipirovannyj zritel' [The Emancipated Spectator]. Krasnaja lastochka. (In Russian).
Gray, M. L., & Suri, S. (2019). Ghost work: How to Stop Silicon Valley from Building a New Global Underclass. Houghton Mifflin Harcourt.
Aristotle. (1956). Ob iskusstve pojezii [On Poetry and Style]. Gosudarstvennoe izdatel'stvo hudozhestvennoj literatury. (In Russian).
Felton-Dansky, M. (2019). The Algorithmic Spectator: Watching Annie Dorsen's Work. TDR/The Drama Review, 63(4), 78.
https://doi.org/10.1162/dram a 00875
Marx, K. (1988) Kapital. Kritika politicheskoj ekonomii [Capital. Critique of Political Economy]. Vol. 1. Politizdat. (In Russian).
Terranova, T. (2014). Red Stack Attack! Algorithms, Capital and the Automation of the Common.
Euronomade.
http://www.euronomade.info/?p=2268#rf17-2268 (Retrieved January 30, 2021).
| 2 (43) 2021 |
