CC BY
0УДК: 81-13 + 519.76
DOI: 10.31249/epl/2024.02.05
О'Хэллоран К.Л.
Перевод выполнили: И.В. Тивьяева, А.Д. Пантелеев1
МАТЕРИЯ, ЗНАЧЕНИЕ И СЕМИОТИКА
Ливерпульский университет, Великобритания, Ливерпуль, kay.ohalloran@liverpool.ac.uk
Аннотация. В фокусе внимания авторов находятся семиозис цифровой эпохи и социальные последствия нынешней цифровой экосистемы. В ходе исследования авторы концептуализируют цифровые технологии и рассматривают их как зеркало Гезелла, в отражении которого наблюдают за людьми, использующими электронные ресурсы во всех сферах жизни, считывают каждое их действие и манипулируют ими создатели и владельцы этих ресурсов. В статье исследуются материальный и смысловой миры, а также связывающие их физические, биологические, социальные и семиотические системы. При этом наиболее сложными представляются семиотические системы, включающие в себя физические системы (материальный символ), биологические системы (люди), социальные системы (общество и культура). Поскольку изменения в каждой системе влекут за собой изменения всей метасистемы, рассматривая семиотические структуры, необходимо учитывать взаимодействие всех перечисленных систем. В статье исследуется взаимодействие между материальным и семиотическим мирами с позиций социальной семиотики: в фокусе исследования - содержание этого взаимодействия и
1 Приводится сокращенный перевод статьи: O 'Halloran K.L. Matter, meaning and semiotics // Visual Communication. - 2022. - Vol. 22 (1). - P. 174-201. DOI: https://doi.org/10.1177/14703572221128881. - URL: https://journals.sagepub.com/doi/pdfi' 10.1177/14703572221128881
Перевод осуществлен в рамках Creative Common License CC BY 4.0 DEED. Все права на оригинальный текст статьи на английском языке сохраняются за автором статьи и издателем: © O'Halloran K.L., © SAGE Journals.
его значимость для человеческого существования. Авторы исследуют, как именно функционируют семиотические ресурсы (математические, естественно-научные и ресурсы языка компьютерного программирования), создающие реальность. В исследовании особое внимание уделяется роли визуальной коммуникации; учитываются как визуальные семиотические ресурсы (например, графики и цифровые изображения), так и визуальные аспекты мультимодальных текстов. Таким образом, обосновывается мнение о том, что функциональные возможности любого семиотического ресурса (в том числе языка) должны рассматриваться в его взаимодействии с работой других семиотических ресурсов.
Ключевые слова: искусственный интеллект; язык программирования; цифровые медиатехнологии; математика и наука; мультимодальный анализ; мультимодальность; семиотическая эволюция; семиотические системы; социальная семиотика.
Поступила: 06.03.2023 Принята к печати: 30.01.2024
O'Halloran K.L.
Translation from English into Russian by: I.V. Tivyaeva, A.D. Panteleev1 Matter, meaning and semiotics
University of Liverpool, Great Britain, Liverpool, kay.ohalloran@liverpool.ac.uk
Abstract. We inhabit two worlds - the world of matter and the world of meaning (see Halliday, "On matter and meaning: The two realms of human experience", 2005). In this article, these two worlds and the physical, biological, social and semiotic systems that connect them are investigated. In this respect, semiotic systems are the most complex because they involve physical systems (the material sign), biological systems (human beings), social systems (society and culture) and meaning itself. Semiotic frameworks need to take into account these various dimensions as changes in one system reverberate across the meta-system as a whole. With this in mind, the interplay between material and semiotic worlds from a social semiotic perspective, are explored with a focus on meaning and its significance in relation to human existence. Using examples from various industrial ages, the article explores how semiotic resources (in this case, in mathematics, science and computer programming languages) are organized to structure reality in specific ways, and how semiotic combinations and the technologies arising from those constructions have changed the course of human history. In this discussion, attention is paid to the role of visual communication, both in terms of visual semiotic
1 Original paper: O 'Halloran K.L. Matter, meaning and semiotics // Visual Communication. - 2022. - Vol. 22(1). - P. 174-201. DOI: https://doi.org/10.1177/14703 572221128881. - URL: https://journals.sagepub.eom/doi/pdf10.1177/14703572221128881 Translation is made within Creative Common License CC BY 4.0 DEED. All rights on original paper in English are preserved: © O'Halloran K.L., © SAGE Journals.
resources (e.g. graphs, digital images) and visual aspects of multimodal texts. It thus becomes evident that the functionalities of any one semiotic resource (including language) must be viewed in relation to its collective co-deployment with other semiotic resources. Lastly, the author examines semiosis in the digital age and considers the social implications of the current digital ecosystem. In doing so, she conceptualizes digital technologies as a one-way mirror where members of society use digital media for every facet of their lives while being watched, analysed and manipulated by those who have designed and own the digital platforms. It is apparent that semiotics has a major role to play in terms of design, policymaking and activism around future digital technologies.
Keywords: artificial intelligence; computer programming languages; digital media technology; mathematics and science; multimodal analysis; multimodality; semiotic evolution; semiotic systems; social semiotics.
Received: 06.03.2023 Accepted: 30.01.2024
Введение
Мы живем в двух мирах — в мире материи и в мире значений [На1Шау, 2005], и взаимоотношения между двумя сферами человеческого опыта - миром материи и миром значений - определяют текущее положение человечества. <.. .>
Материя и значение взаимосвязаны, но для теоретических и аналитических целей целесообразно рассматривать их по отдельности. Во-первых, таким образом возможно приблизиться к пониманию того, как именно материальный мир и семиотическая сфера связаны друг с другом. Во-вторых, на основе этого понимания возможно разработать семиотические модели, учитывающие эти аспекты. В-третьих, семиотические модели можно использовать для изучения взаимодействия между материей и значением, т. е. для установления того, как менялись их взаимоотношения с течением времени. Подобное изучение проводится еще и для определения того влияния, которое оказывают на мир изменения в семиотической сфере, и наоборот, для определения влияния изменений материальной среды на семиотическую сферу. Ниже материя и значение рассматриваются со всех трех позиций; цель данного рассмотрения заключается в изучении значимости семиотических систем в контексте существования человечества. В иллюстративных целях анализируются ключевые периоды мировой истории,
имеющие отношение в нашем случае к семиотическим инновациям в математике, естественных науках и обработке данных. Итогом исследования является критическое осмысление цифровой эпохи и алгоритмов искусственного интеллекта, задающих направление сегодняшней человеческой жизни. Определяются роль семиотики и перспективы дальнейших исследований в современную цифровую эпоху, главным ресурсом которой стали данные и информация (т.е. сами семиотические конструкции). На протяжении всего исследования семиозис рассматривается как процесс, неразрывно связанный со всеми сторонами человеческого существования - от людей как биологических и социальных существ до материальной среды, в которой они живут.
Связь между материей и значением
Люди познают физический мир с помощью различных органов чувств и, используя семиотические ресурсы, формируют представление об этом мире. Однако входная сенсорная информация, поступающая из окружающей среды, обусловлена социальными факторами и общественным влиянием, а именно контекстом, культурой, убеждениями и ценностями, а также жизненным опытом. Таким образом, семиозис включает в себя четыре системы: физические системы (материальный мир), биологические системы (люди), социальные системы (общество и культура) и семиотические системы (языковые значения, значения образов и т.д.) [На1Шау, 2005]. Каждая из четырех систем состоит из материи (т.е. у них есть материальная основа), но в то же время, как объясняет М. Халлидей, эти системы могут быть упорядочены по степени сложности. Первыми идут физические системы: они являются самыми простыми, так как состоят только из материи. Биологические системы сложнее, потому что они одновременно и физические, и биологические. Другими словами, они состоят из материи с дополнительным элементом жизни. Социальные системы еще более сложны, так как они тоже одновременно и физические, и биологические, но при этом включают социальную структуру и организацию. Наконец, семиотические системы являются самыми сложными, поскольку они одновременно и физические, и биологические, и социальные, и, более того, они несут значения. По
этой причине М. Халлидей описывает семиотические системы как системы «четвертого уровня сложности» [НаШёау, 2005, р. 68]. Четыре уровня по степени сложности показаны на рис. 1.
Рис. 1. Четыре уровня по степени сложности [0'На11огап, 2022, р. 176]
Мультнмодальная грамматика: семиотические системы и взаимодействие выбранных семиотических ресурсов
Социальный контекст: ситуационные и культурные параметры +
Сенсорные модальности: зрение, слух, обоняние, вкус, осязание II вестибулярный аппарат
Материальность: физические атрибуты (например, цвет, яркость, текстура, уровень громкости и высота звукового тона)
Рис. 2. Семиотическая структура: физические, биологические, социальные и семиотические системы [0'На11огап, 2022, р. 177]
<...>
Семиотическая структура, учитывающая физические, биологические, социальные и семиотические стороны человеческого опыта, представлена на рис. 2. Изменения в любой из этих систем (т.е. материальной, сенсорной, социальной и семиотической) отражаются на всей метасистеме в целом и на других системах в частности, как показано пунктирными линиями и стрелками на рис. 2. Так, изменения цвета и яркости (например, в освещении) влияют на входную сенсорную информацию, социальный контекст и создаваемые смысловые значения. Подобным образом особенности той
или иной ситуации, связанные с материальным миром (например, личное общение в сравнении с онлайн-встречами на платформе Zoom), меняют социальный контекст и природу выбора семиотических ресурсов.
Динамика взаимоотношений материи и значения
На протяжении человеческой истории материальный и семиотический миры постоянно взаимодействовали и противостояли друг другу [Halliday, 2005]. Семиотические ресурсы разрабатываются и используются для получения знаний, в результате чего появляются различные технологии воздействия на окружающую среду. М. Гилберт выделяет три основные технологические эпохи [Hilbert, 2020]: «эпоха преобразования материалов» (например, каменный век, бронзовый век и железный век), «эпоха преобразования энергии» (вода, пар, электричество и энергия сгорания) и «эпоха преобразования информации» (передача и хранение информации, обработка данных) (см. рис. 3). Первая и вторая технологические эпохи были связаны с материальным миром; третья же эпоха имеет отношение к семиотическому миру информации.
<...>
transforming material _А_
transforming energy
transforming information
ai о
CL
2,000,000bc 3,300bc l,200bc'... 1780
1848
1895
1940 1973
2008
Рис. 3. Технологические эпохи, основанные на концепции М. Гилберта [Hilbert, 2020, p. 189-194]
Последние две технологические эпохи (т.е. эпоха преобразования энергии и эпоха преобразования информации) прошли процесс концептуализации и рассматривались с точки зрения четырех промышленных революций [The effect ..., 2019]. В ходе Первой промышленной революции (1760-1840) произошел переход от ручного труда к машинному производству с использованием энергии воды и пара. Итогом Второй промышленной революции (1870-1914) стала электрификация производственных процессов и развитие серийного производства, а также расширение железнодорожных и телеграфных сетей. Эти две промышленные революции привели к серьезным изменениям в организации общества: население мигрировало в города с целью получения работы на фабриках. К серьезным изменениям в организации общества также привели урбанизация, появление новых классовых структур и разделение труда в капиталистическом производстве [Landes, 2003].
В результате Третьей промышленной революции (конец XX -начало XXI в.) были разработаны вычислительная техника и суперкомпьютеры, позволяющие хранить информацию и обмениваться ей. Во время Четвертой (и последней на данный момент) промышленной революции (начало XXI в. - настоящее время) происходит автоматизация производства и обмен данными, а также развитие киберфизических систем, технологий контроля промышленного оборудования через Интернет, облачных вычислений, когнитивных вычислений и искусственного интеллекта [Hermann, Pentek, Otto, 2016; Philbeck, Davis, 2018; Schwab, 2016]. В процессе Третьей и Четвертой промышленных революций (также известных как информационный век, цифровой век и компьютерный век) осуществляется переход к цифровым технологиям.
<...>
К вопросу о значении
Согласно социально-семиотическому подходу М. Халлидея [Halliday, 1978, 2009], семиотические ресурсы одновременно приводят в действие четыре звена одной смысловой цепи. Из этого следует, что семиотические ресурсы используются для (а) интерпретации человеческой истории, (б) установления логической связи между происходящими событиями, (в) установления социальных
отношений; (г) продумывания и создания сообщений. Эти четыре звена одной смысловой цепи называют эмпирической, логической, межличностной и текстовой метафункциями соответственно. Семиотический анализ касается (а) лежащей в его основе организации или архитектуры семиотических ресурсов (систем), с помощью которых создаются четыре звена одной смысловой цепи; (б) значений, которые возникают в результате взаимодействия выбранных семиотических ресурсов, имеющих отношение к тем или иным семиотическим феноменам [Van Leeuwen, 2005]. Социальная семиотика, таким образом, занимается организацией (или «грамматикой») семиотических ресурсов и смыслов, возникающих ин-терсемиотически, т.е. при объединении выбранных семиотических ресурсов в семиотические артефакты и процессы. В рамках этого подхода к семиотическим ресурсам концептуализируются «система» и «текст» [Halliday, 2008]. Системы состоят из наборов обособленных ресурсов (например, речевых актов, типов процессов) [Kress, Van Leeuwen, 2021] или неких сфер с непрерывно изменяющимися параметрами (например, цвет, тембр голоса) (см. «параметрические системы» [Van Leeuwen, 2009, 2011]), а также из текстов (т.е. семиотических текстов и процессов), которые, в свою очередь, состоят из выбранных ресурсов, составляющих системы (подробнее о языковых системах и системах изображений см. [Halliday, Matthiessen, 2014; Kress, Van Leeuwen, 2021; Martin, Rose, 2007; O'Toole, 2011]).
Системы эмпирических, логических, межличностных и текстовых значений организованы на разных грамматических уровнях. Например, эмпирическое значение в языке реализуется через грамматические структуры предложений, описывающие людей, процессы и обстоятельства, в контексте которых происходят события, предпринимаются действия и формируются связи. Эмпирическое значение в изображениях, в свою очередь, реализуется через персонажей и объекты, имеющих определенное расположение по отношению друг к другу и составляющих таким образом отдельные изображения в целом изображении. Похожим образом реализуется межличностное значение в языке, а именно через обмен информацией (утверждения и вопросы), а также товарами и услугами (предложение и спрос). Межличностный смысл изображений реализуется или при позиционировании зрителя как актив -ного участника изображаемой сцены (например, через прямой
взгляд на персонажей изображения), или при позиционировании зрителя как наблюдателя сцены (например, через косвенный и/или внутренний взгляд на персонажей изображений). Эти системы лежат в основе концептуализации языка и изображений как семиотических ресурсов, а также в основе анализа смыслов, возникающих в результате лингвистического и визуального выбора ресурсов мультимодальных текстов. В иллюстративных целях рассмотрим рис. 4(а) - выдержку из статьи Information Age, опубликованной в «Википедии». Выдержка представляет собой описание технологических эпох, выделенных М. Гилбертом [Hilbert, 2020] (рис. 3).
Рис. 4. (а) Мультимодальный текст; (б) Эмпирическое и логическое значения (оба рисунка представляют собой выдержки из статьи Information Age1, опубликованной в «Википедии») [O'Halloran, 2022, р. 183]
1 URL: https://en.wikipedia.org/wiki/Information_Age
Различия между языком и изображениями становятся очевидными при рассмотрении в мультимодальных текстах (например, рис. 4(а)) ресурсов, лежащих в основе этих систем. Например, с помощью цветовых выделений на рис. 4(б) можно понять, что ученые (т.е. 'others' «другие», 'authors' «авторы») выдвинули теорию, касающуюся временных периодов ('classify' «классифицировать», 'distinguish' «различать»), и что выделяются три временные рамки ('three different long-term metaparadigms' «три разные продолжительные метапарадигмы», 'the first' «первая», 'the second' «вторая» и 'the most recent' «последняя на данный момент»). Изменения, произошедшие за эти периоды времени, описаны ('transformation of material' «преобразование материалов», 'transformation of energy' «преобразование энергии», 'transforming information' «преобразование информации») и названы ('industrial revolution' «промышленная революция»). Таким образом, применительно к языку реальность представляет собой ряд логически связанных событий, как показано в левой части рис. 4(б). Как показано на рис. 4(а) и рис. 4(б), на межличностном уровне социальные отношения устанавливаются посредством обмена информацией, дающей определенное представление о взглядах участников такого обмена. Информация в этом случае выражается посредством ряда однозначных утверждений, дающих объективное представление об информационном веке (наименование страницы «Википедии») и временах, которые ему предшествовали. Визуальные аспекты письменного языка (например, размер шрифта, цвет и стиль) также служат для создания смыслов, как показано на рис. 4(а) и рис. 4(б). Например, текст, выделенный синим цветом, содержит гиперссылки, а жирный шрифт и курсив используются для привлечения внимания.
Однако изображения производят совершенно другой эффект, поскольку, в отличие от последовательного упорядочивания, встречающегося в языковых конструкциях, изображения дают перцептивное представление о связи между событиями. Тем не менее определенные элементы изображения могут выделяться (например, с помощью света, цвета, размера и перспективы) и воздействовать тем самым на его восприятие [Kress, Van Leeuwen, 2021; O'Toole, 2011]. Например, график на рис. 4(а) и рис. 4(б), отображающий различные периоды истории, составлен так, чтобы связь между «разными длинными волнами» легко прослеживалась. Для
иллюстрации действия эмпирической метафункции волны показаны так, что они накладываются друг на друга и между ними происходят постепенные сдвиги, а их восходящая траектория подразумевает прогресс или улучшение. Реализация действия межличностной метафункции передается через длинные волны, отображающиеся яркими цветами и привлекающие внимание; при этом самый значительный «прогресс» приписывается «информационному веку» ('computing information age'). Для иллюстрации действия текстовой метафункции различные периоды времени обрамлены вертикальными линиями, которые соответствуют годам на горизонтальной оси. Таким образом, график как таковой представляет собой мультимодальный текст, состоящий из языковых, визуальных и символических элементов.
<...>
Математика и естественные науки
Математический и научные взгляды на мир сформировались во время Научной революции (1550-1700), что стало предпосылкой Первой и Второй промышленных революций. Появлению современной математики и естественных наук способствовало развитие печатного станка, появившегося в 1440-х годах и изменившего способы создания и распространения знаний [Eisenstein, 1979; Lyons, 2011]. <...> Перемены были значительные: достижения в области математики, физики, астрономии, биологии и химии способствовали открытию новых знаний, преобразованию мыслительных процессов и организации контроля над материальным миром.
К достижениям следует отнести аналитическую геометрию Р. Декарта [Descartes, 1954[1637]], объединившую алгебру (текстовую форму семиозиса, развившуюся из письменного языка) и геометрию (т.е. визуальные формы представления информации). <...>
Геометрия Р. Декарта допускала преобразование текстовых форм (т.е. алгебраических выражений) в визуальные формы (т.е. графики и диаграммы) и наоборот. Между тем, вследствие того, что в математике значения имеют свойство расширяться и сужаться, семиотические ресурсы и возникающие между ними интерсемиотические связи нуждаются в дополнительном описании. <...>
Расширения и сокращения значений в современной математике проиллюстрированы на рис. 5(а) и рис. 5(б). <.. .>
Рис. 5. (а) Различные виды функций; (б) Равносторонняя гипербола [О'НаИогап, 2022, р. 187]
Рис. 5(а) представляет собой выдержку из математического курса1, снабженную комментариями, которые были созданы с помощью программного обеспечения Multimodal Analysis Image2 [O'Halloran, Tan, Marissa, 2017].
У данного учебного слайда есть заголовок - «Различные типы функций» - и три подзаголовка: «Сложная функция», «Обратная функция» и «Функция абсолютного значения». Как показано на рис. 5(а), учебный слайд поделен на три секции: каждой функции отводится одна секция. В каждой секции есть подзаголовок с названием функции, ее описанием и примером, а также изображения обратной функции и функции абсолютного значения. В данном случае становится очевидным узкоспециализированный характер организации математического текста (и текстов, относящихся к естественно-научным дисциплинам в целом), поскольку такие визуальные аспекты, как пространственное расположение, нарисованные линии и (словесные) заголовки, используются для разграничения различных компонентов математического текста, как показывают цветовые выделения и комментарии на рис. 5(а).
У подзаголовков с названием функции более крупный шрифт; внутри каждой секции предлагаются языковое описание и символическое обозначение функции, находящиеся в эмпирически определенных взаимоотношениях (is). Реализация межличностного смысла ограничивается предоставлением информации в форме утверждений, а отсутствие модальности (например, might, could и т.д.) означает, что значение истинности является абсолютным. Основные технические термины (употребляемые в заголовках и/или выделенные жирным шрифтом) представляют собой именные группы с модификаторами, определяющими вид функции (например, «сложная функция», «обратная функция», «равносторонняя гипербола» и «функция абсолютного значения»). Эти технические термины используются для систематизации знаний о различных видах функций и их изображений. Приводятся примеры функций, а также изображения обратной функции (равносторонней гиперболы) и функции абсолютного значения. Благодаря пространственному
1 URL: http://www.learnhive.net/leam/Cambridge-IGCSE/mathematics/functions
2 URL: http://multimodal-analysis.com/products/multimodal-analysis-image/ software/index.html
положению изображений и символических обозначений на рис. 5(а) мы легко можем их распознать. <.. .>
Для наименования изображения обратной функции используется язык: «Изображение равносторонней гиперболы» 'Its graph is a rectangular hyperbola'). В данной языковой конструкции употребляются глагол (is), устанавливающий в предложении определенную связь, а также технический термин «равносторонняя гипербола». Представлен пример обратной функции: с помощью математических обозначений:
i ,
и в виде изображения. Математическое обозначение функции включает в себя обозначение вложенных конфигураций математических действий (вычитание и деление); при этом при обозначении математических символов ('х' и '1') используются визуальные ресурсы (горизонтальная линия, обозначающая деление). Математические действия выполняются в соответствии с порядком (раскрытие скобок, определение индексов, умножение / деление и сложение / вычитание). Следовательно, новые грамматические принципы передачи математических обозначений эффективно и точно раскрывают математические зависимости (в данном случае к таким принципам следует отнести горизонтальную линию, обозначающую деление; пространственное положение числителя и знаменателя; специализированные символы, обозначающие математические действия и зависимости («-» и «=»); участников действий, представленных в самом общем виде («х» и «у»); порядок выполнения действий). Эти принципы обеспечивают эффективное и необходимое для решения задач (например, для нахождения значений «х», соответствующих значению «у», и наоборот) переоформление математических действий и зависимостей в тексте. Изображение, в свою очередь, наглядно показывает зависимость между «х» и «у», а также изменение этой зависимости при разных значениях двух переменных.
На этом примере видно, что при обращении к языку науки и к математическим обозначениям используются разные принципы их передачи, учитываются их функции. Для указания на символьные и визуальные формы представления информации и для ее контекстуализации используется язык, который обеспечивает смысл в предложении с помощью слов, устанавливающих связи
между его частями, а также с помощью многокомпонентных именных групп. Символьные обозначения, в свою очередь, используются для кодирования вложенных конфигураций математических процессов и их участников, позволяющих преобразовывать эти конфигурации для решения той или иной задачи. Благодаря математическому изображению (являющемуся по сути комплексным представлением зависимости между участниками математических действий) становится возможным перцепционное осмысление, приводящее к логическим рассуждениям о математических зависимостях и о тех результатах, к которым приходят при установлении этих зависимостей. <.. .>
Цифровая эпоха
В связи с тем, что печатный станок и компьютеры как «источники перемен» позволяют обмениваться информацией, между этими двумя технологиями проводят параллели [Бе^'аг, 1998]. Однако применительно к их функциональным возможностям и устройству печатный станок и компьютеры - это принципиально разные технологии. Различия между ними, а также оказанное ими влияние рассматриваются ниже с точки зрения социальной семиотики.
Печатный станок создает материальные объекты (например, книги, газеты, журналы и т.д.), имеющие семиотическую форму представления данных, которая видна читателю. Как говорилось ранее, печатный станок привел к стандартизации математических и научных трудов, а также других форм знаний, которые стали доступны обществу. Таким образом, печатный станок способствовал осуществлению двух промышленных революций и перестройке общества. Компьютеры и цифровые медиаплатформы тоже привели к осуществлению двух промышленных революций, изменивших общественный строй, но в связи с особенностями цифровых технологий характер этого осуществления принципиально другой. Иначе говоря, компьютеры (персональные компьютеры, а именно стационарные компьютеры, ноутбуки, планшеты, смартфоны, переносные устройства, а также мейнфреймы и суперкомпьютеры), являющиеся машинами ввода / вывода данных, получают к ним доступ, хранят их и обрабатывают их при помощи внешних источников (клавиатуры, сенсорные экраны, мышь, сенсорные датчики
и Интернет), а затем возвращают пользователю необходимый выход. <...>
При написании компьютерных программ используются языки компьютерного программирования, в значительной степени являющиеся текстовыми и состоящие из слов, цифр и знаков препинания, которые образуют семантические конфигурации. В основе языков программирования лежит полностью сформированная грамматика, подобная математическим и естественно-научным символьным формам представления данных. На примере задачи, состоящей в том, чтобы перечислить все числа меньше шести в ряду из 20 чисел, Т. Тейлор [Taylor, 2022] демонстрирует структуру декларативного кода. Универсального решения в нашем случае нет, поэтому, для того чтобы его найти, программа должна совершить необходимые операции. Компьютерный код выглядит следующим образом:
small_nums = [x for x in range (20) if x < 6] В свою очередь, для решения этой задачи императивный код предлагает определенные шаги. На том же самом примере Т. Тейлор [ibid.] объясняет, что прежде всего нужно дать программе команду перечислить все числа в ряду из 20 чисел. Второй шаг -проверить каждое число на предмет того, меньше ли оно шести. Наконец, программе дается команда отобразить нужные числа. Компьютерный код выглядит следующим образом: small_nums = [] for i in range(20): if i < 6:
small_ nums.append(i)
Из этих примеров следует, что основное внимание уделяется эмпирическому и логическому значениям; при этом текстовые строки, написанные на языках программирования высокого уровня (как показано здесь), преобразуются в различные системы команд, которые решают нужные задачи в соответствии с принятыми инструкциями. Соответственно, в зависимости от характера задачи применяются различные формы языков компьютерного программирования [Van Roy, Haridi, 2004]. Поскольку некоторые языки способны решать более одного типа задач программирования, эти языки относят к «мультипарадигменным» [Loukides, 2020]. Как видно из приведенных примеров, при отображении языков компьютерного
программирования используются визуальные ресурсы, такие как пространственное положение, межстрочный интервал и макет. <.. .>
У современной цифровой экосистемы есть серьезные социальные последствия. <...> Крупные IT-компании собирают различные формы пользовательских данных и часто используют искусственный интеллект и технологии, работа которых основана на обработке данных, для анализа, прогнозирования и изменения поведения пользователей. Данные и анализ данных, касающихся поведения пользователей, продаются. Это приводит к тому, что Ш. Зу-бофф [Zuboff, 2019] называет «надзорным капитализмом». Под этим подразумеваются, в частности, различные аспекты человеческой жизни (физические действия, биологическая информация, социальные взаимодействия и семиотические конструкции) и их преобразование в поведенческие данные, которые могут быть проанализированы и проданы с целью получения прибыли. <...>
Будущее семиотики
Первые две промышленные революции (эпоха преобразования материалов) привели к «разделению труда»; две последние промышленные революции (преобразование информации) привели к «разделению обучения» [ibid., p. 181]. В свою очередь, это разделение привело к реорганизации получения знаний, авторитета и власти, которая выходит за рамки деятельности трудового коллектива, так как каждый аспект повседневной жизни (включая действия, мнения, чувства, эмоции и личные отношения) теперь опосредуется цифровыми медиаплатформами, хранящими и кодифицирующими полученные данные. Кроме того, каждый аспект культурной жизни и жизни цивилизации также оцифровывается, хранится и анализируется. Ш. Зубофф поясняет, что «поскольку люди, процессы и вещи вновь становятся источниками информации, разделение обучения в обществе приобретает основополагающее значение для формирования общественного строя нашего времени» [ibid., p. 182].
По мнению Ш. Зубофф, разделение обучения, управляемое надзорным капитализмом, основано на проблеме «двух текстов». Первый текст - это общедоступный текст, появляющийся на экране компьютера и в цифровом интерфейсе (например, поисковая система Google, посты в социальных сетях, новостные ленты, потоковые
медиа и Fitbit). Однако первый текст сопровождается «теневым текстом», запоминающим каждый аспект взаимодействия (даже недолговременного) пользователя с первым текстом. Второй текст скрыт от глаз; он используется такими компаниями, как Amazon, Apple, Google и Microsoft, для анализа социального поведения и последующего формирования общедоступного текста, достигающего коммерческих целей. Как утверждает Ш. Зубофф, «мы являемся действующими лицами его повествования; уроки из этого повествования мы вынести не можем. Сосредоточивая в себе все информационные богатства, этот второй текст повествует о нас, но он не предназначен для нас. Вместе с тем, он создается, развивается и используется вне нашего сознания на "пользу" другим» [Zuboff, p. 187].
<...>
В действительности устройство нынешней цифровой экосистемы напоминает устройство зеркала Гезелла. Иначе говоря, пока мы используем цифровые медиа (первый текст) в различных аспектах нашей жизни, за нами наблюдают, наши действия анализируют и нами манипулируют (через теневой текст) разработчики и владельцы цифровых платформ (см. рис. 7). <...>
Рис. 7. «Два текста» Ш. Зубофф [Zuboff, 2019] как метафора зеркала Гезелла [O'Halloran, 2022, р. 195]
Семиотические исследования должны быть направлены на решение новых задач, возникающих в связи с устройством ны-
нешней цифровой экосистемы. Одним из направлений, требующих дальнейшего внимания, является разработка семиотической структуры, включающей четыре уровня по степени сложности, а именно физические, биологические, социальные и семиотические системы, которые связывают материальный мир и мир значений (см. рис. 1 и рис. 2). <...>
Кроме того, стали бы возможны новые разработки в сфере дизайна, проведение политики и осуществление гражданской деятельности, связанные с будущими цифровыми технологиями и основанные на принципах инклюзивности, равенства, прозрачности, конфиденциальности, социальной солидарности, здоровья и благополучия, устойчивости и сохранения природного мира. В программу действий также входят (а) отказ от зеркала Гезелла, в результате чего станет доступен теневой текст; (б) содействие разработке алгоритмов искусственного интеллекта с объяснительной способностью для понимания того, как распределяется и фильтруется информация, а также для понимания того, какие предубеждения она распространяет и какие социальные изменения может вызвать; (в) предоставление возможностей для повышения уровня грамотности в области цифровых технологий и данных. <...> Таким образом, не возникает никаких сомнений в том, что семиотике предстоит сыграть важную роль в обозримом будущем.
Список литературы
DescartesR. The geometry of Rene Descartes. - New York : Dover, 1954. DOI:
https://doi.org/10.2307/2298850 Dewar J.A. The information age and the printing press: looking backward to see ahead. -
Santa Monica : RAND Corporation, 1998. DOI: https://doi.org/10.7249/P8014 Eisenstein E.L. The printing press as an agent of change. - Cambridge : Cambridge
University Press, 1979. DOI: https://doi.org/10.1017/CB09781107049963 Halliday M.A.K. Language as social semiotic: the social interpretation of language and meaning. - London : Edward Arnold, 1978. - 256 p. - URL: https://books.google.ru/ books/about/Language_as_Social_Semiotic.html?id=SjVxAAAAlAAJ&redir_esc=y HallidayM.A.K. On matter and meaning: the two realms of human experience // Linguistics and the Human Sciences. - 2005. DOI: https://doi.org/10.1558/lhs.2005.LL59 Halliday M.A.K. Complementarities in language. - Beijing : Commercial Press, 2008. -229 p. - URL: https://books.google.ru/books/about/Complementarities_in_Language. html?id=vkiXQQAACAAJ&redir_esc=y
Halliday M.A.K., Webster J.J. Collected works of M.A.K. Halliday. - London : Continuum, 2009. - 4000 p. - URL: https://books.google.ru/books/about/Collected_Works_ of_M_A_K_Halliday.html?id=7MsnPQAACAAJ&redir_esc=y Halliday M.A.K., Matthiessen C.M.I.M. Halliday's introduction to Functional Grammar. -
London : Routledge, 2014. - 808 p. DOI: https://doi.org/10.4324/9780203431269 Hermann M., Pentek T., Otto B. Design principles for Industrie 4.0 scenarios // 49th Hawaii International Conference on System Sciences (HICSS). - Koloa, 2016. -P. 3928-3937. DOI: https://doi.org/10.1109/HICSS.2016.488 Hilbert M. Digital technology and social change: the digital transformation of society from a historical perspective // Dialogues in Clinical Neuroscience. - 2020. -Vol. 22(2). - P. 189-194. DOI: https://doi.org/10.31887/DCNS.2020.22.2/mhilbert Kress G., van Leeuwen T. Reading images: the grammar of visual design. - London :
Routledge, 2021. - 310 p. DOI: https://doi.org/10.4324/9781003099857 Landes D.S. The unbound Prometheus: technological change and industrial development in Western Europe from 1750 to the present. - Cambridge : Cambridge University Press, 2003. - 576 p. DOI: https://doi.org/10.1017/CBO9780511819957 Loukides M. Multi-paradigm languages. - 2020. - URL: https://www.oreilly.com/radar/
multi-paradigm-languages/ Lyons M. Books: a living history. - Los Angeles : J Paul Getty Museum, 2011. - 224 p. Martin J.R., RoseD. Working with discourse: meaning beyond the clause. - London : Continuum, 2007. - 293 p. - URL: https://www.researchgate.net/publication/299534824_ Working_with_discourse_Meaning_beyond_the_clause Martinec R., Salway A. A system for image-text relations in new (and old) media // Visual Communication. - 2005. - Vol. 4. - P. 337. DOI: 10.1177/1470357205055928. - URL: https://csis.pace.edu/~marchese/TextImage/image-text-allmedia..pdf O 'Halloran K.L. Mathematical discourse: language, symbolism and visual images. - London ;
New York : Continuum, 2005. - 226 p. DOI: https://doi.org/10.5860/choice.43-6575 O'Halloran K.L., Tan S., Marissa K.L.E. Multimodal analysis for critical thinking // Learning, Media and Technology. - 2017. - Vol. 42 (2). - P. 147-170. DOI: https://doi.org/10.1080/17439884.2016.1101003 O 'Toole M. The language of displayed art. - London ; New York : Routledge, 2011. - 296 p. Philbeck T., Davis N. The fourth industrial revolution: Shaping a new era // Journal of International Affairs. - 2018. - URL: https://jia.sipa.columbia.edu/news/fourth-industrial-revolution-shaping-new-era Royce T. Intersemiotic complementarity: a framework for multimodal discourse analysis. New Directions. - NJ : Lawrence Erlbaum Associates, 2007. - 24 p. DOI: https://doi.org/10.4324/9780203357774-7 Schwab K. The fourth industrial revolution. - Geneva : World Economic Forum, 2016. -
URL: https://www.weforum.org/about/the-fourth-industrial-revolution-by-klaus-schwab Taylor T. A brief breakdown of declarative vs. imperative programming // TechTarget. -2022. - URL: https://www.techtarget.com/searchapparchitecture/tip/A-brief-breakdown-of-declarative-vs-imperative-programming The effect of industrial revolutions on the transformation of social and economic systems / Melnyk L., Kubatko O., Dehtyarova I., Matsenko O., Rozhko O. // Problems
and Perspectives in Management. - 2019. - Vol. 17 (4). - P. 381-391. DOI: https://doi.org/10.21511/ppm.17(4).2019.31 Unsworth L., Cleirigh C. Multimodality and reading: the construction of meaning through image-text interaction // The Routledge Handbook of Multimodal Research / Ed. by Jewitt C. - London : Routledge, 2009. - P. 151-163. van Leeuwen T. Introducing social semiotics. - London : Routledge, 2005. - 301 p.
DOI: https://doi.org/10.4324/9780203647028 van Leeuwen T. Parametric systems: the case of voice quality // The Routledge Handbook of Multimodal Analysis. - London : Routledge, 2009. - P. 68-77. van Leeuwen T. The language of colour: an introduction. - London : Routledge, 2011. -120 p. van Roy P., Haridi S. Concepts, techniques, and models of computer programming. - Cambridge : MIT Press, 2004. - 931 p. - URL: http://aleteya.cs.buap.mx/~jlavalle/papers/ books_on_line/MTT.Press.Concepts.Techniques.and.Models.ofComputer.Programming.e Book-DDU.pdf
Zuboff S. The age of surveillance capitalism: the fight for a human future at the new frontier of power. - New York : Public Affairs, 2019. - 704 p.
References
Descartes, R. (1954). The geometry of Rene Descartes. New York: Dover. DOI:
https://doi.org/10.2307/2298850 Dewar, J.A. (1998). The information age and the printing press: looking backward to
see ahead. Santa Monica: RAND Corporation. DOI: https://doi.org/10.7249/P8014 Eisenstein, E.L. (1979). The printing press as an agent of change. Cambridge: Cambridge University Press. DOI: https://doi.org/10.1017/CBO9781107049963 Halliday, M.A.K. (1978). Language as social semiotic: the social interpretation of language and meaning. London: Edward Arnold. Retrieved from: https://books.google.ru/ books/about/Language_as_Social_Semiotic.html?id=SjVxAAAAIAAJ&redir_esc=y Halliday, M.A.K. (2005). On matter and meaning: the two realms of human experience.
Linguistics and the Human Sciences. DOI: https://doi.org/10.1558/lhs.2005.L1.59 Halliday, M.A.K. (2008). Complementarities in language. Beijing: Commercial Press. Retrieved from: https://books.google.ru/books/about/Complementarities_in_Language. html?id=vkiXQQAACAAJ&redir_esc=y Halliday, M.A.K. (2009). Collected works of M.A.K. Halliday. London: Continuum. Retrieved from: https://books.google.ru/books/about/Collected_Works_of_M_A_K_ Halliday.html?id=7MsnPQAACAAJ&redir_esc=y Halliday, M.A.K, Matthiessen, C.M.I.M. (2014). Halliday's introduction to Functional
Grammar. London: Routledge. DOI: https://doi.org/10.4324/9780203431269 Hermann, M., Pentek, T., Otto, B. (2016). Design principles for Industrie 4.0 scenarios. In 49th Hawaii International Conference on System Sciences (HICSS) (pp. 39283937.). Koloa. DOI: https://doi.org/10.1109/HICSS.2016.488 Hilbert, M. (2020). Digital technology and social change: the digital transformation of society from a historical perspective. Dialogues in Clinical Neuroscience, 22(2), 189-194. DOI: https://doi.org/10.31887/DCNS.2020.22.2/mhilbert
Kress, G., van Leeuwen, T. (2021). Reading images: the grammar of visual design.
London: Routledge. DOI: https://doi.org/10.4324/9781003099857 Landes, D.S. (2003). The unbound Prometheus: technological change and industrial development in Western Europe from 1750 to the present. Cambridge: Cambridge University Press. DOI: https://doi.org/10.1017/CB09780511819957 Loukides, M. (2020). Multi-paradigm languages. Retrieved from: https://www.oreilly.com/
radar/multi-paradigm-languages/ Lyons, M. (2011). Books: a living history. Los Angeles: J Paul Getty Museum. Martin, J.R., Rose, D. (2007). Working with discourse: meaning beyond the clause. London: Continuum. Retrieved from: https://www.researchgate.net/publication/299534824_ Working_with_discourse_Meaning_beyond_the_clause Martinec, R., Salway, A. (2005). A system for image-text relations in new (and old) media. Visual Communication, 4, 337. DOI: 10.1177/1470357205055928. Retrieved from: https://csis.pace.edu/~marchese/TextImage/image-text-allmedia..pdf O'Halloran, K.L. (2005). Mathematical discourse: language, symbolism and visual images.
London, New York: Continuum. DOI: https://doi.org/10.5860/choice.43-6575 O'Halloran, K.L., Tan, S., Marissa, K.L.E. (2017). Multimodal analysis for critical thinking. Learning, Media and Technology, 42(2), 147-170. DOI: https://doi.org/ 10.1080/17439884.2016.1101003 O'Toole, M. (2011). The language of displayed art. London, New York: Routledge. Philbeck, T., Davis, N. (2018). The fourth industrial revolution: Shaping a new era. Journal of International Affairs. Retrieved from: https://jia.sipa.columbia.edu/fourth-industrial-revolution-shaping-new-era Royce, T. (2007). Intersemiotic complementarity: a framework for multimodal discourse analysis. New Directions. NJ: Lawrence Erlbaum Associates. DOI: https://doi.org/10.4324/9780203357774-7 Schwab, K. (2016). The fourth industrial revolution. Geneva: World Economic Forum. Retrieved from: https://www.weforum.org/about/the-fourth-industrial-revolution-by-klaus-schwab
Taylor, T. (2022). A brief breakdown of declarative vs. imperative programming. TechTarget. Retrieved from: https://www.techtarget.com/searchapparchitecture/tip/A-brief-breakdown-of-declarative-vs-imperative-programming Melnyk, L. (2019). The effect of industrial revolutions on the transformation of social and economic systems. Problems and Perspectives in Management, 17(4), 381-391. DOI: https://doi.org/10.21511/ppm.17(4).2019.31 Unsworth, L., Cleirigh, C. (2009). Multimodality and reading: the construction of meaning through image-text interaction. In Jewitt, C. (ed.) The Routledge Handbook of Multimodal Research (pp. 151-163). London: Routledge. van Leeuwen, T. (2005). Introducing social semiotics. London: Routledge. DOI:
https://doi.org/10.4324/9780203647028 van Leeuwen, T. (2009). Parametric systems: the case of voice quality. In The
Routledge Handbook of Multimodal Analysis (pp. 68-77). London: Routledge. van Leeuwen, T. (2011). The language of colour: an introduction. London.
van Roy, P., Haridi, S. (2004). Concepts, techniques, and models of computer programming. Cambridge: MIT Press. Retrieved from: http://aleteya.cs.buap.mx/~jlavalle/papers/ books_on_line/MIT.Press.Concepts.Techniques.and.Models.of.Computer.Programming.e Book-DDU.pdf
Zuboff, S. (2019). The age of surveillance capitalism: the fight for a human future at the new frontier ofpower. New York: Public Affairs.
Сведения об авторе
О'Хэллоран Кей Л. - профессор и заведующий кафедрой коммуникаций и медиа, Ливерпульский университет, Великобритания, Ливерпуль, kay.ohalloran@liverpool.ac.uk, ORCID ID: 00000002-7950-0889, Scopus Author ID: 7006034042
About the author
O'Halloran Kay L. - Chair Professor and Head of the Department of Communication and Media, University of Liverpool, Liverpool United Kingdom, kay.ohalloran@liverpool.ac.uk
Сведения о переводчиках
Тивьяева Ирина Владимировна - доктор филологических наук, доцент, профессор кафедры языкознания и переводоведения, Московский городской педагогический университет, Россия, Москва, tivyaeva@yandex.ru, ORCID ID: 0000-0002-6316-784X, Researcher ID: H-9075-2017, Scopus Author ID: 57103732800
Пантелеев Александр Дмитриевич - магистр, Московский городской педагогический университет, Россия, Москва, pad257097@gmail.com, ORCID ID: 0000-0001-5796-8766, Researcher ID: HKV-7477-2023
About translators
Tivyaeva Irina Vladimirovna - Doctor habil. (Philology), Associate Professor, Professor at the Department of Linguistics and Translation Studies, Moscow City University, Russia, Moscow, tivyaeva@yandex.ru, ORCID ID: 0000-0002-6316-784X, Researcher ID: H-9075-2017, Scopus Author ID: 57103732800
Panteleev Aleksandr Dmitrievich - Graduate Student, Moscow City University, Russia, Moscow, pad257097@gmail.com, ORCID ID: 0000-0001-5796-8766, Researcher ID: HKV-7477-2023
