Визуализация медиа: техники изучения больших медиаколлекций Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

Визуализация медиа:

техники изучения больших медиаколлекций

Перевод с английского Ксении Майоровой по изданию: © Mano-vich L. Media Visualization: Visual Techniques for Exploring Large Media Collections // Media Studies Futures / K. Gates (ed.). L.; N.Y.: Wiley-Blackwell, 2012. Публикуется с любезного разрешения автора.

Лев Манович

Доктор визуальных и культурных исследований, руководитель лаборатории Software Studies Initiative в Калифорнийском университете в Сан-Диего (UCSD), профессор Городского университета Нью-Йорка. Адрес: 365 Fifth Avenue, New York, NY 10016, USA. E-mail: manovich.lev@gmail.com.

Ключевые слова: визуализация медиа; big data; медиа-коллекции; программное обеспечение; паттерны.

Статья посвящена описанию эффективных инструментов для исследования и анализа непрерывно увеличивающейся в современ-

0000000000882709700000000 9000000002796187000000007 0300000069372341000000013 6200000051172680000000084 2600000076709100600000089 2300000085911009800000020 9900000021820064200000013 6800000042100647500000018 43000000880064 65300000097 1000000010028282000000034 4 600000000525471200000071 3900000004299605600000027 3000000091294455000000008 0000000802975890000000000 9058443883061335679799431 9461367884079224841415304 1164891593883887931814732 1813558669494772119325368 8945629527446071214642623 5959388780685396452171726 0531906184882709744128817 9614261512796187047534547 0320680769372341732265313 6215872551172683854374584

Введение: как работать с большими массивами медиаданных?

Исследователям начала XXI века доступны небывалые объемы медиа — превосходящие их возможности изучить, не говоря уже о том, чтобы просто просмотреть или даже прозондировать. Многочисленные взаимосвязанные нововведения и разработки 1990-2010-х годов — оцифровка коллекций аналоговых медиаданных, снижение цен и расширение возможностей переносных компьютерных устройств (ноутбуков, планшетов, телефонов, камер и т. д.), рост объемов пользовательского контента и социальных медиа, а также глобализация, вовлекающая в производство медиа

ных медиа визуальной информации и выявления связывающих ее символических паттернов. По наблюдениям автора, существующие методы поиска и анализа информации, восходящие к технологиям XX века (интерфейсы, поисковые системы и принципы создания метаданных), уже не позволяют справляться с данной задачей и требуют принципиальной модернизации на всех уровнях. Как открыть что-то интересное в огромных массивах медиаколлекций? Как с толком и эффективно просматривать эти коллекции, не имея изначального знания о том, что мы хотим найти? В статье описаны визуальные техники исследования больших медиаколлекций для выполнения этой задачи. Эти техники основаны на одной общей идее: использовать содержание коллекции — все изображения, их подмножества (темпоральные выборки) или их части (пространственные вы-

борки) — и представить его в различных пространственных конфигурациях, чтобы сделать видимыми паттерны и общую «форму» коллекции. В отличие от привычных практик визуализации информации данный подход получил название «визуализация медиа». Типичная визуализация информации предполагает сначала перевод мира в цифры, а затем визуализацию отношений между этими цифрами. Визуализация же медиа представляет собой перевод множества изображений в новые, метаизображения, позволяющие выявлять паттерны этого множества. Тем самым картинки переводятся в картинки. Концептуально визуализация медиа основана на трех операциях: изменении точки зрения с целью увидеть всю коллекцию, временной и пространственной выборке и перекартографировании (пересборке выбранных элементов медиа в новой конфигурации).

по всему миру все больше агентов и институтов, — спровоцировали экспоненциальное увеличение количества медиа, одновременно сильно облегчив поиск, обмен, распространение, обучение и исследование. Миллионы часов телевизионных программ, уже оцифрованные национальными библиотеками и медиамузеями, миллионы отсканированных газетных страниц XIX и XX веков1, 150 миллиардов снимков веб-страниц начиная с 1996 года2, сотни миллиардов видео на YouTube и фотографий на Facebook (согласно статистике Facebook на начало 2012 года, его пользователи загружают по 7 миллиардов изображений в месяц) — все эти данные, а также другие многочисленные медиаресурсы ждут того, чтобы за них «взялись».

Как можно на практике воспользоваться преимуществами этого нового масштаба медиа? К примеру, нас интересует то, как телевизионные программы в разных странах используют и кон-текстуализируют выступления политиков и их интервью. Релевантные большие медиаколлекции включают 1800 официальных

1. См. URL: http://www.chroniclingamerica.loc.gov.

2. См. URL: http://www.archive.org.

видео Барака Обамы из Белого дома, 500 часов президентских выступлений Джорджа Буша, 21 532 часа программ с Al Jazeera English (2007-2011) и 5167 часов телепрограмм DemocracyNow! (2001-2011). В совокупности эти коллекции содержат десятки тысяч часов видео. Мы хотим описать риторические, монтажные и кинематографические стратегии, характерные для каждого массива видео, понять, как разные каналы могут по-разному использовать одни и те же видео с политиками, определить крайние случаи и найти кластеры программ с одинаковыми паттернами работы с видео. Затруднение банально: как отсмотреть весь этот материал, чтобы начать разработку этих или иных тем?

Такие задачи трудновыполнимы, даже если мы имеем дело с большими коллекциями неподвижных изображений (к примеру, 307 тысяч изображений в галерее группы ArtNow на Flickr3, 268 тысяч портфолио профессиональных дизайнеров на coroflot. com, оцифрованные Библиотекой Конгресса 170 тысяч фотографий Администрации по защите фермеров и Управления военной информации за 1935-1944 годы4). Больше не работает основной метод работы с медиаобъектами, всегда помогавший, когда их количество было невелико, просмотреть все изображения и видео, найти паттерны и проинтерпретировать их.

Учитывая размеры многих медиаколлекций, невозможно просто просмотреть их содержимое (даже до того, как мы начнем формулировать вопросы с гипотезами и отбирать образцы для более детального анализа). Хотя может оказаться так, что причины этого — в ограниченных способностях человека к визуальному восприятию и обработке информации, я считаю, что на самом деле виной тому распространенные сегодня дизайны интерфейса. Популярные веб-интерфейсы для больших цифровых медиаколлекций, такие как «список», «галерея», «сетка» или «слайд-шоу», не позволяют нам увидеть содержание всей коллекции. Обычно они отображают лишь несколько единиц коллекции одновременно. Этот способ доступа не позволяет нам понять «форму» всей коллекции и заметить интересующие паттерны.

Большинство медиаколлекций содержат те или иные метаданные: имена авторов, даты производства, названия программ, форматы изображений или — в случае таких медиасервисов, как Flickr, — даты загрузки, пользовательские подписи и теги, гео-

3. См. URL: http://www.flickr.c0m/gr0ups/37996597808@N01/.

4. См. URL: http://www.loc.gov/pictures/.

графические данные и прочую информацию5. Будь у нас удобная форма доступа к таким метаданным по всей коллекции (например, электронные таблицы или база данных), это позволило бы нам по крайней мере понять распределения контента, дат, статистики просмотров и других параметров коллекции. К сожалению, обычно онлайн-галереи и медиасайты не предоставляют пользователям доступ к метаданным всей коллекции. Но даже если бы такой доступ предоставлялся, он не смог бы полноценно заменить непосредственный просмотр или чтение самих медиа. Даже самые богатые базы метаданных из доступных сегодня для медиаколлекций не схватывают многие паттерны, которые мы легко заметим, непосредственно просматривая видео, разглядывая фотографии или читая текст, то есть изучая сами медиа в противовес их метаданным6.

Против поиска: как искать, не зная, что хочешь найти

Распространенные в XIX и XX веках технологии (к примеру, волшебный фонарь, кинопроекторы, микрофильмы, мовио-ла и штеенбек, проигрыватели, аудио- и видеозаписывающие устройства) были созданы таким образом, чтобы давать доступ к отдельным единицам медиа на ограниченных скоростях. Одновременно шла организация сети распространения медиа: магазины аудио- и видеозаписей, библиотеки, телевидение и радио давали доступ лишь к небольшому числу объектов за раз. К примеру, вы не могли смотреть больше некоторого количества телевизионных каналов или взять в библиотеке напрокат больше нескольких видеокассет. Вместе с тем системы иерархической классификации затрудняли просмотр коллекции или навигацию по ней в порядке, не предусмотренном библиотечным каталогом. Двигаясь от полки к полке, вы следовали классификационной системе, основанной на темах, а книги в каждой из рубрик расставлялись согласно именам авторов в алфавитном порядке.

Данные системы распространения и классификации вынуждали исследователей медиа XX века заранее решать, что посмотреть, послушать или почитать. Обычно исследователь начинал, держа в уме какую-то тему — фильмы определенного автора, работы определенного фотографа или категории вроде «Амери-

5. См. URL: http://www.flickr.com/services/api/.

6. Хороший пример разнообразных метаданных медиа: http://www.getty-images.com/EditorialImages.

канское экспериментальное кино 1950-х годов» и «Открытки Парижа начала XX века». Невозможно было вообразить блуждание по всем когда-либо снятым фильмам и всем когда-либо напечатанным открыткам. (Один из первых медиапроектов, в которых повествование выстраивается вокруг навигации по медиаархиву, была «История кино» Жана-Люка Годара — в ней использованы фрагменты сотен фильмов.) Популярный в социальных науках объективистский метод работы с масштабными массивами медиа — контент-анализ, то есть разметка (тегирование) семантики медиаколлекции силами нескольких человек с помощью пред-заданного терминологического словаря7, также требует от исследователя заранее решить, какая информация значима. Иными словами, вместо исследований медиаколлекций без каких бы то ни было предвзятых ожиданий или гипотез — просто «посмотреть, что там» — исследователь должен был постулировать «что там было», то есть информацию какого толка стоит разыскивать.

К сожалению, сегодняшний стандартный способ доступа к медиа — компьютерный поиск — не позволяет нам покинуть эту парадигму. Поисковый интерфейс представляет собой пустую форму, ожидающую, что вы что-то в ней напечатаете. Прежде чем кликнуть на кнопку поиска, вы должны решить, по каким ключевым словам и фразам будете искать. То есть, хотя поисковая система значительно увеличивает скорость получения доступа к искомой информации, ее фундаментальная предпосылка (истоки которой мы можем проследить вплоть до 1950 года, когда большинство ученых и не ожидали, насколько огромными станут цифровые коллекции) состоит в том, что вы заранее что-то знаете о коллекции, которую будете изучать.

Иначе говоря: поиск предполагает, что вы хотите найти иголку в информационном стоге сена. При этом он не позволяет вам увидеть форму этого стога. Если бы вы могли увидеть ее, это натолкнуло бы вас на какие-то идеи относительно того, что бы еще там стоило поискать помимо той иголки, которую вы держали в голове изначально. Поиск также не показывает, в какой части стога располагаются другие иголки, то есть он не показывает, как определенные информационные объекты и подмножества данных относятся к массиву данных в целом. Использовать поисковую систему — это как смотреть на картину пуантилиста

7. Подробнее см.: Stemler S. An overview of content analysis // Practical Assessment, Research & Evaluation. 2001. Vol. 7. № 17. URL: http://PAREon-line.net/getvn.asp?v=7&n=17.

вблизи и видеть только цветные точки, не имея возможности отдалиться на достаточное для восприятия форм расстояние.

Парадигма гипертекста, определявшая интернет 1990-х годов, точно так же позволяет пользователю перемещаться в сети только по кем-то заданным ссылкам, а не двигаться в любом направлении. Это согласуется с изначальным пониманием гипертекста, которое сформулировал в 1945 году Ванневар Буш: для исследователя это способ прокладывать «тропы» в массивах научной информации, а для других — способ следовать этими тропами.

Мой неформальный обзор крупнейших из доступных сегодня онлайн институциональных медиаколлекций (europeana.org, archive.org, artstor.com и др.) показывает, что обычно предлагаемый ими интерфейс сочетает в себе технологию иерархических категорий XIX века и информационного поиска середины XX века (то есть поиск с помощью метаданных, записанных для определенных медиаданных). Иногда у коллекций есть тематические теги. И категории, и метаданные, и теги были прописаны архивариусами, управляющими коллекциями. Это навязывает данным определенные порядки организации. Когда пользователь получает доступ к институциональным медиаколлекциям через их веб-сайты, все, что он в итоге может,— лишь передвигаться по ограниченному количеству траекторий, заданных таксономией коллекции и типами метаданных.

Напротив, когда вы наблюдаете нечто непосредственно, своими глазами, то можете смотреть в любую сторону когда вам угодно. Это позволяет вам быстро замечать разнообразие паттернов, структур и отношений. К примеру, представьте, как вы сворачиваете за угол и перед вами открывается вид на площадь с прохожими, кафе, машинами, деревьями, рекламными плакатами, витринами магазинов и прочими элементами. Вы можете быстро распознать и проследить множество динамически меняющихся паттернов, основываясь на зрительной и семантической информации: параллельно движущиеся машины, выкрашенные в один цвет дома, идущие своей дорогой или беседующие друг с другом люди, необычные лица, выделяющиеся витрины магазинов и т. д.

Нам нужны похожие техники, которые позволят осматривать обширные «медиавселенные» и быстро распознавать все интересные паттерны. Эти техники должны работать со скоростями, во много раз превышающими стандартную скорость воспроизведения (в случае медиа, обладающих временным измерением). В случае неподвижных картинок мне нужно суметь вычленить

важную информацию из миллиона изображений за то же самое время, которое потребуется для аналогичной операции с одним изображением. Эти техники должны сжимать огромные «медиа-вселенные» в меньшие и обозримые медийные «ландшафты», совместимые с человеческими скоростями обработки информации. Вместе с тем они должны сохранить достаточное количество деталей исходных изображений, видео, аудио и интерактивных опытов, чтобы можно было изучать трудноуловимые паттерны в массивах данных.

Визуализация медиа

Ограничения стандартных интерфейсов в случае онлайн-медиа-коллекций распространяется и на интерфейсы программ для просмотра, каталогизации и редактирования. Эти приложения позволяют пользователям искать и просматривать коллекции изображений и видео, а также отображать множества изображений в формате автоматического слайд-шоу или презентации в стиле PowerPoint. Впрочем, их возможности в качестве инструментов исследования весьма ограниченны. Такие приложения, как iPhoto, Picasa и Adobe Bridge, а также сайты для обмена изображениями вроде Flickr и Photobusket отображают картинки лишь в нескольких стандартных форматах — обычно это двухмерная сетка, линейка или слайд-шоу, а в некоторых случаях — отображение на карте (фотографии, наложенные на карту мира). Чтобы показать фотографии в новом порядке, пользователю придется потратить время на добавление новых метаданных в файл каждой из них. Невозможно автоматически упорядочить изображения по их визуальным качествам или семантическим отношениям. И точно так же невозможно создавать анимацию, сравнивать коллекции из сотен тысяч изображений или с помощью разнообразных техник визуализации информации исследовать паттерны множеств изображений.

Инструменты для построения графиков и визуализации, которые есть в Google Docs, Excel, Tableau8, manyeyes9 и иных программах для построения графиков, таблиц и работы со статистикой, предлагают ряд техник визуализации, предназначенных для выявления паттернов в массивах данных. Однако у указанных инструментов тоже есть ограничения. Ключевой принцип

8. См. URL: http://www.tableausoftware.com.

9. См. URL: http://www-958.ibm.com/software/data/cognos/manyeyes. 72 ЛОГОС. ТОМ 25, #2 [ 104] 2015

создания таблиц и визуализации информации состоит в репрезентации данных с помощью точек, полос, линий и других простых графических элементов. Этот принцип не менялся со времен первых статистических графиков начала XIX века вплоть до современных программ интерактивной визуализации, способных работать с большими массивами данных10. Хотя такие репрезентации и выявляют взаимосвязи в данных, они одновременно скрывают от пользователя объекты, стоящие за данными. Если для многих типов данных такой метод приемлем, то в случае изображений и видео его применение проблематично. К примеру, свою задачу прекрасно выполняет двумерный точечный график, показывающий распределение оценок в группе студентов, причем каждый из них представлен в виде точки. Но тот же точечный график ограниченно применим для репрезентации смены стилистических паттернов в творчестве художника — у нас нет возможности видеть изображения самих художественных работ. Начиная с 2008 года наш проект Software Studies Initiative («Инициатива по исследованию программного обеспечения») в Калифорнийском университете в Сан-Диего разрабатывал визуальные техники, сочетающие в себе сильные стороны приложений для просмотра медиа и приложений для построения графиков и визуализации11. Как и последние, эти техники создают графики для демонстрации взаимосвязей и паттернов в массивах данных. Однако если приложение для создания графиков способно отображать данные только в виде точек, линий или иных простых графических элементов, то наша программа может показывать имеющиеся в коллекции изображения. Такой подход мы называем визуализацией медиа12.

Типичная визуализация информации предполагает сначала перевод мира в цифры, а затем визуализацию отношений между полученными цифрами. В противоположность этому визуализация медиа представляет собой перевод множества изображений в новое изображение, способное выявить паттерны этого множества. То есть картинки переводятся в картинки.

Визуализацию медиа можно формально определить как создание новых визуальных репрезентаций из визуальных объектов коллекции. В случае коллекции, содержащей отдельные изображения (к примеру, уже упомянутая коллекция фотографий, которая была создана в 1930-е годы Администрацией по защите

10. Manovich L. What Is Visualization? // Visual Studies. 2011. Vol. 26. № 1. P. 36-49.

11. См. URL: http://www.softwarestudies.com.

12. См. URL: http://www.flickr.com/photos/culturevis/5866777772/.

фермеров и хранится ныне в Библиотеке Конгресса), визуализация медиа показывает все изображения или их части, по-разному упорядоченные в соответствии с метаданными (даты, места, авторы), свойствами их содержания (например, наличие лиц) и/или визуальными характеристиками (композиция, направленность линий, контраст, текстуры и прочее). Если мы хотим визуализировать коллекцию видео, то обычно удобнее выбрать ключевые кадры, отражающие характеристики и паттерны видео. Такая выборка может осуществляться автоматически по разным критериям: к примеру, резкое изменение цвета, движения, позиции камеры, постановки и других кинематографических аспектов, а также содержательные изменения — границы кадра и сцены, начало музыки или диалога, новые темы в диалогах персонажей и т. д.

Наши техники визуализации медиа можно использовать как независимо, так и в сочетании с цифровой обработкой изображений. Цифровая обработка изображений концептуально схожа с широко используемым в цифровых гуманитарных науках автоматическим анализом текстов13. Текстовый анализ представляет собой автоматическое создание статистики по разным аспектам содержания каждого из текстов коллекции: частота использования слов, их длина и позиция, длина предложений, частота использования существительных и глаголов и т. п. Эти статистические данные (или features, как они называются в компьютерных науках) используются для изучения паттернов в отдельных текстах, отношений между текстами, литературными жанрами и т. д.

Аналогичным образом обработку цифровых изображений можно использовать для подсчета статистики по разным визуальным характеристикам изображений: средняя яркость и насыщенность, количество и характеристики форм, количество границ и их направления, ключевые цвета и т. д. Эти характеристики можно использовать в похожих исследованиях. К примеру, в анализе визуальных различий между новостными фотографиями из разных журналов или из разных стран, изменений визуального стиля фотографа на протяжении его творческого пути или эволюции новостных фотографий в течение XX века. Можно использовать их и для первоначального исследования любой большой коллекции изображений14.

13. См. URL: http://toolingup.stanford.edu/?page_id=981.

14. Этот метод подробно описан в: Idem. How to Compare One Million Images? // Understanding Digital Humanities / D. Berry (ed.). N.Y.: Palgrave Macmillan, 2012. P. 249—298.

Оставшаяся часть этой статьи будет посвящена техникам визуализации медиа, тоже подходящим для первоначального изучения любой коллекции медиа, но вместе с тем не требующим цифровой обработки всех изображений. Я представлю основные техники и проиллюстрирую их примерами из разных типов медиа. При использовании этих техник исследователи могут применять разнообразные программные инструменты и технологии — писать сценарии для Photoshop, использовать медиа-утилиты с открытым исходным кодом (скажем, ImageMagic15) или писать новый код в Processing16. В своей лаборатории мы используем ImageJ1 — программу для обработки изображений с открытым исходным кодом. Она обычно применяется в биологических и медицинских исследованиях, астрономии и иных научных областях. Мы написали много специальных макросов, увеличивающих функционал ImageJ, чтобы удовлетворить потребности исследователей18. Эти макросы позволят вам создать любой из описанных в настоящей статье типов визуализации, а также получить основные визуальные характеристики любого количества изображений и видео. Иными словами, эти техники уже сейчас доступны для всех желающих попробовать применить их к собственным массивам данных.

Кроме того, вместе с лабораторией Gravity в Calit2 (Калифорнийский институт телекоммуникации и информационных технологий) мы разработали дополнительную версию наших инструментов для следующего поколения визуальных суперкомпьютерных систем вроде HIPerSpace19. В своей нынешней конфигурации она состоит из семидесяти 30-дюймовых мониторов с разрешением 35 840 х 8000 пикселей. С помощью нашего приложения мы можем загружать одновременно до 10 тысяч изображений высокого разрешения, а затем в реальном времени интерактивно создавать разнообразные медиавизуализации20.

Разработка наших инструментов определялась исследовательскими интересами. В течение последних трех лет мы использовали наше программное обеспечение для анализа и ви-

15. См. URL: http://www.imagemagick.org.

16. См. URL: http://processing.org.

17. См. URL: http://rsbweb.nih.gov/ij/.

18. Вы можете скачать эти макросы и подробные руководства по их эксплуатации на нашем сайте: http://lab.softwarestudies.com/p/software.html.

19. См. URL: http://vis.ucsd.edu/mediawiki/index.php/Research_Projects:_HI-PerSpace.

20. Видео, иллюстрирующее такое интерактивное изучение коллекций изображений: http://youtu.be/-YlT1qFhJhk.

зуализации более чем 20 различных коллекций изображений и видео из ряда областей. Это, к примеру21, миллион страниц манги (японских комиксов)22, 340 тысяч картинок из групп Art-now и GraphicDesign во Flickr, 4553 обложки журнала Time, опубликованные в период с 1923 по 2009 год23, 20 тысяч страниц журналов Science и PopularScience (1872-1922)24, 100 часов записей видеоигр25 и 130 еженедельных обращений президента Барака Обамы (2009-2011)26. Кроме того, настоящее программное обеспечение использовалось студентами и аспирантами Калифорнийского университета в Сан-Диего на занятиях по медиа и истории искусства. Вдобавок мы сотрудничаем с культурными организациями, заинтересованными в применении наших методов и инструментов к своим медиаколлекциям и массивам данных. Это Библиотека Конгресса, Исследовательский институт Гетти, Австралийский музей кино, Нидерландский институт звука и изображения, фотоагентство Magnum Photos. Наконец, мы работали с учеными и исследовательскими группами из калифорнийских университетов в Лос-Анджелесе и Сан-Диего, Чикагского университета, Университета Порту в Португалии и Сингапурского национального университета, применявшими эти инструменты к массивам визуальных данных своих дисциплин — истории искусства, исследований кино и медиа, исследований танца и регионоведения.

Наше программное обеспечение было разработано для работы с коллекциями изображений и видео любых размеров. Самое масштабное его применение — это анализ одного миллиона страниц переведенной фанатами манги27. Впрочем, у этих инструментов нет внутренних ограничений, они применимы и к более крупным собраниям.

21. См. URL: http://lab.s0ftwarestudies.c0m/p/research_14.html.

22. См. URL: http://lab.s0ftwarestudies.c0m/2010/11/0ne-milli0n-manga-pages. html.

23. См. URLs: http://www.flickr.c0m/ph0t0s/culturevis/4347477551/; http://www. flickr.c0m/ph0t0s/culturevis/4038907270/.

24. См. URL: http://lab.s0ftwarestudies.c0m/2010/11/science-and-p0pular-sci-ence-magazines.html.

25. См. URLs: http://www.flickr.c0m/ph0t0s/culturevis/4039126932/; http://www. flickr.c0m/ph0t0s/culturevis/4038975476/.

26. См. URL: http://lab.s0ftwarestudies.c0m/2011/09/digging-int0-gl0bal-news. html.

27. Douglass J., Huber W., Manovich L. Understanding Scanlati0n: H0w t0 Read One Milli0n Fan-Translated Manga Pages // Image and Narrative. 2011. V0l. 12. № 1. P. 206—228.

Измерения визуализации медиа

Эта часть статьи посвящена сравнению методов визуализации медиа с другими методами анализа и визуализации данных. Как я уже отметил, визуализацию медиа можно понимать как противоположность статистическим графикам и визуализации информации.

Также визуализацию медиа можно сопоставить с контент-анализом (ручное кодирование медиаколлекций, обычно используемое для описания семантики) и методами автоматического медиаанализа, используемыми коммерческими компаниями (видеоподписи, поиск изображения на основе контента, кластер-анализ, распознавание концептов, добыча изображений и видео и др.). В отличие от контент-анализа техники медиавизуализа-ции не требуют затратного по времени создания новых метаданных о коллекции медиа. В отличие же от автоматических компьютерных методов они не предполагают специальных технических знаний и могут использоваться каждым, кто знаком с основными инструментами цифровых медиа (взять хотя бы QuickTime, iPhoto и Excel).

Метод медиавизуализации основан на том, что коллекции изображений содержат по крайней мере минимальные метаданные. Эти метаданные определяют, в каком порядке должны располагаться изображения, и/или группируют их в различные категории. В случае цифрового видео упорядочивание отдельных кадров встроено в сам формат. В зависимости от жанра можно привести другие последовательности более высокого порядка: эпизоды и сцены в повествовании, порядок сюжетов в выпуске новостей, еженедельные эпизоды телевизионного сериала.

Есть два взаимодополнительных способа использовать эти уже существующие информационные последовательности. Во-первых, мы можем собрать в коллекцию все изображения в заданной метаданными последовательности. К примеру, в визуализации 4535 обложек журнала Time все изображения упорядочены по дате публикации28. Во-вторых, чтобы обнаружить паттерны, которые такой порядок может от нас скрывать, можно расположить изображения в новых последовательностях и макетах. Поступая таким образом, мы сознательно идем против конвенционального понимания массивов культурных изображений,

28. См. URL: http://www.flickr.com/photos/culturevis/4038907270/in/set-721 57624959121129/.

которые зачастую реифицируются метаданными. Такую концептуальную операцию мы называем «перекартографирование». Изменяя принятые способы выстраивания последовательности артефактов медиа и группируя их в категории, мы создаем новые «карты» знакомых нам вселенных и ландшафтов медиа.

Кроме того, техники визуализации медиа могут принадлежать второму концептуальному измерению в зависимости от того, используют ли они все медиа в коллекции или только выборку. Мы можем делать темпоральную (используя лишь некоторые из доступных изображений) или пространственную (используя только их фрагменты) выборку. Примером первой техники является визуализация 60-минутного документального фильма Дзиги Вертова «Одиннадцатый» (1928), в которой используется лишь первый кадр каждого из монтажных кадров29. Примером второй техники выборки является срез из 4353 обложек журнала Time, в которой используется только однопиксель-ная вертикальная линия с каждой из обложек30.

Третье концептуальное измерение, также помогающее нам отобрать возможные техники медиавизуализации,— это используемые ими средства информации. Как я уже объяснял, медиа-визуализация исходит из наличия в коллекции медиа по крайней мере минимальных метаданных, так что нам не требуется добавление новых метаданных по каждому из объектов коллекции. Однако если мы решим добавить такие метаданные (например, теги содержания, созданные путем ручного контент-анализа, ярлыки, разделяющие медиаколлекцию на классы, сгенерированные путем автоматического кластер-анализа, автоматически распознаваемые семантические концепты, результаты распознавания лиц и извлеченные путем обработки цифровых изображений визуальные характеристики), то вся эта информация тоже может быть использована в визуализации.

На самом деле медиавизуализация представляет собой новый способ работать с этой информацией. Представьте информацию о контенте, которую мы вручную добавили к нашей коллекции обложек Time: к примеру, она делит ее на обложки с портретами конкретных личностей и обложки, иллюстрирующие некоторый концепт или проблему с помощью концептуальной композиции. Как правило, для визуализации такой информации исследователь использует техники вроде линейного графика. Однако мы

29. См. URL: http://www.flickr.com/photos/culturevis/3988919869/.

30. См. URL: http://www.flickr.com/photos/culturevis/4040690842/.

также можем создать визуализацию с высоким разрешением, которая покажет все обложки и с помощью красных рамок выделит обложки, подпадающие под одну из этих категорий31.

Техники визуализации медиа

Далее некоторые из этих различий будут раскрыты подробнее и проиллюстрированы созданными в нашей лаборатории визуализациями. В первом пункте я расскажу о простейшей технике: использование всех изображений коллекции и их упорядочивание в последовательности, определенной имеющимися метаданными. Второй пункт затронет тему темпоральной и пространственной выборки — отображения фрагментов изображений или некоторых изображений из коллекции. Третий пункт будет посвящен операции перекартографирования.

1. Монтаж коллекции

Концептуально и технически самая простая техника — собрать связанные друг с другом визуальные артефакты и показать их сразу, на одной картинке. Коль скоро медиаколлекции всегда сопровождаются такими метаданными, как даты создания или обновления, то, используя эти метаданные, можно организовать показ артефактов32.

Данную технику можно рассматривать как расширение простейшей интеллектуальной операции исследований медиа и гуманитарных наук — сравнения множества связанных объектов. Однако если технологии XX века позволяли сопоставлять лишь небольшое количество артефактов за один раз (к примеру, стандартный метод чтения лекции по истории искусства состоял в использовании двух проекторов для показа и обсуждения двух расположенных рядом изображений), то современные приложения для стандартных настольных компьютеров, ноутбуков, нетбуков, планшетов и сетей позволяют одновременно отображать тысячи изображений в формате сетки или плитки. Изображения в таких сетках могут быть упорядочены в соответствии с любыми метаданными из доступных в наличии: год создания, страна, имя автора, размер изображения или дата за-

31. См. URL: http://www.flickr.com/photos/culturevis/4347477551/.

32. См. URLs: http://www.flickr.com/photos/culturevis/4038907270/; http://www. flickr.com/photos/culturevis/4039126932/; http://www.flickr.com/photos/ culturevis/4038975476/.

грузки. Как уже обсуждалось выше, все распространенные органайзеры и редакторы фотографий, включая iPhoto, Picasa, Adobe Photoshop и Apple Aperture, поддерживают эту функцию. Такие сервисы поиска изображений, как Google Image Search, и сервисы обмена контентом вроде Flickr и Picasa тоже используют сетку в качестве интерфейса по умолчанию.

Однако для создания сеток изображений намного удобнее использовать такие программы, как ImageMagic или ImageJ, специально предназначенные для обработки изображений: они предлагают намного больше опций и инструментов управления. В ImageJ специальная команда создания сетки называется «Сделать подборку» (Make Montage)33. Поскольку в лаборатории мы обычно используем именно эту программу, то будем называть подобные сетки изображений подборками. Наш специальный плагин ImageMontage добавляет дополнительные функции, недоступные встроенной в ImageJ команде Make Montage34.

Увеличение числа изображений, которые можно единовременно визуально сравнить, влечет за собой качественные изменения в самом наблюдении. Возможность отображать тысячи изображений за один раз позволяет наблюдать происходившие со временем постепенные исторические изменения, отличающиеся от других изображения (то есть отклонения), различия в вариативности между разными группами изображений. Кроме того, эта возможность позволяет нам распознать кластеры изображений, имеющих общие характеристики, и сравнивать формы этих кластеров. Иными словами, подборка — это идеальная техника для «исследовательского медиаанализа».

Для пущей эффективности даже такой простой технике может потребоваться некоторая трансформация визуализируемых медиа. К примеру, чтобы увидеть сходства, различия и закономерности в больших медиаколлекциях, чрезвычайно важно привести все изображения к одному размеру. Мы также считаем, что лучше всего расположить изображения вплотную друг к другу без пробелов (поэтому обычная программа для работы с медиаколлек-циями, оставляющая промежутки при отображении, не подходит для исследования закономерностей в коллекции изображений).

33. См. руководство пользователя ImageJ http://imagej.ru/komandi-meniu-image/komandi-image-stacks.html.

34. См. инструкции по созданию визуализации с помощью монтажа в нашем руководстве: https://docs.google.com/documenVd/1gaBVMNa6IyP9J_lX-YHDW3Z_2WMWxsiGnyX_6dQrlAJE/.

Следующий пример иллюстрирует технику монтажа изобра-жений35. Мы уместили все 4535 обложек журнала Time за 19232009 годы в одном-единственном изображении с высоким разрешением. Визуализация раскрывает ряд исторических паттернов, в том числе следующие:

• Инструменты. В 1920-е и 1930-е годы при создании обложек Time использовались в основном фотографии. После 1941 года журнал переходит на рисунки. В последние десятилетия фотографии снова начинают преобладать. В 1990-е годы мы видим возникновение современного визуального языка, основанного на программных приложениях, который сочетает обработанные фотографии, графические и типографические элементы.

• Цвет vs ч/б. Переход от ранних черно-белых к полноцветным обложкам происходит постепенно, оба типа сосуществуют годами.

• Оттенки. Отдельные «цветовые периоды» опознаются по полосам: зеленый, желтый/коричневый, красный/синий, снова желтый/коричневый, желтый и светлый желтый/синий в 2000-х.

• Яркость. Изменения яркости (среднее арифметическое значений по «серой шкале» для всех пикселей для каждой обложки) происходят по тому же циклическому паттерну.

• Контраст и насыщенность. Обе характеристики постепенно увеличиваются на протяжении XX века. Однако с конца 1990-х наблюдается обратная тенденция: контраст и насыщенность обложек уменьшаются.

• Содержание. Изначально большинство обложек — это индивидуальные портреты на нейтральном фоне. Со временем на фоне портретов начинают появляться композиции, представляющие некоторый концепт. Позже эти две стратегии сосуществуют: портреты возвращаются к нейтральному фону, а концепты представляются композициями, которые могут включать в себя как объекты, так и людей, но не конкретных индивидов.

Визуализация также раскрывает важный «метапаттерн»: почти все изменения постепенны. Каждая новая коммуникацион-

35. См. URL: http://www.flickr.com/photos/culturevis/4038907270/.

ная стратегия вводится медленно, в течение нескольких месяцев, лет или даже десятилетий.

Техника подборки впервые была применена в таких цифровых арт-проектах, как Cinema Redux36 и The Whale Hunt37. Для создания своих подборок художники специально писали код. В каждом случае код использовался с определенным массивом данных и не предполагал использования кем-то еще с иными массивами. Программа ImageJ, однако, позволяет с легкостью монтировать изображения, не требуя написания индивидуального кода. Мы обнаружили, что эта техника пригодна для изучения любого массива данных, имеющего временные параметры, будь то эпизоды фильма, обложки и страницы журнальных изданий или множество картин, созданных художником в течение всего творчества.

Хоть метод подборки технически самый простой, охарактеризовать его теоретически чрезвычайно сложно. Учитывая, что визуализация информации обычно берет невизуальные данные и представляет их визуально, уместно ли говорить о подборке как методе визуализации? При создании подборки мы начинаем в области визуального и в ней же заканчиваем, то есть мы начинаем с отдельных изображений, собираем их вместе, а затем уменьшаем масштаб, чтобы увидеть их все одновременно.

Мы считаем, что этот метод оправданно называть визуализацией, если фокусироваться не на изменении характера данных при визуализации информации (от чисел и категорий к изображениям), а на другой ключевой операции: упорядочивании элементов визуализации, позволяющем пользователям с легкостью замечать паттерны, которые иначе заметить сложно. С этой точки зрения подборка — легитимная техника визуализации. Например, текущий интерфейс Google Books может показывать лишь несколько обложек любого журнала (в том числе Time) за один раз, так что сложно различить исторические паттерны. Однако если мы возьмем все обложки журнала и упорядочим их определенным образом (приведя к единому размеру и отобразив в прямоугольной сетке в порядке даты публикации, то есть сделав все одинаковым, чтобы взгляд мог сфокусироваться на улавливании различий), то эти паттерны будет гораздо легче увидеть38.

36. Dawes B. Cinema Redux. 2004. URL: http://www.brendandawes.c0m/pr0-ject/cinema-redux.

37. Harris J. The Whale Hunt. 2007. URL: http://thewhalehunt.0rg/.

38. Дальнейшее обсуждение отношений между визуализацией медиа и ви-

2. Темпоральная и пространственная выборки

Следующая техника — еще один концептуальный шаг. Вместо отображения всех изображений коллекции мы можем создать выборку, используя некоторую процедуру для отбора их подмножеств и/или их частей. Темпоральная выборка — это отбор подмножества изображений из большего массива изображений. Мы предполагаем, что эта последовательность задана такими метаданными, как номер кадра видео, дата загрузки пользовательских изображений на сайте социальных медиа или количество страниц в главе из манги. В таком случае отобранные изображения выстраиваются друг за другом в порядке, определенном метаданными.

Темпоральная выборка особенно полезна при представлении культурных артефактов, процессов и опытов, которые разворачиваются на протяжении значительных периодов времени. К примеру, прохождение видеоигры. В режиме «одиночной игры» оно может занять десятки и даже сотни часов. А в случае многопользовательских ролевых онлайн-игр (MMORPG) пользователи могут играть годами. Проведенное в 2005 году Ником Йи исследование выяснило, что игроки MMORPG проводили в игровом мире в среднем 21 час в неделю.

Мы создали две визуализации, суммарно фиксирующие 100 часов игры в Kingdom Hearts (2002, SquareCo., Ltd.) и Kingdom Hearts II (2005, Square-Enix, Inc.)39. Каждая игра была пройдена от начала до конца за несколько сессий. Взятые из всех сессий каждой игры фрагменты видео были собраны в единую цепочку. Затем из цепочек были сделаны выборки до шести кадров в секунду. В результате — 225 тысяч кадров Kingdom Hearts и 133 тысячи кадров Kingdom Hearts II. В визуализациях использовался каждый десятый кадр из полного набора кадров. Кадры были помещены в сетку в порядке развития игры (слева направо, сверху вниз).

Kingdom Hearts — это франшиза компьютерных игр и иных медиапродуктов, созданная в 2002 году в рамках сотрудничества между токийским издателем видеоигр Square (сейчас это Square-Enix) и The Walt Disney Company. Франшиза включает

зуализацией информации см. в: Manovich L. What Is Visualization? // Visual Studies. 2011. Vol. 26. № 1. P. 36-49.

39. См. URLs: http://www.flickr.com/photos/culturevis/4039126932/; http://www. flickr.com/photos/culturevis/4038975476/.

в себя оригинальных персонажей, созданных Square, и путешествие по мирам, представляющим медиапродукты Диснея («Тарзан», «Алиса в Стране чудес», «Ночь перед Рождеством» и т. д.). В каждом мире есть персонажи диснеевских фильмов. Цветовое и стилистическое оформление миров связано с визуальным стилем соответствующих лент. Визуализации раскрывают структуру прохождения игры, которое кружит между сюжетной историей и посещением диснеевских миров.

Темпоральная выборка используется в интерфейсе некоторых медиаколлекций. К примеру, интерфейс Internet Archive40 содержит регулярно сменяющуюся выборку эпизодов из видеоматериалов этой коллекции (параметры выборки в них зависят от типа видео). В компьютерных науках многие исследователи работают над резюмированием (summarization) видео: алгоритмы для автоматического создания компактных репрезентаций видеоконтента, обычно дающие на выходе небольшое количество кадров (Google Scholar по запросу video summarization выдает 17 600 статей). Поскольку использование этих алгоритмов требует серьезных технических познаний, мы предлагаем более простые техники, которые можно применять без подобного рода познаний, используя встроенные в программу ImageJ команды.

Пространственная выборка предполагает отбор фрагментов изображений в соответствии с определенной процедурой. Скажем, в визуализации обложек Time мы использовали пространственную выборку, так как обрезали некоторые картинки, чтобы избавиться от традиционной для журнала красной рамки. Впрочем, как показывает приведенный ниже пример, зачастую более серьезные выборки, оставляющие лишь маленький фрагмент изображения, могут быть эффективными в раскрытии паттернов, которые в полной версии изображения были едва различимы. Вслед за принятой практикой именования подобных визуализаций в медицинских и биологических исследованиях, а также в программе ImageJ назовем такие выборки срезами.

Примером послужит срез из 4535 обложек журнала Time, упорядоченных по дате публикации (с 1923 по 2009 год, слева направо). Каждая вертикальная колонка шириной в один пиксель получается из одной обложки41. Эта визуализация наглядно и в деталях показывает паттерны типографии, использования изображений и композиции. К примеру, мы видим, что слово

40. См. URL: http://www.archive.org.

41. См. URL: http://www.flickr.c0m/ph0t0s/culturevis/4040690842/. 84 ЛОГОС. ТОМ 25, #2 [ 104] 2015

Time никогда не располагается в одном и том же месте. Также мы замечаем, что когда журнал перешел от белого пространства вокруг иллюстрации к иллюстрациям до краев, то сначала это коснулось верхней части обложки и только потом — нижней. Такого рода паттерны сложно вычленить при полной подборке, демонстрирующей полные обложки42. Другой пример техники среза — наша визуализация 626 часов игры в Kingdom Hearts I43.

Естественно, встает вопрос об отношениях между показанными здесь техниками выборки визуальных медиа и стандартными теориями и практиками выборки в статистике и социальных науках44. Хотя вопрос требует детального анализа, позволим себе один общий комментарий. Статистика занимается осуществлением выборки таким образом, чтобы с ее помощью можно было получить надежное знание о большей совокупности. Так как собирать информацию о всей совокупности было непрактично, идея выборки стала основой применения статистики в XX веке.

Создавая медиавизуализации, мы зачастую сталкиваемся с такими же ограничениями. К примеру, в нашей визуализации Kingdom Hearts мы отобрали полные видео прохождения игры с помощью метода систематической выборки. В идеале, если бы программа ImageJ могла создавать подборки с использованием видеокадра, нам бы не пришлось этим заниматься.

Однако, как показывает визуализация обложек Time с помощью среза, чтобы раскрыть определенные паттерны, порой лучше существенно урезать данные, нежели использовать их в полном объеме. Хотя исторически меняющиеся паттерны в макете обложек (например, расположение и размер слова Time, размер изображений в центре относительно размера всей обложки) можно заметить и в подборке из полных изображений, од-нопиксельные колонки из каждой обложки представляют их более наглядно.

Следующие две визуализации иллюстрируют эту идею. В первой45 для репрезентации «Одиннадцатого» Дзиги Вертова использована равномерная выборка. Полная репрезента-

42. См. URL: http://www.flickr.com/photos/culturevis/4038907270/.

43. См. URL: http://www.flickr.com/photos/culturevis/4048161174/in/set-72157 622525209077. Кликните view all sizes и выберите размер original.

44. Крайне полезную дискуссию об основных понятиях выборки, о том, как она применяется в цифровых гуманитарных науках, см. в: Kenny A. The Computation of Style: An Introduction to Statistics for Students of Literature and Humanities. Oxford: Pergamon Press, 1982.

45. См. URL: http://www.flickr.com/photos/culturevis/4052703447/.

ция фильма бесполезна. Вторая визуализация46 ориентируется на семантически и визуально важную сегментацию фильма — последовательность эпизодов. Каждый эпизод представлен первым кадром. Кадры выстроены слева направо и сверху вниз в порядке следования эпизодов фильма. Несмотря на то что в последней визуализации использовано намного меньше кадров, чем в первой, она гораздо более содержательна. Можно рассматривать ее как воображаемую раскадровку фильма в режиме обратного проектирования — реконструированный план его съемки, редактуры и содержания.

3. Перекартографирование

Любую репрезентацию можно понимать как результат операции картографирования, осуществляемой на двух объектах: знаке и означаемой вещи. Математически картографирование — это функция, устанавливающая соответствия между элементами двух областей. Известный пример такого рода картографирования — техники геометрической проекции для создания двумерных изображений трехмерных сцен, например изометрическая проекция и перспективная проекция. Другой пример — это двухмерные карты физических пространств. Можно вспомнить всем известную таксономию знаков философа Чарльза Пирса: иконы, индексы, символы и диаграммы — это различные типы картографирования связей между объектом и репрезентацией.

Культурная теория XX века часто подчеркивала, что культурные репрезентации — всегда частичные карты, так как они могут показывать лишь некоторые аспекты объектов. Однако настоящее предположение нужно переосмыслить, учитывая десятки разработанных недавно технологий фиксации данных о физических объектах и возможность обрабатывать большие массивы данных с целью извлечения каких-то характеристик и иной информации. К примеру, Google осуществляет эту операцию несколько раз в день, так как анализирует более триллиона веб-ссылок47.

Несмотря на то что любая репрезентация всегда является результатом картографирования, современные медиатехнологии

46. См. URL: http://www.flickr.com/photos/culturevis/3988919869/.

47. Более подробно см.: Manovich L. Trending: The Promises and the Challenges of Big Social Data // Debates in Digital Humanities / M. Gold (ed.). Minneapolis, MN: Minnesota University Press, 2012.

(фотография, кино, аудиозапись, факс и копировальная машина, магнитная запись аудио и видео, программы для редактирования медиа, интернет) привели к новой практике культурного картографирования — использованию уже существующих медиаар-тефактов и созданию новых значений или новых эстетических эффектов путем выборки и пересборки частей этого артефакта.

Хотя эта стратегия уже использовалась во второй половине XIX века (в фотомонтаже), центральное место в современном искусстве она заняла с 1960-х годов. Она представлена в поп-арте, перемонтажных фильмах, апроприационизме, ремиксах и большой части медиаискусства — от первого перемонтажного фильма A Movie (Bruce Conner, lg58) до Technology/Transformation: Wonder Woman (Dara Birnbaum, lg7g), 24 Hour Psycho (Douglas Gordon, 1993), The Invisible Shapes of Things Past (Dirk Lüsebrink and Joachim Sauter, lgg5), The Top Grossing Film of All Time, i x i (Jason Salavon, 2000), Shredder (Mark Napier, lgg8), Every Shot/ Every Episode (Jennifer and Kevin McCoy, 200l), Cinema Redux (Brendan Dawes, 2004), Mass Ornament (Natalie Bookchin, 200g), The Clock (Christian Marclay, 20ll) и многих других лент. Если первые попытки перекартографирования осуществлялись вручную и задействовали небольшое количество элементов, то использование компьютеров позволило художникам автоматически создавать новые медиарепрезентации из тысяч элементов.

Если исходные медиаартефакты, такие как новостная фотография, полнометражный фильм или веб-сайт, понимать как «карту» некоторой «реальности», то арт-проект по пересборке элементов этого артефакта будет «перекартографированием». Значение и эстетический эффект подобных проектов проистекают из систематической пересборки в новые конфигурации выборок из исходных медиа.

Ретроспективно многие из этих арт-проектов можно считать визуализациями медиа. Они исследуют идеологические паттерны в массмедиа, экспериментируют со способами навигации по медиа и взаимодействия с ними, а также остраняют наше восприятие медиа.

Описанные в этой части техники уже используют ряд технологий, освоенных художниками ранее. Однако такие практики, как фотомонтаж, монтаж фильма, выборка, ремиксы и цифровое искусство, содержат множество других стратегий, которые визуализация медиа может присвоить. Как и в случае с проблемой выборки, необходим более детальный анализ отношений между художественными практиками по перекартографированию ме-

диа и визуализацией медиа как методом изучения в исследованиях медиа. Но одно отличие можно легко описать.

Как правило, в своих проектах художники осуществляют выборку артефактов медиа, отбирая части, а затем произвольно собирая эти части в новом порядке. К примеру, в классической работе видеоарта Technology/Transformation: Wonder Woman Дара Бирнбаум сделала выборку эпизодов телесериала Wonder Woman, чтобы выделить некоторые моменты, например превращение женщины в супергероя. Эти короткие клипы затем были многократно повторены, чтобы создать новый нарратив. Последовательность клипов не совпадала с их последовательностью в самом сериале.

В нашем случае нас интересует обнаружение паттернов полных медиаартефактов или их серий. Следовательно, независимо от того, используем ли мы все медиаобъекты (например, подборку обложек Time или подборку Kingdom Hearts) или их выборку (срез обложек Time), обычно мы начинаем с того, что выстраиваем их в том же порядке, что и в оригинале. Кроме того, мы скорее начнем с применения метода систематической выборки (например, отбирая каждый второй кадр из коротенького видео либо по кадру из каждого эпизода художественного фильма), чем будем отбирать выборки для поддержки нашего сообщения (передачи нового смысла, выражения своего мнения о работе).

Как уже утверждалось ранее, мы также экспериментируем с новыми правилами выборки и разными пространственными порядками медиаобъектов в визуализациях. Такие произвольные перекартографирования ближе к художественным практикам агрессивных пересборок медиаматериалов, несмотря на то что наша цель — обнаружение уже имеющихся паттернов, а не производство новых утверждений о мире с помощью выборок медиа. Насколько эта цель осуществима — вопрос открытый. Одно можно точно сказать: наши перекартографирования — это переинтерпретации медиаобъектов, которые принуждают зрителей обращать внимание на одни паттерны в ущерб другим.

В качестве примера техники перекартографирования возьмем визуализацию, в которой использованы первый и последний кадры каждого монтажного кадра фильма Дзиги Вертова «Одиннадцатый»48. Каждая колонка представляет монтажный план фильма с помощью его первого (верхний ряд) и последне-

48. См. URL: http://www.flickr.com/photos/culturevis/4117658480/. Щелкните view all sizes и выберите размер original.

го (нижний ряд) кадров. Монтажные кадры расположены слева направо в том порядке, в котором они идут в фильме. Для создания этой визуализации я написал код на основе макроса из ImagePlot

«Вертов» — это неологизм, созданный режиссером, который взял его в качестве своей фамилии в самом начале карьеры. Вертов — от русского глагола «вертеть». «Вертов» может отсылать к основному движению, осуществлявшемуся при киносъемке в 1920-х годах (вращение рукоятки камеры), а также к динамичности изобретенного Вертовым киноязыка: наряду с другими российскими и европейскими художниками, дизайнерами и фотографами того десятилетия он хотел остранить знакомую реальность с помощью динамических диагональных композиций и съемки с непривычных ракурсов.

Однако наша визуализация дает совершенно другое представление о Вертове. Почти каждый монтажный кадр «Одиннадцатого» начинается и заканчивается практически одними и теми же композицией и темой. Иными словами, монтажные кадры во многом статичны. Возвращаясь к самому фильму и исследуя эти кадры далее, мы обнаруживаем, что некоторые из них действительно полностью статичны — например, крупные планы человеческих лиц, неподвижно смотрящих в разных направлениях. В других монтажных кадрах используется неподвижная камера, фиксирующая в кадре некоторое движение, например работающие станки или занятых делом рабочих. Но при этом все действие остается полностью внутри кадра (то есть предметы и человеческие фигуры не выходят за рамку изображения камеры). Разумеется, можно вспомнить, что некоторые монтажные кадры самого известного фильма Вертова «Человек с киноаппаратом» (1929) были намеренно сняты как противоположности: в ходе съемки из движущегося автомобиля снимавшиеся предметы постоянно выпадали из поля видимости камеры. Но даже в этом, самом экспериментальном фильме Вертова такие кадры составляют очень малую часть фильма.

Заключение

Мы описали визуальные техники исследования больших медиа-коллекций. Эти техники основаны на одной общей идее: использовать содержание коллекции — все изображения, их подмножества (темпоральные выборки) или их части (пространственные выборки) — и представить его в различных пространственных

конфигурациях, чтобы сделать видимыми паттерны и общую «форму» коллекции. Чтобы выделить этот подход на фоне привычных практик визуализации информации, мы называли его визуализацией медиа.

Мы рассмотрели примеры, демонстрирующие, как визуализация медиа может работать с уже существующими метаданными. Однако если исследователи добавляют новую информацию к коллекции, то и ее в том числе можно использовать для визуализации медиа. К примеру, изображения могут быть выстроены с помощью кодированных вручную или распознаваемых автоматически характеристик контента либо визуальных характеристик, извлеченных с помощью обработки цифровых изображений. В случае видео также можно использовать автоматически извлекаемую или кодируемую информацию о техниках монтажа, компоновке кадра, присутствии человеческих фигур и иных объектов, объеме движения в каждом кадре и т. д.

Концептуально визуализация медиа основана на трех операциях: уменьшении масштаба с целью увидеть всю коллекцию (подборка изображений), временной и пространственной выборке и перекартографировании (пересборке выбранных элементов медиа в новой конфигурации). Зачастую требуется много времени и экспериментов, прежде чем с помощью техники перекартографирования будут получены значимые результаты. Первые два метода обычно дают информативные результаты быстрее. Поэтому каждый раз, когда мы собираем или загружаем новые массивы медиаданных, следующим шагом мы исследуем их с помощью подборок изображений или создания среза всех изображений коллекции.

Обратимся к определению слова browse из Wiktionary: «Сканировать, бегло просматривать в поиске интересующих вещей, особенно не имея предварительного представления о том, что искать». Также релевантно одно из значений слова exploration: «путешествовать где-либо в поисках открытия». Как открыть что-то интересное в огромных массивах медиаколлекций? Иными словами, как просматривать эти коллекции эффективно и с толком, не имея изначального знания о том, что мы хотим найти? Техники визуализации медиа дают нам некоторые базовые инструменты для выполнения этой задачи.

Media Visualization:

Visual Techniques for Exploring Large Media Collections

Lev Manovich. PhD in Visual and Cultural Studies, Director of the Software Studies Initiative at the University of California, San Diego (UCSD), Professor at The Graduate Center of the City University of New York.

Address: 365 Fifth Avenue, New York, NY 10016, USA.

E-mail: manovich.lev@gmail.com.

Keywords: media visualization; big data; media collections; software, patterns.

The digitization of historical visual collections and the emergence of user-generated visual content (Instagram, YouTube, and many other media sharing sites) create fascinating opportunities for cultural research, as well as a new problem. How can we work with sets of millions or billions of images and video? How can we discover interesting things in these collections, without prior knowledge of what we want to find? The article proposes visualization methods suitable for exploring massive collections of images and videos. It argues that existing mechanisms, such as search engines, are not effective for understanding patterns in a col-

References

Dawes B. Cinema Redux, 2004. Available at: http://brendandawes.com/pro-ject/cinema-redux. Douglass J., Huber W., Manovich L. Understanding Scanlation: How to Read One Million Fan-Translated Manga Pages. Image and Narrative, 2011, vol. 12, no. 1, pp. 206-228. Harris J. The Whale Hunt, 2007. Available

at: http://thewhalehunt.org/. Kenny A. The Computation of Style: An Introduction to Statistics for Students of Literature and Humanities, Oxford, Pergamon Press, 1982. Manovich L. How to Compare One Million Images? Understanding Digital Humanities (ed. D. Berry), New York, Palgrave Macmillan, 2012, pp. 249-298.

lection, since they only show Items that match particular words or tags. It also critiques the exclusive use of verbal metadata, since it prevents us from seeing visual patterns not described by metadata. Instead, the author proposes to use the actual content of the collection — i. e., all images—and present them in various spatial layouts sorted in various ways. This allows us to see the patterns and the overall "shape" of a collection. To contrast this approach to the more familiar practice of data visualization, we have decided to call it "media visualization." Typical information visualization involves translating the world into numbers and then visualizing relationships between these numbers. In contrast, media visualization involves translating a set of images into a new image that can reveal patterns in the set. In short, pictures are translated into pictures. Conceptually, media visualization is based on three operations: zooming out to see the whole collection (image montage), temporal and spatial sampling (using parts of a collection), and remapping (re-arranging the samples of media in new configurations).

Manovich L. Media Visualization: Visual Techniques for Exploring Large Media Collections. Media Studies Futures (ed. K. Gates), London, New York, Wiley-Blackwell, 2012.

Manovich L. Trending: The Promises and the Challenges of Big Social Data. Debates in Digital Humanities (ed. M. Gold), Minneapolis, Minnesota University Press, 2012.

Manovich L. What Is Visualization? Visual Studies, 2011, vol. 26, no. 1, pp. 36-49.

Stemler S. An Overview of Content Analysis. Practical Assessment, Research & Evaluation, 2001, vol. 7, no. 17. Available at: http://PAREonline.net/getvn. asp?v=7&n=17.