CC BY
12МУЛЬТИМОДАЛЬНЫЙ АНАЛИЗ МЕЖДУНАРОДНЫХ НОВОСТЕЙ: О КРАСНОЙ КУРОЧКЕ
Head of Language Studies and Teaching Fellow, Russian and East European Studies, Oxford School of Global and Area Studies, Senior Member and College Advisor, St Antony's College, University of Oxford, Oxford.
Плешакова (Вильсон) Анна
Я не являюсь специалистом в вопросах международных отношений или в вопросах политологии и глобальной безопасности, но моя научная работа связана с медиа, и я вам расскажу сегодня о нашей научной группе в лаборатории, которая занимается изучением человеческой коммуникации, мультимодальной коммуникации на основе корпусов источников, которые состоят из видеозаписей. В основном, это медиа программы, а медиа, как мы все знаем, играет не последнюю роль в этом мире и может даже влиять на глобальную безопасность. Поэтому я надеюсь, что мой доклад покажется вам полезным и релевантным.
Человеческая коммуникация - это коммуникация не только через вербальные каналы, она, в основном, мультимодальная. Мультимодальный - это значит, что визуальный ряд и звуковой ряд для нас одинаково важны Наша лаборатория называется «Маленькая курочка», она делает работу на основе подхода, который на английском языке называется Toward an infrastructure for Date-driven Multimodal Communication Research. Работа впервые опубликована в 2018 году.
Все, что сегодня буду рассказывать, доступно на нашем веб-сайте.
Как изучать мультимодальную коммуникацию? Можно изучать ее на основе так называемого ручного анализа, можно изучать на уровне полуавтоматического анализа, можно изучать ее на уровне автоматического анализа, но для того, чтобы изучать человеческую мультимодальную коммуникацию, нужны мультимодальные корпуса, то есть базы данных, по крайней мере, лингвисты знают, что существует большое количество текстовых корпусов в этом мире на многих языках. Если брать английский -British national, корпус для русского - Russian national корпус.
Также были предприняты попытки сделать мультимодальные небольшие корпуса, например, в русском национальном корпусе есть мультимодальный подкорпус, состоящий из фильмов. Но вопрос заключается в том, что нам бы хотелось, как лингвистам, анализировать живую коммуникацию на современном материале, по крайней мере, если это визуальный ряд. Мы пришли к выводу, что проще всего и дешевле всего такие мультимодальные корпуса составить из записей медиапрограмм.
А какова философия нашего подхода к изучению мультимодальной коммуникации? Мы привлекаем исследователей из разных дисциплинарных областей потому, что мультимодальная коммуникация как часть человеческой коммуникации - это очень сложный объект для изучения, и этот объект, собственно говоря, изучается разными дисциплинами не только с разных углов, да
и с разных дисциплинарных направлений и, чтобы иметь возможность изучать мультимодальную коммуникацию, нужно, чтобы специалисты из разных дисциплин объединяли свои усилия. Таким образом мы сможем не только ответить на большое количество научных вопросов, которые встают перед нами, но также сделать этот процесс более быстрым.
Что касается Красной курочки - это не только базы данных, это прежде всего, как я сказала, научная лаборатория, то есть мы не сервис, мы не предоставляем возможность пользоваться нашими базами данных, мы являемся консорциумом, международным консорциумом исследователей из разных страна и разных научных лабораторий. Условием присоединения к нашим лабораториям является желание изучать мультимодальные коммуникации. В обмен мы предлагаем возможность пользоваться нашими научными достижениями и нашими инструментами и методами, нашими базами данных, которые уже существуют.
Наши базы данных очень разнообразны, это могут быть и записи радио и какие-то лабораторные записи разных видов, и слайды, например, из области истории искусств или из археологии. Но основой нашей цифровой коллекции является 420 тысяч телевизионных новостных программ. Также на базе нашей лаборатории уже 5 лет подряд существует летняя школа, мы сотрудничаем с Google, и у нас в этом году было 20 студентов, разрабатывающих различные компьютерные инструменты, которые мы потом можем использовать для изучения мультимодальной коммуникации. В руководстве лаборатории Mark Turner и Francis Steen, каждый желающий может зайти на наш сайт, он достаточно большой и посмотреть, что мы делаем и какие направления, какие подходы, какие методы, какие инструменты мы разрабатываем.
Мы - это люди, вышедшие из лингвистики или из communication studies. Можно, конечно, изучать мультимодальную коммуникацию на основе «ручного анализа», который существует в лингвистике, и потом проецировать этот подход на изучение жестов и других компонентов невербальных каналов. Лингвистический анализ вручную достаточно медленный, но этот анализ может быть детальным и достаточно точным, что очень хорошо.
Мы анализируем связь языка и жестов. Те клипы, которые я хотела показать, демонстрирует необходимость учета жестов как элементы визуального ряда для понимания значения того, что говорится, то есть для понимания вербальной информации. Вот, например, на слайде выступающий говорит о Хилари Клинтон, он говорит «Клинтон и показывает как «в кавычках» и если вы этого не видите, то вы никогда не поймете, что он говорит это иронично, не имеет в виду то, что он говорит с помощью слова.
Когда мы изучаем мультимодальную коммуникацию, мы можем использовать программное обеспечение Elan. Elan - это такая программа, которая позволяет аннотировать визуальный ряд жестами или другими компонентами параллельно с речевым рядом.
Достоинство этого программного обеспечения - высокая точность, можно аннотировать с очень высокой степенью точности до 100 кадров в секунду, но этот процесс очень трудоемкий. Мои коллеги из Института лингвистики в Академии наук используют это программное обеспечение, и за два года они сумели точным образом аннотировать примерно от 2,5 до 4 часов. Это, конечно, большое достижение, но это на самом деле очень долгая работа. Но если ваш научный
вопрос не предполагает такой точности, как 100 кадров секунду, то тогда можно обратиться за помощью к достижениям корпусный лингвистики, что мы и сделали.
Во многом наш подход базировался на уже достаточно известных фактах, достижениях, которые применялись при создании и анализе текстовых национальных корпусов, таких как британский национальный корпус. В чем наше достижение - в том, что мы создали этот корпус, он находится в архиве в библиотеке Лос-Анджелеса и называется Newsscape. Первые записи были сделаны в 1973 году, они начали оцифроваться в 2005 году, но также есть записи современные, которые идут в цифровом формате. Много языков представлено: бразильский, и польский, и немецкий, итальянский, и арабский, мандарин, русский, французский и, конечно, английский. Самый большой корпус - это английский корпус.
Каким образом мы создаем наш мультимодальный корпус? Мы рассчитываем на то, что в программах будут цифровые субтитры, мы трансформируем цифровые субтитры в транскрипты, и потом с помощью различных программ делаем корреляцию между тем, что видно на экране и тем текстом, который ему соответствует, и затем мы работаем над аннотированием этих корпусов. Аннотация зависит от поставленного научного вопроса, чем больше материала аннотировано, тем больше шансов на то, что мы можем потом применить машинную обработку, которая позволит делать автоматический анализ базы данных. На данный момент то, что аннотировано на базовом уровне, - это 3 миллиарда слов. Я только обращу внимание, что в целом слов у нас практически 4,5 миллиарда.
Вот я вбила слово 'Брексит' потому, что для меня это очень актуально на данный момент, и вот что я получила. То, что вы видите, - это контекст, в котором встречается слово 'Брексит', и я нажала один из этих квадратиков с видеозаписью, который вы видите слева, и в этот момент видеофайл, который соответствует тому тексту, проигрывается, и я могла видеть, что когда ведущий произносит слово 'Брексит', то они поворачиваются друг-другу и многозначительно друг на друга смотрят, как бы обмениваются взглядами, это добавляет к нашим пониманию то, что они имеют в виду: 'Брексит' или как они интерпретируют Брексит. В этой системе есть большое количество разных инструментов и большое количество разной информации, так, например, вы можете увидеть транскрипты полностью, можно на видео увидеть только видео, можно нажать на монтаж и можно увидеть все, что есть на данном кусочке, можно посмотреть. У нас также есть еще одна поисковая система, более продвинутая, и есть базы данных внутри действующих проектов.
Мы сотрудничаем с большим количеством ученных в разных странах, и они загружают свои базы данных к нам, и там можно сделать, например, поиск определенного жеста, который сопутствует определенным лексическим единицам на определенном языке.
Чтобы немного проиллюстрировать подход, я взяла пример из моего собственного проекта, и, как вы видите, это Роман Бабаян, он мне очень нравится, ведущий программы «Право голоса», у него потрясающие совершенно жесты и мимика. Я к нему обратилась потому, что один из моих проектов - изучение мультимодальных метафор. Долгое время психологи считали, что когда мы
говорим о жестах или вербальном ряде, то вербальный ряд отвечает за смысл слова, а жесты отвечают за эмоциональную или оценочную нагрузку. Так вот, современные исследования показывают, что это не совсем так и что жесты и невербальный канал коммуникации могут тоже отвечать за смысл, за компоненты смысла. Я концентрировалась на метафоре, и мне было интересно, добавляют ли что-то жесты к конструированной метафоре, отвечают ли они за создание метафоры как таковой.
И вот одна из программ была посвящена тому, к чему приводит майдан. В рамках этой программы Роман Бабаян много говорил об украинском народе. И на данном примере вы видите, что он произносит слово 'народ' и делает такой жест - кулаки у груди. И люди часто делают этот жест, когда они говорят 'я' или 'себя', или 'свой', или 'себе'. В данном случае слово 'народ' - и вот делает этот жест. Из чего я сделала вывод, что можно рассматривать данный момент как мультимодальную метафору, где часть значения произносится вербальным образом, а часть значения привносится с помощью жестов. Но как любой исследователь, я сразу начала сомневаться, а так ли это, может быть, это только единственный такой случай, а может быть, это только часть так называемого мультимодального портрета именно Романа Бабаяна, делают ли так другие люди. Чтобы ответить на все эти вопросы, нужно было сделать какой-то анализ базы данных большого корпуса, и в этом мне помогла программа, которая была разработана в нашей лаборатории. Я в поисковую систему ввела словно 'народ', что позволяет мне увидеть сразу разный контекст использования этого слова. Мне помогает программа под названием Rapid Annotator, компьютерный инструмент, который был разработан нашей лабораторией, который позволяет нам делать аннотацию в сотни раз быстрее, чем это делает Elan: мы видим видео, мы видим контекст, мы можем отвечать на вопросы, заданные экспериментом буквально одним нажатием клавиши.
Мы будем открываем центр международной мультимодальной коммуникации на базе Оксфордского университета, который я буду возглавлять вместе с коллегой. Мы будем заниматься исследованиями и также будем заниматься тренингам и обменами знаниями, и мы очень надеемся, что наши российские коллеги тоже к нам присоединятся и будут вместе с нами работать над анализом мультимодальной коммуникации.
ДИСКУССИЯ
Вопрос модератора (Л.Е. Бушканец):
У меня естественно возникающий вопрос: каковы могут быть практические результаты этих ваших исследований, в том числе для исследования выступлений политиков, выступлений ведущих медиа и так далее?
Ответ докладчика (А. Плешакова (Вильсон)):
Каковы отдаленные практические результаты? Их может быть множество, но, наверное, самый глобальный результат - мы все в какой-то степени хотим анализировать медиа.
Вопрос модератора (Л.Е. Бушканец):
Вот вы говорили о жестах, но в разных культурах жесты имеют совершенно разные значения...
Ответ докладчика (А. Плешакова (Вильсон)):
Конечно, жестовый язык в какой-то степени универсальный, но в большой степени, он национально специфичен, он специфично-культурный. Существует очень подробная категоризация классификация жестов, эта проблема хорошо разработана психологами. Эти результаты мы также будем учитывать.
Вопрос из аудитории:
Я хотел спросить про универсальность, мы недавно следили за выступлением речь Греты Тунберг, в нем было много жестов и мимики. Насколько универсально можно применять вашу технологию, есть ли такие случаи, когда мимика не совсем совпадает с тем, о чем ведется речь?
Ответ докладчика (А. Плешакова (Вильсон)):
Ну конечно, то, что я вам сейчас показала, - это инструменты, которыми мы пользуемся, которые позволяют аннотировать не только вербальную, но и невербальную информацию. Для того чтобы исследовать, естественно, нужны специалисты не только по жестам, понимающие жесты той культуры, из которые Грета происходит, но и лингвисты, психологи. Но чтобы анализировать не какой-то конкретный случай, какую-то конкретную речь, а для того, чтобы анализировать большие корпуса, большие мультимодальные базы, нужны компьютерные инструменты, которые позволяют это делать на уровне полуавтоматическом-автоматическом.
Вопрос из аудитории:
Скажите, пожалуйста, откуда название вашей лаборатории?
Ответ докладчика (А. Плешакова (Вильсон)):
О да, я не сказала. «Красная курочка» - потому, что есть такая сказка. Смысл в том, что мы приглашаем людей, к нам они несут ингредиент -как для выпечки булочки или хлеба, а мы потом вместе этот хлеб печем и делимся кусочками, это философия нашего сотрудничества. Мы открыты и готовы сотрудничать с учеными со всего мира, но вы не можете просто зайти к нам и воспользоваться нашим сервисом, вы как ученый должны что-то привносить в выпечку нашего хлеба.
