CC BY
77
построение автомата по проверяемой программной системе, построение автомата по формуле и проверка пересечения этих двух автоматов. Причем для любой формулы линейной темпоральной логики ф можно построить автомат Аф, принимающий только вычисления, удовлетворяющие ф.
Проведенная оценка принадлежности метода к одному из классов сложности показывает, что проверка модели параллельной программной системы относится к классу PSPACE. В связи с тем, что размер проверяемых формул часто бывает небольшим, временная сложность оказывается приемлемой. Таким образом, можно заключить, что возможно построение эффективных алгоритмов, применяемых на практике и позволяющих автоматизировать процесс доказательства соответствия
параллельных программных комплексов своей спецификации.
Литература
1. Vardi M.Y. Linear vs. Branching Time: A Complexity-Theoretic Perspective. In Proc. Logic in Computer Science. Thirteenth Annual IEEE Symposium. 1998, pp. 394-405.
2. Кларк Э.М., Грамберг О., Пелед Д. Верификация моделей программ: Model Checking; [пер. с англ.; под ред. Р. Сме-лянского]. М.: МЦНМО, 2002. 416 с.
3. Vardi M.Y., Wolper P. An automata-theoretic approach to automatic program verification. In Proc. First Symposium on Logic in Computer Science, Cambridge, 1986, June, pp. 322-331.
4. Карпов Ю.Г. MODEL CHECKING. Верификация параллельных и распределенных программных систем. СПб: БХВ-Петербург, 2010. 560 с.
5. Sistla O.A.P., Clark E.M. The Complexity of Propositional Linear Temporal Logics. Journal ACM. 1985. № 32, pp. 733-749.
УДК 004.82
МЕТАДАННЫЕ МУЛЬТИМЕДИЙНЫХ РЕСУРСОВ И ОНТОЛОГИИ
(Работа выполнена при финансовой поддержке ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг., ГК № 16.740.11.0137)
А.С. Москвина
(Иркутский государственный университет, anastasia.moskvina@gmail.com)
Рассматривается подход к формированию метаописаний аудио- и видеоресурсов, основанный на использовании онтологий в качестве систем метаданных. Разметка позволяет полноценно описывать характерные особенности мультимедийного ресурса, а онтологии, в свою очередь, предоставляют гибкие возможности для описания тегов (логических точек) разметки.
Ключевые слова: онтология, мультимедийные ресурсы, разметка, метаданные, Libretto, пользовательский интерфейс.
Метаописания информационных ресурсов являются универсальной технологией. Существует целый спектр подходов - от простейших фолксо-номий до использования в качестве тегов элементов формальных описаний предметных областей (онтологий). В случае применения онтологий при разметке ресурса он позиционируется в рамках предметной области, обеспечивая привязку ресурса к БЗ этой предметной области [1]. Например, в качестве метаописаний географических объектов в некоторой геоинформационной системе (ГИС) можно использовать информацию о климате, оперируя для этого БЗ такой области, как климатология. Подобная привязка информации к географическому объекту дает возможность получить дополнительную климатическую информацию, которая явно не содержится в метаданных, но может быть извлечена из профильной БЗ.
Заметим, что данный подход является универсальным. Например, аналогичным образом его можно применить к описанию текстовых документов и их частей, выделяя и маркируя различную логическую информацию. БЗ той же клима-
тологии может поставлять метаданные и для профильных исследовательских публикаций, более точно характеризуя их с точки зрения предметной области. Хорошо известны другие примеры подобных описаний, в частности, формализованные таксономии биологических объектов, система УДК и т.д.
Практически все формальные методы описания предметных областей в той или иной степени связаны с математической логикой. Это легко объяснимо, поскольку одним из основных требований к таким методам является строгая семантика самих описаний. С другой стороны, логики, лежащие в основе метаописаний, должны быть достаточно простыми, чтобы обеспечивать вычислительную эффективность, и, конечно, понятными широкому кругу пользователей. Многолетний опыт показывает, что построение формализмов, сочетающих эти качества, - нетривиальная задача. В настоящее время значительный объем исследований в данной области ведется в рамках проекта семантического веба. Математической основой этого подхода служат дескриптивные логики, ко-
торые являются наиболее подходящим компромиссом, сочетающим выразительность с алгоритмической разрешимостью, а в более простых случаях - с высокой эффективностью.
Подход, предлагаемый автором, основан на использовании простой дескриптивной логики OODL [2, 3]. Описания предметных областей в этой логике могут быть корректно интерпретированы как объектные модели [2]. Для работы со знаниями, содержащимися в онтологиях, разработан специальный язык запросов Libretto, имеющий строгую денотационную семантику (основанную на дескриптивной логике SHOIN(D)) и корректно связанную с ней процедурную семантику, основанную на специализированном логическом исчислении. Данные результаты использовались при построении целостной технологии обработки знаний.
В настоящей работе рассматривается использование этой технологии как основы для метаопи-сания мультимедийных ресурсов в рамках объектно-ориентированного подхода. Эта идея базируется на абстрактном понятии «точка разметки», которое через механизмы наследования уточняется в зависимости от поставленной задачи. Через наследование базовый тип точки разметки наделяется способностью привязки к объектам онтоло-гий, содержащим метаинформацию о ресурсе. Чтобы сделать процесс построения метаописаний конкретных ресурсов общедоступным, особое внимание уделяется концепции пользовательского интерфейса, который даст возможность пользователю самостоятельно настраивать систему и создавать необходимые типы точек метаописания. Это позволяет осуществить в системе перенос акцентов с уровня программирования на уровень интерфейса с интуитивно понятной работой с системами знаний. При таком интерфейсе пользователь может корректно строить системы метаданных, не вникая в тонкости логических методов.
Тегирование мультимедийных ресурсов
Рассмотрим метод построения метаданных на примере разметки аудио- и видеоресурсов. Нередко перед пользователем возникает проблема навигации и быстрого поиска в мультимедийном ресурсе. При этом критерии поиска могут быть самыми разными. Например, работая с электронным вариантом лекции, пользователю необходимо отыскать все отрывки, где встречается информация о каком-то конкретном факте, определении. Правильно построенная система разметки позволяет осуществлять быстрый поиск по ключевым характеристикам ресурса, а также генерировать оптимальную навигационную траекторию.
Таким образом, в рамках данной работы решалась задача разработки подхода к тегированию мультимедийных ресурсов объектами онтологии.
Для этого были созданы два приложения, разработанные в рамках системы Libretto, - редактор метаданных мультимедийных ресурсов и специализированный видеопроигрыватель. Редактор позволяет размечать мультимедийные файлы в соответствии с логическими критериями и записывать метаинформацию в структуру файлов ресурса. В нем также реализован метод организации связей между мультимедийными ресурсами с помощью метаданных: например, видео электронной лекции может быть привязано к слайдам презентации, что обеспечивает их синхронизацию. Видеопроигрыватель, кроме стандартных функций плеера, поддерживает поиск и навигацию по структуре ресурса на основе метаописания.
Основная операция процесса метаописания -присвоение точке мультимедийного ресурса объекта онтологии в качестве тега метаданных. Эта операция привязывает к точке не только всю информацию, содержащуюся в объекте (дополнительную информацию дают классы, которым принадлежит объект), но и другие объекты, с которыми данный объект связан в рамках онтологии. Например, в лекции по некоторому предмету онтология может содержать справочный аппарат по этому предмету. В этом случае привязка некоторой точки лекции к объекту онтологии обеспечивает доступ к окрестностям тематики, раскрываемой в конкретном отрезке лекции.
В данной работе используется технология управления БЗ в виде объектных онтологий, реализованная в системе Libretto. Поскольку язык Libretto имеет строгую логическую семантику, он позволяет делать строгие формальные описания предметных областей, ориентированные на автоматизированную логическую обработку. С другой стороны, структуры данных Libretto могут интерпретироваться как объектные модели, поэтому онтологии, определенные в Libretto, похожи на богатые объектные модели. Использование Libretto позволяет применить объектно-ориентированный подход и на интерфейсном уровне.
Авторский подход к тегированию мультимедийных ресурсов состоит в следующем. Во-первых, строится базовая (шаблонная) онтология, в которой описываются ключевые свойства метаданных мультимедийных ресурсов. Ключевыми понятиями являются хронологическая точка (фиксирующая определенное место в мультимедийном ресурсе) и сегмент (выделяющий некоторый временной отрезок ресурса). К базовым понятиям привязываются методы работы с ними, являющиеся основой функционирования редактора метаданных и плеера. Для этого в шаблонной онтологии описываются абстрактные понятия интерфейса и мультимедийной информации. Теперь, чтобы сделать некоторую онтологию Ont источником метаданных, достаточно связать ее через наследование с шаблонной онтологией. Благодаря
множественному наследованию, действующему в Libretto, дополнительное свойство «быть элементом метаописания» можно примешивать к любому объекту Ont. Такая техника, основанная на множественном наследовании, позволяет интерпретировать практически любую БЗ как систему метаданных.
Структура базовой онтологии
Базовая онтология состоит из пяти основных классов (см. рис.).
Point - класс онтологии, в котором хранится вся информация о точках разметки. Содержит три основных свойства - время установки точки в миллисекундах, имя (если необходимо) и интерфейсную информацию о представлении точки.
Fragment предназначен для разметки с использованием сегментирования. Это еще один способ разметки хронологических сегментов -блоков мультимедийных ресурсов, непрерывных во времени. Фрагмент является набором логически связанных отрезков мультимедийных ресурсов, наделенных общей информацией. В системе предусмотрена возможность сегментирования, при этом сегмент - это отрезок, состоящий из начальной и конечной точек. Как только сегмент или набор сегментов наполняется какой-то логической метаинформа-цией, он становится фрагментом.
Resource позволяет получать информацию о разметке данного мультимедийного ресурса (логические точки, логические фрагменты, информация об используемых мультимедийных файлах). Это может быть полезно, к примеру, при работе с несколькими ресурсами.
Multimedia содержит описание мультимедийных ресурсов, используемых в проекте (аудио, видео, изображение, текст).
Interface отвечает за описание графического интерфейса.
Таким образом, чтобы объявить объекты некото-
рого класса Cls элементами метаописаний, достаточно объявить его наследником класса Point (в Libretto это делается декларацией class Cls extends Point). В результате можно организовать оглавление. Если в некоторой онтологии описано понятие древовидного оглавления, скажем, в рамках стандарта IMS Content Packaging с основным классом Item, то для привязки его к ресурсу достаточно объявить Item наследником класса Point. Эта же техника используется и в других случаях.
Разметка мультимедийных данных
Идея использования метаданных для описания мультимедийных ресурсов используется очень широко. Имеется ряд стандартизированных форматов разметки, например, ID3v1, ID3v2, действующих на аудиофайлах. Общий подход заключается в том, что в структуру файлов записывается фиксированный набор тегированных свойств. Разработчиками этих спецификаций предусмотрены
base64 v:string
FiledPoint
Interface
red v:int green v:int blue v:int
lutp: plavcr.ontobox.ot'g
Структура базовой онтологии
конкретные теги метаописаний, такие как исполнитель, название альбома, стиль и другие, за рамки которых пользователь выйти не может. С точки зрения автора, эти спецификации являются отдельными онтологиями, которые могут применяться наряду с другими, то есть ID3 - частный случай описания предметной области; метаописа-ния относятся к документу в целом, в то время как предлагаемая в данной работе технология может применяться и ко всему документу, и к его отдельным точкам и сегментам.
Благодаря наследованию система является расширяемой: точки разметки могут разрабатываться через уточнение базовых стандартизированных понятий (например, тегов из ID3). С одной стороны, опора на существующие спецификации позволяет избежать самодеятельности при разработке системы метаописаний. В [4, 5] показано использование этой техники при формализации ряда открытых стандартов; за основу взята спецификация метаописаний DublinCore. С другой стороны, интерпретация (семантика) точек и сегментов метаописаний может быть самой разнообразной и зависит от предметной области. Приведем несколько приложений, демонстрирующих возможности предлагаемой технологии:
— точки смены слайда, содержащие новый слайд и метод его демонстрации;
— сегменты лекции по математике, выделяющие конкретные определения, теоремы с доказательством и привязкой к релевантной справочной информации;
— аудиокнига с привязанным оглавлением и справочным аппаратом (индексом);
— запись концерта с сегментами, выделяющими части произведений и привязывающими к ним релевантную информацию (расширенный формат CUE);
— учебный фильм со справочным аппаратом и тематической навигацией;
— съемки в электронном микроскопе с разметкой кадров и пояснениями;
— спортивная трансляция с разметкой интересных моментов (онтология содержит таксономию типов моментов - гол, удаление, штрафной и т.д.);
— привязка субтитров к фильму;
— караоке.
Сегментация мультимедийного ресурса позволяет также формировать виртуальные ресурсы, динамически собирающиеся из тех сегментов основного ресурса, которые удовлетворяют заданным логическим ограничениям. Например, на основе серии лекций по линейной алгебре можно сформировать виртуальный фильм по матрицам (отбросив другие материалы) либо на основе спортивной трансляции автоматически сгенерировать виртуальный фильм о забитых голах. Таким
образом, использование метаданных позволяет осуществлять удобную навигацию по ресурсу, быстро находить нужные сегменты и автоматически генерировать виртуальные ресурсы, основанные на метаданных.
Следует отметить еще одно преимущество данного подхода. Поскольку онтологии по своей структуре являются замкнутыми переносимыми объектами, то возможно создание библиотек ме-таописаний с функцией их повторного использования для однотипных ресурсов. Через механизмы наследования можно создавать все более точные и развитые системы метаописаний, сохраняя при этом вертикальную совместимость с более простыми описаниями, от которых происходит наследование, вплоть до шаблонной онтологии. В частности, онтология, описывающая структуру абстрактной лекции, может быть легко экспортирована для метаописания разнообразных конкретных лекций. Еще одним примером такой структурной онтологии является онтология «оглавление». Она может легко импортироваться в любой мультимедийный ресурс, для которого структурирование в виде оглавления имеет смысл. В системе Libretto реализована специальная технология Require, позволяющая создавать распределенные среды разработки, развития и обмена онтологий через репозитории.
Реализация подхода
Технология, предлагаемая в настоящей работе, реализована в рамках двух систем: редактора ме-таописаний мультимедийных ресурсов MetaRecorder и специального проигрывателя мультимедийных ресурсов MetaPlayer с поддержкой навигации, базирующейся на метаописаниях.
Редактор метаописаний обеспечивает процесс разработки системы метаданных, разметки ресурса, а также записи соответствующей онтологии в структуру файла. Получая на входе мультимедийный ресурс, редактор позволяет пользователю провести комплекс работ, связанных с разработкой метаданных этого ресурса. Основными функциями редактора являются:
— экспорт/импорт мультимедийного ресурса;
— экспорт/импорт онтологий, служащих основой для метаописаний;
— разработка системы метаописаний на основе шаблонной и импортированных онтологий;
— привязка к мультимедийному ресурсу внешних ресурсов (например, слайдов к видеолекции).
Редактор позволяет пользователю размечать ресурс набором точек и фрагментов. Каждая точка привязывается к элементам онтологий, которые и несут смысловую нагрузку данного описания. Ресурс может содержать несколько мультимедийных файлов (например, отдельно видеофайл и звуко-
вую дорожку). Итогом разметки является онтология, хранящая точки и фрагменты разметки и описания к ним. Эту онтологию пользователь может записать непосредственно в структуру ресурса с помощью модуля экспорта/импорта.
Редактор метаданных мультимедийных ресурсов предоставляет интуитивно понятный и удобный графический пользовательский интерфейс, позволяющий осуществлять разметку аудио- и видеофайлов в соответствии с поставленными требованиями без специальных навыков (интерфейс интенсивно тестировался студентами).
Редактор метаданных предназначен для разработчиков систем метаописаний, а также специалистов, задействованных в обработке мультимедийных ресурсов. Для обычных пользователей, которым необходимы лишь воспроизведение файлов и возможность доступа к метаданным без права редактирования, разработан специальный проигрыватель мультимедийных файлов MetaPlayer. Проигрыватель является инструментом, который реализует сценарии навигации, базирующиеся на имеющихся метаданных. MetaPlayer позволяет использовать преимущества технологии разметки для продвинутой навигации и генерирования виртуальных ресурсов.
Мультимедийный проигрыватель может работать, как обычный видеоплеер, но, кроме того, он считывает метаданные из файла и организует навигацию и поиск по ресурсу в соответствии с этими метаданными. Запись онтологий в мультимедийные файлы и чтение из файлов осуществляются специально разработанной библиотекой экспорта-импорта онтологий, которая реализует возможности хранения онтологии непосредственно в структуре мультимедийного ресурса.
Напомним, что в качестве систем метаданных выступают онтологии, хранящие точки и сегменты разметки ресурса. Для MetaPlayer - это точки и сегменты навигации. MetaPlayer импортирует онтологии из ресурса или иных внешних источников и использует для реализации дополнительных функций. В случае отсутствия метаданных Meta-Р^ег ведет себя, как обычный видеопроигрыватель.
Внешне проигрыватель представляет собой графический пользовательский интерфейс, который состоит из трех модулей - панели управления, панели навигации по мультимедийному ресурсу и модуля отображения материалов, то есть основного видео, либо вспомогательного графического материала (например, слайдов презентации).
Кроме стандартных, плеер предоставляет набор специальных функций, таких как
- автоматическая загрузка онтологии метаданных из файла или репозитория с помощью модуля экспорта/импорта;
- структурированное представление данных о точках и сегментах разметки на отдельной панели;
- организация универсальных сценариев навигации по мультимедийному ресурсу на основе его метаданных;
— возможность отображения дополнительных мультимедийных материалов, хранимых в онтологии.
Апробация показала, что в MetaPlayer реализован достаточно удобный и понятный для обычного пользователя интерфейс работы с дополнительной поддержкой чтения метаинформации из структуры самого ресурса. Помимо возможности навигации по ключевым логическим точкам и сегментам ресурса, пользователь имеет возможность получать всю информацию, связанную с этими точками.
В настоящее время редактор мультимедийных ресурсов и проигрыватель поддерживают форматы mp3, wav, avi и flv.
В заключение следует отметить, что в данной работе рассмотрена технология метаописания мультимедийных ресурсов, основанная на использовании объектных онтологий. Разработана общая концепция формирования метаданных для мультимедийного ресурса, базирующаяся на формальном описании предметных областей, релевантных тематике ресурса. Кроме того, разработан объектный подход, в котором конкретные системы ме-таописаний строятся как наследники, уточняющие структуру некоторой базовой (шаблонной) онтологии. Шаблонная онтология описывает ключевые абстрактные понятия точки и сегмента метаописа-ния мультимедийного ресурса и является базой для функционирования основных систем технологии - редактора метаописаний и специализированного проигрывателя MetaPlayer.
Разработанная технология метаописаний видео- и аудиоресурсов имеет большое количество потенциальных приложений. В частности, она активно применяется для формирования библиотеки видеолекций Научно-образовательного центра «Байкал» (г. Иркутск). Сгенерированные видеолекции находятся в открытом доступе (http://lake.baikal.ru). Системы зарегистрированы в Реестре программ для ЭВМ.
Литература
1. Wang T. [et al.]. MetaData Pro: Ontology-Based Metadata Processing for Web Resources // Lecture Notes in Computer Science. 2004. Vol. 3307, pp. 34-45.
2. Малых A.A., Манцивода A.B., Ульянов B.C Логические архитектуры и объектно-ориентированный подход // Bестн. НГУ. Сер.: Математика, механика, информатика. 2009. Т. 9. № 3. С. 64-85.
3. Малых A.A., Манцивода A.B. Объектно-ориентированная дескриптивная логика // Изв. ИГУ. Сер. Математика. 2011. № 1.
4. Манцивода A.B., Стукушин Н.О. Спецификации как онтологии // Программные продукты и системы. 2009. № 4. С. 37-43.
5. Манцивода A.B., Стукушин Н.О. Объектные модели и распределенные системы знаний // Изв. ИГУ. Сер. Математика. 2010. № 4. С. 65-79.
