CC BY
82
Коммюнике Онтологического Саммита 2017 -ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ, МАШИННОЕ ОБУЧЕНИЕ, ЛОГИЧЕСКИЙ ВЫВОД И ОНТОЛОГИИ1
Май 2017
Kenneth Baclawskia, Mike Bennettb, Gary Berg-Crossc, Donna Fritzsched,
Todd Schneidere, Ravi Sharmaf, Ram D. Sriramg and Andrea Westerninenh
aNortheastern University, Boston, MA USA
bHypercube Limited, London, UK
cRDA US Advisory Group, Troy, NY USA
dHummingbird Design, Chicago, IL USA
eEngineering Semantics, Fairfax, VA USA
fSenior Enterprise Architect, Elk Grove, CA USA
gNational Institute of Standards & Technology, Gaithersburg, MD USA
hNine Points Solutions
Аннотация
Существует множество связей между искусственным интеллектом, обучением, логическим выводом и онтологиями. Онтологический саммит 2017 года был посвящен исследованию, выявлению и формулированию отношений между этими областями. Для популяризации онтологической науки в рамках сессий онтологического саммита 2017был выделен диалоговый инструментарий, что способствовало обсуждению и обмену знаниями между заинтересованными лицами. Результаты подтверждаются примерами из различных областей. Материал представлен в форме коммюнике, который дополнен ссылками на источники в Интернете.
Ключевые слова: искусственный интеллект, машинное обучение, логический вывод, онтологии.
1 Введение
В настоящее время наблюдается всё более широкое распространение элементов искусственного интеллекта (ИИ), который включает интеллектуальное поведение, работу с большими объёмами данных, обучение и адаптацию в вычислительных системах. Три из наиболее значимых технологии ИИ - это наличие всё большего количества данных (Big Data); быстро снижающаяся стоимость хранения и обработки данных; достижения в методах и средствах машинного обучения (МО) [1]. Это позволяет использовать сложные методы МО, которые требуют обработки больших объёмов данных, чтобы быть эффективными. Приложения МО «усилили распознавание речи Android, а также реализовали описанную в сериале Star Trek возможность мгновенного перевода в Skype. Google строит автомобили с автоматическим управлением, а компьютерные системы могут самостоятельно обучаться идентифицировать видео с кошками. Роботы-собаки ведут себя как настоящие» [2]. Стоит отметить, что, хотя они могут быть очень полезными, они являются типами так называемых «узких ИИ» технологий. Приложения ИИ позволяют компьютерам решать конкретные проблемы, такие как распознавание изображений, или выполнять логический вывод, которые не охватывают весь спектр свойственных человеку способностей к самоуправлению, познанию, называемых «общим ИИ» [1].
На Онтологическом саммите 2017 были предприняты попытки исследовать способы использования методов ИИ в области МО, рассуждений и онтологии для их взаимного улучшения. Эти области приложений были разделены на три направления (секции), но вскоре стало ясно, что разные секции имеют существенное пересечение друг с другом, и в каждой секции наблюдалось значительное разнообразие. «Обучение необходимо для приобретения знаний, однако логический вывод показывает нам лучшие способы хранения и доступа к знаниям. Таким образом, обучение и логический вывод являются взаимодополняющими, и их следует изучать совместно» [3].
'ONTOLOGY SUMMIT 2017 COMMUNIQU'E - AI, LEARNING, REASONING AND ONTOLOGIES -https://s3.amazonaws.com/ontologforum/OntologySummit2017/Communique/OntologySummit2017Communique_v8.pdf. Рекомендуемое цитирование в русскоязычной литературе:
Коммюнике Онтологического Саммита 2017 - Искусственный интеллект, машинное обучение, логический вывод и онтологии / Kenneth Baclawski, Mike Bennett, Gary Berg-Cross, Donna Fritzsche, Todd Schneider, Ravi Sharma, Ram D. Sriram and Andrea Westerninen. Пер. с англ. М.Д. Коровина // Онтология проектирования. - 2017. - Т. 7, №2(24). - С. 227-238. - DOI: 10.18287/2223-9537-2017-7-2-227-238.
Было также отмечено, что термины «логический вывод» и «обучение» имеют много толкований. На онтологическом саммите было решено понятие «обучение» ограничить машинным обучением, поскольку контекст темы саммита был ИИ. Тем не менее, обучение человека также в определённой степени изучалось в рамках саммита, особенно в аспектах, касающихся МО. Термин «логический вывод» не должен ограничиваться формальными логическими рассуждениями. В целом на саммите было установлено, что классификация многих методов, определение передовых практик и выявление синергизма между технологиями МО, логическим выводом и онтологиями выявили три ключевые проблемы для использования отношений между ними.
Саммит 2017 года рассмотрел современное состояние дел по основным темам ИИ: обучение, логический вывод и онтологии согласно трём направлениям, приведённым в разделе 2. Каждое направление было посвящено отношениям между двумя из трёх тем ИИ, отражённым на логотипе Ontology Summit 2017 и представленным на рисунке 1. Отношения между обучением и логическим выводом косвенным образом затрагивались онтологиями. Некоторые из основ темы саммита онтологий представлены в разделе 3. В Рисунок 1 - Логотип Ontology Summit 2017 разделе 4 приводится обзор некоторых возможностей и проблем взаимоотношений между обучением, логическим выводом и онтологиями. Коммюнике заканчивается выводом и благодарностями.
2 Содержание
2.1 Обзорная сессия
Обзорная сессия открыла саммит презентацией, в которой были представлены многие темы, расширенные в последующих презентациях и дискуссиях. В частности, в обзоре представлена диаграмма онтологического обучения (Ontology Learning Layer Cake), показанная на рисунке 2, которая использовалась в качестве объединяющего элемента для всех направлений. Самый высокий уровень представляет логику и аксиомы, расположенные ниже слои содержат схемы, отношения, иерархии понятий и синонимы. Термины находятся на нижнем уровне. Диаграмма представляет собой основу для описания процесса извлечения знаний. Примером может служить процесс создания иерархии понятий, которая может быть изображена графами, представляющими отношения между элементами, как показано в [4,5].
Vx ( country(x) 3y capital_of(y,x) AVz ( capital_of(z,x) y=z ) ) General Axioms
disjoint^ river, mountain ) Axiom Schemata
capital_of SR located_in Relation Hierarchy
flow_through( domain:river, range:geopolitical_entity ) Relations
capital Sc city, city Sc geopolitical_entity Concept Hierarchy
c := country := < i(c), | |c| |, Refc(c) > Concepts
{country, nation} Synonyms
river, country, nation, city, capital... Terms
Рисунок 2 - Диаграмма онтологического обучения [4]
2.2 Направление A: Применение МО для выделения знаний и улучшения онтологий
По этому направлению рассматривалось одно из самых узких мест в ИИ; а именно, как создать достаточные знания о мире для действительно интеллектуального агента. До сих пор базы знаний и онтологии для таких
целей создавались в значительной степени «вручную», что является малоэффективным с точки зрения потребных затрат времени и ресурсов. По этому направлению изучалось использование автоматизации и различных подходов МО для извлечения знаний и улучшения онтологий, в том числе их наполнения [6]. Ниже приведены некоторые из основных положений, представленных в этом направлении.
■ Узкие места из-за сложности онтологического проектирования остаются проблемой, но были разработаны и могут быть использованы различные подходы и инструменты МО, в том числе статистические, лингвистические и биоподобные, которые могут быть использованы для того чтобы:
1) извлекать информацию и структурированные знания из различных источников для облегчения разработки и поддержки онтологий [4,7,8];
2) фильтровать «шумные» данные для дальнейшего улучшения качества разработанных онтологий [9,10];
3) гармонизировать онтологии для управления зависимостью от особенностей наборов данных [5];
4) осуществлять перевод лингвистических реализаций объектов онтологии с одного языка на другой [4].
■ Диаграмма онтологического обучения обеспечивает концептуальную основу для обсуждения того, какие типы знаний строятся. Результаты, полученные автоматическими системами, как разработанные таксономии, сравниваются с лучшими имеющимися иерархиями, построенными вручную [11].
■ Был достигнут значительный прогресс в области контролируемого обучения. Теперь этот подход применим за рамками сильно ограниченных доменов. Интересно, что есть также дополнительные перспективы от полу- и неконтролируемых подходов к обучению, которые предлагают возможность избежать проблем, связанных с потребностью в большом количестве учебных наборов данных. Однако, может потребоваться контроль учебных наборов, как это было в случае с обучением языку Never -Ending (NELL), а также совокупным использованием знаний для поддержки обучения [7].
■ В некоторых областях, таких как биомедицинские, есть достаточные условия для получения новых знаний, используя МО, качественные онтологии и множество предметных данных о генах и функциях клеток [12].
2.3 Направление B: Использование фоновых знаний для улучшения результатов МО
Задача этого направления - выявить проблемы и возможности в «использовании фоновых знаний для улучшения результатов МО», роли онтологий и сопоставимых ресурсов для достижения этой цели и требований для онтологий, которые могут быть использованы этими способами. Пять докладчиков представили примеры и идеи, имело место оживлённое обсуждение рассмотренных вопросов и идей. В рамках заседаний были представлены семантические, синтаксические и контекстуальные аспекты МО с использованием онтологий. Были обсуждены пересечения с темами других направлений, а также общие идеи и возможности [13]. Ниже приведены некоторые из основных моментов презентаций и обсуждений в рамках этой секции.
■ Фоновые знания полезны для того, чтобы сделать результаты МО понятными [1], а также имитировать человеческие качества настроения и интуиции [14,15].
■ Существует ошеломляющее множество вариантов моделей и их комбинаций [13].
■ Фоновые знания могут улучшить качество результатов МО, используя методы логического вывода для выбора моделей обучения и подготовки данных обучения и тестирования (сокращение больших, шумных наборов данных до управляемых, сфокусированных) [15,16,17].
■ Онтологии, используемые для улучшения результатов НЛП, не обязательно должны быть такими же онто-логиями, как те, которые синтезируются инструментами НЛП. Действительно, они могут быть даже иного типа [13]. Задача состоит в том, чтобы обеспечить совместимость онтологий, чтобы можно было итеративно улучшить одну и ту же онтологию, используя эти два действия.
■ Контекст важен для устранения неоднозначных терминов [18].
■ Сочетание онтологического проектирования с МО может улучшить поддержку принятия решений, в том числе улучшить качество решений, сделать более понятным причины принятия решения и адаптировать процесс принятия решений к изменяющимся условиям [19].
■ Бизнес-онтология финансовой индустрии (Financial Industry Business Ontology - FIBO) и корпоративные таксономии могут помочь извлечь и интегрировать информацию из хранилищ данных, оперативной памяти и обеспечить коммуникацию на естественном языке [18].
■ Важно не только иметь возможность извлекать графы знаний из многоязычного текста, но также обеспечивать многоязычность онтологии [4].
2.4 Направление С: Использование онтологий для логического вывода и обратно
Цель направления C состояла в том, чтобы обсудить методы, разработанные для рассуждений с использованием онтологических основ. Любой интеллектуальный агент имеет четыре основных компонента [20]: 1) датчики, которые принимают внешние сигналы в различных формах;
2) знания, которые проявляются в различных формах (например, качественные, количественные и сочетания обоих);
3) механизмы вывода, которые делают заключения о мире, учитывая входные данные и используя знания;
4) исполнительные механизмы, которые выполняют различные действия (например, физические и умственные).
Однако, человеческий интеллект также требует наличия:
1) механизмов обратной связи, включая способность изучать новое поведение [19,21];
2) анализа эмоций и настроений [14,15];
3) социального поведения [15].
Ниже приводятся некоторые из основных моментов презентаций и обсуждений в рамках этого направле-
ния.
Онтологии составляют ядро для представления знаний, которое используется соответствующей стратегией вывода [22].
Существует много форм стратегий вывода (например, обратный и прямой выводы, нестрогие рассуждения, удовлетворение ограничениям, доказательство теорем) [22].
Постепенно добавляя аксиомы (выбор окружения), можно улучшить скорость вывода [22].
Важными являются также другие механизмы вывода, в том числе вероятностные [5,9] и использующие
аналогии [23].
Онтологическая совместимость варьируется от минимальной выразительности (например, таксономии) на синтаксическом уровне до промежуточного (например, тезауруса) на структурном уровне с различными уровнями выразительности (например, концептуальных моделей и логической теории) и до самого высокого семантического уровня с логикой первого порядка. См. Рисунок 2. Инструменты и технологии также следуют этой последовательности [22].
Логический вывод может помочь устранить неопределённость терминов в перекрывающихся предметных областях (ПрО) [24].
Онтологии могут помочь в открытии научных знаний и могут помочь автоматизировать процесс открытий. Анализ рабочего процесса может помочь понять результаты процесса научных открытий [21]. Примеры проектирования, применимые для вывода онтологии, касаются структурных стратегий, требований и вариантов использования, включая требования к экосистеме [23].
Онтологии могут быть использованы для нахождения аналогов в биологической области для решения проблем в инженерной области [23].
■
■
■
■
■
3 Истоки
Первые успехи с машинным переводом, а также машинное «обучение» с использованием статистических методов, предполагали, что некоторый прогресс может быть сделан субсимвольным образом, т. е. без конкретных представлений о знаниях [25], в более поздних методах ИИ также преобладает субсимвольное МО. Однако субсимвольное МО обычно работает, решая проблемы классификации или регрессии на неинтерпретированных исходных данных. Системы, разработанные для решения этих проблем, можно сказать, «учатся» в смысле оптимизации набора параметров модели для повышения производительности с течением времени. Называя это «обучением», мы представляем процесс как когнитивный и мысленный, но, как правило, он не имеет никакого сходства с тем, как люди думают, учатся и понимают или как в онтологиях представляют знания.
Самые распространенные новейшие методы ИИ используют биоподобные нейронные сетевые архитектуры наряду с оптимизацией и статистическими подходами. Помимо того, что они являются субсимвольными, эти методы работают «снизу вверх» от данных, таких как текст и изображения. Взаимодействие с текстом и изображениями, подобными этому, сильно отличается от гораздо более широкого, биологически подобного опыта взаимодействия с миром. Хотя есть некоторые интеллектуальные системы, такие как самоуправляемые автомобили, которые имеют ограниченный диапазон таких взаимодействий, а обучение таких устройств в процессе работы представляется рискованным. Пример этого см. в [26].
К настоящему времени ИИ ещё не овладел более широкими формами обучения и понимания, которые происходят из реального опыта. Некоторые считают, что такое обучение на основе реального опыта требует начинать создание системы с когнитивного ядра, а затем последовательно разрабатывать более сложные когнитивные модели [7]. Социальный аспект реального, воплощённого опыта включает в себя изучение общих знаний от других интеллектуальных агентов, а также их информационные продукты, такие как текст, данные и физические действия. В то время как приобретение знаний о доменах и методов рассуждений домена продолжают улучшаться, оказалось, что очень сложно «закодировать» на машинах или реализовать обучение снизу вверх без каких-либо базовых знаний. Некоторая автоматизация необходима для решения основных проблем
узких мест, которые могут помочь со здравым смыслом и рассуждениями, например, с ежедневными выводами, которые делают люди [1].
Методы МО являются в основном статистическими, поэтому включение неопределённости в онтологии было бы полезно при использовании МО в онтологиях. Ниже приведены два метода интеграции вероятности с семантикой.
■ Статистическое реляционное обучение. Общий ИИ должен иметь дело как с реляционной структурой, так и с неопределённостью. Конкретное напрвление работы, посвящённое комбинации вероятностных моделей с логикой описания, известна как вероятностная семантика [27].
■ Вероятностная мягкая логика (Probabilistic Soft Logic - PSL) - это система МО для разработки вероятностных моделей. PSL использует логические правила первого порядка как язык шаблонов для графических моделей над случайными величинами с мягкими значениями истинности из интервала [0, 1]. Основополагающая математическая структура поддерживает чрезвычайно эффективную задачу непрерывной оптимизации вывода, которая может быть эффективно решена. PSL включает в себя способность логически обосновывать как атрибуты сущности, так и отношения между сущностями, а также онтологические ограничения. На практике с использованием PSL получены новые результаты во многих областях, охватывающих НЛП, анализ социальных сетей и компьютерное зрение. С помощью PSL проблемы с извлечением больших графов знаний с миллионами случайных величин могут быть решены на порядок быстрее, чем позволяют существующие подходы [5].
В дополнение к неопределённостям логического вывода есть много областей, разработка которых необходима для достижения того, чтобы ИИ стал универсальным и «здравым» (надёжным). На рисунке 3 показаны эти компоненты и их взаимодействие друг с другом.
Рисунок 3 - Компоненты ИИ и их взаимодействие [1]
4 Возможности и проблемы
Разработано множество методов, которые используют обучение, логический вывод и исследования. Этот раздел представляет собой попытку показать некоторые проблемы и возможности взаимоотношений между обучением, рассуждениями и онтологиями.
4.1 Прогнозы на основе биологической организации
Клетка, наряду с системами тела, обычно моделируется с использованием уровней организации, каждая из которых может быть представлена с помощью онтологии - от молекулярного и биохимического уровня до клеточного и тканевого уровня, до органов и уровня систем органов и до уровня биосферы. Биологическую организацию часто называют «иерархией», но она не является иерархией в онтологическом смысле. Функционирование уровней организации, т.е. связь между уровнями, является формой рассуждения, называемой «биологическим выводом». Примером может служить карта генотипа-фенотипа [28]. МО, основанное на онтологиях, таких как ручная кураторская онтология гена (Gene Ontology - GO) [29], является основным методом биологи-
ческого вывода из генов в их белковые продукты. Это МО использует обширные данные измерений сетевых связей между генами и их белковыми продуктами. GO структурирована для определения этих сетевых отношений с помощью трёх доменов GO: биологический процесс, клеточный компонент и молекулярная функция [12].
Биологический вывод использует знания о совместном выражении генов и взаимодействиях вида белок -белок, чтобы создать сеть сродства генов на основе данных. Процесс выравнивания определяет, какие термины данных являются новыми и какие повторяют существующие знания в GO. В совокупности это знание может быть сведено к онтологической иерархии и согласовано с GO, предлагая имена для новых терминов, основанных на данных. Большинство, около 60%, отношений, найденных при деривации данных для клеточных компонентов, уже находятся в сотовой компоненте GO, но только около 25% полученных терминов для биологического процесса и молекулярной функции уже были найдены в GO, что указывает на то, что многие потенциально полезные знания могут быть обнаружены с использованием таких методов [12,30].
Не в каждой ПрО достигнуто единство мнений в выборе базовых онтологий, как в BioMedical. Аналогичным образом, не каждая ПрО имеет единый подход к уровням организации. Таким образом, возможность достижения успеха в применении онтологий в других ПрО - это открытая исследовательская проблема.
4.2 Идентификация контекста
Некоторые слова имеют много разных интерпретаций, которые сильно зависят от контекста [18]. Например, в контексте финансовой дискуссии, касающейся акций, термин «медведь», скорее всего, относится к отношениям инвесторов или фондовому рынку, а не к типам млекопитающих. Контекст имеет основополагающее значение для интерпретации, однако трудно формализовать понятие контекста. Возможно, лучшая позиция заключается в том, чтобы согласиться с Пэтом Хейсом [31] в том, что нет единого понятия контекста. По своей сути контекст включает понятия о том, что некоторые предложения, скажем, «есть много медведей на фондовом рынке», можно интерпретировать, что они истинны или ложны в контексте. Утверждение: «На фондовом рынке много белых медведей», скорее всего, ложно из-за контекста. То, что мы понимаем под контекстом, может зависеть от самого контекста. Важную работу в этой области провели Джон МакКарти и Пэт Хейс в их оценке ситуации [31], а также Баррилл, Перри и Девлин, которые разработали теорию ситуации [32], позднее формализованную как онтологию, выраженную на языке онтологии (OWL) [33,34]. Теория ситуаций очень популярна во многих областях, особенно в военных и бизнес-областях.
Хотя ситуационная теория во многих случаях является эффективной формализацией контекста, она не полностью определяет понятие контекста. Задача состоит в том, чтобы разработать эффективное формальное понятие контекста, которое может использоваться, чтобы устранить интерпретацию слов в человеческом дискурсе и потенциально привести к тому, что называется «пониманием». И оценка ситуации, и теория ситуации поддерживают процессы рассуждений. Теория ситуаций особенно универсальна в этом отношении, что позволяет использовать многие формы рассуждений [35].
4.3 «Когнитивные леса»
МО прошло долгий путь с момента определения Артуром Самуэлем в 1959 году как подраздела компьютерной науки, который даёт «компьютерам возможность учиться, не будучи явно запрограммированными» [36]. В этом смысле МО стало намного более выполнимым, с появлением всё более и более богатых наборов данных. Однако, как отмечено в разделе 3, мы всё ещё далеки от достижения МО без какого-либо явного программирования. Современные рабочие процессы МО часто включают рутинные задачи для: оценки проблем, исследования и предварительной обработки данных и обучения модели, а затем тестирования и развёртывания, которые все контролируются людьми. Тем не менее, некоторые применения МО стали более познавательными, контекстуальными и целостными, отходя от традиционных подходов к обучению «снизу-вверх». Для достижения этих функций требуется более интеллектуальная обработка и дополнительные знания.
Например, знания необходимы для обработки двусмысленности слов, таких как «pen», которые имеют несколько смыслов. Один смысл «pen» - это инструмент для записи, но также небольшое ограждение для удобства удержания детей или животных в зависимости от контекста. Но контекст здесь не является статистическим. Понимание предложения со словом «pen» в нём часто требует знания о реальном мире. Один из способов обеспечить такое знание - начать со «стартового» или «зачаточного» знания, которое можно расширить, применяя методы ИИ, такие как МО. Пример зачаточного знания для интеллектуального процесса был проиллюстрирован в системе NELL для одной важной когнитивной задачи: чтение [7]. Входы в NELL включают:
■ первоначальную онтологию, определяющую сотни категорий (например, человек, спортивная команда, фрукты, эмоции) и отношения (например, играет в команде (спортсмен, спортивная команда), играет на инструменте (музыкант, инструмент)), о котором должна была прочитать NELL;
■ 10 или 15 экземпляров зародышей знаний в каждой категории или отношении.
Формирование начальных знаний в этом случае упрощалось за счёт уточнения тематики чтения NELL, например, чтение о спорте или музыке.
Более общий вопрос - это онтологическая основа достаточных знаний, необходимых автономному, интеллектуальному агенту, который наблюдает и действует в среде направленным образом для достижения целей. Это остаётся нерешённым вопросом. В настоящее время нет единой архитектуры, техники или инструмента для разработки интеллектуального агента даже для относительно простых информационных агентов, например, предусмотренных в первоначальной попытке реализации DAML [37]. Однако подходы изобилуют такими дисциплинами, как когнитивное развитие, когнитивная наука, робототехника развития и ИИ. Например, SOAR [38,39,40] и ACT-R [41], а также BDI-архитектуры [42,43,44].
Но в подобных агентных системах трудно использовать такие вещи, как разнообразная пространственно -временная информация, включая количественные и качественные оценки в рамках одного аналитического контекста за подходящий период времени. Тем не менее, в рамках аналитического процесса понимания ситуации, люди легко интегрируют как количественные, так и качественные оценки информации, чтобы прийти к выводам, и это происходит раньше чем люди, например, учатся читать. То есть, формирование начальных знаний для чего-то типа NELL, похоже, является частью процесса человеческого развития. Как это происходит? Представляется разумным предположить, что необходима некоторая степень врождённой структуры для развития когнитивной системы и соответствующих знаний для некоторых общих вещей как части опыта агента. Такое когнитивное развитие, особенно в контексте общего ИИ, иногда обсуждается в терминах ранних «когнитивных лесов» с основным набором когнитивных способностей, обеспечивающих временную структуру, позволяющую организовывать более общие знания и обучение во время прогрессивного развития в более богатую систему познавательных навыков.
В когнитивной науке знание воспринимается как основной результат процесса понимания: взаимодействуя с окружающей средой, интеллектуальные агенты способны интерпретировать и представлять факты об окружающем мире, соответствующим образом действуя, чтобы сохранять себя и преследовать конкретные цели [45,46]. Представление знаний является необходимым шагом для общения, но знание может быть представлено надлежащим образом только в той мере, в какой явления реального мира ранее были представлены людям, а именно через когнитивные структуры. Такие «когнитивные леса» могут быть определены как стартовый набор: тип динамического строительного блока.
К сожалению, в настоящее время в большинстве доменов нет принятых стартовых наборов, а также отсутствует общая теория относительно того, что такое стартовый набор или каковы первые узнаваемые компоненты знания и рассуждения. Например, гипотеза когнитивной лингвистики [47] предполагает, что, вероятно, общий человеческий опыт с миром прост и ограничен. Учитывая это, основная часть понимания основана на восприятии и действии. Эта основная семантика представлена в том, что некоторые называют «схемами изображений», которые действуют как метафорические рамки и когнитивные строительные блоки. Кандидаты на то, какие схемы изображений могут включать такие знакомые понятия онтологического основания, как: объекты, процесс и отношения часть-целое, движение, полный-пустой, контейнер, блокировка, поверхность, путь, связь, коллекция, слияние, масштабирование и выживание [48]. Некоторые работы по разработке шаблонов онтологий и справочные онтологии использовали эти понятия, такие как работа по сдерживанию, движению и пути.
Это ставит ряд проблем.
Каковы кандидаты на набор знаний, которые могли бы обеспечить адекватные когнитивные леса? Различные возможности обсуждались выше.
В рамках «когнитивных лесов» интеллектуальный агент должен представлять соответствующие знания, чтобы они были доступны и пригодны для достижения цели агента. Как получаются мета-знания об обучении?
В рамках «когнитивных лесов» интеллектуальные агенты нуждаются в механизмах контроля, чтобы найти соответствующие части знаний в конкретных контекстах. Как это учат и какие знания участвуют? Как агент может распознавать существующие шаблоны и объекты, даже с частичным и/или шумным вводом?
Как агент может определить, к каким существующим категориям принадлежит шаблон, и насколько он соответствует этим категориям?
Предсказание ближайшего будущего является важным требованием для понимания ситуации агентами. Даже если некоторый образ был распознан, как его можно проецировать в будущее? Как можно изучать и классифицировать новые модели и сущности?
Как агент может выбрать соответствующую информацию на уровне ввода, а также во время обучения и познания?
Как агент может изучать новые навыки, как умственные, так и физические?
4.4 Согласование онтологий
В настоящее время нет единого мнения об онтологиях для обработки разнородной информации в эпоху Big Data. Несмотря на многочисленные усилия по созданию онтологий ПрО, словари и онтологии различных источников данных обычно не совместимы. Общие методы для объединения и согласования онтологий включают такие средства, как PROMPT, алгоритм полуавтоматического слияния и согласования онтологий [49]. Но, как было отмечено на онтологических саммитах и связанных с ними сессиях, есть проблемы в согласовании онтологий с различными предположениями и концепциями [50,51]. Известна работа по интеграции онтологий, в рамках которой с успехом были разработаны алгоритмы и эвристики, позволившие сделать такие вычисления выполнимыми [52]. Однако, как отмечено в [53], эффективное использование онтологических формализмов (т.е. правил и аксиом) как часть процесса интеграции остаётся открытым вопросом.
Одна из проблем, затрудняющих процесс интеграции онтологии, заключается в том, что в рамках процесса нам необходимо понять взаимосвязь между структурами знаний (классами и свойствами) и данными экземпляра в целевых онтологиях. Существующие методы согласования онтологий и выравнивания очень ограничены. Они находят сходства, эквивалентности и отношения подчинения между двумя (или более) онтологиями, которые должны, по крайней мере, быть синтаксически и схематически интегрированы, иметь схожий объём и контекст и быть более выразительными, чем OWL. Напротив, семантическая интеграция между существующими областями, например, гидрология, её онтологии и схемы, требует также перевода между онтологическими языками и более строгой спецификации семантики в каждой онтологии. В настоящее время это можно сделать только путём ручной интеграции онтологий, но использование подходящей эталонной онтологии может помочь автоматизировать это [51]. Кроме того, интеграция должна обладать способностью использовать семантику онтологии для моделирования взаимосвязей между интегрируемыми онтологиями и создания последовательной и единообразно интегрированной или согласованной онтологии.
Другим постоянным источником проблем при сопоставлении частей онтологий является то, что онтология спроектирована на основе определённых фоновых знаний (аксиоматизированных или нет) с определённой целью и в определённом контексте (явном или неявном). Контекст онтологии может включать в себя опыт онто-логов, которые разработали онтологию, их предпочтение конкретным онтологиям верхнего уровня, предметным словарям, шаблонам проектирования онтологии или исходным данным для моделирования. Они могут не быть частью спецификации онтологии, что делает их недоступными для инструментов объединения или сопоставлений объектов/отношений. Это отсутствие фоновых знаний и контекста может привести к двусмысленности [54].
Одним из примеров попытки решения проблем, связанных с онтологией, является Проект по оценке согласованности онтологий (Ontology Alignment Evaluation Initiative - OAEI), который проводит конкурсы на согласование онтологий [55]. В OAEI предлагается сложный набор онтологий и источников данных, которые должны быть сопоставлены. Например, предложено сопоставить анатомию взрослой мыши (2744 класса) с тезаурусом Национального института рака (3304 класса), который описывает анатомию человека. Как и в других случаях используются систематические серии эталонных тестов. Задача серии тестов заключалась в определении областей, в которых каждый алгоритм согласования является сильным или слабым.
4.5 Идентификация и выделение графа знаний
Реальность больших данных позволяет запрашивать массивные хранилища потенциально взаимосвязанных фактов. К сожалению, как отмечалось на предыдущих онтологических саммитах [56,50], представление этой информации в форме, позволяющей сделать её полезным знанием, является серьёзной проблемой.
Одна интересная задача - преобразовать исходный материал (обычно естественный текст) в форму графа знаний. Граф знаний - это структура, где сущности - это узлы графа, категории - это метки слов, связанные с каждым узлом, а отношения - это направленные рёбра между узлами. Таким образом, граф знаний представляет собой одну упрощённую версию онтологии и нечто менее формальное, чем концептуальные графики J.Sowa. Такие усилия по созданию даже этой простой структуры требуют разрешения идентификации объектов и связей с сущностями. Существует степень неопределённости и шума в таких отношениях, а также необходимость вывести недостающую информацию и определить, какие факты-кандидаты должны быть включены в граф знаний как часть процесса идентификации. Один из подходов заключается в следующем:
1) назначить рейтинги уверенности в необходимости выделения каждому факту-кандидату,
2) идентифицировать связанные сущности,
3) установить онтологические ограничения.
Этот подход основан на вероятностной мягкой логике (PSL), недавно введённого метода вероятностного моделирования, который легко масштабируется до миллионов фактов, как было продемонстрировано с выделением из проекта NELL более одного миллиона фактов-кандидатов и 70 тысяч онтологических отношений [57].
Тем не менее, остаётся открытой проблема для расширения итеративных методов извлечения знаний и обучения таких систем, как NELL, для систем, которые способны изучать, сохранять и использовать знания на протяжении всей жизни. Богатые возможности для продвижения в ИИ, как отмечает Silver, «лежат в локусе машинного обучения и представления знаний; в частности, методы консолидации знаний обеспечат понимание того, как наилучшим образом представлять знания для использования в будущем обучении и логическом выводе» [58].
4.6 Процессы
Должно быть очевидно, что обучение, логический вывод и онтологии происходят в составе более крупных процессов, где они и отношения между ними образуют этапы. J.Sowa предложил: «Для интеллектуальных систем когнитивный цикл более фундаментален, чем любое конкретное описание или алгоритм». Затем он пришел к выводу, что «интегрируя восприятие, обучение, рассуждение и действие, цикл может активизировать исследования и разработки ИИ» [59]. Несколько презентаций саммита подчеркнули важность процессов, которые в основном были в форме своего рода «петель обратной связи» [9,12,19,21,60]. Будем называть такие петли, как «когнитивные циклы». «Существует много примеров когнитивных циклов, в которых происходят обучение, рассуждение и онтологии. Процесс научных открытий является примером с длинной историей [21]. Многие виды деятельности можно рассматривать как циклы принятия решений, в которых каждая итерация улучшает понимание и осознание путём поиска новых знаний, а также путём отказа от некоторых предыдущих знаний [19,24].
В прошлом одна итерация когнитивного цикла, такого как научный процесс, могла занять десятилетия. Сегодня когнитивные циклы происходят быстрее, гораздо больше данных необходимо обрабатывать, а данные стали сложнее. Изучение, логический вывод и онтологии, а также отношения между ними, которые являются предметом этого саммита, могут играть важную роль в когнитивных циклах. На предыдущих саммитах также рассматривались когнитивные циклы, включая работу с огромным количеством данных [61], которые поступают от большого числа сенсоров [62] и требуют большого количества шагов, которые должны взаимодействовать [63].
Сочетание обучения, логического вывода и онтологий в рамках когнитивных циклов имеет потенциальные преимущества, но обычно это практически не используется. В той степени, в которой такие процессы автоматизированы вообще, они, как правило, являются узкоспециальными и неформальными. Чтобы автоматизировать процесс научных открытий, необходимо использовать НЛП для извлечения материалов и методов, используемых в экспериментах [64], т.е. процесса экспериментальных действий и генерируемых научных гипотез [21]. Ещё одним требованием является выявление источников, т.е. происхождение фактов и знаний. Задача состоит в том, чтобы разработать необходимые онтологии, стандартизировать их, сформулировать передовые практики и убедить сообщества использовать их. В некоторых случаях, таких как PROV-O для происхождения [65] и OPMW [66] для рабочего процесса научных открытий, онтологии были стандартизированы, но другие требования когнитивного цикла менее продвинуты. Ни один из них не используется широко, и лучшие практики только начинают появляться [19,21].
Существует много способов, которыми обучение, логический вывод и онтологии можно объединить друг с другом в когнитивный цикл. Обучение и логический вывод являются основополагающими для каждого из этапов когнитивного цикла, а также перехода от одного шага к другому. Онтологии могут использоваться для организации этих вычислительных процессов. Такие методы могут использоваться для обработки поступающей информации, которые используют онтологию для организации данных, а также помогают в разработке этих онтологий. Онтологии могут предоставить дополнительную пользу, помогая сделать данные и их обработку более понятными. Онтологии могут служить основой для объяснения результатов, что помогает повысить доверие к системе. Обучение и логический вывод можно также использовать на метауровне для оптимизации когнитивного цикла, выявления и устранения проблем. В совокупности онтологии, обучение и логический вывод могут быть использованы для обеспечения того, чтобы компоненты системы взаимодействовали друг с другом в соответствии с планами разработчиков.
4.7 Критика и флуктуации
Хорошо известно, что история исследований ИИ является историей подъёмов и спадов [67]. Подразделы ИИ, а также область ИИ в целом, существенно изменялись, и существует риск того, что это произойдет снова. Область онтологии также не защищена от этого риска. Хотя некоторые ПрО, такие как биомедицина, используют онтологии в значительной степени и очень успешно, в других ПрО, таких как производство, не было достигнуто значительных успехов в использовании онтологий, несмотря на то, что их было разработано множество [68]. ИИ настолько быстро развивается во многих секторах экономики, что сообщество начинает сомне-
ваться в том, стоит ли инвестировать в технологии ИИ [69]. Одним из возможных способов смягчения риска является серьёзное отношение к критике и реакция на неё, а не игнорирование или высмеивание замечаний, как это зачастую было в прошлом [70].
Область Big Data в целом критиковалась в течение нескольких лет [71], и МО подвергается некоторым из тех же критических замечаний. Обучение и логический вывод улучшают связь между онтологиями, но не могут полностью решить проблему согласования, они могут только помочь.
1) Понимание результатов по-прежнему имеет важное значение. Действительно, сильный ИИ, думающий как человек, в конечном счёте, сталкивается с проблемой представления и использования знаний, доступных людям. Этот вопрос широко обсуждался в разделах 4.2, 4.3 и 4.6, и многие презентации на саммите подчёркивали важность этого вопроса и предлагали методы борьбы с ним путём укрепления связей между МО и онтологиями [14,15,19,21].
2) Результаты МО чаще всего представляют собой совокупность корреляций. Одна общая ошибка - это предположение, что корреляция автоматически подразумевает причинность. Понимание результатов МО в человеческих терминах может помочь устранить, по крайней мере, наиболее неправдоподобные примеры вывода причинности из корреляции.
3) Часто бывает недостаточно согласованности и совместимости данных, используемых в приложениях с большими данными. Совместимость была темой онтологического Саммита 2016 [63] и обсуждалась в разделах 2.4, 4.4 и 4.6.
4) Общей критикой приложений Big Data является то, что задаваемые вопросы часто слишком неточны. Другими словами, существует разрыв между запросами, выполняемыми с данными, и интерпретацией результатов. Точность - одна из целей онтологий. Улучшение отношений между онтологиями и МО позволило бы обеспечить последовательность и понятность интерпретаций.
Проблема разочарования в области онтологии в некоторых ПрО, таких как производство, потенциально может быть решена путём создания «основной» инициативы в каждой ПрО, аналогичной открытой биологической онтологии (Open Biological Ontolog - OBO) [72], которая стала очень успешной в биомедицинском сообществе. Тем не менее, это открытая проблема: можно ли повторить успех OBO в других ПрО [68].
5 Заключение
На онтологическом саммите 2017 года был рассмотрен широкий круг вопросов, возможностей, проблем и будущих перспектив взаимосвязи между обучением, логическим выводом и онтологиями в контексте ИИ. Мы узнали, что можно выявить полезные знания о биологической организации, используя МО и GO, но вопрос, возможно ли достижение этого в других областях, остаётся открытым. Мы обсудили проблему определения понятия контекста, которая остаётся нерешённой, хотя в некоторых областях был достигнут определённый прогресс. Мы отметили, что ИИ вообще и МО в частности не возможны без каких-либо фоновых знаний. Мы рассмотрели множество проблем в развитии «когнитивных лесов» для таких знаний. Мы пересмотрели вопрос об интероперабельности, который был рассмотрен на прошлогоднем саммите, но по конкретной проблеме согласования онтологии, и решили, что это серьёзная открытая проблема, хотя по ней имеется прогресс. Мы рассмотрели проблему извлечения графов знаний из исходного материала для использования в МО и в логическом выводе и отметили возможности для достижения ИИ с использованием методов итеративного извлечения знаний и обучения для общих приложений ИИ. Мы исследовали процессы, которые организуют приложения обучения, логического вывода и онтологий, а также отношения между ними; мы предложили возможности для решения многих важных проблем, связанных с общими приложениями ИИ. Мы показали, как можно в некоторой степени учесть некоторые из недавних критических замечаний о МО и Big Data путём укрепления связей между обучением, логическим выводом и онтологиями. Мы также рассмотрели вопрос о том, как можно решить проблему принятия методов онтологического проектирования в областях, в которых не достигнуто заметных успехов.
6 Благодарности
В настоящем коммюнике упомянуты некоторые коммерческие программные системы. Такое упоминание не предполагает рекомендации или одобрения со стороны Национального института стандартов и технологий (ЫКТ) или организаций авторов или составителей этого коммюнике; а это также не означает, что упомянутые продукты являются наилучшими. Кроме того, любые мнения, выводы или рекомендации, выраженные в этом материале, являются мнениями авторов и не обязательно отражают взгляды МЗТ или любых других поддерживающих правительственных или корпоративных организаций США.
Список источников
[1] H. Wactlar. Robust intelligence research at NSF. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 16 May 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/Symposium/SymposiumRecording--HowardWactlar 20170516.mp4.
[2] R. McMillan. AI has arrived and that really worries the world's brightest minds, 16 January 2015. www.wired.com/2015/01/ai-arrived-really-worries-worlds-brightest-minds/.
[3] D. Silver, Q. Yang, and L. Li. Lifelong machine learning systems: Beyond learning algorithms. In AAAI Spring Symposium: Lifelong Machine Learning, volume 13, 2013. Ontology Summit 2017
[4] P. Buitelaar. Ontology learning - some advances. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 1 March 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/Overview/OntologyLearning-SomeAdvances--PaulBuitelaar 20170301.pdf.
[5] L. Getoor. Combining statistics and semantics to turn data into knowledge. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 19 April 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/TrackC/Turning-Data-into-Knowledge--LiseGetoor 20170419.pdf.
[6] G. Berg-Cross. Track A Summary Report: Using automation and machine learning to extract knowledge and improve ontologies. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 15 May 2017.
s3.amazonaws.com/ontologforum/OntologySummit2017/Symposium/Symposium-TrackA-Synthesis-GaryBergCross20170515.pdf, s3.amazonaws.com/ontologforum/OntologySummit2017/Symposium/SymposiumRecording--GaryBergCross 20170515.mp4.
[7] E. Hruschka. Never-Ending Learning approach for populating and extending an ontology. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 8 March 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/TrackA/OverviewOfNELLEstevamHruschka 20170308.pdf.
[8] F. Corcoglioniti. Frame-based ontology population from text with PIKES. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 5 April 2017.
s3.amazonaws.com/ontologforum/OntologySummit2017/TrackA/OntologyFromTextWithPIKESFrancescoCorcoglioniti20170405.pdf.
[9] J. Aasman. Cognitive probability graphs need an ontology. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 22 March 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/TrackC/ProbabilityGraphsAndOntologies--JansAasman 20170322.pptx.
[10] E. Pafilis. EXTRACT 2.0: interactive extraction of environmental and biomedical contextual information. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 5 April 2017.
s3.amazonaws.com/ontologforum/OntologySummit2017/TrackA/EXTRACTEvangelosPafilis 20170405.pdf.
[11] P. Buitelaar, P. Cimiano, and B. Magnini, editors. Ontology Learning from Text: Methods, Evaluation and Applications. IOS Press, 2005.
[12] M. Yu. Inferring the hierarchical structure and function of a cell from millions of biological measurements. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 5 April 2017.
s3. amazonaws.com/ontologforum/OntologySummit2017/TrackA/InferringCellHierarchyMichaelYu 20170405 .pdf.
[13] M. Bennett and A. Westerinen. Track B Summary Report: Using background knowledge to improve machine learning results. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 15 May 2017.
s3.amazonaws.com/ontologforum/OntologySummit2017/Symposium/Symposium-TrackBSummary-MGB-20171115.pdf, s3. amazonaws.com/ontologforum/OntologySummit2017/Symposium/SymposiumRecording--MikeBennett 20170515 .mp4.
[14] V. Presutti. Semantic Web machine reading with FRED. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 8 March 2017. content.iospress.com/articles/semantic-web/sw240.
[15] S. Davidson. The Investigator's Toolkit deriving immediate, actionable insights from unstructured data. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 15 March 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/TrackB/TrackB-PSONIFY Ontolo-gy-Summit-Davidson-20170315.pdf.
[16] C. Falk. The Meaning-Based Machine Learning Project. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 12 April 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/TrackB/TrackB-2 Meaning-Based+Machine+Learning-CourtneyFalk 20170412.pdf.
[17] T. Erekhinskaya. Converting text into FIBO-aligned semantic triples. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 12 April 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/TrackB/TrackB-2 Erekhinskaya Tatiana--20170412.pdf.
[18] B. Bell and E. Kendall. Leveraging FIBO with semantic analysis to perform on-boarding, KYC and CDD. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 12 April 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/TrackB/TrackB-2Ontology Summit 2017Cognitive+Computing+brings+FIBO+Alive 20170412-Bell.pdf.
[19] K. Baclawski. Toward combining ontologies and machine learning for improving decision making, 15 March 2017. Track B Session 1.
[20] D. Fritzsche and R.D. Sriram. Track C Summary Report: Ontologies and Reasoning. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 15 May 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/Symposium/SymposiumRecording--RamDSriram.mp4.
[21] Y. Gil. Reasoning about scientific knowledge with workflow constraints: Towards automated discovery from data repositories, April 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/TrackC/Gil-AutomatedDiscovery-OntologySummit2017 20170419.pdf.
[22] E. Kuksa. Reasoning with ontologies in Ontohub. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 22 March 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/TrackC/ReasoningInOntohub--EugenKuksa 20170322.pdf.
[23] S. Rugaber. Applications of ontologies to biologically inspired design. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 19 April 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/TrackC/BiologicallyInspiredDesign--SpencerRugaber 20170419.pdf.
[24] P. Hitzler. On the roles of logical axiomatizations for ontologies. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 22 March 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/TrackC/RolesOfLogicForOntologies--PascalHitzler 20170322.pdf
[25] P. Koehn. Statistical machine translation. Cambridge University Press, Cambridge, UK, 2010.
[26] K. Baclawski, K. Gross, E.S. Chan, D. Gawlick, A. Ghoneimy, and Z.H. Liu. Self-adaptive dynamic decision making processes. In IEEE Conference on Cognitive and Computational Aspects of Situation Management, 2017. cogsima2017.ieee-cogsima.org/files/2016/01/1570328101Baclawski.pdf.
[27] S. Pileggi. Probabilistic semantics. Procedia Computer Science, 80:1834-1845, 2016.
[28] The genotype-phenotype distinction, 2017. en.wikipedia.org/wiki/Genotype-phenotype distinction.
[29] The Gene Ontology Consortium. The Gene Ontology project in 2008. Nucleic Acids Research, 36 (Database issue):D440 -4, January 2008. doi:10.1093/nar/gkm883. PMC 2238979Freely accessible. PMID 17984083.
[30] T. Hahmann, S. Stephen, and B. Broderic. Domain reference ontologies vs. domain ontologies: What's the difference? Lessons from the water domain, 10 November 2016. s3.amazonaws.com/ontologforum/DomainVocabularies/DomainReferenceOntologies--Hahmann-Stephen-Broderic 20161110.pdf.
[31] P. Hayes. Contexts in context. In AAAI Fall Symposium, 1997.
[32] K. Devlin. Logic and Information. Cambridge University Press, Cambridge, U.K., 1991.
[33] K. Baclawski, M. Malczewski, M. Kokar, J. Letkowski, and C. Matheus. Formalization of situation awareness. In Eleventh OOPSLA Workshop on Behavioral Semantics, pages 1-15, Seattle,WA, November 4 2002.
[34] M. Kokar, C. Matheus, and K. Baclawski. Ontology-based situation awareness. Information Fusion, 10(1):83-98, 2009.
[35] K. Baclawski, E.S. Chan, D. Gawlick, A. Ghoneimy, K. Gross, Z.H. Liu, and X. Zhang. Framework for ontology-driven decision making. Applied Ontology, 2017. to appear.
[36] A. Samuel. Some studies in machine learning using the game of checkers. IBM Journal of Research and Development, pages 535-554, 1959.
[37] DARPA Agent Markup Language homepage, 2006. www.daml.org/.
[38] J. Laird, A. Newell, and P. Rosenbloom. SOAR: an architecture for general intelligence. Artificial Intelligence, 33(1): 1-64, September 1987.
[39] A. Newell. Unified Theories of Cognition. Harvard University Press, Cambridge, MA, USA, 1990.
[40] R. Wray and J. Laird. An architectural approach to ensuring consistency in hierarchical execution. J. Artificial Intelligence Research, 19:355398, 2003.
[41] J. Anderson and C. Lebiere. The atomic components of thought. Lawrence Erlbaum Associates, Hillsdale, NJ, 1998. ISBN 0-8058-2817-6.
[42] M. Georgeff and A. Lansky. Procedural knowledge. Technical Report Technical Report 411, Artificial Intelligence Center, SRI International, 1987. Ontology Summit 2017
[43] M. Huber. A BDI-theoretic mobile agent architecture. In AGENTS '99. Proceedings of the Third Annual Conference on Autonomous Agents, pages 236-243, Seattle, WA, USA, May 1999. ACM.
[44] A. Rao and M. Georgeff. Modeling rational agents within a BDI-architecture. In R. Fikes and E. Sandewall, editors, Proceedings of Knowledge Representation and Reasoning (KR&R-91), pages 473-484. Morgan Kaufmann Publishers, San Mateo, CA, 1991.
[45] U. Neisser. From direct perception to conceptual structure. In Concepts and Conceptual development, pages 11 -24. Cambridge University Press, Cambridge, 1987.
[46] L. Albertazzi. Which semantics? In L. Albertazzi, editor, Meaning and cognition. A multidisciplinary approach, pages 1-24. Benjamins Publishing Company, Amsterdam, 2000.
[47] M. Johnson. The Body in the Mind: The Bodily Basis of Meaning, Imagination, and Reason. The University of Chicago Press, 1990.
[48] A. Oltramari. An introduction to hybrid semantics: the role of cognition in semantic resources. In Modeling, Learning, and Processing of Text Technological Data Structures, pages 97-109. Springer Berlin Heidelberg, 2011.
[49] N. Noy and M. Musen. PROMPT: algorithm and tool for automated intelligence. In AAAI-2000, Austin, TX, 2000.
[50] Ontology Summit 2012: Ontology for Big Systems, 2012. ontologforum.org.org/index.php/OntologySummit2012.
[51] S. Stephen and T. Hahmann. Semantic alignment of the Groundwater Markup Language with the Reference Hydro Ontology HyFO, 2016. ontologforum.s3.amazonaws.com/OntologySummit2016/2016-02-25 GeoSciences/Stephen-Ontology%20Summit%20Talk%202016-03-31 v5.pdf.
[52] J. Euzenat. An api for ontology alignment. In International Semantic Web Conference. Springer Berlin Heidelberg, 2004.
[53] O. Udrea, L. Getoor, and R. Miller. Leveraging data and structure in ontology integration. In Proc. 2007 ACM SIGMOD International Conference on Management of Data. ACM, 2007.
[54] P. Shvaiko and J. Euzenat. Ten challenges for ontology matching. In Proc. 7th International Conference on Ontologies, Databases, and Applications of Semantics (ODBASE), pages 1163-1181, Monterey, Mexico, 2008. Springer-Verlag. Lecture Notes in Computer Science; On the Move to Meaningful Internet Systems: OTM 2008.
[55] Ontology Alignment Evaluation Initiative, 2016. oaei.ontologymatching.org/2016/.
[56] Ontology Summit 2009: Toward Ontology-based Standards, 2009. ontologforum.org.org/index.php/OntologySummit2009.
[57] J. Pujara, H. Miao, L. Getoor, and W. Cohen. Knowledge graph identification. Lecture Notes in Computer Science, 8218:542 -557, 2013. re-pository.cmu.edu/cgi/viewcontent.cgi?article=1021&context=machine learning.
[58] D. Silver. Lifelong machine learning and reasoning. In I. Robinson, J. Webber, and E. Eifrem, editors, Graph Databases, pages 75-78. O'Reilly Media, 2013.
[59] J. Sowa. Why has AI failed? And how can it succeed?, May 10 2015. www.jfsowa.com/talks/micai.pdf.
[60] A. Oltramari. From machines that learn to machines that know: the role of ontologies in machine intelligence. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 8 March 2017.
s3.amazonaws.com/ontologforum/OntologySummit2017/TrackA/RolesOfOntologiesInMachineIntelligence-lessandroOltramari20170308.pdf.
[61] Ontology Summit 2014: Big Data and Semantic Web Meet Applied Ontology, 2014. ontologforum.org.org/index.php/OntologySummit2014.
[62] Ontology Summit 2015: Internet of Things: Toward Smart Networked Systems and Societies, 2015. ontolog-forum.org.org/index.php/OntologySummit2015.
[63] Ontology Summit 2016: Framing the Conversation: Ontologies within Semantic Interoperability Ecosystems, 2016. ontolog-forum.org/index.php/OntologySummit2016.
[64] K. Baclawski, R. Futrelle, N. Fridman, and M. Pescitelli. Database techniques for biological materials & methods. In First Int. Conf. Intell. Sys. Molecular Biology, pages 21-28, 1993.
[65] PROV Ontology (PROV-O), April 30 2013. http://www.w3.org/TR/2013/REC-prov-o-20130430/.
[66] Open Provenance Model for Workflows (OPMW), December 22 2014. http://www.opmw.org/model/OPMW 20141222.
[67] History of Artificial Intelligence, 2017. en.wikipedia.org/wiki/History of artificialOntology Summit 2017 intelligence.
[68] B. Smith. The Industry Foundry Ontology. In Ontology Summit 2017: AI, Learning, Reasoning, and Ontologies, 15 May 2017. s3.amazonaws.com/ontologforum/OntologySummit2017/Symposium/SymposiumRecording--BarrySmith 20170515.mp4.
[69] Artificial intelligence software is booming. But why now?, 19 September 2016. www.nytimes.com/2016/09/19/technology/artificial-intelligence-software-is-booming-but-why-now.html.
[70] Critiques of Artificial Intelligence, 2017. en.wikipedia.org/wiki/History of artificial intelligence#Critiques from across campus.
[71] G. Marcus and E. Davis. Eight (no, nine!) problems with Big Data. NY Times, 6 April 2014. www.nytimes.com/2014/04/07/opinion/eight-no-nine-problems-with-big-data.html.
[72] Open Biological Ontologies website, 2003. obo.sourceforge.net.
