CC BY
48Теория и история права и государства
К ВОПРОСУ О ЮРИДИЧЕСКОМ ПОНИМАНИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
МОРХАТ Петр Мечиславович,
кандидат юридических наук,
судья Арбитражного суда Московской области.
E-mail: constitution88@gmail.com
Краткая аннотация: Настоящая статья посвящена исследованию понятия искусственного интеллекта, в частности, существующих подходов к его определению и основных особенностей таких подходов. Автором представлена авторская дефиниция понятия «искусственный интеллект».
АЬ^^^: This article is devoted to study of definition of artificial intelligence, in particular, to the study of the existing approaches to its definition and the main features of such approaches. The author presents the author's definition of the concept of "artificial intelligence".
Ключевые слова: искусственный интеллект, компьютерное право, информационное право, информационные технологии, теория права.
Keywords: artificial intelligence, computer law, information law, information technology, theory of law.
Введение
Бурное развитие технологий искусственного интеллекта обусловливает необходимость адекватного и своевременного развития соответствующего законодательного регулирования в этой области.
Как пишет Д.А. Поспелов, «"разумные" системы создаются для работы в средах, где присутствие человека невозможно или опасно для жизни. Этим устройствам придется действовать в условиях большого разнообразия возможных ситуаций. Невозможно заранее описать эти ситуации с той степенью подробности и однозначности, которые позволили бы заложить в создаваемую систему жестко запрограммированные алгоритмы поведения. Поэтому системы, вооруженные искусственным интеллектом, должны располагать механизмами адаптации, которые позволили бы им строить программы целесообразной деятельности по решению поставленных перед ними задач на основании конкретной ситуации, складывающейся на данный мо-
1
мент в окружающей их среде»1.
Между тем, сегодня между теоретиками и практиками ведутся активные дискуссии вокруг искусственного интеллекта по множеству вопросов из самых разных областей, при этом наиболее ожесточенные дебаты идут между пессимистами, вообще отрицающими возможность создания искусственного интеллекта, и теми, кто считает, что таковой уже создан2. Ник Бостром подчёркивает, что в таких дискуссиях существенные разногласия касаются времени ожидаемого появления полноценного искусственного интеллекта и того вида, в каком такой искусственный интеллект будет представлен3.
Однако по сей день научные дискуссии так и не привели к появлению общепризнанного всеобъемлющего универсаль-
1 Поспелов Д.А. Предисловие редактора перевода // Уин-стон П.Г. Искусственный интеллект: Пер. с англ. В.Л. Стефанюка; под ред. Д.А. Поспелова. - М.: Мир, 1980. - 520 с. - С. 5.
2 Люгер Дж.Ф. Искусственный интеллект: стратегии и методы решения сложных проблем: Пер. с англ. 4-е изд. - М.: Вильямс, 2003. - 864 с. - С. 20, 30.
3 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 46.
ного определения понятия «искусственный интеллект». Этому вопросу и посвящена настоящая статья.
Исследованность темы
Работ по теме правового понимания и регулирования искусственного интеллекта в отечественной науке очень мало. Известны некоторые работы О.А. Ястребова1, В.Н.Синельниковой и О.В. Ревинского2 и еще лишь нескольких авторов.
Вместе с тем, следует признать, что полномасштабных (по охвату) и фундаментальных (по глубине проработки) научно-юридических исследований феномена искусственного интеллекта, реальности, отношений и проблем, с этим с вязанных, сегодня в отечественной науке нет; а равно недостаточно проработаны (или вообще не проработаны):
- юридическое определение понятия искусственного интеллекта, наиболее юридически значимые дескриптивные признаки и существенные особенности функционирования и применения автономных юнитов (систем, объектов) искусственного интеллекта; юридически значимые особенности применения искусственного интеллекта в различных сферах с учетом их специфики;
- особенности правового регулирования искусственного интеллекта, основные существующие подходы к правовому регулированию использования искусственного интеллекта;
- правовые проблемы, неопределённости и риски, возникновение которых детерминировано применением искусственного интеллекта;
- проблемы определения юридической ответственности за действия автономных юнитов (систем, объектов) искусственного интеллекта, специфика искусст
1 Ястребов О.А. Искусственный интеллект в правовом пространстве: концептуальные и теоретические подходы // Правосубъектность: общетеоретический, отраслевой и международно-правовой анализ: Сб. материалов к XII Ежегодным научным чтениям памяти С.Н. Братуся. - М.: Институт законодательства и сравнительного правоведения при Правительстве РФ; Статут, 2017. - С. 271-283.
2 Синельникова В.Н., Ревинский О.В. Права на результаты искусственного интеллекта // Копирайт. - 2017. - № 4.
венного интеллекта, актуализирующая данную проблему, основные подходы к определению юридической ответственности за действия искусственного интеллекта и основные подходы к пониманию и решению вопросов о целесообразности признания правосубъектности искусственного интеллекта, в том числе, уголовной правосубъектности;
- правовые подходы к обеспечению соблюдения и защиты прав человека в условиях применения технологий искусственного интеллекта, создаваемые применением таких технологий основные угрозы соблюдению прав человека, в том числе, права человека на приватность и конфиденциальность личной информации, возможные способы использования искусственного интеллекта в целях совершенствования защиты прав человека, а также основные подходы к совершенствованию законодательства в этой сфере;
- гуманитарные международно-правовые аспекты применения систем оружия, оснащённых искусственным интеллектом, в боевых (в том числе - контртеррористических) действиях, в малых и полномасштабных войнах, ключевые юридически значимые характеристики такого рода систем искусственного интеллекта, применяющихся в военных целях, которые могут противоречить требованиям международного гуманитарного права, существующие научно-теоретические и научно-практические правовые позиции отдельных исследователей и организаций относительно того, как именно в дальнейшем должно развиваться правовое регулирование в этой области;
- правовые и фактические возможности, условия, пределы и направления применения систем искусственного интеллекта в системе государственной власти и государственного управления; позитивные перспективы и преимущества использования искусственного интеллекта в системе государственной власти и в реализации государственного управления; недостатки, риски, проблемы, связанные с использованием искусственного интеллекта в указанной сфере;
- правовые основы, условия и последствия применения систем искусственного интеллекта в оперативно-розыскных и следственных действиях и мероприятиях, в дознании, в криминологии и криминалистике, в противодействии кибер-угрозам и террористическим угрозам государству и обществу;
- правовые основы, условия и последствия применения систем искусственного интеллекта в госуслугах, госконтрактах и госзакупках;
- правовые основы, условия и последствия применения систем искусственного интеллекта в судебной и арбитражной третейской деятельности, в осуществлении юридического перевода в судебном процессе (в обеспечение соответствующих прав сторон процесса и в обеспечение основных принципов правосудия), в судебной экспертизе, в юридической медиации, в компетентном юридическом консультировании в специализированных сферах или направлениях законодательства, в оказании квалифицированной юридической помощи;
- правовые и фактические возможности, условия, пределы и направления применения систем искусственного интеллекта в экспертных юридических системах, автоматизированных системах поддержки правовых решений на основе искусственного интеллекта, иных экспертных системах, в том числе - в публичных интересах.
Сложность определения и исчерпывающего описания понятия «интеллект» (естественный интеллект)
В немалой степени рассматриваемая проблема обусловлена тем, что нет понимания метапонятия (по отношению к понятию «искусственный интеллект») -понятия интеллекта (естественного интеллекта).
То есть основная сложность разработки точного и универсального определения понятия искусственного интеллекта заключается в том, что сейчас нет и универсального понятия того, что представляет
собой интеллект вообще1.
Как отмечает О.В. Панов, искусственный интеллект создается по образу и подобию естественного интеллекта2. В чём же состоит секрет естественного интел-лекта?3
Вопрос дефиниции понятии «искусственный интеллект», как обоснованно утверждает Джордж Люгер, сводим к вопросу общего определения понятия «интеллект»4.
Само понятие интеллекта, по словам А. Эндрю, имеет «скользящий» характер, т.е. изменяется со временем, аналогично изменению наших представлений о «думающей машине» по мере развития техники5.
По Джорджу Люгеру, понятие интеллекта сформулировано на сегодня невнятно, нечётко, «большинство из нас уверены, что смогут отличить "разумное поведение", когда с ним столкнутся. Однако вряд ли кто-нибудь сможет дать интеллекту определение, достаточно конкретное для оценки предположительно разумной компьютерной программы и одновременно отражающее жизнеспособность и сложность человеческого разума»; «интеллект - это очень сложная область знаний, которую невозможно описать с помощью какой-то одной теории»6.
Согласно Патрику Генри Уинстону, определение естественного интеллекта в обычном смысле этого слова, по-видимому, невозможно, потому что интеллект - это
1 Legg S., Hutter M. A Formal Definition of Intelligence for Artificial Systems //
<http://www.vetta.org/documents/universal_intelligence_abstract_ai50 .pdf>. - 2 p. - P. 1.
2 Панов О.В. Функциональная структура бессознательного и возможность формирования новых принципов искусственного интеллекта // Искусственный интеллект: междисциплинарный подход / Под ред. Д.И. Дубровского и В.А. Лекторского - М.: ИИнтеЛЛ, 2006. - 448 с. - С. 107-110. - С. 108.
3 Нильсон Н. Искусственный интеллект: методы поиска решений: Пер. с англ. В.Л. Стефанюка; под редакцией С.В. Фомина. - М.: Мир, 1973. - 272 с. - С. 20.
4 Люгер Дж.Ф. Искусственный интеллект: стратегии и методы решения сложных проблем: Пер. с англ. 4-е изд. - М.: Вильямс, 2003. - 864 с. - С. 27.
5 Эндрю А. Искусственный интеллект: Пер. с англ. / Под ред. и с предисл. Д.А. Поспелова. - М.: Мир, 1985. - 264 с. - С.19
6 Люгер Дж.Ф. Искусственный интеллект: стратегии и методы решения сложных проблем: Пер. с англ. 4-е изд. - М.: Вильямс, 2003. - 864 с. - С. 27, 20.
сплав очень многих навыков в области обработки и представления информации1.
Л.С. Болотова (со ссылкой на Ю.Д. Апресяна2) выделяет следующие группы способностей, дистинктивно образующих реальный феномен естественного интеллекта и экспектативно экстраполируемых на интеллект искусственный:
- к выделению существенного в наличествующих знаниях, то есть упорядочивать таковые;
- к целеполаганию и планированию поведения (формирование последовательностей: целеполагание - планирование -действие);
- к отбору релевантных знаний, необходимой информации;
- к извлечению следствий из имеющихся знаний - то есть к рассуждению, что может содержать правдоподобные выводы (используемые для выдвижения гипотез) и достоверные выводы;
- к аргументированному принятию решений, использующему упорядоченные знания (представление знаний) и результаты рассуждений, соответствующие произведённому целеполаганию;
- к рефлексии, выражающейся в оценке знаний, состояний, феноменов, действий;
- к исследовательскому интересу (познавательному любопытству);
- к поиску и нахождению объяснений
- к синтезу познавательных процедур, образуя эвристику решения задач и рассмотрения проблем;
- к обучению и использованию ресурсов и возможностей памяти;
- к рацио, рационализации идей, стремясь уточнять их в качестве понятий;
- к формированию целостной картины предмета мышления, объединяя релевантные поставленной цели знания;
- к адаптации в условиях изменения
1 Уинстон П.Г. Искусственный интеллект: Пер. с англ. В.Л. Стефанюка; под ред. Д.А. Поспелова. - М.: Мир, 1980. -520 с. - С. 11.
2 Апресян Ю.Д. Лексическая семантика. Синонимические средства языка. - М.: Наука, 1974. - 368 с.
окружающих условий и ситуаций, изменения знаний (коррекция теорий и поведения)3.
Согласно Патрику Генри Уинстону, в числе важнейших задач разработки и внедрения искусственного интеллекта -задачи понять и научиться применять в технике принципы, лежащие в основе естественного интеллекта, сделать вычислительные машины более полезными, привлечь таковые к разрешению сложных проблем4.
По мнению некоторых авторов, разработка искусственного интеллекта и его использование для уяснения центральных вопросов и возможностей естественного интеллекта представляет собой существенное дополнение к традиционным методам психологии, философии и лингвистики, то есть понимание искусственного интеллекта - это путь изучения интеллекта естественного. Поэтому ряд психологов работает в сфере искусственного интеллекта в силу своего стремления лучше понять природу и процессы мышления человека в части обработки информации5.
Впрочем, Ник Бостром утверждает, что совершенно не обязательно, чтобы искусственный интеллект был уподоблен человеческому разуму, напротив, не исключена ситуация, когда когнитивная архитектура искусственного интеллекта будет кардинально отличаться от когнитивной человеческой системы6.
Понятие искусственного интеллекта
Искусственный интеллект иначе именуется «машинным разумом».
Под созданием систем искусственного интеллекта, по общему правилу, понимается разработка программ (алгорит-
3 Болотова Л.С. Системы искусственного интеллекта: модели и технологии основанные на знаниях: Учебник. - М., 2012. - 664 с. -С. 32-33.
4 Уинстон П.Г. Искусственный интеллект: Пер. с англ. В.Л. Стефанюка; под ред. Д.А. Поспелова. - М.: Мир, 1980. -520 с. - С. 11.
5 Уинстон П.Г. Искусственный интеллект: Пер. с англ. В.Л. Стефанюка; под ред. Д.А. Поспелова. - М.: Мир, 1980. -520 с. - С. 13, 24.
6 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 61.
мов) для ЭВМ1.
При этом, важно отметить, что желание заставить компьютеры (вычислительные машины) быть разумными - это, по словам Патрика Генри Уинстона, далеко не то же самое, что желание заставить вычислительные машины моделировать ин-теллект2.
Круг вопросов, пишет С.В. Фомин, объединяемых понятием «искусственный интеллект», является весьма обширным и довольно неопределённым3. Предметно-объектная область работы специалистов в сфере систем искусственного интеллекта -на стыке самых разнообразных дисциплин: программирования и психологии, техники и лингвистики, математики и физиологии4.
По Эрлу Ханту, разумное поведение свойственно только системе из элементов, обрабатывающих информацию5. Ник Бостром отмечает, что и понятие «качество интеллекта» является весьма размытым6.
Дефиниция искусственного интеллекта во многом (если ни вообще определяющим образом), пишет А.В. Шилейко, зависит от целей, которые ставит перед собой исследователь: 1) создание искусственного интеллекта в целях исследования, достижения лучшего осмысления и понимания естественного интеллекта; 2) создание искусственного интеллекта в целях решения при помощи такового задач, которые обычно решаются человеком; 3) создание искусственного интеллекта в целях решения при помощи такового задач, решение которых необходимо человеку, но которые непосильны для человека (не
1 Хант Э. Искусственный интеллект: Пер. с англ. - М.: Мир, 1978.
- 560 с. - С. 33.
2 Уинстон П.Г. Искусственный интеллект: Пер. с англ. В.Л. Стефанюка; под ред. Д.А. Поспелова. - М.: Мир, 1980. -520 с. - С. 14.
3 Фомин С.В. Предисловие редактора перевода // Ниль-сон Н. Искусственный интеллект: методы поиска решений: Пер. с англ. В.Л. Стефанюка; под редакцией С.В. Фомина. - М.: Мир, 1973. - 272 с. - С. 5.
4 Поспелов Д.А. Предисловие редактора перевода // Уинстон П.Г. Искусственный интеллект: Пер. с англ. В.Л. Стефанюка; под ред. Д.А. Поспелова. - М.: Мир, 1980. - 520 с. - С. 6.
5 Хант Э. Искусственный интеллект: Пер. с англ. - М.: Мир, 1978.
- 560 с. - С. 526.
6 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Страте-
гии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 103.
подъёмны по трудозатратам или недостижимы возможностям, либо опасны для его жизни и здоровья). Соответственно, разработка дефиниции понятия искусственного интеллекта требует одновременного учета множества факторов, относящихся к самым разным областям науки7.
Нильс Нильсон определяет это понятие как машину, способную выполнять и выполняющая такие действия, для которых обычно требуется интеллект человека8.
Согласно Патрику Генри Уинстону, искусственный интеллект - это вычислительная машина, способная «делать такие вещи, которые у людей выглядят разумными», а равно соответствующие наука и тех-нология9.
А.В. Шилейко выделял 2 противоположных дефинитивных позиции:
1) некоторая машина определяется как искусственный интеллект, если она успешно моделирует хотя бы одну из функций, традиционно относимых к сфере разумной деятельности;
2) некоторая машина определяется как искусственный интеллект, если она оказывается способной выполнить хотя бы одну из функций, которые выполняет разум-
10
ное существо10.
Л.С. Болотова интерпретирует понятие искусственного интеллекта как «направление исследований по аппроксимации естественного интеллекта, то есть совокупности способностей, образующих его реальный феномен», как некоторую искусственную (компьютерную) систему, способную имитировать интеллект человека, то есть его способности получать, обрабатывать, хранить информацию и знания и выполнять над таковыми различные действия, совокупно называемые
7 Шилейко А.В. Дискуссии об искусственном интеллекте. - М.: Знание, 1970. - 48 с. - С. 42, 5.
8 Нильсон Н. Искусственный интеллект: методы поиска решений: Пер. с англ. В.Л. Стефанюка; под редакцией С.В. Фомина. - М.: Мир, 1973. - 272 с. - С. 7.
9 Уинстон П.Г. Искусственный интеллект: Пер. с англ. В.Л. Стефанюка; под ред. Д.А. Поспелова. - М.: Мир, 1980. -520 с. - С. 11.
10 Шилейко А.В. Дискуссии об искусственном интеллекте. - М.: Знание, 1970. - 48 с. - С. 4-5.
1
мышлением'.
Ник Бостром приводит ещё определение коллективного сверхразума, интерпретируя таковой как систему из большого числа интеллектов более низкого уровня таким образом, что общая производительность такой интегральной системы (коллективного сверхразума) в силу качества эмерджентности существенно превосходит производительность любой существующей когнитивной системы, и отмечая, что концептуально понятие коллективного искусственного сверхразума2.
Согласно Нику Бострому, сверхразум - это любой интеллект, значительно превосходящий когнитивные возможности человека фактически в любых областях, во многих универсальных проявлениях и выражениях когнитивной деятельности3.
Согласно Ирвину Гуду, сверхразумная машина - это машина, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека4.
Авторский концепт С учётом вышеобозначенных и иных нами изученных научных подходов, в нашей авторской научной концепции дефиниция понятия «искусственный интеллект» следующая:
Искусственный интеллект - это полностью или частично автономная самоорганизующая компьютерно-программная виртуальная (virtual) или кибер-физическая (cyber-physical), в том числе биокибернетическая (bio-cybernetic), система (юнит), наделённая/обладающая способностями и возможностями:
- антропоморфно разумных мыслительных и когнитивных действий, таких, как распознавание образов, символьных сис-
1 Болотова Л.С. Системы искусственного интеллекта: модели и технологии основанные на знаниях: Учебник. - М., 2012. - 664 с.
- С. 31.
2 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 99.
3 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 50, 96.
4 Good I.J. Speculations Concerning the First Ultraintelligent Machine // Advances in Computers / Eds. Franz L. Alt, Morris Rubinoff. Vol. 6.
- New York: Academic Press, 1965. P. 31-88. - P. 33.
тем и языков, рефлексия, рассуждение, моделирование, образное (смыслопорож-дающие и смысловоспринимающее) мышление, анализ и оценка;
- самореферентности, саморегулирования, самоадаптирования под изменяющиеся условия, самоограничения, и при этом поддерживать себя в гомеостазе;
- генетического поиска (genetic algorithm - эвристический алгоритм поиска, с сохранением важных аспектов «родительской информации» для «последующих поколений» информации), накопления информации и опыта;
- обучения и самообучения (в том числе на своих ошибках), опыта;
- самостоятельной разработки текстов под собственное тестирование, проведения самостестирований и тестирований компьютерной и, при возможности, физической реальности, самостоятельной разработки и применения алгоритмов собственной омологации;
- антропоморфно разумного самостоятельного (в том числе творческого) принятия решений и решения задач и проблем.
Заключение
По мнению Комитета Японии по политике в сфере робототехники, роботы нового поколения включают в себя следующие категории:
- промышленные роботы нового поколения, способные работать с людьми или наравне с людьми;
- обслуживающие роботы, способные выполнять такие задачи, как домашняя уборка, обеспечение безопасности, уход за детьми, поддержание жизнедеятельности, другими словами, функции, в процессе исполнения которых такие роботы сосуществуют с людьми в офисах и домах5.
Бурное развитие технологий искусственного интеллекта обусловливает необходимость адекватного развития соответ
5 Weng Y.H., Chen C.H., Sun C.T. The legal crisis of next generation robots: on safety intelligence // Proceedings of the 11th international conference on Artificial intelligence and law. - 2007. - P. 205-209. -P. 205.
ствующего законодательного обеспечения в этой области, что достаточно затруднительно без надлежащего понимания и адекватной интерпретации термина «искусст-
Библиография:
венный интеллект». Выше представленная авторская дефиниция при закреплении ее в нормативном документе могла бы принести существенную пользу.
1. Апресян Ю.Д. Лексическая семантика. Синонимические средства языка. - М.: Наука, 1974. - 368 с.
2. Болотова Л.С. Системы искусственного интеллекта: модели и технологии, основанные на знаниях: Учебник. - М., 2012. - 664 с.
3. Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016.
4. Люгер Дж.Ф. Искусственный интеллект: стратегии и методы решения сложных проблем: Пер. с англ. 4-е изд. - М.: Вильямс, 2003. - 864 с.
5. Нильсон Н. Искусственный интеллект: методы поиска решений: Пер. с англ. В.Л. Стефанюка; под редакцией С.В. Фомина. - М.: Мир, 1973. - 272 с.
6. Панов О.В. Функциональная структура бессознательного и возможность формирования новых принципов искусственного интеллекта // Искусственный интеллект: междисциплинарный подход / Под ред. Д.И. Дубровского и В.А. Лекторского - М.: ИИнтеЛЛ, 2006. - 448 с. - С. 107-110.
7. Поспелов Д.А. Предисловие редактора перевода // Уинстон П.Г. Искусственный интеллект: Пер. с англ. В.Л. Стефанюка; под ред. Д.А. Поспелова. - М.: Мир, 1980. - 520 с.
8. Синельникова В.Н., Ревинский О.В. Права на результаты искусственного интеллекта // Копирайт. - 2017. - № 4.
9. Уинстон П.Г. Искусственный интеллект: Пер. с англ. В.Л. Стефанюка; под ред. Д.А. Поспелова. - М.: Мир, 1980. - 520 с.
10. Фомин С.В. Предисловие редактора перевода // Нильсон Н. Искусственный интеллект: методы поиска решений: Пер. с англ. В.Л. Стефанюка; под редакцией С.В. Фомина. - М.: Мир, 1973. - 272 с.
11. Хант Э. Искусственный интеллект: Пер. с англ. - М.: Мир, 1978. - 560 с.
12. Шилейко А.В. Дискуссии об искусственном интеллекте. - М.: Знание, 1970. - 48 с.
13. Эндрю А. Искусственный интеллект: Пер. с англ. / Под ред. и с предисл. Д.А. Поспелова. - М.: Мир, 1985. - 264 с.
14. Ястребов О.А. Искусственный интеллект в правовом пространстве: концептуальные и теоретические подходы // Правосубъектность: общетеоретический, отраслевой и международно-правовой анализ: Сб. матер. к XII Ежег. науч. чтениям памяти С.Н. Братуся. - М.: Институт законодательства и сравнительного правоведения при Правительстве РФ; Статут, 2017. - С. 271-283.
15. Good I.J. Speculations Concerning the First Ultraintelligent Machine // Advances in Computers / Eds. Franz L. Alt, Morris Rubinoff. Vol. 6. - New York: Academic Press, 1965. P. 31-88.
16. Legg S., Hutter M. A Formal Definition of Intelligence for Artificial Systems // <http://www.vetta.org/documents/universal_intelligence_abstract_ai50.pdf>. - 2 p.
17. Weng Y.H., Chen C.H., Sun C.T. The legal crisis of next generation robots: on safety intelligence // Proceedings of the 11th international conference on Artificial intelligence and law. - 2007. - P. 205-209.
