CC BY
175
№ 4 (46) 2013
Л. С. Болотова, докт. техн. наук, профессор Московского института радиотехники, электроники и автоматики В. А. Смольянинова, канд. техн. наук, Московский институт радиотехники, электроники и автоматики
А. П. Новиков, канд. техн. наук, Департамент образования г. Москвы А. А. Никишина, ООО «Эльстер Метроника», г. Москва
Практическая значимость результатов исследований в научном направлении «искусственный интеллект»
Рассматривая вопрос разграничения задач автоматизации и разработки средств искусственного интеллекта, авторы анализируют причины, ограничивающие поток исследований в области создания систем искусственного интеллекта.
введение
Практическая значимость ожидаемых результатов научных исследований может быть установлена и измерена только после их внедрения в какой-либо реальный процесс. Соответственно, выражение значимости ожидаемых результатов и определяет уровень интереса к ним в научной среде. Таким образом, интенсивность исследований в конкретном направлении может быть повышена путем анализа актуальных тем и их систематизации, основанной на выражении этой практической значимости.
Статья не содержит новаций в толковании понятия «научное направление «Искусственный интеллект»1 (далее — ННИИ
1 Artificial intelligence (AI) — раздел науки информатики и разновидность информационной технологии (от англ. computer science, фр. informatique). Данное направление изучает и развивает «разумные» машины и соответствующее программное обеспечение. Джон Маккарти, который ввел этот термин в 1955 г., определяет его как «науки и техники создания разумных машин». Поскольку создание и даже обсуждение искусственного разума в определенное время противоречило уровню развития философии в СССР, а кибернетика была объявлена лженаукой, то, чтобы не использовать слово «разум», в 1970-х гг. в Советском Союзе появился термин «искусственный интеллект», фор-
(ИИ — AI, Artificial Intelligence)), а предлагает подход к решению задачи «Выявление факторов, ограничивающих поток исследований в ННИИ». Первым фактором, препятствующим признанию исследований в ННИИ, будем считать субъективизм оценки границы области исследований, темы которых выходят за рамки субъективно установленной.
Фиксирование практической значимости исследований
В Положении о порядке присуждения ученых степеней (в ред. Постановления Правительства РФ от 20.06.2011 № 475) указано: «В диссертации, имеющей прикладной характер, должны приводиться сведения о практическом использовании полученных автором научных результатов, а в диссертации, имеющей теоретический характер, — рекомендации по использованию научных выводов». В рекомендациях по оформлению диссертаций [16] в пункте «Практическая значимость результатов исследования» отмечается, что необходимо перечислять,
мально переводящийся как artificial intellect, тогда как слово intelligence имеет гораздо более емкое значение в английском языке по сравнению со словом intellect. — Прим. ред.
№ 4 (46) 2013
в каких областях практической деятельности или в какой научной сфере и каким образом (в какой форме) используются или могут быть использованы результаты, приведенные в диссертации. Например, методические разработки могут быть рекомендованы научным учреждениям и вузам, меры регулирования — государственным и правительственным органам, направления интеграционных процессов — международным институтам, формы и виды деятельности — хозяйствующим субъектам и пр. Важно, чтобы рекомендации были конкретными и носили адресный характер. В подтверждение значимости проведенного исследования для науки и практики необходимо представлять соответствующие документы. Речь идет о справках по внедрению выполненной работы, из которых должно следовать, что результаты работы были использованы в деятельности каких-либо предприятий и организаций, специфика деятельности которых имеет определенное отношение к теме диссертации.
Таким образом, в требованиях к оформлению квалификационных работ (не противоречащих требованиям ВАК) под фиксацией практической значимости понимается фиксация только факта существования практической значимости, а величина относительной или абсолютной значимости (в том числе, финансовое выражение) находится вне зоны рассмотрения при формулировке этого пункта. Важно отметить, что практическая значимость результатов исследований в равной степени корректно и не двусмысленно фиксируется в каждой квалификационной работе, относящейся к ННИИ или к другим НН информатики. А получение оценочного варианта «выражения практической значимости ожидаемых результатов исследований по конкретной теме» на стадии выполнения этих исследований (от постановки задачи до реализации результатов исследования) видится весьма затруднительным и не поддающимся регламентации даже в рамках одного НН. В этом ракурсе можно отметить, что величина (объ-
ем) относительной или абсолютной практической значимости исследовательской работы для реального производства не имеет однозначного выражения. К примеру, это может быть:
• величина, достигнутая на этапе практической части аттестационной работы;
• величина, которая может быть достигнута при неограниченном распространении результатов исследования;
• величина, ожидаемая при реализации существующих в настоящее время методов распространения результатов исследования;
• величина, соответствующая конкретной периодичности и интенсивности распространения результатов исследования;
и т. п.
В поиске факторов, ограничивающих поток исследований ННИИ, рассмотрим множество актуальных тем исследований2 этого НН и систематизируем темы, основываясь на финансовом выражении практической значимости ожидаемых результатов исследований по конкретной теме.
Получение оценочного варианта (базирующегося на косвенных показателях) финансового выражения практической значимости ожидаемых результатов исследований по конкретной теме видится реальностью, если при реализации результатов создана конкретная программная система, для которой проработано финансовое выражение практической значимости. В этом ракурсе следует подчеркнуть, что каждая программная система решает конкретные задачи, выдвигаемые в конкретных условиях и месте. Ее создание никогда не ограничивается реализацией решения набора задач, которые могут быть исследованы в рамках только одного из НН информатики. Поэтому часто отсутствие объективной возможности выполнения квалифицированного соотнесения конкретной программной системы,
8
со
со
я
со £
¡5
0
1
С.Э
с;
2 Многие устоявшиеся темы исследований ННИИ благодаря своей масштабности приобрели статус самостоятельного НН.
115
-N ПРИКЛАДНАЯ ИНФОРМАТИКА
№ 4 (46) 2013 ' -
£
! 16 Л
£ Й и
I
I
л
§
€ §
I
со
1 СО
0
1 8
со р
I &
¡2 и
I
I
¡5
<3
востребованной реальным производством, к реализации результатов научных исследований в том или ином НН информатики сопровождается сложностями квалифицированного соотнесения результатов к ННИИ. Представляется, что в первую очередь необходимо признать однозначное, корректное, соответствующее общепризнанному толкованию определение границы области исследований ННИИ.
Цель, предмет, граница области и методы исследований в ННИИ
Каждое НН характеризуется взаимно определяемыми (взаимно ограничивающими) целью, предметом, границей области и методами исследований. Все эти характеристики в том или ином виде присутствуют в дефинициях каждого конкретного НН. Рассмотрим несколько существующих дефиниций ННИИ.
• ИИ — это одно из направлений информатики, целью которого является разработка аппаратно-программных средств, позволяющих пользователю — непрограммисту ставить и решать свои, традиционно считающиеся интеллектуальными задачи, общаясь с ЭВМ на ограниченном подмножестве естественного языка [1, с. 15].
• ИИ — это одно из направлений информатики, цель которого — разработка аппаратно-программных средств, позволяющих пользователю-непрофессионалу ставить и решать свои задачи, традиционно считающиеся интеллектуальными, общаясь с ЭВМ на ограниченном подмножестве естественного языка [2, с. 592].
• ИИ — это область исследований, направленных на то, чтобы заставить машины3 выполнять функции, в настоящее время для них слишком трудные, и особенно функции, которые способны выполнять люди [3, с. 19].
3 В рамках настоящей статьи «слово машина... означает некоторую программу, реализуемую на универсальной вычислительной машине» [3, с. 17].
• ИИ — это совокупность средств и методов решения интеллектуальных задач на основе моделирования процессов выявления, представления и манипулирования знаниями с использованием средств вычислительной техники (прежде всего — компьютеров) [4, с. 264].
• ИИ — это такое поведение машины, что если оно совершалось бы человеком, то могло бы быть названо разумным, т. е. интеллектуальным [5, с. 49].
• ИИ — имитация некоторых видов интеллектуальной человеческой деятельности в электронных системах. Целью ИИ как науки является создание компьютерных устройств и технологий, способных выполнять действия, требующие человеческого интеллекта [5, с. 477].
• ИИ — совокупность метапроцедур — представления знаний, рассуждений, поиска релевантной информации в среде имеющихся знаний, логического вывода, пополнения знаний, их корректировка и т. д., то есть процедур, имитирующих мыслительную деятельность человека [6, с. 38-39].
• В области ИИ решается «ответственная задача: специалисты в этой области пытаются не только понять природу интеллекта, но и создать интеллектуальные сущности. ИИ — это одна из новейших областей науки» [7, с. 34].
• ИИ — искусственная система, имитирующая решение человеком сложных задач в его интеллектуальной деятельности [8, с. 202].
• ИИ — искусственная система, имитирующая решение человеком сложных задач, связанных с различными видами его деятельности [9].
• ИИ — НН, связанное с созданием на базе средств вычислительной техники средств обработки больших объемов данных и выработки на основе моделирования органов человека и/или заданных им алгоритмов решений определенных практических задач. Примерами использования ИИ являются экспертные системы, интеллек-
№ 4 (46) 2013
туальные системы, компьютерное зрение и др. [9].
• ИИ — свойство автоматических и автоматизированных систем брать на себя отдельные функции человеческого интеллекта, т. е. выбирать и принимать оптимальные решения на основе ранее полученного опыта и рационального анализа внешних условий (воздействий) [10, с. 118].
• ИИ — искусственная система, имитирующая решение человеком сложных задач, связанных с его жизнедеятельностью [10, с. 118].
• ИИ — направление научных исследований, сопровождающих и обусловливающих создание систем ИИ [10, с. 118].
• Очень часто системы ИИ определяются просто как системы, основанные на знаниях: «Знание определяется как информация, которая отражает объективные свойства и связи некоторых объектов, явлений, процессов... как в субъективном, так и в научном (объективном) выражении. В интеллектуальных системах знания отображаются в знаковой форме» [6, с. 39, 41].
• Интеллектуальные информационные системы (ИИС) — естественный результат развития обычных информационных систем, сосредоточившие в себе наиболее наукоемкие технологии с высоким уровнем автоматизации не только процессов подготовки информации для принятия решений, но и самих процессов выработки вариантов решений, опирающихся на полученные информационной системой данные [11, с. 5].
• Искусственный разум — искусственно созданная система произвольной природы, предназначенная для решения сложных задач широкого класса [12, т. 1, с. 412].
В докладе А. В. Андреевой говорится: «Дать более-менее целостное представление об искусственном интеллекте возможно только при помощи философских категорий, которые дают теоретическое обоснование общемировоззренческих принципов, лежащих в основе всей практической преобразующей деятельности» [13, с. 7]. Тем
5
не менее, рассмотрение дефиниций ИИ по- I зволяет установить для НН цель, предмет, | границу области и методы исследований, ¿с а также охарактеризовать их. ^
Конечная цель. В обобщающей фор- со мулировке конечной целью исследований ¡1 ННИИ является создание алгоритмиче- ас ской модели интеллекта субъекта (в отли- с-чие от искусственного разума, для которого под целью понимается создание модели | интеллекта произвольной природы). |
«Цель: создание искусственных систем, | способных выполнять не хуже (а возможно, ¿| и лучше) человека ту работу, которую люди < традиционно относят к сфере интеллекту- ® ального труда» [3, с. 6]; «В области иссле- § дований, называемой искусственным интел- § лектом, изучаются способы создания вычис- ^ лительных машин, обладающих «интеллек- е-туальным» поведением» [3, С. 17].
Однозначность, зафиксированная в предлагаемой формулировке определения конечной цели, поддерживается не во всех публикациях. Так, например Н. М. Абдикеев в своей работе отмечает:
• «ИИ является наукой и технологией, а не коммерческой сферой. Это совокупность понятий и идей, которые предназначены для исследований» [5, с. 74].
Тем самым недвусмысленно отрицается, что конечная цель работ в ННИИ — создание модели интеллекта. В свою очередь, утверждение, что конечной целью ННИИ является создание алгоритмической модели интеллекта субъекта — это только вербальное выражение цели.
Предмет исследований. Общепризнано, что в ННИИ предметом исследований и моделирования представляется интеллект.
Алекс Эндрю в своей книге отмечает, что «Необходимо прежде всего разобраться в смысле самого понятия интеллект и вытекающего отсюда понятия интеллектуального поведения» [3, с. 17]. И здесь же утверждается, что «в конечном счете, нам придется вернуться к нашему интуитивному представлению об интеллекте» [3, с. 17]. Тем не менее, приведем дефиниции интеллекта.
№ 4 (46) 2013
• Интеллект — это мыслительные способности человека. Отдельные интеллектуальные способности человека могут быть воспроизведены в технических средствах (в том числе в автоматах) путем создания систем ИИ [10, с. 118].
• Интеллект — мыслительные способности человека к обучению, пониманию, рассуждению, умозаключениям, решению задач и принятию адекватных решений. Человек пытается повысить «интеллектуальные» возможности компьютера, передавая ему все более сложные функции по поиску и обработке информации. Машина «мыслит», если она может достичь человеческого уровня выполнения некоторых когнитив-
^ ных заданий [5, с. 474]. «и Изложенные выше толкования предмета ¡3 и цели исследований для ННИИ содержат-^ ся в предисловии к книге А. Эндрю «Искусно ственный интеллект» 1985 г. издания: «Путь | к достижению системами искусственного ин-<3 теллекта идеала — полноценной имитации возможностей естественного интеллекта — ^ проходит лишь через имитацию структуры ^ и реализованных на ней функций, характер-| ных для живых систем» [3, с. 7]. [I Таким образом, и толкование интеллекте та как предмета исследований не выходит || за рамки вербального выражения (концеп-^ туальный уровень).
« Граница области исследований. Во многом граница области исследований для | ННИИ установлена перечнем задач, реше-¡5 ние которых принято относить к этому НН.
Основной состав перечня задач, сохранивши шийся до настоящего времени практически ¡5 без изменений, сформирован на заре ста-¡1 новления ННИИ эвристикой конкретных ис-<2 следователей.
¡2 В этой связи следует вспомнить, что еще § в 1950 г. Алан Тьюринг указал, что вместо поиска ответа на вопрос, могут ли машины Щ мыслить, мы должны интересоваться тем, | могут ли машины пройти поведенческий | тест интеллектуальности, который в даль-| нейшем получил название теста Тьюринга» § [7, с. 1250], а также подчеркнул, что «ма-
шина никогда не сможет выполнить действие. Быть добрым, щедрым, красивым, дружелюбным, инициативным, иметь чувство юмора, отличать правду от лжи, совершать ошибки, влюбляться, наслаждаться земляникой и мороженым, заставлять влюбляться в себя, учиться на опыте, правильно употреблять слова, быть предметом собственных мыслей, проявлять такое же разнообразие в поведении, как и человек, создавать действительно что-то новое» [7, с. 1250]. Перечень характеристик, сформированный А. Тьюрингом, отражает направления работ по достижению подобия робота и человека. Современные исследования еще далеки от решения задач из списка Тьюринга, поэтому некоторые из них приобрели статус устоявшихся тем исследования, но в решении некоторых все еще не получены ощутимые результаты. Так, на конференциях специалистов широко обсуждается вопрос выхода робота из подчинения человеку.
Таким образом, в дефинициях сущности, именуемой «ИИ», можем наблюдать субъективное (исполненное несколькими субъектами) назначение границы области исследований данного НН. А формулировка признака для определения границы области исследований в этом НН содержит концентрированное выражение субъективизма. Так, Стюарт Рассел и Питер Норвиг отмечают, что «в настоящее время тематика искусственного интеллекта охватывает огромный перечень научных направлений, начиная с таких задач общего характера, как обучение и восприятие, и заканчивая такими специальными задачами, как игра в шахматы, доказательство математических теорем, сочинение поэтических произведений и диагностика заболеваний. В искусственном интеллекте систематизируются и автоматизируются интеллектуальные задачи, и поэтому данная область касается любой сферы интеллектуальной деятельности человека. В этом смысле искусственный интеллект является поистине универсальной научной областью» [7, с. 34].
№ 4 (46) 2013
В качестве основной части ННИИ Стюарт Рассел и Питер Норвиг перечисляют шесть направлений исследования [7, с. 36-37]:
• Средства обработки текстов на естественных языках, позволяющие успешно общаться с компьютером, скажем на английском языке.
• Средства представления знаний, с помощью которых компьютер может записать в память то, что он узнает или прочтет.
• Средства автоматического формирования логических выводов, обеспечивающие возможность использовать хранимую информацию для поиска ответов на вопросы и вывода новых заключений.
• Средства машинного обучения, которые позволяют приспосабливаться к новым обстоятельствам, а также обнаруживать и экстраполировать признаки стандартных ситуаций.
• Машинное зрение для восприятия объектов.
• Средства робототехники для манипулирования объектами и перемещения в пространстве.
Все исследования, которые хотелось бы позиционировать как относящиеся к ННИИ, принято примерять к тому или иному направлению исследований, и в частности, к этим шести направлениям, перечень которых установлен субъективно. Т. е. первый вывод состоит в том, что субъективно установленная граница области исследований ННИИ препятствует постановке некоторых задач и их дальнейшему решению. Одна из причин — отсутствие устоявшегося понимания некоторого формального признака, по которому можно отличить данные от знаний при их представлении в компьютерных системах, делающее такое толкование границы области исследований ННИИ еще более расплывчатым.
Методы исследований. Разнообразие устоявшихся тем исследований ННИИ и, соответственно, несхожесть предметов исследования в различных темах не способствовали выявлению, систематизации и публикации такой систематизации для методов исследований этого НН.
Высоко оценивая практическую значимость аналитического обзора публикаций как метода исследования, авторы статьи отмечают, что и подготовка настоящей статьи базируется на этом методе, ограничивающем возможность получения принципиально новых результатов. Более того, в настоящее время работы в области ННИИ все в большей степени сводятся к данному методу исследования. Сложившаяся ситуация вызывает озабоченность. Ожидание новизны в рамках применения этого метода исследований базируется на прозрачности границ между НН. Поэтому достижения исследований в других НН в рамках ННИИ могут быть признаны принципиально новым результатом.
Дистанцирование ННИИ от НН «Автоматика»
Основной вопрос, на который необходимо получить ответ, для установления границы области исследований ННИИ следующий: чем отличается создание автоматизированных и автоматических систем4 от создания интеллектуальных5 и интеллектных6 систем? [8, 9, 12]. При решении этого вопроса традиционно декларируется, что автоматические и автоматизированные системы оперируют данными, а интеллектуальные и интеллектные системы ориентированы на обработку знаний. Но, как было сказано выше, в настоящее время отсутствует устоявшееся понимание формального признака, по которому можно отличить данные от знаний при их представлении в компьютерных системах, вследствие чего эта декларация только обостряет вопрос об ус-
4 Создание автоматизированных и автоматических систем (построение систем управления, действующих без непосредственного участия человека) — цель исследований НН «Автоматика», которое в самостоятельную научно-техническую дисциплину окончательно оформилось к 1940 г.
5 Интеллектуальная система — система, субъект которой обладает естественным интеллектом.
6 Интеллектная система — искусственная система, моделирующая интеллектуальную систему.
8
со
со
я
со £
¡5
0
1
С.Э
с;
119
№ 4 (46) 2013
тановлении формального признака, по которому конкретный результат исследований в информатике может быть отнесен к ННИИ, а не к НН «Автоматика». Установлению однозначно толкуемого отличительного признака, позволяющего отнести результаты исследований к одному из двух НН, посвящается данный параграф. Начнем с характеристики НН, которая более других конкретизирована в дефинициях ИИ, и это — предмет исследований.
Для корректности в формулировке предмета исследований отметим, что, с одной стороны, не существует НН, в рамках которых исследуются вопросы моделирования сущностей, именуемых «субъект» и «интел-^ лектуальное поведение субъекта». С другой «и стороны, невозможно подтвердить, что кон-¡3 кретный фрагмент алгоритма присутствует ^ в модели интеллекта, но его нет в модели ц субъекта и в модели интеллектуального по-| ведения субъекта. Декларация интеллекта <3 предметом исследований в ННИИ противоречит фактически принимаемому к исследо-^ ваниям предмету.
^ Предмет исследований ННИИ фактиче-| ски триедин и составлен из сущностей, име-[I нованных «субъект», «интеллект субъекта» =с и «интеллектуальное поведение субъекта». || А для составляющих триединого предмета ^ исследований характерно единство цели ^ и методов исследования.
Предмет исследований НН «Автоматика ка» — это области реального производст-¡5 ва, для которых улучшение функционирования может быть достигнуто созданием или § совершенствованием системы управления. ¡5 Первичной целью исследований в ННИИ объявляется алгоритмическое моделирова-<2 ние субъекта, в том числе его интеллекта ¡2 и интеллектуального поведения. Практиче-§ ски значимый результат конкретного исследования достигается, если выявлен новый ^ механизм функционирования субъекта или § его интеллекта, а также если сформулиро-| ван новый фрагмент алгоритма, реализую-| щего определенную функцию того или иного § механизма из модели субъекта или модели
его интеллекта по взаимодействию механизма с реальным миром и с другими механизмами (далее — алгоритма).
Цель исследований в НН «Автоматика» — построение систем управления, действующих при выполнении операций конкретного процесса без непосредственного участия человека. Практически значимый результат исследований — это новый алгоритм, составленный из известных к настоящему времени фрагментов.
Граница области исследований ННИИ определяется множеством задач, выдвигаемых в процессе рассмотрения и алгоритмического моделирования триединого предмета исследований.
Граница области исследований НН «Автоматика» определяется задачами, тесно связанными с развитием автоматов, автоматических устройств и автоматизированных комплексов.
Для исследований в НН «Автоматика», тем не менее, не было изначально установлено препятствий в их распространении на вопросы поиска новых фрагментов алгоритма путем соответствующего изучения субъекта, его интеллекта и интеллектуального поведения. Однако в практических работах по данному направлению таких исследований обнаружить не удается. За рамками НН «Автоматика» оказались вопросы логического вывода, понимания и использования естественного языка, зрения, творчества, принципов машинного обучения, планирования и др. Это и инициировало отнесение к ННИИ вопросов проектирования систем, действующих рационально и автономно в сложной, изменяющейся среде, и других, традиционно относящихся к области ИИ. Анализ ситуации позволяет прийти к выводу, что до настоящего времени так и не установлен своего рода «пограничный столб» между этими двумя НН. Авторами статьи предлагается определить тематическую границу следующим образом: исследования в НН «Автоматика» не охватывают вопросы выявления и формализации новых фрагментов алгоритма. Пополнение базо-
№ 4 (46) 2013
вого множества фрагментов алгоритма выполняется только при изучении результатов исследований в других НН.
Не разграниченность областей исследования двух НН ретуширует вопрос достижения практически значимого результата в каждой конкретной аттестационной работе в сфере ННИИ, поэтому именно конечная цель работ в данном направлении может и должна быть положена в основу решения вопроса о границе области исследований для этого НН.
В описанном ракурсе моделирование субъекта должно быть нацелено на создание машины (программной системы), имитирующей эволюцию живого. И здесь следовало бы открыть дискуссию по поводу отличий живого и неживого, живой системы от неживой, эволюции от деградации. Но эта тема заслуживает специального глубокого рассмотрения, поэтому лишь сошлемся, например, на определение живого В. Курилова как способности преобразовывать внешнюю энергию в устойчивую во времени форму, накапливать и использовать ее для компенсации уменьшения внешнего потока энергии [17]. Соответственно, можно говорить об эволюции живого, если эта способность увеличивается. В свете такого понимания моделирование интеллекта субъекта должно быть нацелено на создание программной системы, имитирующей самого субъекта (жизнь), а моделирование интеллектуального поведения субъекта нацелено на создание программной системы, имитирующей интеллект.
По определению, тест Алана Тьюринга позволяет подтвердить или опровергнуть имитацию алгоритмом интеллекта субъекта. Тем самым он позволяет подтвердить или опровергнуть, что тестируемый алгоритм получен как результат моделирования интеллектуального поведения субъекта. Признание и широкое применение этого теста видится причиной того, что в настоящее время моделированию интеллектуального поведения субъекта посвящена доминирующая часть работ в области ННИИ.
«о
В свете сказанного, если программная I система не содержит признаков, по кото- | рым ее можно было бы отнести к результа- ¿с там исследований в области ННИИ, относит- ^ ся к НН «Автоматика». <«г
о
Зафиксированная в предложенном тол- | ковании тематической границы области ис- ас следований ННИИ однозначность поддер- '=■ живается, однако, не во всех публикациях. Так, например, определение ИИ, данное | Джоном Маккарти в 1956 г. на конференции | в Дартмутском университете, не связано на- | прямую с пониманием интеллекта лишь у че- ¿| ловека. Согласно Маккарти, исследователи < в ННИИ вольны использовать методы, не на- ® блюдаемые у людей. §
Другими словами, в настоящее время § все же не существует простого решения ^ для быстрого выявления и фиксации, а так- еже качественного определения и формализации методов исследований ННИИ. Ответ на вопрос: как происходит обработка информации в мозгу, принято искать в рамках науки неврологии [7, с. 46].
В связи с тем, что анатомировать интеллект и на этой основе пытаться понять, как он работает на самом деле, невозможно, или, по меньшей мере, крайне затруднено, можем лишь строить предположения (гипотезы) об этом. А исследуя какую-либо гипотезу, можно убедиться в ее истинности.
Методы исследований ННИИ авторы статьи видят нацеленными на получение фрагментов алгоритма (в рамках создания модели формально-логического уровня). В данном смысле представляется не обязательным исследование физико-химической природы сущности, именуемой «нервная система». Ответы на поставленный вопрос могут быть косвенными, а выводы, формируемые на множестве косвенных фактов, могут в дальнейшем получать подтверждение в рамках неврологической науки. Важно отметить, что в итоге формальное применение методов исследования для рассмотрения предмета исследований в некотором конкретном ракурсе должно приводить к полновесному результату. «Прежде чем
№ 4 (46) 2013
утверждать, что какая-то конкретная программа мыслит, как человек, требуется иметь некоторый способ определения того, как же мыслят люди. Необходимо проникнуть в сам фактически происходящий процесс работы человеческого разума. Для этого могут использоваться два способа: интроспекция (попытка проследить за ходом собственных мыслей) и психологические эксперименты. Только после создания достаточно точной теории мышления появится возможность представить формулы этой теории в виде компьютерной программы» [7, с. 37]. Два предложенных способа определения того, как мыслят люди, составляют вербальное выражение (концептуальный уровень) ме-^ тодов исследований, которые должны быть «и конкретизированы (формализованы). Отмерз тим также, что для выявления фрагментов ^ алгоритма можно проследить за ходом соб-ц ственных мыслей. А для подтверждения того, I что такой фрагмент алгоритма присутствует <3 в моделируемом субъекте, интеллекте субъекта или в модели интеллектуального пове-^ дения субъекта, необходимо иметь методику ^ психологических экспериментов. | Методы исследований в ННИИ видятся [I близкими к методам исследований в психозе логии. Возможно, это некоторый симбиоз || тестов для исследования программных сис-^ тем и статистики результатов их тестирова-^ ния. Некоторый дополнительный результат при поиске методов исследований в ННИИ | следует ожидать также от рассмотрения ме-¡5 тодов и методик реинжиниринга программных систем и бизнес-процессов. са Методы исследований в НН «Автома-¡5 тика» — это интеграция (симбиоз) фрагмен-¡1 тов алгоритмов из множества уже извест-<2 ных к началу интеграции (как имеющих, так ¡2 и не имеющих реализацию доступными тех-§ ническими средствами).
К вопросу поиска методов исследований Щ в ННИИ добавим еще одно замечание. Если | необходимо заменить человека в конкрет-| ном месте реального производства, то сле-£ дует ответить на вопрос: что конкретно вы-§ полняет человек в этом месте реального
производства — или на равнозначный ему вопрос: каков должен быть фрагмент алгоритма автоматизации?
В поле зрения специалиста ННИИ находится конкретная сущность, именуемая «субъект». В этом случае исследователь генерирует гипотезы фрагментов алгоритма, присутствующих в рассматриваемой сущности. Если же в поле зрения находится процесс, который необходимо автоматизировать, и его реализация должна выполняться без участия человека, то ставится задача для специалиста по автоматизации. Нужный алгоритм автоматизации не может быть получен простым наблюдением.
Общий вывод настоящего параграфа состоит в том, что до настоящего времени не выполнялись работы по формализации и построению стройной системы методов исследований в ННИИ, позволяющей получать ответы на два основных вопроса:
1) каким фрагментом алгоритма в триединой сущности решается конкретная задача;
2) присутствует ли конкретный фрагмент алгоритма в триединой сущности (субъект, его интеллект и интеллектуальное поведение)?
Одной из причин подобного положения является ошибочное толкование цели, предмета, границы области и методов исследований ННИИ. Это весьма многогранный фактор, ограничивающий поток исследований в данной сфере.
Принадлежность фрагментов алгоритма к научному направлению
В некоторых формулировках по ходу изложения материала статьи применено деление фрагментов алгоритма на два типа:
• фрагменты алгоритма, присутствие которых в триединой сущности (субъект, его интеллект и интеллектуальное поведение) уже доказано;
• фрагменты алгоритма, для которых это по каким-либо причинам не ясно или невозможно.
№ 4 (46) 2013
Недоказуемость чаще всего касается фрагментов алгоритма (или программной системы в целом), создаваемых в «свободном полете» творческой мысли (фантазии) разработчиков или эвристически. Для других же такой проблемы может и не возникать. В этом случае алгоритм принадлежит автоматизированной системе и не может быть признан результатом исследований и практических работ в ННИИ. Чтобы имитацию интеллектуального поведения, реализуемую программной системой, приблизить к действительно интеллектуальному поведению субъекта, необходимо добиться, чтобы все фрагменты алгоритма этой программной системы были проверены на их реальное существование при рассмотрении интеллектуального поведения субъекта. Тем самым утверждаем, что программная система должна быть моделью интеллектуального поведения субъекта, а не результатом умозрительных построений разработчиков программной системы.
«С самого начала работ по созданию интеллектуальных систем возникло два вопроса: какова глобальная цель подобных исследований и какова их глобальная стратегия? Является ли их целью познание феномена естественного интеллекта и нужно ли копировать тот путь, по которому шла природа, создавая этот феномен?» [3, с. 6]. Нам предоставлена возможность не копировать путь, по которому шла природа, создавая этот феномен, а исследовать и моделировать естественный интеллект, получая притом высокие показатели эффективности в применении данной модели. Интеллектуальное поведение субъекта, модель которого можно получить как результат исследований в ННИИ, должно содержать методы, приемы и алгоритмы, правильность и целесообразность которых выработана, зафиксирована и подтверждена длительной практикой субъекта, социальной группы людей и человечества в истории его развития. В том числе субъект обладает фрагментами алгоритма, необходимый уровень сложности которых установлен эволюцией субъекта.
5
Выбор уровня сложности структуры знаний I также стал результатом эволюции субъек- | та. Чтобы подчеркнуть значимость выявле- ¿с ния фрагментов алгоритма, составляющих ^ модели субъекта, его интеллекта и интел- со лектуального поведения, отметим, что тра- | диционно под творчеством понимается соз- ас дание чего-либо нового, работающего в но- '=■ вых условиях. При этом умалчивается, что результат творческой деятельности обречен | на успех, если основу творчества составило | моделирование существовавшего или суще- | ствующего. В таком аспекте эвристическое ¿| мышление — это умение видеть предмет мо- < делирования, находящийся у всех на виду, ® но не всеми замечаемый. §
Фрагмент алгоритма или конкретная про- § граммная система в целом, если они полу- ^ чены как реализация результатов исследо- е-ваний в рамках ННИИ, обречены обладать высокими потребительскими качествами (показателями эффективности в применении). И отсутствие до настоящего времени каких-либо дефиниций таких показателей не лишает права делать подобные утверждения. К примеру, технология информационного поиска (если такая технология будет создана в рамках ННИИ, т. е. «подсмотрена» во множестве алгоритмов интеллектуального поведения субъекта) обречена обладать высокими качествами. Таким образом, применение результатов исследований, выполненных в ННИИ в доминирующем числе случаев, априори нацелено на замену человека в конкретном месте реальной деятельности, а не на автоматизацию (улучшение функциональных качеств конкретной системы автоматизации производства, созданной не в процессе моделирования интеллектуального поведения субъекта).
Если каждый фрагмент алгоритма из полного их состава в программной системе имеет единственное (одинаковое для всех фрагментов) обоснование присутствия такого фрагмента в исследуемом при моделировании субъекте, моделировании его интеллекта или его интеллектуального поведении, то программная система, удовле-
№ 4 (46) 2013
творяющая этому требованию, может быть признана реализацией результатов исследований в ННИИ. Такой подход к толкованию границы области исследований ННИИ принято именовать ориентированным на изучение человека. Данный подход «должен представлять собой эмпирическую научную область, развитие которой происходит по принципу выдвижения гипотез и их эмпирического подтверждения» [7, с. 35-36]. «С другой стороны, подход, основанный на понятии рациональности, представляет собой сочетание математики и техники» [7, с. 36].
Предложенное деление фрагментов алгоритма на два типа не имеет явно выра-^ женной формулировки в предыдущих па-<и раграфах статьи. Причина в том, что нет ¡3 возможности подтвердить для произволь-^ но отобранного фрагмента алгоритма его ! отсутствие в триединой сущности (субъект, | его интеллект и интеллектуальное поведе-<3 ние). Всегда остается возможность обнаружить этот конкретный фрагмент алгоритма ^ в ранее не рассматриваемом месте триеди-^ ной сущности. Более того, сложно предло-| жить «другую» сущность для утверждения, [I что рассмотрение этой («другой») сущности =с позволило выявить какой-либо конкретный || фрагмент алгоритма, который используется или может быть использован в автома-
§
ш тизированной или автоматической системе управления. Для автоматических и автомата тизированных систем нет запрета на при-¡5 сутствие фрагментов алгоритма из модели триединого предмета исследований. Если § некоторые фрагменты алгоритма программно ной системы из полного их состава могут ¡1 быть признаны не присутствующими в трие-<2 дином предмете исследований, то появляет-¡2 ся возможность утверждать, что оставшиеся § фрагменты алгоритма получены эвристиками или методами поиска оптимальности для ^ алгоритмов, т. е. не получены исследования-| ми в рамках ННИИ. При этом программная | система в целом относится к автоматиза-| ции, а реализация результата исследований, § который признается практически значимым,
не относится к ННИИ. Таким образом, можно констатировать, что ННИИ может заявлять права на результаты своих исследований только на период первичной их реализации. Однако практическая значимость результатов исследований впоследствии отнюдь не должна считаться исчезающей а, напротив, должна усиливаться за счет присутствия этих результатов в разрабатываемых на их базе программных системах автоматизации.
Это означает, что при обнаружении фрагмента алгоритма, который в конкретном механизме триединой сущности присутствовал, был выделен и описан (т. е. выведен из него) и затем использовался в других целях вне его, переводит этот фрагмент алгоритма из разряда принадлежащих ННИИ в разряд не принадлежащих ему. Именно это приводит к тому, что такой фрагмент алгоритма начинает использоваться и тиражироваться в рамках других НН, автоматизированных или автоматических систем раньше, чем появляется целевое финансирование на продолжение работ в области ННИИ. Этот факт можно назвать принудительной «щедростью» исследователей в ННИИ и, более того, он часто способствует формированию общественного мнения о непродуктивности исследований в ННИИ, что отвлекает ресурсы исследователей на защиту своих авторских прав и все чаще становится фактором, ограничивающим поток исследований в ННИИ. Необходима единая среда (со своими методами и средствами), позволяющая собирать и интегрировать фрагменты алгоритмов, получаемые как результат исследований в ННИИ.
В практике аттестационных работ ННИИ результатом самостоятельных исследований становится создание лишь частного алгоритма для решения частной задачи (классификации, ассоциации, обобщения по признакам и по структурам, дедукции, индукции, абдукции и т. д.). Разум человека умеет все это, и многое другое делает в любом сочетании, в любом порядке и преимущественно на подсознательном уровне. Среди умений разу-
№ 4 (46) 2013
ма — счет, ассоциативный поиск, аналитический вывод и все другие мыслительные процессы. Необходим системный подход, в котором человек рассматривается как сложная единая система. В этом смысле интеграция фрагментов алгоритма не должна останавливаться при получении синергетического эффекта и при достижении симбиоза составляющих алгоритмическую модель фрагментов алгоритма. Системная целостность модели должна соответствовать целостности моделируемой сущности. Отметим также, что «психологи обычно с большой осторожностью подходят к вопросу об определении понятия интеллекта. Как заметил один из них, единственное непротиворечивое определение состоит в следующем: «Интеллект — это то, что оценивается в интеллектуальных тестах» [3, с. 18]. Поэтому при интеграции фрагментов алгоритма видится необоснованным разделение процессов мышления на интеллектуальные и не интеллектуальные.
Однако до настоящего времени такая единая среда, позволяющая собирать и интегрировать фрагменты алгоритмов, полученных и получаемых как результат исследований в ННИИ, не создана, что очень мешает его развитию.
А пока, до разработки единой среды для реализации результатов исследований в ННИИ, необходимо создание и использование системы регистрации фрагментов алгоритма с освидетельствованием их принадлежности к результатам исследований в ННИИ. В этом случае могут быть определены санкции к разработчикам программных систем в случае использования соответствующих фрагментов алгоритма без ссылки на документ регистрации этого фрагмента.
Формализация границы области исследований ннии
Реальная возможность различать фрагменты алгоритма на упомянутые выше два типа появляется в том случае, если каждый конкретный фрагмент алгоритма рассматривать неотделимым от механизма триеди-
5
ной сущности, в котором этот фрагмент об- I наружен. |
Моделированием интеллекта можно при- ¿с близить результат моделирования к сущно- ^ сти, именуемой «интеллект субъекта». Это со приближение нельзя закончить, его можно | только прекратить, поэтому априори множе- ас ство механизмов триединой сущности мож- с-но признать необозримым. Для подтверждения этого следует взглянуть на перечень за- | дач, поиск решения которых выполняется | в рамках ННИИ. Наблюдаемая при этом бес- | системность (неупорядоченность) отражает ¿| реальное состояние исследований по вы- < явлению множества механизмов триединой ® сущности и их интеграции. §
Основные механизмы сущности, именуе- § мой «субъект», как и основные механизмы ^ сущности, именуемой «интеллект субъекта», е-определяются первым этапом декомпозиции этих сущностей. Второй и последующие этапы декомпозиции позволяют выделить механизмы, интеграция которых приводит к получению основных механизмов. Рассмотрение в этом ракурсе полного перечня задач, поиск решения которых выполняется в рамках ННИИ, позволяет установить достаточно краткий список задач, решение которых способствует моделированию основных механизмов.
Подход к систематизации исследований усложняется многовариантностью декомпозиции (в том числе и первого ее этапа) любой сущности (любой сложной системы).
Углубленное рассмотрение толкования значений основных характеристик ННИИ способствовало бы контролю и анализу, позволяющим:
1) убедиться в полноте списка основных механизмов для каждой декомпозиции и в этом случае переместить в зону исследований ранее находившиеся в тени основные механизмы триединой сущности;
2) убедиться в целесообразности каждой декомпозиции и в полноте серии декомпозиций, тогда возможен пересмотр списка задач, поиск решения которых выполняется в рамках ННИИ;
№ 4 (46) 2013
3) в рамках самоорганизации ННИИ пересмотреть методы исследований с последующим поиском, выявлением, формулировкой и формализацией, а также систематизацией методов исследования. В идеале такие работы могут привести к автоматизации исследований в НН;
4) пересмотреть список задач, поиск решения которых выполняется в рамках ННИИ. Решение некоторых задач может выполняться в рамках других НН, ран ее сформ ирован ны х и и меющих свои методы и средства исследований. К примеру, можно рассмотреть целесообразность отнесения к ННИИ, а не к теории вероятностей, исследований методов обра-
^ ботки стохастических знаний. В этом случае «и предметом исследований принимаются про-¡3 явления реального мира, а рассмотрение ^ (в каком-либо ракурсе) триединого предмета та исследований ННИИ непродуктивно; | 5) для каждого из основных механизмов <3 пересмотреть его алгоритм на присутствие фрагментов алгоритма, реализующих взаи-^ модействие: с реальным миром, с каждым ^ из основных механизмов общей с исходным | механизмом декомпозиции, с каждым из ос-[I новных механизмов, выделенных в деком-=с позициях, чужих для исходного механизма. || В этом случае контроль и анализ позволяют ^ переместить в зону исследований ранее на-^ ходившиеся в тени фрагменты алгоритма;
6) интегрировать фрагменты алгоритма, | т. е. создавать макрофрагменты, которые ¡5 востребованы специалистами по автоматизации. Макрофрагменты позволяют решать § конкретные задачи автоматизации, генери-¡5 руемые реальным производством и распо-¡1 знаваемые в реальном производстве спе-<2 циалистами по автоматизации. Интеграция ¡2 фрагментов алгоритма может базироваться § на СЛвЕ-технологии.
Завершая параграф, авторы статьи при-Щ знают сложность решаемых вопросов по ка-| ждой декомпозиции первого этапа из серии | таких декомпозиций. Однако готовы отме-| тить, что при каждой декомпозиции выделясь ются не только механизмы, формальным вы-
ражением которых является алгоритм (множество входных и выходных воздействий). Выделяются также консольные механизмы, у которых множество или выходных, или входных воздействий отражают взаимоотношения субъекта с реальным миром (внешним для сущности, которая подвергается декомпозиции). В каждой декомпозиции также будет присутствовать блок знаний, не имеющий выходных воздействий. Отмечаемые особенности каждой декомпозиции сущности, именуемой «субъект», или сущности, именуемой «интеллект субъекта», не упоминаются по ходу изложения материала статьи.
Градация направлений исследований в ннии
Вариант упорядочивания исследований ННИИ, предложенный выше, — это всего лишь предложение рассматривать множество направлений исследования в конкретном ракурсе, для которого оценку заметности, важности, значительности (в перспективе с точки зрения местонахождения его по отношению к зрителю) конкретного подмножества направлений исследования можно выполнить в рамках следующей градации:
1) передний(первый)план;
2) средний (второй)план;
3) задний (третий) план.
Задачи, размещаемые на втором плане этого ракурса, нацелены на самоорганизацию НН. Их цель и ожидаемые результаты отмечены выше в пп. 1, 2 и 3. Для этих задач характерны специфические методы исследований. На третьем плане видятся направления исследований, результаты которых обслуживают исследования, помещенные на первом и втором планах, а также задачи п. 4. Задачи первого плана, общая формулировка которых выполнена в пп. 5 и 6, составляют самую ценную часть исследований ННИИ. Она формирует практическую значимость в целом для реального производства.
Реализация решений задач первого плана — это новые методы обработки информации и, следовательно, возможность соз-
№ 4 (46) 2013
дания программных систем нового типа. Таким образом, только в рамках исследований ННИИ выявляются новые методы структурирования и обработки информации и, следовательно, только в этом НН могут появиться и появляются новые типы программных систем. Это экспертные системы, системы интеллектуальной обработки данных, контент-анализ, онтологии, интеллектуальные информационно-поисковые системы7 и т. д.
Для реализации исследований по каждой конкретной теме необходимо заручиться поддержкой нескольких специалистов в конкретном априори избранном НН. Каждый специалист, прежде чем поддержать исследования, позиционирует тему в рамках своего НН. Технология позиционирования темы исследований предусматривает три проверки:
1. Проверка применимости результатов исследований по теме в рамках уже признанной темы исследований НН. Среди задач ННИИ — это задачи третьего плана.
2. Проверка применимости результатов исследований для более качественного решения решаемых в настоящее время задач. Задачи первого плана ННИИ нацелены на выявление и исследование новых методов обработки информации, которые могут быть конкурентоспособны в решении широко известных задач, однако целесообразным видится применение результатов исследования также для решения задач, которые априори признаны нерешаемыми.
3. Проверка применимости результатов исследований для решения ранее не решавшихся задач.
На этапе постановки задачи и планирования исследований по конкретной тематике обычно предусматриваются пояснения относительно ожидаемого результата исследований. Однако особенность ННИИ как раз и заключается в том, что пояснения о характере нового типа программных систем относятся уже к результатам исследо-
7 Пояснения (с некоторой степенью подробности) о характеристиках программных систем этого типа можно найти в [14].
5
ваний и могут быть сформулированы только I
после выполнения исследований, т. е., если |
существует какая-то конкретика, это зна- ¿с
чит, что исследования уже частично выпол- ^
нялись. Отсутствие гарантий необходимого со
финансирования исследований не допус- |
кает пояснений любой степени подробно- ас
сти по особенностям нового типа программ- '=■ ных систем, так как пояснения составляют
§
результаты соответствующих исследований §
по задачам первого плана ННИИ. I
Ц
Заключение
Основные положения, обоснованные ^
§
и сформулированные в статье, отнюдь <э не составляют полного перечня и не обра- § зуют стройной системы факторов, ограни- ^ чивающих поток исследований в ННИИ. е-
К примеру, в статье не рассмотрено отсутствие корректности в именовании понятий составными именами, которое в рамках ННИИ по умолчанию признается не обсуждаемым. В доминирующем числе случаев именование составным именем некоторого направления исследований выполняется на стадии его формирования и начала работ. Несоответствие ожидаемых и реально достигнутых результатов ретушируется назначением узкоспециального толкования сложно именованного понятия, которое ранее не противоречило толкованию, признанному в других НН. Приведем некоторые примеры.
В данном ракурсе просматривается не вполне корректное применение термина «онтология». Априори под онтологией понималась философская дисциплина, которая изучает и моделирует наиболее общие характеристики бытия и сущностей. Когда же результаты исследований в этом направлении были доведены до практической реализации, онтологией стали именовать артефакт, структуру, описывающую значения элементов некоторой системы. Оба варианта толкования понятия «онтология», взяты из [15, с. 9].
Определенная некорректность присутствует в утверждении, что оболочка G2, ап-
№ 4 (46) 2013
риори ориентированная на создание экспертных систем реального времени, ориентирована на создание динамических экспертных систем.
Введенное М. Р. Квиллианом составное имя «семантическая сеть» должно соответствовать сетевой структуре, наполняемой семантикой, однако из его пояснений видно, что этим именем он называет фреймовую организацию.
Перечень примеров может быть продолжен.
Сформулированных авторами ключевых положений более чем достаточно для утверждения необходимости проведения работ по упорядочиванию исследований в облас-^ ти ННИИ. Такое упорядочивание относит-<и ся ко второму плану, согласно приведенной ¡3 выше градации, и не может быть предложе-^ но одним или группой исследователей — по-ц надобится целая серия научных исследова-| ний. Кроме того, предложенный подход дол-<3 жен получить признание значительной части специалистов. Только в этом случае можно ^ ожидать нового этапа интенсивных работ, ^ в том числе связанных с моделированием | интеллекта, а не только моделированием ин-[I теллектуального поведения, и возможности =с создания программной системы, имитирую-| щей субъекта.
=с Список литературы
со
'I 1. Гаврилова Т. А, Хорошевский В. Ф. Базы знаний
§ интеллектуальных систем. СПб.: Питер, 2000.
[5 2. Макарова Н. В. [и др.]. Информатика: учебник.
8 3-е изд., перераб. М.: Финансы и статистика,
« 2007. ¡2
¡о 3. Эндрю А. Искусственный интеллект / пер. с англ.
В. Л. Стефанюка / под ред. Д. А. Поспелова. М.:
<2 МИР, 1985.
¡2 4. Информатика: учебник / под общ. ред. А. Н. Дан-
§ чула. М.: Изд-во РАГС, 2004.
¡5 5. Абдикеев Н. М. Проектирование интеллектуаль-
£ ных систем в экономике: учебник. Российская
§ экономическая академия им. Г. В. Плеханова.
£ М.: Экзамен, 2004. ¡8
£ 6. Болотова Л. С. Системы искусственного ин-
§ теллекта: модели и технологии, основанные
на знаниях: учебник. М.: Финансы и статистика, 2012.
7. Стюарт Рассел, Питер Норвиг. Искусственный интеллект: современный подход. 2-е изд. М.; СПб.; Киев: Вильямс, 2007.
8. Политехнический словарь / редкол.: А. Ю. Иш-линский (гл. ред.) [и др.]. 3-е изд., перераб. и доп. М.: Советская энциклопедия, 1989.
9. Словарь по кибернетике. 2-е изд. перераб. и доп. / под ред. акад. В. С. Михалевича. Киев: гл. редакция Украинской Советской энциклопедии им. М. П. Бажова, 1989.
10. Воройский Ф. С. Информатика. Новый систематизированный толковый словарь-справочник. Введение в современные информационные и телекоммуникационные технологии в терминах и фактах. М.: ФИЗМАТЛИТ, 2003.
11. Романов В. П. Интеллектуальные информационные системы в экономике: учебник. Российская экономическая академия им. Г. В. Плеханова. М.: Экзамен, 2003.
12. Энциклопедия кибернетики. Академия наук украинской советской социалистической республики. Киев: Главная редакция украинской советской энциклопедии, 1975.
13. Искусственный интеллект: Философия, методология, инновации / Материалы Первой Всероссийской конференции студентов, аспирантов и молодых ученых, г. Москва, МИРЭА, 6-8 апреля 2006 г. / под ред. Д. И. Дубровского и Е. А. Никитиной. М.: ИИнтеЛЛ, 2006.
14. Новиков А. П. Организация сетевых структур знаний, поддерживающая их редактирование: дисс.... на соиск. уч. ст. канд. техн. наук по специальности 05.13.11 — Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей. М.: МГТУ МИРЭА, 2012.
15. Соловьев В. Д., Добров Б. В., Иванов В. В., Лукашевич Н. В. Онтологии и тезаурусы: учеб. пособие. Казань, М., 2006.
16. URL: http://dissers.ru/kandidatskaya-dissertatsiya/ design-rule-requirements-procedure-issuance-oformlenie-kandidatskoi-dissertatsii-poryadok-pravila-trebovaniya.php.
17. Курилов В. А. Теория счастья. Азбука жизни. Красноармейск: ООО «Азбука жизни», 2006. — 208 с.
