CC BY
96
НАУКА и ОБРАЗОВАНИЕ
Эл № ФС 77 - 30569. Государственная регистрация №042110002.5. 155И 1994-0408
Ошибки распознавания как основа реализации механизма машинного творчества 77-30569/339720
# 02, февраль 2012
Подольский В. Э., Г речищев К. М., Пугачёв Е. К.
УДК 004.827
МГТУ им. Н.Э. Баумана [email protected] [email protected] [email protected]
ВВЕДЕНИЕ
Творчество человека является процессом малоизученным, несмотря на то, что специалисты многих направлений современной науки - биологи, психологии, кибернетики, педагогики, социологии и даже математики - предпринимают попытки для осознания этого механизма и поиска его источников. В частности, классическая кибернетика тяготеет к перебору вариантов [1] и механизмам ассоциативной памяти [2]. Одна из областей кибернетики (и информатики) - искусственный интеллект - ставит перед собой в качестве ключевой задачи создание механизма машинного творчества. Причём результаты работы этого механизма должны в максимальной степени быть похожими на результаты работы человека-творца (художника, скульптора, архитектора и т.д.). На данный момент ни один из предложенных подходов к машинному творчеству не показал хоть сколь нибудь удовлетворительного результата. В данной работе предлагается новый подход к реализации механизма машинного творчества при помощи учёта ошибок распознавания и использования средств современной математической теории динамического хаоса.
Далее представлен краткий анализ работ в области машинного творчества, изложение сути предлагаемого подхода (с примерами), постановка задачи (ввиду проблематики области ИИ она не может быть в должной степени формализована), методика её решения на основе использования ошибок распознавания образов искусственными нейронными сетями и использования оценки оригинальности при помощи математической теории хаоса. В заключение сделаны некоторые выводы о дальнейших направлениях развития представленных в статье идей.
АНАЛИЗ РАБОТ ПО ТЕМАТИКЕ МАШИННОГО ТВОРЧЕСТВА
Для понимания машинного творчества, определимся с понятием творчества как такового. «Творчество - деятельность, порождающая нечто качественно новое и отличающееся неповторимостью, оригинальностью и общественно-исторической
уникальностью» [3]. Но согласно тому же источнику «творчество специфично для человека». Поэтому в применении к ИИ и вычислительным машинам говорят не о творчестве, а о машинном творчестве и artificial creativity [4].
Машинное творчество - тот творческий процесс, который может быть осуществлён полностью средствами вычислительной техники, причём он может использовать как механизмы, заложенные в человеческом мозге, так и совершенно новые средства.
Основные требования к машинному творчеству были сформулированы Ньюэллом, Шоу и Саймоном [5]:
• результат, представленный творческой программой должен быть новым и полезным;
• результат требует отказа от ранее принятых идей;
• результат получен под воздействием высокой мотивации и настойчивости;
• результат получен от прояснения ранее расплывчатого вопроса.
На данный момент систем и подходов, полностью удовлетворяющих представленным критериям, практически не существует.
Работы в области машинного творчества были начаты давно, с момента зарождения искусственного интеллекта. Интересные детерминистские и стохастические подходы к синтезу музыкальных произведений на вычислительной машине представлены Зариповым [6]. Ньюэллом и Саймоном была создана система GPS (General Problem Solver - с англ. Общий решатель задач) [7], которая удовлетворяла некоторым критериям, представленным выше. Некоторые учёные попытались связать машинное творчество с математикой. Построение изображений при помощи самоподобных структур - фракталов - считается ещё одной ветвью в машинном творчестве [8]. Недавно Шмидтом и Липсоном была предпринята попытка формализации научного творчества: была создана программа выявления общих закономерностей (формул) физических и иных естественных процессов на базе генетических алгоритмов [9]. В Российской ассоциации искусственного интеллекта проблемой машинного творчества занимаются В.Л. Стефанюк, В.Э. Карпов, И.Б. Фоминых, а также некоторые другие учёные [10]. В отечественном сегменте области машинного творчества перспективной считается реализация аппарата Теории Решения Изобретательских Задач (ТРИЗ) на вычислительной машине [11]. Исследования в этом направлении ведутся, но результаты [12] довольно сомнительны с позиции вышеозначенных критериев.
СУТЬ ПОДХОДА НА ОСНОВЕ ОШИБОК РАСПОЗНАВАНИЯ
Ни один из представленных выше подходов не приближает учёных к окончательному решению проблемы машинного творчества. Редко предлагаются методы машинного творчества, включающие в себя одновременно несколько принципов. В настоящей статье представлен новый механизм машинного творчества - антропо-математический принцип моделирования ошибок распознавания и построения на их основе новых образов, а также оценки новизны таких образов при помощи современного математического аппарата.
Ввиду явной несостоятельности существующих подходов, авторами настоящей статьи предлагается в некоторой степени универсальный (в рамках искусственного интеллекта) подход к машинному творчеству. Чтобы полнее объяснить идею подхода, рассмотрим небольшой бытовой пример.
Как известно, система визуального распознавания образов человека (глаза-зрительный нерв-затылочная часть коры головного мозга) иногда даёт известные сбои. Если некто
находится в ярко освещённой естественным и искусственным светом комнате и изолирует её полностью от внешнего освещения, то с высокой долей вероятности в процессе адаптации глаз испытуемого к смене темнового режима у человека возникнут короткие по продолжительности галлюцинации. То есть он будет видеть то, чего на самом деле нет. Это происходит из-за того, что некоторые палочки и колбочки (визуальные рецепторы на сетчатке глаза) сохранили предыдущее световое воздействие [13]. Из-за различий в скорости реакции разных рецепторов зрения происходит возникновение световых пятен перед глазами. Часто мозг старается достроить эти световые пятна до некоторых образов, виденных ранее. А если такое световое пятно не похоже в точности ни на один из виденных ранее образов, то происходит комбинирование разных образов в один. В результате такого процесса человек может увидеть то, чего никогда в жизни не встречал, но то, что напоминает некоторые виденные им ранее образы. Этот случай можно отнести к ошибке системы распознавания образов человека.
Основная идея нашего подхода: формализация и построение творческого процесса как процесса обработки ошибки распознавания образа и доведения её до некоторого другого цельного образа с последующей оценкой его оригинальности и осуществимости.
Схему реализации механизма машинного творчества в обобщённом виде можно представить так, как показано на рисунке 1.
Рисунок 1 - Абстрактная схема реализации механизма машинного творчества на основе ошибочного
распознавания
В соответствии с представленным рисунком распознаётся некоторый объект посредством первичного распознавателя с некоторой ошибкой. В результате этого получаем ошибочный образ (его наличие обуславливается неполнотой информации об объекте или несовершенством распознавателя). Ошибочный образ далее интерпретируется как самостоятельный объект реального мира и при помощи комбинации вторичных распознавателей даёт на выходе новый образ, полученный при комбинировании образов от каждого вторичного распознавателя, причём эти образы получены на основе распознавания образа на выходе первичного распознавателя. Получается, что первичный образ дополняется до некоторого цельного образа, который может одновременно принадлежать нескольким группам (это относится к задачам нечёткой кластеризации [14]).
ПОСТАНОВКА ЗАДАЧИ И МЕХАНИЗМ ИНТЕРПРЕТАЦИИ ОШИБОК
Оригинальным будем называть тот образ 1нов, полученный в результате исполнения вышеописанной процедуры, минимальное расстояние от которого ётп до другого реально существующего образа I определённой группы (число образов в ней равно п) в некотором
метрическом пространстве превосходит на величину максимального расстояния ётса между двумя образами ¡1 и ¡-, принадлежащими одной группе. Итак, образ считается оригинальным, если
^шп(!нов,I,) > ^т1г(11, 1к), I = 1: п; ] = 1: п; к = 1: п . (1)
Легко заметить, что формула (1) является геометрической интерпретацией задачи поиска выбросов. Задача поиска выбросов заключается в нахождении таких точек данных, которые сильнее всего отличаются от уже сгруппированных по некоторому признаку в классы и кластеры. Проблемной точкой этого простого подхода является определение функций ёт,п и йтах - степеней различия образов. В геометрической интерпретации её можно принять за расстояние. Но в целом эта функция будет зависеть от рассматриваемой проблемы и механизма её решения. Рассмотрим эту функцию на примере нейросетей. Также приведём основу подхода с применением математической теории хаоса [15].
Концепция искусственных нейронных сетей (ИНС) была разработана на основе принципов функционирования головного мозга человека (с позиции нейрофизиологии). К общим чертам ИНС и НС головного мозга человека можно отнести способность к обобщению, обучаемость, способность корректно обрабатывать информацию при её высокой зашумленности и другие [16]. Обладающие подобными свойствами нейросетевые алгоритмы могут быть использованы в задачах, связанных с проблемой машинного творчества.
В [17] рассматривалась проблематика распознавания символов многослойным персептроном. Причинами ошибочной работы нейронной сети в процессе распознавания являются недостаточная или, напротив, чрезмерная обученность нейронной сети, слишком высокий уровень шума во входных данных или подача на входы нейронной сети образа, эталон которого отсутствовал в обучающей выборке. В [17] предложен критерий, используя который можно выявить ошибку при распознавании или низкую степень уверенности нейронной сети.
Остановимся подробнее на проблеме обучения сети. При высокой степени обученности сети теряется одно из важнейших ее свойств: способность к обобщению. Так, сеть просто "запомнит" эталонные образы. В этом случае при незначительном отличии распознаваемого образа от оригинала сеть не будет уверена в своём решении.
Рассмотрим пример применения трехслойного персептрона применительно к задаче машинного творчества. ИНС обучается повторять на своих выходах входной сигнал, причём на входы сети подаётся изображения символов размером 32 на 32 пикселя. Число нейронов во входном и выходном слоях равно 1024 (32 Х 32). Эталонное множество состоит из символов русского алфавита. При подаче на входы ИНС эталонного образа на выходе получают образ, незначительно отличающийся от входного. Очень важно не "переобучить" сеть.
После обучения на вход нейронной сети подаётся изображение неизвестного ей символа (например, цифры или символа латинского алфавита). Сеть, обладая способностью к обобщению, производит попытку отнести новое изображения к одному из известных эталонов. В первом случае, если в эталонном множестве имелось изображение похожего символа (например, «Е» для «К», или «И» для «М», «Р» для «Я»), то изображение на выходе нейронной сети будет соответствовать эталонному с некоторой степенью искажения. В противном случае (например, для изображений цифр) сеть не сможет соотнести изображение
ни с одним из эталонов, и изображение на ее выходах будет состоять из элементов тех символов, которые более всего похожи на входной. Именно здесь и проявляется механизм машинного творчества на основе ошибок распознавания.
Проводя параллель с вышесказанным, можно заметить, что первый случай аналогичен попытке человеческого мозга достроить неизвестные световые пятна до некоторых образов, виденных ранее. Во втором случае сеть генерирует изображение, состоящее из элементов ранее изученных эталонов.
Интересный эффект наблюдается, если на 1 +1 итерации подать на входы нейронной сети выходные изображения /-ой итерации. При подаче на первой итерации неизвестного образа возможны два случая.
В первом из них через N итераций на выходах сети будет получено изображение одного эталонного образца практически без искажений. При этом степень искажения выходного изображения будет уменьшаться с ростом N. В другом случае сеть не сможет достроить новое изображение до эталонного. На выходах сети будет формировать образ, состоящий из элементов эталонов. С ростом N отличия сигналов на выходах на 1 +1 и /-ой итерации становятся всё менее значительными. Можно утверждать, что выходное изображение сходится к изображению некоторого не представленного ни в одном алфавите символа, то есть символа, который человеку не известен.
яьвтш
Новые символы
¥
р
р
р
р
р
р
р
р
#
Й
й
й
й
Й
й
й
й
й
Сходимость от неизвестного сети символа Б к известному Г
Сходимость от неизвестного сети символа # к неизвестному человеку и сети символу (творчество)
Рисунок 2 - Результаты использования натренированной на символах русского алфавита ИНС применительно к неизвестным ей символам латинского алфавита и спецсимволам
Как уже было упомянуто, хаотическая динамика также может быть применена в контексте рассматриваемого подхода.
ТЕОРИЯ ДИНАМИЧЕСКОГО ХАОСА ДЛЯ ОЦЕНКИ ОРИГИНАЛЬНОСТИ ОБРАЗА
Предположим, что мы обладаем образом I (обобщая, считаем I множеством образов, обладающих некоторым заранее установленым числом признаков М) некоторого реально существующего объекта О, т.е. при помощи некоторого отображения образ был поставлен в соответствие реальному объекту: /: О ^ I (это может быть сделано как человеком, так и при помощи некоторого алгоритма распознавания образов). Для наших целей также принимаем, что образ I воспроизводит объект О с необходимой точностью. После получения образа I внесём в него некоторый малый шум е, в результате чего получим образ I' = I + е, причём е может быть настолько мало, что модуль этого вносимого шума
|£| = \Г-1) «10-20 ^ 10-10. Теперь, если будет найдена некоторая функция ¡м = /(I), обладающая существенной зависимостью от начальных условий, то можно будет
сконструировать такой математический алгоритм, который способен оценивать степень оригинальности образа I' и получаемых из него с течением времени новых образов. Рассмотрим одну из теорем хаотической динамики, чтобы наиболее полно описать предлагаемый подход.
Пусть (X, ё) - метрическое пространство, содержащее бесконечное множество точек. Если отображение / : X ^ X непрерывно и транзитивно, а периодические точки / плотны в X, то/обладает существенной зависимостью от начальных условий [19]. Воспользуемся этой теоремой для составления алгоритма поиска функции / обладающей существенной зависимостью от начальных условий.
Рассмотрим два близких начальных условия: х1(0) = х0 и х2(0) = х0 +А(0).
Представим, что со временем траектории х1 (^) и х2 ^) изменяются так, как представлено на рисунке 3. К моменту времени I разница между двумя траекториями составляет А(^) = х2 (I) - х1 (I) . Если расстояние |А(7)| между соответствующими точками двух траекторий с течением времени растёт экспоненциально в случае ориентации вектора А(0) от начальной точки х1(0) траектории х1(I) к начальной точке х2(0) траектории х2(^), тогда говорят, что система выражает сильную зависимость от начальных условий. Само условие такой зависимости может быть записано в виде:
^ вы, к > 0. (2)
|А(0)|
ІА(ґ )|
В формуле (2) у----у - отношение расстояния между соответствующими точками двух
|А(0)|
траекторий на момент времени і к расстоянию между соответствующими точками этих же траекторий на начальный момент времени і = 0.
Рисунок 3 - Пример сильной зависимости функции от начальных условий
Алгоритм, представленный на рисунке 4, позволяет оценить степень оригинальности нового образа, полученного применением шума к исходному. Оценка производится за счёт анализа динамики разницы между траекториями представления образов (исходного и ошибочного) при применении к ним некоторой функции.
Рисунок 4 - Вариант алгоритма оценки оригинальности образа
Алгоритм довольно прост. Конечно, в данной области необходимы дальнейшие исследования ввиду того, что проблема оценки оригинальности того или иного объекта, образа сама по себе является сложной и нерешённой задачей. По сути всё машинное творчество может быть сведено к двум задачам: синтез образа, оценка оригинальности образа. Дополнительные критерии, представленные Ньэллом и остальными также могут быть задействованы по мере надобности.
Конечно, по окончании процесса получения нового образа и определения его оригинальности, необходимо проверить полученный образ (его части) на существование в некоторой библиотеке образов. Также возможна проверка непосредственно по применимости, если полученный образ не обнаружен в библиотеке (т.е. полностью соответствует второму критерию Ньюэлла, Шоу и Саймона).
ЗАКЛЮЧЕНИЕ
В настоящей работе была предпринята попытка рассмотреть механизм машинного творчества на основе ошибочных образов, а также интеграции в данную проблему математической теории хаоса. Если первое направление более тяготеет к этапу синтеза нового образа, то второе - к этапу оценки синтезированного образа (на новизну). Выполнение иных проверок по критериальной системе Ньюэлла-Шоу-Саймона представляется на данном этапе работ проблематичным ввиду крайне невысокой возможности их автоматизации. Особый интерес с научной точки зрения представляет собой дальнейшая проработка возможностей применения аппарата математической теории хаоса в динамических системах (какими и являются системы машинного творчества - творческие агенты) не только для оценки, но и непосредственно для синтеза новых образов. Например, требует рассмотрения идея новых (творческих) образов как неких аттракторов.
В ходе работы нами преимущественно рассматривались математические алгоритмы (оптимизация в искусственных нейронных сетях, математическая теория хаоса) ввиду математической природы архитектур современных вычислительных машин. Списковые и
другие редко встречающиеся архитектуры на данный момент не сильно распространены и представляют собой сомнительную выгоду для решения задач машинного творчества. Перспективным в этом плане выглядит применение архитектур, базирующихся на теории множеств и теории нечётких множеств.
Применение машинного творчества (как такового, так и представленного в работе подхода) покрывает много направлений: синтез рифм, написание картин, создание образов новых персонажей для литераторов, синтез рассказов, творческое решение изобретательских задач и т.д.
Итак, в настоящей работе рассмотрена идея нового подхода к актуальной проблеме машинного творчества. Сочетание новейших методов математики с классическими подходами искусственного интеллекта, используемыми при рассмотрении их стандартного функционала с новой позиции (например, ошибки классификации), может подвинуть нас ещё на шаг ближе к разгадке тайны машинного и человеческого творчества.
ЛИТЕРАТУРА
1. Стобо Дж. Язык программирования Пролог: Пер. с англ. - М.: Радио и связь, 1993. -368 с.
2. Кохонен Т. Ассоциативные запоминающие устройства. - М.: МИР, 1982. - 384 с.
3. Советский энциклопедический словарь / Гл. ред. А.М. Прохоров. - М.: Советская энциклопедия, 1987. - 1600 с.
4. Интернет-ресурс http://www.thinkartificial.org.
5. Newell, A., Shaw, J. G., and Simon, H. A. The process of creative thinking / H. E. Gruber, G. Terrell and M. Wertheimer (Eds.), Contemporary Approaches to Creative Thinking. - New York: Atherton, 1963. - pp. 63 - 119.
6. Зарипов Р. Машинный поиск вариантов при моделировании творческого процесса. - М.: Наука. Главная редакция физико-математической литературы, 1983. - 232 с.
7. Newell, A., Shaw, J.C., Simon, H.A. Report on a general problem-solving program / Proceedings of the International Conference on Information Processing - USA, 1959. - pp. 256-264.
8. ФедерЕ. Фракталы: Пер. с англ. - М.: Мир, 1991. - 254 с.
9. Schmidt M., Lipson H. Distilling Free-Form Natural Laws from Experimental Data / Science, Vol. 324, no. 5923, 2009. - pp. 81 - 85.
10. Интернет-ресурс http://raai.org .
11. Альтшуллер, Г. Найти идею. Введение в ТРИЗ - теорию решения изобретательских задач.
- М.: Альпина Паблишер, 2011. - 410 с.
12. Митрофанов В.В. Машина открытий. Компьютерная программа. Свидетельство об официальной регистрации программы для ЭВМ № 2000610103.
13. Чупров А., Кудрявцева Ю. Анатомия и физиология органа зрения. - Киров: КГМА, 2007.
- 107 с.
14. Вятченин Д. Нечёткие методы автоматической классификации: Монография. - Мн.: УП «Технопринт», 2004. - 219 с.
15. Ott, E. Chaos in dynamical systems. - UK: Cambridge University Press, 1994. - P. 386.
16. Хайкин С. Нейронные сети: полный курс, 2ое издание: Пер. с англ.- М.: Издательский дом «Вильямс», 2006.- 1104 с.
17. Гречищев К.М., Самарев Р.С. Особенности моделей представления изображений для нейросетевого распознавания символов. - М.: Эликс+, 2010.
18. Кроновер Р. Фракталы и хаос в динамических системах. Основы теории. - М.: Постмаркет, 2000. - 352 с.
electronic scientific and technical periodical
SCIENCE and EDUCATION
__________El. .Vs KS 77 - 30569. -V«042l 100025. ISSN 1994-0408_
Recognition errors as a basis of implementation of computer arts mechanism 77-30569/339720
# 02, February 2012
Podol’skii V.E., Grechischev K.M., Pugachev E.K.
Bauman Moscow State Technical University [email protected] [email protected] [email protected]
In this paper the authors consider a new idea of implementation of computer art mechanisms on the basis of recognition errors by artificial neural networks. An approach using the mathematical theory of dynamical chaos to analyze the degree of originality in computer art image was also proposed in this article.
Publications with keywords: machine arts, recognition errors, artificial intelligence, chaos theory Publications with words: machine arts, recognition errors, artificial intelligence, chaos theory
Reference
1. Stobo Dzh., The programming language Prolog, Moscow, Radio i sviaz', 1993, 368 p.
2. Kokhonen T., Associative memory devices, Moscow, MIR, 1982, 384 p.
3. In: A.M. Prokhorov (Ed.), The Soviet encyclopaedic dictionary, Moscow, Sovetskaia entsiklopediia, 1987, 1600 p.
4. http://www.thinkartificial.org.
5. Newell, A., Shaw, J. G., Simon, H. A., The process of creative thinking, in: H. E. Gruber, G. Terrell, M. Wertheimer (Eds.), Contemporary Approaches to Creative Thinking, New York, Atherton, 1963, pp. 63-119.
6. Zaripov R., Computer search options for modeling the creative process, Moscow, Nauka, Glavnaia redaktsiia fiziko-matematicheskoi literatury, 1983, 232 p.
7. Newell, A., Shaw, J.C., Simon, H.A., Report on a general problem-solving program, in: Proceedings of the International Conference on Information Processing, USA, 1959, pp. 256-264.
8. Feder E., Fractals, Moscow, Mir, 1991, 254 p.
9. Schmidt M., Lipson H., Distilling Free-Form Natural Laws from Experimental Data, Science 324 (5923)(2009) 81 - 85.
10. http://raai.org .
11. Al'tshuller G., Find the idea. Introduction to the theory of inventive problems solving, Moscow, Al'pina Pablisher, 2011, 410 p.
12. Mitrofanov V.V., Certificate of official registration of COMPUTER programs 2000610103, Machine discoveries. Computer program.
13. Chuprov A., Kudriavtseva Iu., Anatomy and physiology organ of vision, Kirov, KGMA, 2007, 107 p.
14. Viatchenin D., Fuzzy methods of automatic classification: Monograph, Minsk, UP «Tekhnoprint», 2004, 219 p.
15. Ott E., Chaos in dynamical systems, UK, Cambridge University Press, 1994, 386 p.
16. Khaikin S., Neural networks: a complete course, Moscow, Izdatel'skii dom «Vil'iams», 2006, 1104 p.
17. Grechishchev K.M., Samarev R.S., Features of the model representation of images for neural network recognition of symbols, Moscow, Eliks+, 2010.
18. Kronover R., Fractals and chaos in dynamical systems. Fundamentals of the Theory, Moscow, Postmarket, 2000, 352 p.
