CC BY
14
Интернет-журнал «Науковедение» ISSN 2223-5167 https://naukovedenie.ru/
Том 9, №6 (2017) https ://naukovedenie. ru/vo l9-6.php
URL статьи: https://naukovedenie.ru/PDF/53TVN617.pdf
Статья опубликована 15.12.2017
Ссылка для цитирования этой статьи:
Лапиков И.И., Бурделев А.В. Сравнительный анализ геометрического метода и модифицированного метода эллисоидов в задаче распознавания параметров k-значной пороговой функции // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №6 (2017) https://naukovedenie.ru/PDF/53TVN617.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
УДК 512.55
Лапиков Игорь Игоревич
НКО «Фонд содействия развитию безопасных информационных технологий», Россия, Москва1
Сотрудник лаборатории E-mail: [email protected] РИНЦ: http://elibrary.ru/author_profile.asp?id=955099
Бурделев Александр Владимирович
Белорусский государственный университет, Республика Беларусь, Минск
Старший преподаватель E-mail: [email protected]
Сравнительный анализ геометрического метода и модифицированного метода эллисоидов в задаче распознавания параметров k-значной пороговой функции
Аннотация. В данной статье проводится сравнительный анализ двух авторских подходов к распознаванию параметров пороговых k-значных функций, которые могут быть использованы для построения узлов обработки и защиты информации. Сравнение параметров разработанных геометрического алгоритма и алгоритма, основанного на модифицированном методе эллипсоидов, осуществляется на общем полигоне из более чем 2,25 млн случайных пороговых функций, для характеризации которых используются предлагаемые подходы. В ходе экспериментальных исследований выявляются сильные и слабые стороны каждого из способов решения задачи характеризации пороговой k-значной функции и ставится задача по синтезу комбинированного подхода, нивелирующего недостатки каждого из методов, разработанных авторами. На практическом примере демонстрируются преимущества комбинированного подхода по сравнению с существующими.
Ключевые слова: пороговая k-значная функция; пороговая логика; метод эллипсоидов; характеризация пороговой функции
1. Введение (авторы Лапиков И. И., Бурделев А. В.)
Рассматриваемая в данной статье задача характеризации пороговой функции является классической задачей теории булевых функций и дискретной математики в целом [1, 2]. Несмотря на кажущуюся простоту постановки эта задача оказалась даже в булевой области
1 127287, Москва, проезд Старый Петровско-Разумовский, 1/23, стр. 1
весьма сложной, все подходы к решению которой носят итеративный характер. В то же время широкое прикладное применение пороговых булевых функций в различных системах переработки информации, включая системы защиты, приводит к продолжению исследований и поиску новых алгоритмов характеризации [3, 7, 11, 21, 22].
С другой стороны, на современном этапе развития информационных технологий тенденция к постоянному увеличению объемов перерабатываемой информации делает актуальной задачу перехода от битовых к к-значным преобразованиям. Построение архитектуры ЭВМ на основе к-значных преобразований влечет необходимость построения узлов защиты информации, основанных на преобразованиях данного типа. Стоит отметить еще одно актуальное направление использования к-значных преобразований - построение нейрокомпьютеров. Основным элементом нейрокомпьютеров являются формальные нейроны, функционирование которых описывается к-значными пороговыми функциями [28]. Построение систем защиты информации непосредственно в нейробазисе и определение параметров таких систем является важной с практической точки зрения задачей в области информационной безопасности. В общем случаем задача распознавания параметров к-значной пороговой функции или задача ее характеризации выходит за рамки исключительно задачи информационной безопасности, а является актуальной в целом для дискретной математики и различных приложений.
Определение 1. Функция к-значной логики хп), для которой существует
линейная форма Ь (х1,.--,хп) = а1х1 + а2х2 +... + апхп с вещественными коэффициентами и набор вещественных порогов Ь0,¿1,.,Ък такие, что для всех г е 0,к -1 выполняется условие /к (х1,...,хп) = г «Ъ ^Ь(х1,...,хп) <Ъ+1, называется пороговой к-значной функцией.
Определение 2. Под алгоритмом характеризации пороговой к-значной функции, понимается процедура нахождения какого-либо семейства параллельных гиперплоскостей, разделяющих множества различных значений данной функции, то есть нахождение
коэффициентов а_,а1,..,ап линейной формы Ь(х1,.,хп) и множества порогов ^Ъ1,.,Ък .
В целом ряде разделов дискретной математики возникает задача распознавания принадлежности функции к некоторому классу и восстановления (характеризации) неизвестной дискретной функции из заданного класса с помощью последовательных вопросов о ее строении, например, о ее значениях в точках. В частности, известна сводимость к проблеме характеризации пороговой функции целого класса задач математической логики, математической экономики, целочисленного линейного программирования, теории распознавания образов. Приведем краткий обзор основных результатов и публикаций в данной области.
В работах [4, 5] рассматривалась задача построения алгоритма характеризации монотонных булевых и многозначных функций. В работе [1] показана сводимость задачи характеризации пороговой функции к задаче решения систем линейных неравенств в действительной области. Возможность применения алгоритма Хачияна [24] для характеризации пороговой функции исследована в работе [21]. В работах [2, 6] разобран итеративный алгоритм характеризации пороговой функции, который в качестве начального вектора коэффициентов разделяющей плоскости использует характеристический вектор булевой пороговой функции. Несмотря на наличие в работе [2] доказательства сходимости итеративного алгоритма и существования необходимого для сходимости вектора приращения, в ней остается открытым вопрос о скорости сходимости алгоритма и правиле выбора вектора приращения, для которого лишь указывается диапазон значений. В работах [7, 8] построен итеративный алгоритм характеризации пороговой функции, однако в качестве начального вектора значений выбирается произвольный вектор (по умолчанию - нулевой). Данный
алгоритм был предложен Ф. Розенблаттом в работе [7] и получил название «Метод коррекции ошибки». Далее М. Минским и С. Папертом [8] предложено несколько доказательств классической теоремы «О сходимости персептрона», устанавливающей сходимость алгоритма при любом начальном векторе. В своей работе М. Минский и С. Паперт привели строгое математическое доказательство того, что персептрон не способен к обучению в большинстве интересных для практического применения случаев. В работе [12] предложен алгоритм характеризации пороговых функций многозначной логики, представляющих собой модификацию алгоритма обучения персептрона Ф. Розенблатта. В 1990 году в работе сербского математика З. Обрадовича, выполненной под руководством И. Парберри, в Университете штата Пенсильвания [13] разработаны два алгоритма характеризации пороговой к-значной функции. Данные алгоритмы представляют собой модификации аддитивного алгоритма Розенблатта и мультипликативного алгоритма Литтлстоуна. Дальнейшее развитие алгоритма Обрадовича связано с обобщением понятия пороговой функции. В работе А. Нгома [14] дано обобщение алгоритма Обрадовича на случай немонотонной многозначной пороговой функции к-значной логики. Основные усилия автора модификации направлены на вычисление частичного порядка значений функции в слоях и применении алгоритма Обрадовича. В 2001 году появилась работа группы авторов с участием Н. Литтлстоуна [16], в которой осуществлено объединение двух классов алгоритмов характеризации булевой пороговой функции: аддитивного алгоритма Розенблатта и мультипликативного алгоритма Литтлстоуна - в класс квазиаддитивных алгоритмов. В работах [9, 10] Н. Ю. Золотых предложены алгоритмы характеризации пороговых функций многозначной логики, основанные на последовательном обращении к оракулу (условные тесты), в которых выбор точки для нового обращения к оракулу, определяется ответами на предыдущие вопросы.
Настоящая работа является логическим продолжением развития авторами подходов к проблеме характеризации пороговой к-значной функции, изложенных в работах [20, 21, 25]. Основной целью статьи является сравнение геометрического подхода, основанного на коэффициентах роста и возрастания [25] и модифицированного метода эллипсоидов для решения проблемы характеризации, а также выделение основных достоинств и недостатков этих методов
2. Геометрический алгоритм характеризации пороговых к-значных функций (автор Бурделев А. В.)
Изложим кратко основные положения геометрического подхода основанного на идее М. Дертоузоса использовать некоторый легко вычисляемый вектор, соответствующий мере
близости функции / (-) к функциям Х, * -1 п, в качестве первичной аппроксимации коэффициентов линейной формы, которая была перенесена в к-значную область. Впервые перенос данного инструмента в к-значную область осуществлен в предыдущих работах авторов [20, 21]. Таких мер близости двух к-значных функций может быть предложено несколько.
Определение 3. Для функции к-значной логики / (хl,•••, Хп ) мультипликативн ым коэффициентом переменной Х называется величина
£ - X х> •1 (х---'хп);
(х!,-, хп )ег п
разностным коэффициентом переменной Х называется величина
1г - X Ь " 1 (Х!'"-' Хп )| ^
(1)
пл> (2)
квадратичным коэффициентом переменной Х, называется величина
(3)
8, = X ( Х- " / (Хп ))2-
(Х1,..., Хп )ег п
Все введенные выше коэффициенты характеризуют меру близости функций У(Х1,., Хп) и Х, однако, как показали дополнительные исследования, для задачи нахождения даже первичного приближения аналитического представления к-значной пороговой функции они не подходят.
В булевой области, как уже было отмечено, для построения модели первого приближения коэффициентов линейной формы использовались коэффициенты Чоу, которые также рассматривались в работах [17, 18, 19], или на ином языке - коэффициенты характеристического вектора, которые можно трактовать как число знакоперемен функции по каждой координате. Продолжая эту аналогию при переходе к функциям к-значной логики можно ввести в рассмотрение коэффициенты роста, которые по каждой переменной подсчитывали бы величину возрастания значений функции и суммировали бы эти величины по всем ребрам, соответствующим выделенной переменной.
Определение 4. Для функции к-значной логики У(Х1,.,Хп) коэффициентом роста по переменной Х, называется величина
А, = X (1 (Х1' .'■' Х.-1 'к " 1 Х+1 Хп Ь 1 (Х1 ' .'■' Х -1 '0' Х+1Хп )). (4)
Другим параметром, представляющим интерес для характеризации к-значной пороговой функции, и более тонко учитывающим её строение, является коэффициент возрастания.
Определение 5. Для функции к-значной логики / (Х1,.••, Хп ) коэффициентом возрастания по переменной Х, называется величина
к-2 к-1
Я= X ХХ( 1 (х1' .■■' Х,-1,S,Х„1,.■■, Хп)-1 (Х1>.>Х,-1'1' Х!+1'.' Хп ))■ (5)
(Х.....Х-1.Х+1.....Хп )^п-1 <=° ^
Эксперименты показывают, что коэффициенты роста и коэффициенты возрастания наиболее удачно исполняют роль первичной аппроксимации коэффициентов линейной формы.
Замечание 1. В данной статье далее будем полагать строгое двухстороннее неравенство в определении пороговой к-значной функции:
1 (Х1' . ' Хп ) = - » Ь , < Ь (Х1'.' Хп ) < Ь , +1-
Этого всегда можно добиться небольшим изменением соответствующего порога или весов, так как для любой пороговой функции набор весов и порогов не является однозначным.
Далее сформулируем новый алгоритм характеризации пороговых к-значных функций, который назовем геометрическим [25]. Пользуясь обозначениями определения 5, положим далее для всех , = 0, к -1.
р = = {(Х,Хп) е гп \/(х,.. Хп )= О,
тах (р )= тах [Ь ( х , ( х1,...,хп . Хп )},
(р) = {(х,.,хп)еъ\ \Ь(хх,.. ., хи ) = тах
тп ( р ) = тп ( Х1,. ( Х1,..., Хп )ер -, хп )},
Хшп (Fi ) = {(х,---, xn )е Z"k I L (xi,•••, Xn ) = min (Fi )}•
В случае если f, =0, положим max(F) = +œ и шп (F) = —œ. Приведем геометрический алгоритм характеризации k-значных пороговых функций в формализованном виде.
Геометрический алгоритм характеризации пороговых k-значных функций (автор Бурделев А. В.)
1. Инициализация.
Проинициализировать вектор коэффициентов линейной формы коэффициентами роста либо коэффициентами возрастания:
(al,•••,an) =(Д1,Д2...А) либо an) ) .
2. Вычисление проверочной таблицы.
Вычислить min (Fi ) , max (Fi ) , xmin (Fi ) , xmax (Fi ) Для всех i = 0, k —1 .
3 ind = k — 2
4. Удаление пустых строк из таблицы со сдвигом строк вверх.
Для каждого i = 0,k—1 такого, что F, = 0, выполнить:
а) для всех ] - г,п присвоить тгп(^) - тгп (Ъ+1),
тах(% ) - тах() , хтгп (% ) - Хтгп (Ъг+1), Хтах () - Хтах (Ъг+1) .
б) ind - гnd — 1
5. Проверка чистого разделения областей значений функции.
Для каждого i = 0, ind проверить выполнение неравенства
max (F ) ^ min (F+i)
В случае выполнения неравенства для некоторого i е{°>---,ind} вызвать блок «Коррекция» с параметром i и перейти на шаг 2 алгоритма.
В противном случае вызвать блок «Вычисление порогов» и завершить выполнение алгоритма.
Блок «Коррекция». Входным параметром блока является i.
1. Выбор точек.
Произвольным образом выбрать точки U £ Xmax (F)
и v £ Xmin (F+i).
2. Коррекция линейной формы.
Для всех j е1, n присвоить
a = aj— uj + vj.
3. Возврат в основной цикл. Блок «Вычисление порогов». Положить пороги
Ь, = mi« {«1^1 + ••• + «nSn }
f (e1--en )= '
для всех
i = 0, k -1.
bk = ma\ , {«1S1 +••• + ansn } + 1
f )=k
В случае если для некоторого /' = 1, к -1 р = 0, присвоить соответствующему порогу bi любое значение из интервала между значениями порогов соседних областей. Если ро = 0, то положить Ъ0 =-<х .
6. Выход алгоритма: векторы (al,.••,ап), (Ъо,.••,ЪкX
Таким образом, на выходе итеративного алгоритма, будут два вектора: вектор коэффициентов линейной формы (al,., ап) и вектор порогов (Ъо,.••, Ък).
Пример 1. Найдем с помощью предложенного алгоритма реализацию пороговой 5-значной функции У: г5 ^ г5, задающейся линейной формой
Ь(х ,.,Х ) = Х - 25Х +14х - 43Х4 + 43Х5
и порогами Ь1 =-164, Ь2 = -69, Ъз = 53, ¿4 =110 следующим образом:
/(х,.,х) = 0 » Ь(х,.,х) < -164 / (х,., Х ) = 1 »-164 < Ь (х,..., Х ) < -69 / (х,..., Х ) = 2 »-69 < Ь (х,..., Х )< 53 /(х,.,Х) = 3 »53 <Ь(х,...,Х)< 110 / (х,..., Х ) = 4 »110 < Ь (х,..., Х )
(6)
Предположим, что представление (6) неизвестно и на основании лишь табличного задания функции поставим задачу проверки принадлежности функции к классу пороговых и её характеризации. Вычислим коэффициенты возрастания данной функции:
(К, К, К, КК ) = (116, - 3132,1766, - 5444, 5444).
В нашем примере наглядно видна корреляция между коэффициентами линейной формы и коэффициентами возрастания. Однако пороговая 5-значная функция, реализующаяся
пороговым неравенством с коэффициентами (кч,Кх2,Кхз,Кх4,Кх5), не разделяет точно области значений функции / . Требуется проведение корректировки.
Вычислим (см. таблицу 1)
значения
L(1) (х, •, X ) = П6X - 3132х2 +1766*3 - 5444х4 + 5444х
max
(F)
и
m,n
(F)
для
линеинои
формы
Чистого разделения не происходит так как
max (F ) = -8764 > -8804 = min (F2)
Таблица 1
Значения max (F,) и min(Fi) для линейной формы L<1)( xi,—,х
i min (F) max ( F )
0 -34304 -20830
1 -20744 -8764
i min (F) max ( F )
2 -8804 6622
3 6708 13832
4 13948 29304
Автор Бурделев А. В.
Проведем корректирование линейной формы L)(xi,x5) в соответствии с общей
логикой изложенного алгоритма. Для этого возьмем точки (2,4,2,0,0)е xmax(Fi) и (4, °,4, з,0) е xmin(F2). Новая линейная форма
L2) (x ,•••, x ) = 116x - 3132x +1766x - 5444x4 + 5444x - 2x --4x2 - 2x + 4x + 4x + 3x4 = 118x - 3136x2 +1768x - 5441x4 + 5444x5 также не разделяет области значений функции f . Вычислим значения
max ( F )
и
min (F)
для линейной формы L )(xi, •••, x5) (см. таблицу 2).
Таблица 2
Значения max(Fi) и min(Fi) для линейной формы L<2)(xi,—,x5)
i min (F) max ( F )
0 -34308 -20824
1 -20728 -8760
2 -8779 6626
3 6716 13835
4 13950 29320
Автор Бурделев А. В.
Чистого разделения вновь не происходит, так как
max (F ) = -8760 > -8779 = min (F2).
Проведем вторую итерацию корректирования линейной формы L )(xi, •••, x5). Для этого выберем точки (2,4,2,4,4) е xmax(Fi) и (4,0,4,3,0) е xmin(F2). Новая линейная форма
L(3) (x, •, x ) = i20x - 3i40x +1770x - 5442^ + 5440x5 дает чистое разделение областей значений функции f (см. таблицу 3).
Таблица 3
Значения max(Fi) и mm(Fi) для линейной формы L<3)(xi,—,x5)
i min (F) max ( F )
0 -34328 -20836
1 -20728 -8780
2 -8768 6610
3 6714 13820
4 13938 29320
Автор Бурделев А. В.
Далее выберем пороги по значениям функция / реализуется линейной формой
max (Fi), i =1,3, после чего устанавливаем, что
Ь(3) (х,..., X ) = 120х " 3140X +1770X " 5442Х, + 5440х5
Ь3)
и п0р0гами ь = -20836, Ъ2 = -8780, Ь3 = 6610, Ъ4 = 13820 .
3. Алгоритм характеризации пороговых к-значных функций на основе модифицированного метода эллипсоидов (автор Лапиков И. И.)
Как показано в работах [1, 21, 23], задача характеризации пороговой функции может быть сведена к анализу и решению систем линейных неравенств вида (7)
ах +...+ атхп <Ъ,г=1,...,т . (7)
В общем случае с теоретической точки зрения задача нахождения порогового
представления к-значной функции ^(X, ••,хп) сводится к решению системы неравенств, вообще говоря, двухсторонних для каждого значения г вида:
Ъ < а1х1 + а2х2 + .+ апхп < Ъг+1,
где: х2,хп - известные координаты векторов, на которых функция принимает соответствующие значения, а параметры а2,-~, ап, Ъo, Ъl,.••, Ък - неизвестные.
Действительно, если функция ^(х1, ••, хп) задана таблично и является пороговой, то ее значение в каждой точке ( х,..., хп ) = (*,...,*„ ) приводит к формированию одного, вообще говоря, двустороннего неравенства вида:
/к (x,..., хп )= г^ Ъ, < а1е1 + а2е2 +.+ апеп < Ъг+1, (8)
где: е,£2,--,£п - известные, принимают значения ег е{0,—,к-1}, а коэффициенты а1, а2,. • •, ап и пороги Ъo,Ъl,., Ък - неизвестны. Совокупность неравенств (8) для всех точек (£1,е2,...,£п) формирует систему
I Ъ0 < а1е1(1) + а2е(1) +... + апе^ < Ъ1,
. (к") (к") (к») , (9) 1Ък-1 < а1е1 + а2е2 + - + апеп ' < Ък■
с целочисленными коэффициентами и действительными неизвестными. Полученная система (9) в точности соответствует системе линейных неравенств, рассмотренных Хачияном [24].
Сводимость задачи характеризации пороговой к-значной функции к системе линейных неравенств (9), показывает, что она имеет полиномиальную сложность благодаря возможности применения для ее решения полиномиального алгоритма Хачияна.
В [24] Л. Г. Хачиян показал возможность использования метода эллипсоидов для решения систем из т > 2 линейных неравенств относительно п > 2 действительных неизвестных
х1,х2х :
а11х1 + ■■■ + а1пхп < V
■■■ (10)
ат1 х1 + ■■■ + атпхп < Ът ■
с целыми коэффициентами Ъ, для которой вводится понятие входа системы
ь =
1]=11о§2(а,;| +1) +£^ 1сЕ2(Ъг| +1) + к^ тп +1, (11)
В лемме 1 работы [24] доказывается, что если система линейных неравенств (10) совместна, то она имеет решения в шаре радиуса 2L, который в алгоритме Хачияна определяется, как начальная локализация области поиска решений. Далее в алгоритме строится последовательность эллипсоидов, описанных вокруг полушаров в n -мерном пространстве, которая центрами эллипсоидов осуществляет движение к области решений. Доказывается, что через 6n2L итераций очередной центр эллипсоида либо оказывается решением системы (10), если система совместна, либо в случае несовместности системы (10), введенная автором невязка в центре эллипсоида будет больше определенного порогового значения.
Специфика решаемой в статье задачи потребовала введения в описанный алгоритм следующих модификаций, частично описанных в [26] и уточнения начальной локализации области решений. Исходя из разрядности современных процессоров было принято решение об ограничении области начальной локализации числами размеров в 16 байт, которое в свою очередь также является избыточным, поскольку разрядность современных процессоров составляет 8 байт. Наряду с критерием выхода по отрицательной невязке [26] алгоритма, введен критерий выхода по минимальному определителю. Напомним, что в ходе работы метода эллипсоидов строится последовательности эллипсоидов En задаваемых парой (xn, Bn), где xn е R - центр эллипсоида, а Bn - вещественная матрица. Поскольку матрица Bn выступает в качестве основной характеристики эллипсоида En, то предлагается использовать определитель матрицы Bn как один из критериев остановки. Эмпирическим путем установлено, что если
\detBn\< 10—9
и решение не было найдено, то необходимо остановить выполнение алгоритма, поскольку рассматриваемая система несовместна. Оценка скорости убывания модуля определителя позволяет существенно уменьшить максимальное количество итераций, которое в работе Л. Г. Хачияна получило оценку 6n2L, где n - количество неизвестных, а L - длина входа системы неравенств. Особенно эффективным данный критерий оказывается при использовании геометрического распараллеливания [27], поскольку в данном алгоритме используется методика доказательства несовместности в области разбиения, а начальные области поиска на каждом и потоков формируются в зависимости от задачи и аппаратных возможностей ЭВМ.
Дадим формальное описание алгоритма характеризации пороговой k-значной функции с использованием модифицированного метода эллипсоидов. Как уже было сказано, он состоит из двух этапов: этапа построения на основе табличного задания k-значной функции системы линейных неравенств вида (8) и непосредственно решения этой системы модифицированным методом эллипсоидов.
Алгоритм характеризации пороговых k-значных функций на основе модифицированного метода эллипсоидов (автор Лапиков И. И.)
1 Этап.
1.1. Построение табличного задания k-значной функции.
X p =(^1 ^2 ,---,Sn ) > ^i1, k — i} > p Ц1, k" 1
Инициализация векторов размерности n .
1.2. Построение k-1 интервалов вида ( œ, b^ ^b), ^-bk—2, .
1.3. Формирование линейного неравенства для каждого вектора Xp .
A =
1.4. Формирование на основе неравенств из шага 1.3 матрицы
Ь =
V "ml
Г bi)
коэффициентов СЛН и вектора свободных членов I.Ьт у .
2 Этап. Решение СЛН АХ < Ь, где х -вектор неизвестных.
2.1. Инициализация начальных параметров метода эллипсоидов матрица коэффициентов А, вектора свободных членов Ь. начального радиуса шара области локализации решений я = 2128, критериев выхода из алгоритма.
2.2. Инициализация шара (эллипсоида) начальной итерации параметрами хо и В = сйа%{яя,...,Я) .
2.3. Вычисление невязки системы линейных неравенств и невязку алгоритма на к-ой итерации по формулам в(Т) = тах >=1-т {А т _ Ь} и 0к = тзп(вк_1,в{хк_1))
2.4. Проверка выполнения критериев выхода. Инициализация параметров нового эллипсоида
Чк = ВТТА1, где = агётах1=1...т{А, хк _ Ь}, вектора
2.5.
hh
hhn
hnhn
hk =
Вычисление параметров нового эллипсоида
х - х Bk-i k k-1 (n +1)|\vk-i|
и
Bk ^ +167
V(n2 -1)
B,
k-l
n -1 n +1
-1
Bk-1 hk -
Перейти к шагу 2.3.
Опишем основные критерии выхода из алгоритма.
1. Критерий выхода по отрицательной невязке системы линейных неравенств в центре эллипсоида хп).
2. Нулевое значение вектора Чк.
3. Вп\<10_9.
2.6. Выход из алгоритма: вектор решений хХ'--' хп). в случае задачи характеризации последние к-1 элементов вектора следует трактовать как значение порогов. Если решение не найдено, то рассматриваемая функция не имеет порогового преставления.
Пример 2. Найдем с помощью модифицированного метода эллипсоидов реализацию пороговой 5-значной функции /: Ъ5 ^ Ъ5 из примера 1, задающейся линейной формой
L (x , • • -, X ) = X - 25x2 + 14x3 - 43x4 + 43x5
и порогами b =-164, b2 =-69, ьз = 53, b4 = 110 в соответствии с формулами (6).
Предположим, что представление (6) неизвестно и на основании лишь табличного задания функции поставим задачу проверки принадлежности функции к классу пороговых и её характеризации. На основании представления (6) и табличного задания функции f сформируем систему линейных неравенств. Эта система имеет вид (9) и состоит из 5747 линейных неравенств. Модифицированный методе эллипсоидов находит ее решение за 376 итераций с выходом по критерию отрицательной невязки в центре эллипсоида с вектором
X = ( a, a, a, a, a, b, b, b, b ) = (273 i, 59зз 1272953; -66044,17600557;
36691,0069761194; -114154,113263057; 113526,457595585;
-438183,3978049; -185828,3821171;136671,8949790; 287147,0708729)
Более высокая сложность по числу итераций модифицированного метода эллипсоидов в сравнении с геометрическим для данного примера, тем не менее, не дает оснований для общего вывода о преимуществе последнего. Во-первых, качество результатов сравнения зависит от вычислительной платформы, на которой реализованы оба алгоритма, а, во-вторых, существует множество примеров, для которых даже по числу итераций метод эллипсоидов выигрывает в сравнении с геометрическим методом. Один из таких примеров будет разобран ниже в заключительной части данной статьи.
Практические примеры применения алгоритма Хачияна и его модификаций выявили
(0
ещё одну особенность этого метода - рост модуля коэффициентов aj в ходе работы алгоритма.
С целью получения дискретных значений текущие действительные выражения для aj} требуют корректировки, для которой необходимо построение самостоятельной процедуры. Корректировка может включать процедуры деноминации текущих значений и их округления.
Определение 5. Под деноминацией будем понимать снижение значений a за счёт деления на 10d при подходящим образом выбранном d. Коэффициент d будем называть порядком деноминации.
Проведем деноминацию значений полученного решения X с порядком 2
X = ( a, a, a, a, a, b, b, b, b ) =
= ( 27; -660; 367;-1142;1135; -4382;-1858;1367;2871)
В данном примере порядок деноминации f равен только 2, но практические эксперименты применения метода эллипсоидов для распознавания принадлежности произвольных k-значных функций показывают значительный рост порядка деноминации при увеличении количества аргументов функции. Это обусловливает необходимость проверки принадлежности полученного в результате деноминации и округления решения к многограннику решений рассматриваемой системы неравенств. Поскольку в примере найдено решение системы, принадлежащее многограннику её решений, можно сделать вывод, что функция f принадлежит к классу пороговых; если бы метод эллипсоидов показал несовместность системы, то можно было бы утверждать, что функция не является пороговой.
В работе [25] представлено сравнение геометрического алгоритма с алгоритмом Обрадовича. Приведем в таблице 4 сравнительные результаты параметров работы модифицированного метода эллипсоидов и геометрического метода.
Таблица 4
Результаты сравнения параметров работы модифицированного метода эллипсоидов и геометрического метода в задаче распознавания принадлежности произвольной функции к классу пороговых
n k Модифицированный метод эллипсоидов Геометрический алгоритм.
E max Emed G max Gmed
2 2 6 3,625 1 1
2 3 25 11,85 1 1
2 4 51 25,07 4 1,15
2 5 82 47,28 6 1,17
2 21 1638 862,65 1109 147,29
3 2 12 6,28 1 1
3 3 46 24,8 7 1,23
3 4 108 59,5 14 1,58
3 5 172 109,4 41 2,7
3 19 2478 1586 42789 3496,87
4 2 23 10,71 2 1,05
4 3 94 52,14 15 1,6
4 4 211 127,41 5207 3,20
4 5 308 220,96 9355 12,04
4 10 1125 814 13525 956,55
5 2 34 17,81 3 1,23
5 3 155 98,46 44 2,95
5 4 309 230,47 637 14,68
5 5 528 382,8 2827 52,96
5 7 907 700,7 54273 559,5
6 2 63 29,7 9 1,48
6 3 286 174,88 257 7,24
6 4 481 385,1 2133 48,67
6 5 753 602,5 24356 222,17
7 2 114 50,98 18 1,7
7 3 409 294,16 569 18,28
7 4 722 574,69 9267 153,37
8 3 558 452,8 2038 48,66
8 3 558 452,8 2038 48,66
9 2 258 128,7 43 3,5
9 3 820 399,03 5822 116,7
15 2 1488 969,95 20482 99,27
Авторы Лапиков И. И., Бурделев А. В.
В таблице 4 использованы следующие обозначения: n - количество коэффициентов линейной формы, к - значность логики, Emax - максимальное количество итераций работы модифицированного метода эллипсоидов при заданных n и к, необходимых для решения задачи характеризации пороговой функции; Emed - среднее количество итераций работы модифицированного метода эллипсоидов при заданных n и к , необходимых для решения задачи характеризации пороговой функции; G max - максимальное количество итераций работы геометрического алгоритма при заданных n и к , необходимых для решения задачи характеризации пороговой функции; Gmed - среднее количество итераций работы
геометрического алгоритма при заданных п и к, необходимых для решения задачи характеризации пороговой функции.
Полученные статистические результаты обладают высокой степенью достоверности, поскольку сравнительный анализ проводился на большой выборке пороговых функций. В ходе эксперимента было сгенерировано более 2,25 млн пороговых функций с различными параметрами.
4. Заключение (автор Лапиков И. И.)
Проведенные эксперименты показывают, что каждый из рассмотренных алгоритмов обладает своей сферой предпочтительного применения. Значительно отличается характер роста сложности геометрического алгоритма и модифицированного метода эллипсоидов в зависимости от п и к, причем при увеличении к сложность геометрического алгоритма растет значительно быстрее, чем сложность метода эллипсоидов. К числу преимуществ метода эллипсоидов относится также его общая полиномиальная сложность с заведомо известной оценкой сложности как алгоритма в целом, так и одной итерации в частности.
В тоже время преимущества геометрического метода связаны с заведомо целочисленными значениями коэффициентов, доказанной сходимостью и возможностью для некоторых классов функций найти пороговое представление за одну итерацию.
Очевидным недостатком геометрического алгоритма является отсутствие общей оценки сложности, обнаруженная тенденция к росту модулей коэффициентов с увеличением числа итераций и отсутствие детерминированного доказательства непороговости функции.
Что же касается метода эллипсоидов то основным его недостатком можно считать высокую вычислительную сложность одной итерации и их общее количество, определяемое оценкой скорости убывания определителя матрицы, характеризующей эллипсоид.
Из всего изложенного вытекает естественное предложение построить комбинированный алгоритм, сочетающий положительные стороны каждого из двух рассмотренных. А именно способность геометрического алгоритма быстро найти приближение параметров пороговой функции можно использовать в методе эллипсоидов, рассматривая вектор, состоящий из этих параметров в качестве стартовой точки.
Практические эксперименты показывают, что использование первых приближений в качестве стартовой точки для метода эллипсоидов в случае, если функция имеет пороговое представление, значительно сокращает число итераций в методе эллипсоидов. В случае, если функция не имеет порогового представления, модифицированные метод эллипсоидов за известное число итераций покажет отсутствие такого представления.
Пример 3. Рассмотрим функцию / 4-значной функции /: Ъ4 ^Ъ 4, задающуюся линейной формой
Ь(х,...,х) = _2605х _2818х2 + 2935х3 _4589х4
и порогами Ь1 = 422, Ь2 = 8243, Ьз =12465 следующим образом:
/(х,...,х) = 0 « ь(х,...,х)<422 /(х,...,х) = 1 ^ 422 < Ь(х,...,х)<8243 , /(х15.,х5) = 2 « 8243 <Ь(х15..„х5)< 12465,
(12)
/(х,...,х)= 3 «12465 <Ь(хх) .
Предположим, что представление (11) неизвестно и на основании лишь табличного задания функции поставим задачу проверки принадлежности функции к классу пороговых и её характеризации. Геометрический метод находит пороговое представление данной функции за 5207 итераций (при Стес =3,2 для данных п и к). В результате работы алгоритма находится следующая линейная форма со с коэффициентами а1 = _97; а2 =_105;а3 =112;а4 =174 и порогами Ь = 22; Ь2 = 319; Ь3 = 482.
Модифицированный метод эллипсоидов за 194 итерации определяет факт принадлежности данной функции к классу пороговых с вектором X(—56090,5649; -60124,2277;63662,603;99580,01;10677,4144; 180827,7466;271315,9132) . Используем
комбинированный алгоритм для решения этой задачи. Для этого найдем первое приближение для коэффициентов линейной формы с использованием геометрического алгоритма. В результате работы на 4 итерации получим следующее приближение (_57; _66; 67;105). Построим для данной линейной формы приближение для значения порогов. Для это в линейную форму поставит значения (0,°,°,0) (1,1,1,1) (2,2,2,2) (3,3,3,3) . Таким образом, получим стартовую точку для модифицированного метода эллипсоидов х = (а1, а2, а3, а4, Ь0, Ь1, Ь2 ) = (_57; _66;67;105;49;98;147). В результате работы алгоритма на 163 итерации получим вектор X(_42849,9635;_46066,6081;48083,4106;75657,7071;6643,1432; 136445,7472;205840,4216) . Проведем деноминацию и округление X (_ 42850; _46067;48083;75657;6643;136445;205840).
Таким образом, можно сделать вывод, что использование в качестве первого приближения результатов работы геометрического алгоритма позволяет уменьшить количество итераций метода эллипсоидов, а метод эллипсоидов в данном примере на порядок быстрее геометрического метода находит пороговое представление функции. Стоит отметить, что еще одним неоспоримым достоинством комбинированного алгоритма является возможность классификации исследуемой функции как непороговой за счет доказательства несовместности СЛН, формируемых для метода эллипсоидов.
ЛИТЕРАТУРА
1. Бутаков, Е. А. Методы синтеза релейных устройств из пороговых элементов. М.: Энергия, 1970. 328 с.
2. Дертоузос М. Пороговая логика. М.: Мир, 1967. 342 с.
3. Зуев А. Ю. Пороговые функции и пороговые представления булевых функций // Математические вопросы кибернетики. 1994. № 5. С. 5-61.
4. Коробков В. К. Оценка числа монотонных функций алгебры логики и сложности алгоритма отыскания разрешающего множества для произвольной монотонной функции алгебры логики // Доклады Академии Наук СССР. 1963. Т. 150. № 4. С. 744-747.
5. Коробков В. К., Резник Т. Л. О некоторых алгоритмах вычисления монотонных функций алгебры логики // Доклады Академии Наук СССР. 1962. Т. 147. № 5. С. 1022-1025.
6. В. И. Беляков-Бодин и С. И. Розенблит Исследование некоторых вопросов синтеза пороговых функций // Институт теоретической и экспериментальной физики Гос. Комитета по использованию атомной энергии СССР. 1972.
7. Розенблатт Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга. М.: Мир, 1963. 470 с.
8. Минский М., Паперт С. Персептроны. М: Мир, 1971. 263 с.
9. Золотых Н. Ю. Расшифровка пороговых и близких к ним функций многозначной логики: дисс. ... канд. физ.-мат. наук: 05.13.17 / Золотых Николай Юрьевич. -Нижний Новгород, 1998. - 136 с.
10. Золотых Н. Ю. Расшифровка пороговых и близких к ним функций: дисс. ... доктора физико-математических наук: 01.01.09 / Золотых Николай Юрьевич; [Место защиты: Моск. гос. ун-т им. М. В. Ломоносова]. - Нижний Новгород, 2013. - 208 с.
11. Журавлев Ю. И. Об алгебраическом подходе к решению задач распознавания или классификации // Проблемы кибернетики. 1978. № 33. С. 5-68.
12. Nick Littlestone. Learning Quickly When Irrelevant Attributes Abound: A New Linear-Threshold Algorithm. Machine Learning. April 1988, Volume 2, Issue 4, pp. 285-318.
13. Obradovic, Z. and Parberry, I. "Learning with Discrete Multi-Valued Neurons," Machine Learning: Proc. 7th Int'l. Conf., ed. B. W. Porter and R. J. Mooney, Austin, TX, Morgan-Kaufmann, 1990. pp. 392-399.
14. Ngom A., Synthesis of Multiple-Valued Logic Functions by Neural Networks, Ph.D. Thesis Dissertation, Computer Science Department, University of Ottawa, Ontario, October 1998.
15. Anthony M. Learning Multivalued Multithreshold Functions. CDAM Research Report LSE-CDAM-2003 -03, January 2003.
16. Grove A. J., Littlestone N., Schuurmans D. General Convergence Results for Linear Discriminant Updates. Machine Learning. 2001. № 43. pp. 173-210.
17. Chow C. On the characterization of threshold functions // Proceedings of the Symposium on Switching Circuit Theory and Logical Design (FOCS). 1961, pp. 34-38.
18. O'Donnell R., Servedio R. A. The Chow parameters problem // STOC. 2008. Pp. 517526.
19. Anindya De, Diakonikolas Ilias. Nearly optimal solutions for the Chow Parameters Problem and low-weight approximation of halfspaces. Journal of the ACM (JACM). Volume 61 Issue 2, April 2014.
20. Бурделёв А. В., Никонов В. Г. О построении аналитического задания k-значной пороговой функции // Computational nanotechnology. 2015 Выпуск № 2. C. 5-13.
21. Бурделев А. В., Никонов В. Г., Лапиков И. И. Распознавание параметров узла защиты информации, реализованного пороговой k-значной функцией // Труды СПИИРАН. 2016. Вып. 46. C. 108-127.
22. Karmarkar N. «A New Polynomial Time Algorithm for Linear Programming», Combinatorica, 1984 Vol 4, nr. 4, pp. 373-395.
23. Филатов А. Ю. Развитие алгоритмов внутренних точек и их приложение к системам неравенств: дисс. ... кандидата физ.-мат. наук: 05.13.18. - Иркутск, 2001. - 123 с.
24. Хачиян Л. Г. Полиномиальные алгоритмы в линейном программировании // «Журнал вычислительной математики и математиче ской физики», 1980, Т 20.
25. А. В. Бурделёв, В. Г. Никонов, О новом алгоритме характеризации k-значных пороговых функций // Comp. nanotechnol., 2017. Вып. 1, С. 7-14.
26. Лапиков И. И., Никонов В. Г. Адаптивный алгоритм решения систем линейных неравенств с k-значными неизвестными // Труды Военно-космической академии им. А. Ф. Можайского, 2016, №650, С. 88-94.
27. Лапиков И. И. О возможности геометрического распараллеливания адаптивного алгоритма решения систем неравенств с k-значными неизвестными на базе метода эллипсоидов Хачияна // Системы управления и информационные технологии, 2016. №2. С. 14-19.
28. Вальцев В. Б., Григорьев В. Р., Никонов В. Г. Некоторые структурные принципы организации высших функций мозга // «Нейрокомпьютер как основа мыслящих ЭВМ. - М.: Наука, 1993. С. 38-46.
Lapikov Igor Igorevich
NPO «FSTRBIT», Russia, Moscow E-mail: [email protected]
Burdelev Alexander Vladimirovich
Belarus state university, Belarus, Minsk E-mail: [email protected]
Comparative analysis of the geometric method and the modified ellipsoids method in the k-valued threshold function parameters recognition problem
Abstract. This article discusses a comparative analysis of two author's approaches to the recognition of the parameters of the threshold k-valued functions, which can be used for building information processing and security units. Comparison of parameters of the developed geometrical algorithm and the algorithm based on a modified ellipsoid's method is made on a common polygon of more than 2,25 million random threshold functions, for the characterization of which the proposed approaches are used. The pilot study identifies advantages and disadvantages of each method used for the characterization of threshold k-valued function. The aim of the study is a synthesis of a combined approach that mitigates the drawbacks of each method developed by the authors. A practical example demonstrates the advantages of the combined approach compared to existing ones.
Keywords: threshold k-valued function; threshold logic; ellipsoid method; the characterization of threshold functions
