ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
ВЫЧИСЛИТЕЛЬНАЯ СЛОЖНОСТЬ И АППРОКСИМИРУЕМОСТЬ КОМБИНАТОРНЫХ ЗАДАЧ, СВЯЗАННЫХ С КОМИТЕТНОЙ ОТДЕЛИМОСТЬЮ КОНЕЧНЫХ МНОЖЕСТВ
М.Ю. Хачай Институт математики и механики УрО РАН
Аннотация
В работах [1, 2] получены результаты по вычислительной и аппроксимационной сложности задачи MASC о минимальном аффинном разделяющем комитете для конечных множеств A, B с О". В частности, показано, что эта задача ^ трудна и не принадлежит классу Apx (в предположении, что Р Ф ^). Тем не менее, открытыми оставались вопросы получения оценок порога ее эффективной аппроксимируемости и оценки вычислительной сложности ряда важных для приложений частных случаев задачи, получаемых наложением дополнительных ограничений, например, фиксации размерности пространства. В настоящей статье приводится нижняя оценка порога полиномиальной аппроксимируемости задачи в общем случае и обосновывается труднорешаемость задачи в пространствах фиксированной размерности, большей единицы. В частности, показывается, что задача о комитетной отделимости остается труднорешаемой, даже будучи сформулированной на плоскости (т. е. в наиболее простом нетривиальном случае). Справедливость этого факта следует из полиномиальной сводимости к исследуемой задаче известной задачи РС о покрытии прямыми конечного множества на плоскости, труднорешаемость которой доказана [3]. Методика сведения представляет собой модификацию методики, описанной в [4], использовавшейся в этой работе для обоснования труднорешаемости задачи о кусочно-линейной отделимости конечных множеств на плоскости.
Введение
Вычислительная сложность комбинаторных задач, связанных с построением оптимальных процедур обучения распознаванию образов, интересует исследователей с 80 гг. прошлого столетия. К сожалению, подавляющее большинство этих задач -труднорешаемы. Поэтому поиск их полиномиально разрешимых подклассов исследуемых задач (равно как и обоснование их труднорешаемости), а также разработка полиномиальных приближенных алгоритмов их решения, несомненно, остаются актуальными и в настоящее время. Исследуемая в данной работе задача о минимальном по числу элементов разделяющем комитете для конечных множеств (MASC) тесно связана одновременно с задачей обучения простейшего классического персептрона и задачей о полиэдральной отделимости множеств, являясь, по сути, частным случаем обеих задач.
Классическим персептроном обычно называется 2-слойная нейронная сеть без скрытых слоев, с q входами и одним выходом. Функция активации , -го нейрона
№) = { 1, ^-"''"о (1)
[-1, в противном случае.
Фактически, персептрон реализует отображение
Е(х\{с„dl),...,(cq+1,dq+1)): о" ^ {-1,1},
определяемое параметрами (с1, d1),...,(cq+1, dq+1). Персептрон Е называется корректным на выборке
(al,., am¡, К--, bшг), (2)
если
Е(а,.) = 1 (, е {1,.,т} = N
ЕЬ) = -1 (] е N„2).
С процедурой обучения (настройки весов сети по заданной выборке) связано несколько комбинаторных задач.
Задача «Обучение (загрузка) персептрона)».
Заданы натуральное число q и выборка (2). Существует ли корректный на выборке персептрон с не более чем q входными нейронами?
Задача «Оптимальный корректный персептрон» (ОСР). Задана обучающая выборка (2). Требуется определить параметры корректного на данной выборке персептрона с наименьшим числом входов.
Известны следующие результаты.
Теорема 1 [5]. Задача обучения персептрона ^-полна и остается таковой при произвольном фиксированном q > 2.
Теорема 2 [6]. Задача ОСР Ш трудна.
Как будет показано ниже, задача о минимальном аффинном разделяющем комитете является частным
случаем задачи OCP, в котором параметры выходного нейрона - фиксированы cq+1 = [1,... ,1]T и dq+1 = 0,
что соответствует правилу голосования согласно правилу простого большинства.
Другие задачи, специализацией которых является задача о минимальном комитете, относятся к вычислительной геометрии и связаны с построением оптимальных кусочно-линейных разделяющих поверхностей для множеств с пересекающимися выпуклыми оболочками. Приведем их возможные формулировки, следуя [4]. Каждой гиперплоскости H с К", H = {x е К": cTx = d} сопоставим предикат П[Н]: Ж" true, false} по правилу, аналогичному (1):
т I true, cTx-d > 0,
П (H)[ x] = i
[false, в противном случае.
Зададимся множествами A и B и булевой формулой ф(^р...,). Будем говорить, что гиперплоскости H1,..., Hk разделяют множества A и B по формуле (правилу) ф, если
ф(П[HJ(a),...,ЩИк](a)) = true (a е A), (3)
ф(П[HJ(b),...,n[Hk](b)) = false (b е B). () Рассмотрим следующие комбинаторные задачи.
Задача «k -полиэдральная отделимость при заданной булевой формуле». Заданы конечные множества A = {a1,., a } и B = {b1,., b}, число
k е N и булева формула ф'%к). Существуют ли гиперплоскости Hl,..., Hk, разделяющие множества A и B по формуле ф ?
В случае, когда формула (логика) разделения ф заранее неизвестна, может быть сформулирована более общая задача.
Задача «(свободная) к -полиэдральная отделимость». Заданы конечные множества A = {a1,..., am]} и B = {b1,..., bm^} и число к е N . Существуют ли гиперплоскости H1,..., Hk, разделяющие множества A и B по правилу: для каждой пары (a, b), a е A, b е B, найдется такой номер
j = j(a,b),
что п[H(a) = true и П[Hj(аф) ] (b) = false.
Как показано в [4], последняя задача имеет положительный ответ тогда и только тогда, когда существует подходящая формула ф, при которой предыдущая задача также обладает положительным ответом (для тех же множеств).
Результат проведенного в работе [4] исследования вычислительной сложности сформулированных выше задач приведен в следующей теореме.
Теорема 3 [4].
1. Обе задачи ЛР-полны и остаются трудноре-шаемыми при произвольном фиксированном k > 2.
2. Задача о свободной отделимости остается ЛР-полной при произвольном фиксированном n > 1.
3. Задача о свободной отделимости при произвольных фиксированных k и n полиномиально разрешима.
Как станет ясно ниже, задача о минимальном комитете является частным случаем оптимизационного варианта задачи о k -полиэдральной отделимости при заданной булевой формуле (принимающей значение true тогда и только тогда, когда большинство ее аргументов также принимает значение true ).
К сожалению, задача MASC, как и описанные выше более общие задачи, труднорешаема [1-2]. В данной работе обсуждается несколько новых результатов, касающихся вычислительной сложности и аппроксимируемости задачи MASC и ее специальных случаев.
1. Задача о минимальном аффинном разделяющем комитете (MASC)
Определение. Конечная последовательность функций Q = (/,..., fq), f (x) = cT x - di называется аффинным комитетом, разделяющим множества A, B с M", если выполнено условие
{ е Nq: f (a) > 0} > | (a е A),
{е Nq: f (b) < 0}> 2 (b е B).
Число q называется числом элементов (членов) комитета Q.
По критерию Мазурова [7] множества A и B отделимы аффинным комитетом тогда и только тогда, когда A n B = 0. Однако по ряду причин особый интерес представляют разделяющие комитеты с наименьшим числом элементов, называемые минимальными.
Задача «Минимальный аффинный разделяющий комитет» (MASC). Заданы множества A = {a,,...,am,}и B = {b„...,b^}, A,B сQ". Требуется указать аффинный комитет с наименьшим числом элементов, разделяющий множества A и B .
Следующее утверждение характеризует вычислительную сложность задачи в общем случае.
Теорема 4 [1-2]. Задача MASC - ЛР-трудна и остается труднорешаемой при дополнительном условии A u B с {x е {0,1,2}": ||x||2 < 2}.
Традиционный подход к исследованию ЫР-трудных задач комбинаторной оптимизации предполагает, в частности, разработку полиномиальных приближенных алгоритмов решения задачи MASC. В работе [2] описан один приближенный алгоритм решения данной задачи, обладающий точностью
О (т_), и доказана следующая теорема.
Теорема 5 [2]. Задача MASC не принадлежит классу Apx (задач комбинаторной оптимизации, обладающих полиномиальными алгоритмами с постоянной точностью), если Р Ф ЫР.
Следующий раздел настоящей статьи посвящен обоснованию нового результата, уточняющего результат Теоремы 5.
2. Аппроксимируемость задачи МЛБС
Результат данного раздела, как и Теорема 5 базируется на полиномиальной сводимости к задаче MASC известной ЫР-трудной задачи о раскраске 2-цветного 3-однородного гиперграфа в к цветов. Как показано в [9], данная задача остается трудно-решаемой при произвольном фиксированном к > 3.
Теорема 6. Если ЫР £ БТШЕ(2^^о»), задача MASC не обладает полиномиальными приближенными алгоритмами с точностью
т).
Доказательство. Пусть условие частной задачи о раскраске задается конечным гиперграфом Г = (М п, Н), в котором Н Ф0 и \ И \= 3 для каждого И е Н . По условию, гиперграф Г - двуцветный, т. е. существует такая функция ф0 : N п ^ {1,2}, что
((И е Н)=>(|фо(И)| > 1).
Другими словами, существует такое разбиение
V О V = N п, что
((И е Н) ^ (И п V Ф0) л (И п V Ф0). К сожалению, ни множества У1 и У2, ни отображение ф0 не заданы. Требуется указать раскраску ф: Nп ^ N к гиперграфа Г с некоторым фиксированным к.
По аналогии с методикой, описанной в работе [2], сопоставим данной частной задаче о раскраске подходящую частную задачу MASC, для чего зададимся множествами A, В с , определяемыми по правилу:
A = {,\, е N" },
В = { + + ек \ {}, к} е Н}.
Здесь, как обычно, е, используется для обозначения , -го единичного орта. Нетрудно убедиться в том, что
1) сопу^) п сопу(В) Ф0, следовательно, множества A и В не могут быть разделены гиперплоскостью, и минимальный аффинный разделяющий (эти множества) комитет содержит более одного элемента;
2) множества A и В отделимы комитетом из трех элементов. В самом деле, определим линейные функции (х) = с, х, задав координаты векторов с, правилом:
1, j е
1, j е V2;
С'7 1-3, j eV2, C2j \-3, j e Vl, сз j = 1, j e N я.
В силу следующих неравенств fl(3ei) > 0 и /з(3в1) > 0 (i e V,),
/г{3е,) > 0 и J3(3et) > 0 (i e V2),
/ (e + + ek )< 0
/2 (
e, + ej + ek
)< 0|
({, j, k}е H),
справедливых, по построению, последовательность Q = (f1,f2,f3) является искомым комитетом, разделяющим A и B.
Цустъ далее Q = ff2,. • •,f2s+i), f(x) = СТ* + d, -произвольный комитет, разделяющий множества A и B. По теореме Мазурова [см., например, 8],
2s +1 <| A u B |< ^^j + n.
Убедимся в том, что комитет индуцирует раскраску исходного гиперграфа Г в t цветов, где
Г (2s +ljl
1 < t < min 1n, I По определению, каждому
l ls+1 л
номеру j e N n соответствует такое подмножество
I(j) с N2s+,,|I(j)|= S +1, что f (3ej) > 0 (i e I(j)).
Произведём последовательный перебор вершин Г и построим разбиение V1 й...uVt = Nn, следуя следующему алгоритму.
Шаг 1. Положить V := {1}, t := 1, j := 1, к := 1. Шаг 2. Если j = n, СТОП, иначе продолжить. Шаг 3. Положить j := j +1. Шаг 4. Если I(j) = I(к), положить Vt := Vt u {j} и вернуться на Шаг 3, в противном случае перейти на Шаг 5.
Шаг 5. Положить t := t +1, к := j, Vt = {j}. Перейти на Шаг 3.
Очевидно, данное построение (равно как и все описанные выше) может быть произведено за время, ограниченное сверху полиномом от п. Построенное в результате разбиение задает искомую раскраску (в t цветов). Для обоснования ее корректности убедимся в том, что множество H не содержит монохромных ребер. В самом деле, пусть, от противного, найдутся такие ребро h е H и номер r е N t, что h с Vr. Без ограничения общности можно полагать h = {1,2,3} и r = 1. Тогда, по построению, для произвольного p е I (1) справедливы неравенства
3cTpe1 + dp > 0 (l = 1,2,3), а, следовательно, и
cp (e + e2 + e3) + dp > 0.
С другой стороны, поскольку Q - разделяющий комитет для множеств A и B, с необходимостью найдется номер p0 е I (1), для которого
<(e1 + e2 + e3) + dp0 < 0.
Найденное противоречие подтверждает корректность раскраски.
Далее, пусть задача MASC обладает приближенным полиномиальным алгоритмом с точностью r = r(m). Здесь, как обычно, r - натуральнозначная функция натурального аргумента - мощности множества | A u B |. Без ограничения общности можно полагать r = 2р +1. Из п. 2 следует, что, результатом применения его к сформулированной выше частной задаче будет разделяющий комитет из не более чем 3r = 6р + 3 элементов, что повлечет построение (за полиномиальное время) раскраски Г в t цветов, где
• i Г 6р + 3 М
t < min <п, I l>.
1 l3P + 2)j
Согласно [9], t > C-^log log n при условии NP & DTIME(2^^о»), откуда при том же условии имеем
(6Р+2 )>C </loglogn •
Воспользовавшись известным асимптотическим представлением для наибольшего биномиального
коэффициента [ | ~ 2— , произведя несложные
^ к ) Vnk
преобразования с учетом того, что в данном случае m = O(n3), получим искомое неравенство
р > D log log log п = O (log log log m). Теорема доказана.
3. Труднорешаемость задачи MASC в пространствах фиксированной размерности
Известно, что многие NP-трудные в общем случае задачи комбинаторной оптимизации становятся полиномиально (или псевдополиномиально) разрешимыми при дополнительных ограничениях: при фиксации размерности пространства, числа ограничений и т. п. Например, общая задача целочисленного линейного программирования, сформулированная в пространстве фиксированной размерности - полиномиально разрешима.
Известно [см., например, 8], что задача MASC, заданная в одномерном пространстве также может быть решена за полиномиальное время. До настоящего времени открытым оставался вопрос о вычислительной сложности данной задачи в пространствах большей размерности. В данном разделе показывается, что задача MASC становится NP-трудной, будучи сформулированной в пространстве Qn при произвольном фиксированном п > 1. Для обоснования этого факта, очевидно, достаточно показать труднорешаемость задачи на плоскости.
Задача о комитетной отделимости конечных множеств на плоскости (PASC). Заданы множества
A = Ц,...,ащ } и B = {¿j,...,bm }, A,B с Q2, и число t е N. Существует ли аффинный комитет Q, разделяющий множества A и B и состоящий из не более чем t элементов?
Нетрудно убедиться в том, что задача PASC принадлежит классу NP. Цель данного раздела состоит в обосновании полиномиальной сводимости к ней известной NP-полной задачи о покрытии конечного множества точек плоскости множеством прямых (PC) и, как следствие, принадлежности задачи PASC классу NP-полных задач.
Определение. Множество прямых L = {lj,..., ls}, lj = {x е M2: cpx = dj}, где cj ф 0, называется покрытием множества P = {pl,...,pk} с М2, если для каждой точки p е P найдется прямая l = l(p) е L такая, что p е l.
Задача о покрытии прямыми конечного множества на плоскости (PC). Заданы множество P = {p1,...,pk} с Z2 и число s е N. Существует ли покрытие L множества P, по мощности не превосходящее s ?
Теорема 7 [3]. Задача PC NP-полна в строгом смысле.
чения:
Договоримся использовать следующие обозная: B(x0,е) = {x е М2: ||x-x0||2 <е} для круга с
центром в x0 и радиусом е ; aff(P) - для аффинной
оболочки множества P и dim - размерности аффинного (линейного) многообразия. Для дальнейших построений нам потребуется следующее утверждение, приводимое ввиду его важности для дальнейших построений с доказательством.
Утверждение 1 [3].
Пусть заданы множество P = {pxpk}сZ
1
чис-
ло 6 <
0,
где p = maxj||Pj||2: j
N k
6(2р + 1),
непустое подмножество J е N k. Для существования прямой l = l(J) такой, что
B(Pj, е) n l Ф0 (j е J) (4)
необходимо и достаточно выполнения условия dim aff{ pj: j е J} < 1.
Доказательство. Утверждение, очевидно, справедливо при | J |< 2, поэтому далее, без ограничения
общности, полагаем | J |> 3. Достаточность может
быть доказана непосредственной проверкой. Остановимся на доказательстве необходимости. Пусть l - произвольная прямая, удовлетворяющая условию (4) для некоторого J, и пусть, от противного, точки Pj не лежат на одной прямой. При нашем предположении, найдутся числа j, j2, j3 е J (без ограничения общности, полагаем j = 1,..., j3 = 3) такие, что dimaff{ pj, p2, p3} = 2. По условию, существуют векторы wj = j, n j ]T такие, что
Pj + Wj е B(pj, 6) n I
(j = 1,2,3).
Введя обозначение = [, ]т, имеем, по выбору ,
1 1 1
Х1 Х2 +^2 Х3 +^3
У1 + П У 2 +П2 У3 + П С другой стороны, 1 1 1
д =
= 0.
|д|>
У У2 Уз
- 12рб- 6б2
откуда, в силу целочисленности и неколлинеарности точек Pj, p2 и p3 и выбору 6,
|Д|> 1 - 12ре-6е> 0.
Полученное противоречие завершает доказательство необходимости условия и утверждения в целом.
Пусть далее условие частной задачи PC задается множеством P = {p1,...,pk} с Z2 и числом s e N.
Вычислим р = max {|| р7| |2: j ei к}, и положим
е =-1-. Зафиксируем вектор ст, ||ст|| = 1 так,
6(2р +1) +1 11 112
чтобы для любого {i, j} с nк отрезки [pj - ест, pj + ест]
и [Pj - ест, pj + ест] не лежали на одной прямой.
Сопоставим исходной задаче PC частную задачу PASC с условием: A = P, B = (P - ест) u (P + ест) и t = 2s +1 (рис. 1).
Рис. 1. Схема сведения задачи PC к задаче PASC
Легко убедиться в том, что описанные выше действия могут быть произведены за время, ограниченное сверху полиномом от длины записи условия задачи PC. Для завершения обоснования полиномиальной сводимости достаточно показать, что задача PC и поставленная ей в соответствие задача PASC имеют положительные или отрицательные ответы одновременно. Другими словами, что множество P обладает покрытием из не более, чем s прямых тогда и только тогда, когда соответствующие ему множества A и B отделимы аффинным комитетом, число элементов которого не превосходит 2s +1.
Теорема 8. Множество P = {p1,...,pk}с Z2 обладает покрытием из s прямых тогда и только тогда, когда множества A = P иB = (P - ест) u (P + ест) отделимы аффинным комитетом из 2s +1 элемента.
Доказательство. 1. Пусть L = {/р..., ls} - покрытие множества P. Каждой прямой lj = {x e М2: cjx = dj} сопоставим подмножества A(j) = P(j) = Pnj и B(j) = (P(j) +ест)u(P(j)-ест).
Без ограничения общности можно полагать, что A(j) / 0 и для каждой точки a e A(j) справедливо неравенство
T / __ч J4/T,
(Cj (a - ест) - dj )(cj (a - sct) + dj ) < 0.
(5)
(a е A(j)).
(6)
Зафиксируем произвольное число 0 <8J < е и определим функции /2^^^ и /2^ по формулам
/ j х) = стх - dj +51,
/2 j (х) = -стх + dj +5 j.
так, чтобы выполнялись неравенства
Г/2 j-1 (а - ест) • /2 j (а - ест) < 0; [/2>-1 (а + ест) • /,j (а + ест) <0
В силу справедливости неравенства (5), такое построение возможно. Очевидно, что наряду с неравенствами (6), по выбору е, также будут выполнены неравенства Г/2]-1(а) > 0, /2] (а) > 0 (а е А(])) 1 /2j-1 (Р) • /2,(Р) <0 (р е (АиВ)\ (А(])иВ(])). По построению, последовательность функций (/25) обладает свойством
|{к: /к (а) > 0} > 5 +1 (а е А), \{к: /к (Ь) < 0} = 5 (Ь е В).
Дополнив ее произвольной аффинной функцией /0, удовлетворяющей условиям
/0(х) < 0 (х е А и В),
непротиворечивым ввиду конечности множества АиВ, получаем искомый комитет Q = (/0,/1,...,/25), разделяющий множества А и В (рис. 2).
Рис. 2. Построение разделяющего комитета по заданному покрытию.
2. Множество Р, очевидно, обладает покрытием, состоящим из не более чем ] прямых. Обозначим через 5 мощность его минимального (по числу элементов) покрытия. Покажем, что сопоставленные множеству Р согласно описанной выше схеме множества А и В не могут быть отделимы аффинным комитетом с числом элементов q < 25 +1.
Пусть Q = (/1,...,/ч), где /(х) = с,тх-d¡ - произвольный комитет аффинных функций, разделяющий множества А и В. По теореме Мазурова [8], для каждой точки а е А найдутся такие номера \ = \ (а) и /2 = /2 (а), что
fi(a) (a) > 0, f(a)(a + sct) < 0, (7)
f2(a)(a) > 0, f2(a)(a -ВСТ) < 0. (8)
Введем следующие обозначения: через I1(a) обозначим множество всех номеров i1(a), удовлетворяющих условию (7), аналогично, обозначим через I2(a) множество номеров i2(a), удовлетворяющих условию (8). Далее определим множества I1 и I2 равенствами
Il = U Il (a) и I2 = U12 (a).
aeA aeA
В силу (7)-(8), справедливы неравенства
cjст < 0 (i е I1),
cjст> 0 (i е 12),
следовательно, I1 n I2 = 0. Для произвольного номера i е I1 обозначим через A '(i) подмножество {a е A : i е I1(a)}. По построению, прямая fi (x) = 0 для каждого a е A '(i) пересечет отрезок [a, a + ест]. Следовательно, в силу утверждения 1 и выбора s, dim aff A '(i) < 1, откуда 111 |> 5, по выбору 5 (в качестве мощности наименьшего покрытия множества A = P. Аналогично обосновывается неравенство 1121> 5. Таким образом,
q >| Ii | + 112 |> 25. (9)
Нетрудно убедиться в справедливости более сильного неравенства q > 2s +1. В самом деле, в противном случае комитет Q из 2s элементов путем исключения произвольного элемента (см., например, [6]) может быть преобразован в аффинный комитет, разделяющий множества A и B и состоящий из 2s -1 члена, что противоречит (9). Теорема доказана.
Следствие 1. Задача PASC ЖР-полна в строгом смысле. Задача ASC1, сформулированная в пространстве фиксированной размерности n > 1 - также ЛР-полна в строгом смысле.
Следствие 2. Задача MASC, сформулированная в Qn при произвольном фиксированном n > 1, -ЖР-трудна.
Благодарности
Работа выполнена при поддержке Президента РФ (гр. НШ-5595.2006.1 и МД-6768.2006.1) и РФФИ (гр. 07-01-399 и 07-07-168).
Задача об аффинном разделяющем комитете в форме задачи распознавания свойства.
Литература
1. Хачай М.Ю. О вычислительной сложности задачи о минимальном комитете и смежных задач // ДАН, 2006. - 406. - №6. - С. 742-745.
2. Хачай М.Ю. О вычислительной и аппроксимаци-онной сложности задачи о минимальном аффинном разделяющем комитете // Таврический вестник информатики и математики. 2006. - №1. - С.34-43.
3. Megiddo N., Tamir A. On the complexity of locating linear facilities in the plane // Operations research letters. 1982. - Vol. 1. - No. 5. - P. 194-197.
4. Megiddo N. On the complexity of polyhedral separability // Discrete and Computational Geometry. 1988. - 3. -P. 325-337.
5. Blum A.L., Rivest R.L. Training a 3-node Neural Network is NP-complete // Neural Networks. 1992. - Vol. 5. - P. 117-127.
6. Lin J.H., Vitter J.S. Complexity Results on Learning by Neural Nets // Machine Learning. 1991. - Vol 6. - P. 211-230.
7. Мазуров Вл.Д. Комитеты систем неравенств и задача распознавания // Кибернетика. 1971. - №3. - С. 140-146.
8. Mazurov Vl.D., Khachai M.Yu., Rybin A.I. Committee Constructions for Solving Problems of Selection, Diagnostics and Prediction. {\it Proceedings of the Steklov Institute of mathematics}. Suppl. 1, (2002), S67-S101.
9. Dinur I., Regev O. and Smyth C. The hardness of 3-uniform hypergraph coloring. In: Proc. of the 43rd Annual IEEE Symposium on Foundations of Computer Science, November 2002.