CC BY
17
УПРАВЛЕНИЕ, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И ИНФОРМАТИКА
УДК 004.72
200 JAHRE NACH CHARLES DARWIN: EVOLUTIONÄRE OPTIMIERUNG MECHATRONISCHER SYSTEME
© 2010 г. Johannes Krettek, Jan Braun, Frank Hoffmann, Karina Hirsch, Torsten Bertram
Technische Universität Dortmund Technische Universität Dortmund
Эволюционные алгоритмы, инспирированные и приближенные к механизмам эволюционной теории родившегося 200 лет назад Чарльза Дарвина, представленной в 1859 г. в работе «On the origin of Species», являются классом мощных, универсально применяемых методов решения проблем. Мульти-критериальная эволюционная оптимизация направлена в целом на нахождение или аппроксимацию наилучшего или наиболее подходящего для заданной проблемы решения, при одновременном рассмотрении множества целевых функций. При этом находятся многочисленные применения, особенно в мехатрони-ке, в рамках моделирования и разработки комплексных мехатронных систем. В данной статье представлен новый метод интерактивной мультикритериальной эволюционной оптимизации. При мультик-ритериальной оптимизации аспекты поиска и принятия решения тесно связаны между собой. Апостериори эксперт выбирает после оптимизации лучшее по его предпочтениям решение из аппроксимир о-ванного Парето множества, а именно множества всех возможных компромиссных решении. Альтернативой является выбор экспертом априори предпочтений и формирование целевой функции оптим и-зации, включающей весовые функции. Однако подобная предварительная количественная оценка является затрудненной в связи с широкой нехваткой знаний о возможных реализуемых решениях. Альтернативой данным методам является интерактивная оптимизация с пошаговым моделированием предпочтений пользователя во время эволюционного поиска. Эксперту облегчается принятие решения, поскольку вместо абсолютной оценки ему необходимо только относительно взвесить актуально предложенные решения. Пошаговое моделирование предпочтений эксперта служит минимизации его участия в интерактивном процессе.
Ключевые слова: мехатроника; эволюционные алгоритмы; мультикритериальная оптимизация; предпочтения пользователя.
Evolutionäre Algorithmen, inspiriert und angelehnt an die Mechanismen der im Jahre 1859 mit der Arbeit «On the origin of Species» des vor 200 Jahren geborenen Charles Darwin entworfenen Evolutionstheorie, stellen eine Klasse sehr leistungsstarker wie auch universell einsetzbarer Problemlösungsverfahren dar. Die multik-riterielle evolutionäre Optimierung zielt im Allgemeinen auf das Finden oder Approximieren einer bestmöglichen beziehungsweise bestangepassten Lösung für ein gegebenes Problem bei gleichzeitiger Berücksichtigung multipler Zielfunktionen. Hierfür finden sich speziell in der Mechatronik zahlreiche Applikationen, so im Rahmen der Modellierung oder des Entwurfs komplexer mechatronischer Systeme. Dieser Beitrag stellt einen neuartigen Ansatz zur interaktiven multikriteriellen evolutionären Optimierung vor. Bei der multikriteriellen Optimierung sind die Aspekte der Suche und Entscheidungsfindung eng miteinander verzahnt. Bei der a posteriori Variante wählt ein Experte im Anschluss an die Optimierung aus der approximierten Pareto-Menge, der Menge aller möglichen Kompromisslösungen, die nach seiner Präferenz beste Lösung aus. Alternativ legt der Experte a priori Präferenzen fest und fasst so die Kriterien gewichtet zu einer zu optimierenden Funktion zusammen. Diese quantitative Abwägung im Vorhinein ist jedoch schwierig angesichts einer weitgehenden Unkenntnis realisierbarer Lösungen. Eine alternative zu diesen Ansätzen bietet die interaktive Optimierung mit sukzessiver Modellierung der Benutzerpräferenzen im Laufe der evolutionären Suche. Die Entscheidungsfindung wird dem Experten erleichtert, da er anstelle einer absoluten Bewertung lediglich aktuell ermittelte Lösungsvorschläge gegeneinander abzuwägen hat. Eine instanzbasierte Modellierung der Präferenz des Experten dient dazu dessen Beanspruchung durch die Interaktion zu minimieren.
Keywords: Mechatronik; Evolutionäre Algorithmen; multikriterielle Optimierung; Benutzerpräüferenzen.
1. Einleitung
Evolutionäre Algorithmen, inspiriert und angelehnt an die Mechanismen der im Jahre 1859 mit der Arbeit «On the origin of Species» des vor 200 Jahren geborenen Charles Darwin entworfenen Evolutionstheorie, stellen
eine Klasse sehr leistungsstarker wie auch universell einsetzbarer Problemlösungsverfahren dar. Die evolutionären Algorithmen (EA) sind stochastische Optimierungsverfahren, bei denen mehrere, eine Lösung repräsentierende Individuen eine Population bilden. Durch das iterative
Anwenden von genetisch inspirierten Operatoren entwickelt sich diese Population über mehrere Generationen in Richtung eines globalen Optimums einer definierten Güteoder Fitnessfunktion des betrachteten Problems. Die mul-tikriterielle evolutionäre Optimierung zielt im Allgemeinen auf das Finden oder Approximieren einer bestmöglichen beziehungsweise bestangepassten Lösung für ein gegebenes Problem bei gleichzeitiger Berücksichtigung multipler Zielfunktionen. Ermittelt wird hier nicht eine einzelne optimale Lösung sondern eine Menge optimaler Kompromisse, die Pareto-Menge. Hierfür finden sich speziell in der Mechatronik zahlreiche Applikationen, so zum Beispiel im Rahmen der Modellierung oder des Entwurfs komplexer mechatronischer Systeme. Mechatroni-sche Systeme sind aufgrund der domänenübergreifenden (Maschinenbau, Elektro- und Informatonstechnik) Integration von Teilsystemen durch einen komplexen und heterogenen Aufbau charakterisiert. Dies erklärt, dass eine geschlossene analytische Formulierung des Systems nur in wenigen Fällen möglich ist. Aufgrund der Wechselwirkungen der Teilsysteme innerhalb der Domänen und zwischen den Domänen ist offensichtlich, dass mechatroni-sche Systeme auf ihren Anwendungsfall hin optimiert werden müssen. Die evolutionäre Optimierung eignet sich insbesondere auch aufgrund der Anzahl zu optimierender Parameter eines mechatronischen Systems verschiedener Domänen.
Die Aspekte der Suche und Entscheidungsfindung sind im Rahmen der multikriteriellen Optimierung inhärent miteinander verknüpft. Das primäre Ziel der evolutionären Suche besteht in der Generierung einer Menge von Lösungen, welche die tatsächliche Pareto-Front möglichst gut repräsentiert. Aus dieser Menge wählt der Entscheidungsfinder im Nachhinein die mit seinen Präferenzen oder seiner Nutzenfunktion am Besten übereinstimmende Kompromisslösung aus. Die Entscheidungsfindung im Anschluss an die evolutionäre Suche eignet sich für niedrigdimensionale Probleme mit etwa zwei bis vier Kriterien, bei der die evolvierte Population untereinander nicht-dominierter Lösungen die Pareto-Front hinreichend dicht abdeckt.
Bei der a priori Artikulation von Präferenzen spezifiziert der Entscheidungsfinder, der auch als Experte oder Benutzer bezeichnet wird, im Vorhinein eine skalare Nutzenfunktion, welche die Kompromisse zwischen den einzelnen Kriterien widerspiegelt. Für die Mehrzahl praktischer Optimierungsprobleme bleibt diese Vorgehensweise insofern unbefriedigend, da der Entscheidungsfinder insbesondere ohne vorherige Kenntnis der letztendlich realisierbaren Kompromisslösungen nicht in der Lage ist, die einzelnen Kriterien quantitativ gegeneinander abzuwägen. Die Rolle von Benutzerpräferenzen innerhalb der mul-tikriteriellen evolutionären Optimierung und der damit verwandten Frage der multikriteriellen Entscheidungsfin-dung wurde von C. Coello [1] diskutiert. Einen Übersichtsartikel jüngeren Datums zur Frage der Integration von Präferenzen und der Interaktion mit dem Benutzer bieten Rachmawati et al. [2]. Eine Alternative zu a priori und a posteriori Entscheidungen stellt die Benutzerbefragung während der laufenden Optimierung dar, bei welcher ein
Experte seine Präferenzen innerhalb der aktuellen Population nicht-dominierter Lösungen äußert. Seine Entscheidungen und die daraus abgeleiteten Präferenzen beeinflussen die Selektion der zukünftigen evolutionären Suche. Die Entscheidungsfindung fällt leichter, da der Experte lediglich alternative Lösungen qualitativ miteinander vergleicht, ohne ein absolutes quantitatives Urteil zu fällen. Bei der rein interaktiven evolutionären Optimierung beruht die Selektion ausschließlich auf dem Experten, welcher dadurch gezwungen ist alle Lösungen jeder Generation zu bewerten. Eine derartige Vorgehensweise ist kaum praktikabel, da die Anzahl der zu treffenden Einzelbewertungen die Kapazität des Experten bei weitem überschreitet. Um den Experten so wenig wie möglich zu beanspruchen, trifft er seine Entscheidungen bezüglich einer repräsentativen Teilmenge gegenseitig nicht-dominierter Lösungen. Im einfachsten Fall vergleicht der Experte lediglich zwei Lösungen miteinander. Aus der vergleichenden Bewertung der Repräsentanten wird auf die globalen Präferenzen des Benutzers hinsichtlich der ihm nicht gezeigten Lösungen geschlossen. Ein interaktives Werkzeug um Lösungen der evolutionären Optimierung auszuwählen wird von Deb et al. [3] vorgestellt.
Der mit diesem Beitrag vorgestellte Ansatz zur fortlaufenden Präferenzbildung ist insofern neuartig und universell, als dass ihm kein spezifisches Modell der Benutzerpräferenzen oder Ziele zugrunde liegt. Die Expertenentscheidungen dienen als Trainingsbeispiele für ein instanzbasiertes Lernverfahren, welches ein Präferenzmodell erzeugt. Die relative Präferenz für ein dem Experten nicht gezeigtes Lösungspaar wird aus dessen Ähnlichkeit mit expliziten Expertenentscheidungen hergeleitet. Aus der paarweisen Präferenz von Lösungen lässt sich die für den Experten maßgebliche Rangfolge der aktuellen Population herleiten. Dieser Ansatz berücksichtigt zudem die Unvergleichbarkeit von Lösungen (Hüllermeier und Brinker [4]), hierbei handelt es sich um ein Konzept, welches die gegenläufige Bevorzugung zweier Lösungen ermöglicht, indem außerdem die Vergleichbarkeit beider Lösungen zusätzlich zur Präferenzentscheidung erfasst wird. Lediglich miteinander vergleichbare Lösungen sind während der multikriteriellen Selektion dem gegenseitigen Wettbewerb untereinander ausgesetzt, wohingegen sich unvergleichbare Teilpopulationen unabhängig voneinander evolvieren.
2. Interaktive Präferenzartikulation
Ohne ausreichendes Wissen über mögliche Alternativen ist es für den Prozessexperten schwierig, unter Umständen auch unmöglich, Präferenzen oder Kompromisse für mehrere Kriterien konkret zu quantifizieren. Wesentlich einfacher hingegen fällt das Formulieren von Präferenzen für einen Vergleich von nur zwei möglichen Lösungen während des Verlaufs der Optimierung. Die interaktive Formulierung von Präferenzen wirft einige bereits bekannte Fragen auf (Parmee et al. [5], Takagi [6]):
- Wann werden dem Benutzer welche Informationen oder Lösungen zur Bewertung vorgelegt?
- Welche Art von Entscheidung muss der Benutzer treffen?
- Wie beeinflusst die Entscheidung den Prozess der Optimierung?
2.1. Schema für paarweise Vergleiche von Lösungen
Für den Selektionsprozess formuliert der befragte Experte idealerweise seine Präferenzen für alle Lösungen der aktuellen Population. In diesem Falle würde die Selektion exakt die Präferenz des Experten abbilden und nicht nur annähern. Eine solche komplette Interaktion würde jedoch schon für Optimierungen kleineren Umfanges die menschlichen Fähigkeiten zur Informationsverarbeitung überschreiten. Da die Menge der nicht-dominierten Lösungen zu einem beliebigen Zeitpunkt während der Optimierung üblicherweise größer ist, als dass ein Experte bereit wäre, diese vollständig zu analysieren und zu bewerten. Die interaktive Entscheidung ist daher begrenzt auf eine Menge repräsentativer Lösungsprototypen die durch ein Clustering der gesamten Lösungsmenge gewonnen werden.
Für das vorgeschlagene Schema wählt ein hierarchischer Clustering-Algorithmus N Cluster um die gesamte Menge der n Pareto-optimalen Lösungen zu repräsentieren, für jedes Cluster wird die dem Clustermittelpunkt nächste Lösung als Lösungsprototyp gewählt. Der Experte bewertet nun diese Repräsentanten mittels eines paarweisen Vergleichs aller Prototypen hinsichtlich ihrer relativen Qualität sowie ihrer Vergleichbarkeit miteinander. Die Zahl von N Clustern erfordert vom Experten N(N-1)/2 paarweise Vergleiche und Entscheidungen. Eine Lösung Si = {x., f (xi)j wird repräsentiert durch den Parametervektor Xj und den Kriterienvektor f (x.). Der Experte formuliert im Hinblick auf ein Lösungspaar (S., Sj) seine Präferenz als ct(S., Sj )e[-1,l]. Der Extremfall ct (S., Sj) = 1 bedeutet, dass die Lösung S. vollständig der Lösung Sj vorgezogen wird, ct(S., Sj ) = -1 meint
das Gegenteil. Ein ct(S., Sj ) = 0 steht für zwei gleichwertige Lösungen. Zwischenwerte werden als schwächere Präferenzen für die eine oder andere Lösung interpretiert. Zusätzlich klassifiziert der Benutzer ein Lösungspaar hinsichtlich seiner Vergleichbarkeit mittels eines Ver-
gleichbarkeitsgrads p(St, S} )e[0,l]. Für p(St, S} ) = 1
sind die beiden Lösungen vollständig vergleichbar. Es besteht ein fundamentaler Unterschied zwischen der Klassifikation von zwei Lösungen als «gleich» ct = 0 und «unvergleichbar» p = 0. Im ersten Fall stehen beide Lösungen im Wettbewerb miteinander, können jedoch nicht unterschieden werden. Im zweiten Fall findet kein Wettbewerb zwischen beiden Lösungen statt, die Selektion setzt ausschließlich vergleichbare Lösungen in Konkurrenz zueinander.
Die Menge Dct der verglichenen Paare {Si, Sj j aller
Prototypen, werden in einer Datenbank abgelegt, um für die Präferenzschätzung zur Verfügung zu stehen.
Alle g Generationen wird dieser Vorgang wiederholt und die ermittelten Vergleiche der Menge Dct hinzugefügt.
2.2. Präferenzschätzung
Die Benutzerpräferenz über die gesamte Menge von Pareto-optimalen Lösungen in der aktuellen Population wird anhand der durch Benutzerbefragung ermittelten Datenbank verglichener Lösungen Dct vorhergesagt. Dem liegt die Annahme zugrunde, dass der Benutzer Lösungspaare, die sich ähnlich sind, auch ähnlich bewerten würde. Für ein unbewertetes Lösungspaar {Pk, Pl j wird die Präferenz und Vergleichbarkeit anhand bekannter Präferenzen geschätzt. Die Ähnlichkeit des Paares {Pk, Pl j mit
jedem Paar {s., Sj j aus der Menge Dct wird durch die
Entfernung der Lösungen im normalisierten Kriterienraum nach folgender Gleichung bestimmt:
A({Pk, PI {Si, Sj )) = || f (Xk)-f (X )|| 2 Hl f (Xi)-f (X )|| 2-
Der gewichtete Einfluss eines einzelnen Trainingsdatenpaares ist durch eine Gauß'sche Verteilung über dieses Abstandsmaß bestimmt:
'A({Pk, P), {S., S; jf
w ({Pk, Pi}, {S. Sj }) = exp
d„
in der dmn dem mittleren kleinsten Abstand innerhalb der Lösungsmenge entspricht. Die geschätzte Präferenzrelation für ein Paar wird dann als eine auf diese Art gewichtete Summe der Präferenzen aller Trainingspaare berechnet:
'(pk . pi ) =
g(S, . Sj ) W ({Pk, Pl }, {Si. Sj })
TujW ({Pk. Pl}. {Si. S} })
Die geschätzte Vergleichbarkeit p jedes Paares wird auf die gleiche Art bestimmt:
P (Pk. Pi ) =
(p(S,. Sj )-!)w({Pk. Pi}. {S,. Sj }) £„w ({Pk. Pi}. {S,. Sj })
2.3. Integration von Benutzerpräferenzen in evolutionäre Algorithmen
Der verwendete multikriterielle evolutionäre Algorithmus entspricht weitgehend den in der Literatur (Deb
[7]) publizierten und in früheren Arbeiten (Krettek et al.
[8]) erweiterten Methoden. Der Ablauf des erweiterten Algorithmus ist in Abbildung 1 skizziert. Die Startpopulation wird zufällig initialisiert, ein diskreter Rekombinationsoperator sowie ein Mutationsoperator mit adaptiver Schrittweite finden Verwendung.
In der multiobjektiven evolutionären Optimierung beruht die Selektion hinsichtlich der ermittelten multikrite-riellen Fitness der Individuen primär auf dem Konzept der Dominanz. Eine Lösung dominiert eine andere Lösung genau dann, wenn sie in mindestens einem der Kriterien überlegen ist und sich in keinem der anderen Kriterien als
schlechter erweist. Die Selektion bevorzugt diejenigen Lösungen, welche von keinem oder möglichst wenigen anderen Lösungen der Population dominiert werden.
Abb. 1. Evolutionärer Algorithmus mit Benutzerinteraktion
Der Rang einer Lösung ergibt sich zu ri =1+pi wobei Pi die Anzahl der gegenüber Lösung i dominierenden Lösungen darstellt. Alle nicht-dominierten Lösungen erhalten den Rang Eins und damit die höchste Fitness. Im Laufe der Evolution und der damit verbundenen Annäherung an die Pareto-Front wächst der Anteil nicht-dominierter Lösungen und übersteigt die Anzahl der zu selektierenden Eltern. Aus Sicht der multikriteriellen Optimierung sind alle nicht-dominierten Lösungen als gleichwertig zu betrachten. Das Ziel besteht darin, die Pareto-Front durch homogen verteilte Lösungen abzudecken. Aus Sicht des Entscheidungsfinders unterscheiden sich jedoch die nicht-dominierten Lösungen hinsichtlich ihrer Güte. Im in Abbildung 1 gezeigten Ablauf folgt daher nun je nach Parametrisierung die beschriebene interaktive Präferenzartikulation, in jedem Falle folgt jedoch ein auf dieser Präferenz basierender weiterer Selektionsschritt. Die Aufgabe der präferenzbasierten Selektion besteht darin, aus den bereits vorselektierten, nicht-dominierten Lösungen die aus Sicht des Experten bevorzugten Lösungen als Eltern zu selektieren.
2.4. Präferenzbasierte Selektion
Im Anschluss an die Selektion aller n nicht-dominierten Lösungen aus der aktuellen Population wird ein weiterer Selektionsschritt anhand der Benutzerpräferenzen durchgeführt. Dazu trifft das instanzbasierte Präferenzmodell eine Vorhersage über die Präferenzrelation und Vergleichbarkeit aller Lösungspaare, die aus der Kombination jeder der n Lösungen mit den jeweils anderen n-1 Lösungen gebildet wird. Für jede Lösung wird aus allen Paaren, an der diese beteiligt ist, ein aggregierter Präferenzindex yG und ein Vergleichbarkeitsindex yp ermittelt:
yP( pk )=
I h & (Pk, P )P (P, P) I h P (Pk, P)
Dieser Index bildet die mittlere relative Präferenz einer Lösung im Vergleich zu ihren unmittelbaren Mitbewerbern ab. Die Vergleichbarkeit p der Lösung beschränkt dabei den Wettbewerb auf mehr oder weniger disjunkte Untermengen ähnlicher Individuen der gesamten Population. Der Vergleichbarkeitsindex erfasst die relative Dichte der Lösungen im Kriterienraum:
Yp(Pk) = SLiP(Pk, P).
Um eine gleichmäßige Verteilung der Lösungen auf alle präferierten Regionen der Pareto-Front zu gewährleisten, wird dieser Index minimiert. Dieser Ansatz ist ähnlich zu verbreiteten Methoden zum Erhalt von Diversität in Pareto-Mengen, bei dem dicht benachbarte Lösungen für die Selektion abgewertet werden. Als Ziel ergibt sich dadurch die simultane Maximierung von yG und Minimierung von yp, um ein ausgeglichenes Verhältnis zwischen Verbesserung und Erforschung zu erreichen. Die besten Lösungen werden entsprechend dem verbreiteten multikriteriellen Selektionsschema nach Fonseca [9] gewählt. Eine Selektionsreihenfolge R0 wird anhand des Rangs eines Individuums gebildet, der von der Anzahl der von ihm dominierten Lösungen abhängig ist. Die ^Individuen mit dem besten Rang hinsichtlich Präferenz und Vergleichbarkeit werden als Eltern der nächsten Generation selektiert.
2.5. Verbesserte Präferenzmodellierung durch gezielte Auswahl der Prototypen für die Interaktion
Nahezu unabhängig vom tatsächlich zu optimierenden Problem stellt zumindest aus Sicht des Experten die interaktive Bewertung von Prototypen den größten Teil des Gesamtaufwandes für die Optimierung dar. Tatsächlich kann angenommen werden, dass die Rechenzeit des Algorithmus für die evolutionäre Optimierung selbst gegenüber dem Zeitaufwand für die Interaktion zu vernachlässigen ist. Der Aufwand für die eigentliche Gütebewertung dagegen ist nicht in jedem Fall vernachlässigbar. Das Ziel einer interaktiv operierenden Optimierung ist es daher, mit möglichst wenigen Interaktionen eine schnelle Konvergenz der Suche zu erzielen, was beide für den Gesamtaufwand relevanten Aspekte - nämlich die Anzahl der Gütebewertungen und die Anzahl der Interaktionen -positiv beeinflusst. Um die Anzahl der dem Experten gestellten Fragen zu reduzieren gilt es, aus gestellten Fragen den größtmöglichen Informationsgewinn zu erzielen. Informationsgewinn bedeutet in diesem Zusammenhang eine Verbesserung der auf den modellierten Präferenzen basierenden Selektion. Daher ist die mit den möglichen Ergebnissen des Vergleichs einhergehende Änderung der Selektionsentscheidung das maßgebliche Kriterium zur Auswahl diskriminierender Fragen. Die zu erwartende Änderung ergibt sich durch den Vergleich des bisherigen Modells mit dem um das Ergebnis des Vergleichs als zusätzliches Trainingsdatum erweiterten Modell. Für den
untersuchten Vergleich , Sj j wird zunächst die Präferenzentscheidung g durch das aktuelle Modell geschätzt.
Die tatsächliche Entscheidung wird der prognostizierten ähnlich sein, aber dennoch von ihr abweichen. Diese Variabilität der Antwort wird durch zwei prototypische, der geschätzten Entscheidung ähnliche Antworten nachgebildet, nämlich g{Sz, Sj j+e + und g|SZ, Sj j-e . Für
beide Varianten wird die induzierte Selektionsreihenfolge (R+e, R-e) hinsichtlich der geschätzten Präferenz ermittelt. Für die Variabilität der Antwort wird hierkonkret e= 0,2 gewählt.
Die ersten ^ potentiell selektierten Individuen beider induzierten Rangfolgen werden mit der Rangfolge der ohne dieses neue Trainingsbeispiel bisherigen Selektionsentscheidung R0 verglichen. Als Sensitivitätsmaß dient die Summe der Verschiebungen der Rangfolge der ^ besten Lösungen:
A(+) R+e( o-R (0); AH R-e( o-R (0).
Die Abweichung A in der Selektionsreihenfolge stellt den Gradienten des möglichen Informationsgewinnes dar. Davon ausgehend, dass die größere der beiden Änderungen durch eine dem lokalen Trend gegenläufige Entscheidung hervorgerufen wird, dient die kleinere der beiden
Änderung A = min (A(+), A(+)) als Kriterium. Bei N Prototypen ergeben sich N(N-1)/2 potenzielle Vergleiche, von denen derjenige mit dem höchsten potenziellen Informationsgewinn ausgewählt wird.
11 -
10'-1-1-1-1—
0 10 20 30 40 50
Generationen
Abb. 2. Vergleich der interaktiven Bewertung gezielt gewählter und zufällig gewählter Prototypen-Paare
In Abbildung 2 werden die Entwicklung des Selektionsfehlers über den Verlauf einer Optimierung für eine rein dominanzbasierte Selektion, eine interaktive Selektion bei Bewertung eines aus N(N-1)/2 möglichen Vergleichen zufällig gewählten Vergleichs in jeder Generation und eines anhand des Informationsgewinns gezielt ausgewählten Vergleichs in jeder Generation verglichen. Zur Bewertung der Effizienz dient der Selektionsfehler, der anhand der Differenz des mittleren Abstandes der Populationen zum Referenzpunkt ermittelt wird. Der Abstand der durch das approximierte Benutzermodell selektierten Lösungen wird dabei mit dem Abstand der auf dem tat-
sächlichen Benutzermodell beruhenden idealen Selektion verglichen. In anderen Worten, das gewählte Kriterium spiegelt die durch Approximation des Benutzermodells verursachte Verschleppung der Konvergenz des evolutionären Algorithmus wider. Wie zu erwarten, zeigt sich eine deutlich geringere Verlangsamung des evolutionären Fortschritts bei einer durch ein Präferenzmodell unterstützten Selektion gegenüber einer ausschließlich dominanzbasierten Selektion, die in Unkenntnis der Präferenzen des Experten agiert. Weiterhin wird deutlich, dass die gezielte Auswahl von Vergleichen gegenüber einer rein zufälligen Generierung von Trainingsbeispielen gerade in den späteren Generationen zu einer beschleunigten Konvergenz beiträgt.
3. Ergebnisse
Das Konvergenzverhalten des vorgestellten Algorithmus wird analysiert anhand der bekannten Kursawe-Testfunktion mit zwei Kriterien:
fi (X )E5=i(-10exp(-0,^x,2 + ^i)),
f2 (X)!6=1 (|XI0'8 + 5sin(x )3).
Das hypothetische Benutzermodell basiert auf einem einzelnen Referenzpunkt . PRef = (-35; -21,5)
Die Konvergenz der interaktiven Optimierung wird mit einem globalen multikriteriellen Algorithmus verglichen, dessen Selektion nur auf dem Dominanz-Ranking und einem Niching-Mechanismus basiert. Ebenfalls verglichen wird ein skalarer evolutionärer Algorithmus, zu dessen Fitnessbewertung der euklidische Abstand der Lösungen zum Referenzpunkt dient.
3.1. Vergleich der interaktiven Optimierung mit herkömmlichen Strategien
Es wird erwartet, dass sich die interaktive Methode als weniger effizient gegenüber der skalaren Optimierung mit a priori bekannten Präferenzen verhält, jedoch die Konvergenz der ungerichteten multikriteriellen Optimierung zur Pareto-Front übertrifft. Die Konvergenz wird anhand des Abstandes zwischen dem Referenzpunkt und der am nächsten gelegenen Lösung in der aktuellen Population analysiert. Der skalare Algorithmus optimiert hierbei direkt den Abstand zum Referenzpunkt. Der multikri-terielle Algorithmus dagegen berücksichtigt diesen Abstand nicht, da alle nicht-dominierten Lösungen als gleichwertig behandelt werden. Die interaktive Optimierung hat kein a priori Wissen über den Referenzpunkt. Mit fortschreitender Optimierung bildet das erlernte Präferenzmodell jedoch den Abstand dazu ab. Zur Visualisierung der unterschiedlichen Konvergenzverhalten wird eine Population mit lediglich ^ = 10 Eltern und X = 50 Nachkommen über 20 Generationen evolviert. Abbildung 3 zeigt die Entwicklung der Population gegen die Pareto-Front (durgezogene Linie). Der Grauwert der Lösungspunkte illustriert das Fortschreiten der Generationen, beginnend bei hellgrau bis hin zu schwarz in der letzten Generation.
Skalare Optimierung:
Die skalare Optimierung des Abstands zum Referenzpunkt (Kreuz), dargestellt in Abbildung 3, konvergiert schnell in Richtung Pareto-Front in der Umgebung des Referenzpunktes. Eine lineare Gewichtung der zugrunde liegenden Kriterien führt nicht unbedingt zur Konvergenz in ein einziges Minimum, die Verwendung des euklidischen Abstandes zum Referenzpunkt als FitnessBewertung führt zu einem eindeutigen Ergebnis.
Multikriterielle Optimierung:
Die multikriterielle Optimierung ohne die Berücksichtigung von Präferenzen entwickelt sich in Richtung der globalen Pareto-Front, wie in Abbildung 3 (links) gezeigt. Da der Referenzpunkt bei der Optimierung in keiner Weise berücksichtigt wird, verteilen sich die Lösungen gleichmäßig über die Pareto-Front. Die Konvergenz im Bezug auf den Referenzpunkt ist demnach erwartungsgemäß langsamer.
zu Beginn langsamer. Der Einfluss des Modells und auch das Lernen beginnen nicht mit der ersten Generation, da nur für mehr als ^ = 10 nicht-dominierte Lösungen die Präferenz in die Selektion mit einbezogen wird. Das Präferenzmodell wird mit dem Fortschreiten der Optimierung genauer und nähert sich dann dem skalaren Optimum.
Die Abbildung 4 (rechts) zeigt die Konvergenz der aktuell besten Lösung in Richtung des Referenzpunktes über den Verlauf der Evolution. Die Darstellung ist das Ergebnis einer Mittelwertbildung über 25 unabhängige Optimierungen.
b
Abb. 3. Vergleich der Algorithmen: Multikriterielle Optimierung (a) und skalare Optimierung (b)
Multikriterielle Optimierung mit präferenzbasierter Selektion:
Die Integration des Präferenzmodells zur Selektion resultiert in einer schnelleren Konvergenz in Richtung des Referenzpunktes, wie in Abbildung 4 (links) dargestellt. Zu beachten ist, dass sich der Algorithmus auf Grundlage der paarweisen Vergleiche entwickelt. Die Population entwickelt sich in Richtung des Referenzpunktes, obgleich
b
Abb. 4. Präferenzbasierte Optimierung (a), Vergleich der Konvergenz der verschiedenen Verfahren (b)
4. Zusammenfassung
Dieser Beitrag präsentiert eine neue Methode zur Integration von Benutzerpräferenzen in die multikriterielle evolutionäre Optimierung. Ein Präferenzmodell wird durch paarweisen Vergleich prototypischer Lösungen durch den Experten erlernt und dient innerhalb der Selektion der Unterscheidung und Auswahl nicht dominierter Lösungen. Das Modell beruht auf keinerlei Annahmen über die Struktur der Benutzerpräferenz und deckt damit sowohl den Fall einer einzelnen Ziellösung, mehrerer gleichrangiger Ziellösungen als auch globalen Approximation der Pareto-Front ab. Der Experte ist nicht gezwungen, seine Ziele a priori in quantitativer Form zu definie-
a
a
ren, sondern trifft lediglich qualitative Entscheidungen im Angesicht realisierbarer Kompromisslösungen. Die Beanspruchung des Experten durch die Befragung wird durch eine gezielte Auswahl der für die nachfolgende Optimierung besonders informationshaltiger Fragen begrenzt. Die Analyse des Konvergenzverhaltens verdeutlicht, dass der gewählte Ansatz sowohl dem Aspekt der breiten multikri-teriellen Erkundung des Lösungsraumes als auch der mit den Expertenzielen in Einklang stehenden Fokussierung der Suche auf Teilregionen Rechnung trägt.
Literatur
1. Coello C.A.C. Handling Preferences in Evolutionary Multiob-jective Optimization: A Survey. Proceedings of the CEC2000 (2000), S. 30-37.
2. Rachmawati L., Srinivasan D. Preference Incorporation in Multi-objective Evolutionary Algorithms: A Survey. Proceedings of the CEC2006 (2006), S. 962 - 968.
3. Deb K., Chaudhuri S. I-EMO: An interactive evolutionary multi-objective optimization tool. First International Confe
Поступила в редакцию
rence on Pattern Recognition and Machine Intelligence (2005), S. 690-695.
4. Hullermeier E., Brinker K. Fuzzy-Relational Classification: Combining Pairwise Decompisition Techniques with Fuzzy-Preference Modeling. Proc. of the 5th International Conference of the European Society for Fuzzy Logic and Technology (2007). S. 353 - 360
5. Parmee I.C., Cvetkovic D., Watson A., Bonham C. Multiob-jective Satisfaction within an Interactive Evolutionary Design Environment. Evolutionary Computation 8 (2000) 2, S. 197 - 222.
6. Takagi H. Interactive evolutionary computation: fusion of the capabilities of EC optimization and human evaluation. Proceedings of the IEEE 89 (2001) 9. S. 1275 - 1296.
7. Deb K. Multi-Objective Optimization Using Evolutionary Algorithms, John Wiley and Sons, (2001)
8. Krettek J., Hoffmann F., Bertram T. Evolutionary Multiobjec-tive Hardware-in-the-Loop Optimization of a Hydraulic Valve Controller, 6th international fluid power conference (IFK 2008), Band 2, S. 525 - 537. Dresden, 2008.
9. Fonseca C., Fleming P. Genetic algorithms for multiobjective optimization: Formulation, discussion and generalization. Proceedings of the 5th International Conference on Genetic Algorithms (1993). S. 416 - 423.
19 января 2010 г.
Krettek Johannes - Dipl.-Ing., Wissenschaftlicher Mitarbeiter, Lehrstuhl für Regelungssystemtechnik, Technische Universität Dortmund. Tel.: +49-231-755-2745. E-mail: [email protected]
Braun Jan - Dipl.-Ing., Wissenschaftlicher Mitarbeiter, Lehrstuhl für Regelungssystemtechnik, Technische Universität Dortmund. Tel.: +49-231-755-2745. E-mail: [email protected]
Hoffmann Frank - Dr. rer. nat., Oberingenieur, Lehrstuhl für Regelungssystemtechnik Technische Universität Dortmund.
Hirsch Karina - Dipl.-Ing., Wissenschaftlicher Mitarbeiter, Lehrstuhl für Regelungssystemtechnik, Technische Universität Dortmund. Tel.: +49-231-755-2761. E-mail: [email protected]
Bertram Torsten - Prof. Dr. -Ing. Prof. h.c., Lehrstuhlleiter, Lehrstuhl für Regelungssystemtechnik Technische Universität Dortmund. Tel.: +49/231/755-2496, Fax: +49/231/755-2752. E-Mail: {mykhaylo.ruderman, torsten.bertram}@tu-dortmund.de
Krettek Johannes - engineer, scientific employee, department of control and systems engineering, Technical University Dortmund. Ph. +49-231-755-2745. E-mail: [email protected]
Braun Jan - engineer, scientific employee, department of control and systems engineering, Technical University Dortmund. Ph. +49-231-755-2745. E-mail: [email protected]
Hoffmann Frank - scientific employee, department of control and systems engineering, University of Technology, Dortmund. E-mail: [email protected]
Hirsch Karina - engineer, scientific employee, department of control and systems engineering, Technical University Dortmund. Ph.: +49-231-755-2761. E-mail: [email protected]
Bertram Torsten - Doctor of Technical Sciences, professor, department of control and systems engineering, University of Technology, Dortmund, Ph. +49(231)755-2496, Fax: +49/231/755-2752. E-mail: {mykhaylo.ruderman, torsten .bertram} @tu-dortmund. de
Креттек Йоханэс - инженер, научный сотрудник, кафедра «Системы автоматического управления», Технический университет Дортмунд. Тел. +49-231-755-2745. E-mail: [email protected]
Браун Ян - инженер, научный сотрудник, кафедра «Системы автоматического управления», Технический университет Дортмунд. Тел. +49-231-755-2745. E-mail: [email protected]
Хоффман Франк - старший инженер, кафедра «Системы автоматического управления», Технический университет, г. Дортмунд.
Хирш Карина - Научный сотрудник Кафедра "системы автоматического управления", Технический Университет Дортмунд. Тел. +49-231-755-2761. E-mail: [email protected]
Бертрам Торстен - д-р техн. наук, проф., заведующий кафедрой «Системы автоматического управления», Технический университет, г. Дортмунд. Teл.: +49/231/755-2496, Fax: +49/231/755-2752. E-Mail: {mykhay-lo.ruderman, torsten.bertram}@tu-dortmund.de_
