
Als Orientierung für die oben skizzierten Untersuchungen dienen Vorarbeiten
\citep{t1:Sla01}, die im Rahmen des Projektes B1 des SFB 531 durchgeführt
wurden. Dort wurde folgende systematische Vorgehensweise zur Einstellung der
Parameter des Fuzzy-ROSA-Verfahrens vorgeschlagen und anhand von
Benchmarkproblemen getestet. Für ein gegebenes Problem wird zunächst eine
Partitionierung der Größen (Suchraumstrukturierung) vorgenommen. Hierfür wird
die Anzahl der linguistischen Werte je Ein- bzw. Ausgangsgröße wissensbasiert
festgelegt, die Erzeugung der Zugehörigkeitsfunktionen zu den linguistischen
Werten erfolgt daraufhin datenbasiert. Ausgehend von der so erzeugten
Suchraumstrukturierung werden mit vier unterschiedlichen Test- und
Bewertungsverfahren ($J_{RI}$, $J_{RHR}$, $J_{CHR}$ und $J_{MVB}$) Modelle
generiert. Jedes dieser Verfahren verfügt über einen Parameter $\kappa$, der
die Härte des jeweiligen Regeltests steuert. Ein weiterer Parameter $\tau$ (die
untere Relevanzschwelle für Regeln) steuert, welche generierten Regeln
tatsächlich in die Regelbasis übernommen werden. Der Parameter $\kappa$ wird
auf einem Standard-Wert belassen, oder aber aufgrund von Zusatzwissen
problemspezifisch angepasst. Für den Parameter $\tau$ werden für jedes der vier
Test- und Bewertungsverfahren die elf Werte $\tau=0.0,\,\tau=0.1,\,\ldots,
\,\tau=0.9,\,\tau=1.0$ vorgesehen. Es werden ausschließlich Modelle vom Typ
Mamdani, die mit nur positiven Regeln arbeiten, untersucht. Systematische
Untersuchungen für TSK-Modelle, die durch Transformation von Mamdani-Modellen
mit ausschließlich positiven Regeln entstehen, finden sich in \citep{t1:Kra02}.

Diese Untersuchungen haben wichtige Zusammenhänge zwischen den angestrebten
Zielen Relevanz und Treffsicherheit von Regeln sowie Approximationsgüte des
Gesamtmodells einerseits und der Wahl der verschiedenen Test- und
Bewertungsverfahren andererseits aufgedeckt. Ferner werden die prinzipiellen
Wirkungsweisen der Parameter $\kappa$ und $\tau$ aufgeklärt. Es fehlen aber
Erkenntnisse darüber, welches Test- und Bewertungsverfahren und welche Werte
für $\kappa$ und $\tau$ im konkreten Anwendungsfall zu wählen sind. Hierauf
zielen die folgenden Untersuchungen ab.

Die datenbasierte Modellierung mit dem Fuzzy-ROSA-Verfahren gliedert sich in
vier Teilaufgaben: Auswahl der Eingangsgrößen, Strukturierung des Suchraumes,
Regelgenerierung und Optimierung der Regelbasis. Zur systematischen Exploration
wird auf eine vorgeschaltete Selektion von Eingangsgrößen verzichtet, um eine
bessere Vergleichbarkeit mit anderen Modellierungsergebnissen zu ermöglichen
und weil industrielle Anwender meist zunächst alle verfügbaren Eingangsgrößen
berücksichtigen möchten. Auf eine nachgeschaltete Optimierung der Regelbasis
wird ebenfalls verzichtet, weil diese so zeitintensiv ist, dass sie bei der
großen Anzahl der hier erzeugten Modelle nicht in angemessener Zeit
durchführbar ist. Die nachfolgende systematische Untersuchung erstreckt sich
somit auf die Strukturierung des Suchraumes und den Prozess der
Regelgenerierung.

Die Strukturierung des Suchraumes (Partitionierung) besteht in der Festlegung
der Anzahl der linguistischen Werte je Ein- bzw. Ausgangsgröße sowie der
Festlegung der Zugehörigkeitsfunktionen für die Modellierung der linguistischen
Werte. Im Prinzip kann die Festlegung von linguistischen Werten und
Zugehörigkeitsfunktionen für jede Ein- und die Ausgangsgröße individuell
erfolgen. Die daraus resultierende kombinatorische Vielfalt impliziert sehr
viele Freiheitsgrade. In praktischen Anwendungen, in denen kein spezielles
Problemwissen vorliegt, hat sich aber die Beschränkung auf gewisse
Standard-Partitionierungen als ausreichend erwiesen. Die Anzahl der
linguistischen Werte wird für alle Größen gleich -- typischerweise zu drei,
fünf oder sieben -- gewählt. Ebenso werden die Zugehörigkeitsfunktionen für
alle Größen in gleicher Weise -- äquidistant, äquifrequent oder aufgrund eines
unidimensionalen Clusterverfahrens -- über den Wertebereich einer Größe
platziert. Dabei werden rechteckförmige, trapezförmige oder dreieckförmige
Zugehörigkeitsfunktionen verwendet\footnote{Bei dem Einsatz des
Clusterverfahrens im Fuzzy-ROSA-Verfahren werden ausschließlich trapezförmige
Zugehörigkeitsfunktionen generiert.}. Für eine automatische Partitionierung
kann das oben erwähnte unidimensionale Clusterverfahren eingesetzt werden.
Dieses bestimmt für jede Größe individuell eine günstige Anzahl linguistischer
Werte und günstige Zugehörigkeitsfunktionen. Zusammen mit den zuvor
beschriebenen Ansätzen ergeben sich so insgesamt 22 Partitionierungsvarianten.

Was das zu verwendene Test- und Bewertungsverfahren angeht, ist zunächst die
diskrete Entscheidung zu treffen, welches dieser Verfahren ausgewählt wird und
dann, welche Werte die zuvor erwähnten Parameter $\kappa$ und $\tau$ haben
sollen. Hier werden sieben verschiedene Test- und Bewertungsverfahren
($J_{RI}$, $J_{RHR}$, $J_{NHR}$ und $J_{CHR}$, sowie $J_{MVB}$, $J_{VVB}$ und
$J_{CVB}$) untersucht. Die vier erst genannten Verfahren arbeiten auf der
Grundlage der relativen Häufigkeiten von Daten, die übrigen drei Verfahren
arbeiten anhand der Verteilungen von Daten. Details zu den Test- und
Bewertungsverfahren finden sich in \citep{t1:Kro99,t1:Jes00,t1:Sla01,t1:SKK04}.
Zu jedem Test- und Bewertungsverfahren werden sieben verschiedene Werte für
$\kappa$ angesetzt\footnote{ Je nach Test- und Bewertungsverfahren bewegen sich
die Werte für $\kappa$ in unterschiedlichen Wertebereichen, da die Verfahren
unterschiedlich konzipiert sind. Für die Test- und Bewertungsverfahren
$J_{RI}$, $J_{RHR}$, $J_{MVB}$, $J_{VVB}$ und $J_{CVB}$ werden für $\kappa$
folgende Werte angesetzt: $\kappa=0.0001$, $\kappa=0.001$, $\kappa=0.01$,
$\kappa=0.03$, $\kappa=0.06$, $\kappa=0.1$ und $\kappa=0.2$. Für die Test- und
Bewertungsverfahren $J_{NHR}$ und $J_{CHR}$ werden für $\kappa$ folgende Werte
angesetzt: $\kappa=0.3$, $\kappa=0.4$, $\kappa=0.5$, $\kappa=0.6$,
$\kappa=0.7$, $\kappa=0.8$ und $\kappa=0.9$.}. Für $\tau$ werden die zehn Werte
$\tau=0.0,\,\ldots,\,\tau=0.9$ verwendet. Es ergeben sich so $7 \cdot 10 = 70$
Parametrierungen für ein gewähltes Test- und Bewertungsverfahren und damit für
die sieben Test- und Bewertungsverfahren insgesamt $7 \cdot 70 = 490$
untersuchte {\glqq Standard-Parametrierungen\grqq}.

Aufgrund der hier vorgesehenen 22 Varianten für die Partitionierung und den 490
Standard-Parametrierungen ergeben sich insgesamt ca. 11.000
Kombinationsmöglichkeiten hieraus. Das Fuzzy-ROSA-Verfahren ist für die
systematische Exploration dieser Einstellmöglichkeiten softwaretechnisch so
erweitert worden, dass die Einstellungen im Batch-Betrieb verändert werden und
die Generierung aller zugehörigen Modelle automatisch erfolgen kann. Auch für
die nachgelagerte Analyse der Modellierungsergebnisse sind entsprechende
Werkzeuge, die diese Datenmenge bewältigen könnten, geschaffen worden. Dennoch
erschien es nicht sinnvoll, alle möglichen Kombinationen aus Partitionierungen
und Standard-Parametrierungen zu untersuchen. Hinsichtlich der
Standard-Parametrierungen kann nämlich vorab gesagt werden, welchen
qualitativen Einfluss Veränderungen der Parametrierung auf die Regelbasis
haben. Wird bei Wahl des Testverfahrens $J_{RI}$ beispielsweise der Parameter
$\kappa$ von $\kappa_{1}$ auf $\kappa_{2}$ herabgesetzt, so erschwert dies den
statistischen Test, sodass sich die Anzahl der generierten Regeln i.\,a.
verringert. Wird bei Wahl des Testverfahrens $J_{RI}$ der Parameter $\kappa$
konstant gehalten und $\tau$ von $\tau_{1}$ auf $\tau_{2}$ erhöht, so
verringert sich i.\,a. die Anzahl der akzeptierten Regeln. Die Auswirkungen
einer derart veränderten Regelbasis auf die Qualität der Modellierung lassen
sich zwar nicht exakt, aber zumindest qualitativ aufgrund von Erfahrungswerten
vorhersagen. Wenn der Test zu leicht und die Relevanzschwelle zu niedrig
gewählt wird, werden viele fragwürdige Regeln, die die Modellierung eher
verschlechtern, generiert bzw. in die Regelbasis übernommen. Ist der Test zu
schwer und die Relevanzschwelle zu hoch gewählt, werden eher zu wenige Regeln
generiert bzw. in die Regelbasis übernommen. Dann werden viele Datenpunkte
nicht durch Regeln abgedeckt und dies beeinträchtigt die Modellierung. Die
Auswirkungen einer Veränderung der Partitionierung erweisen sich dagegen als
wesentlich problemspezifischer und lassen sich daher weitaus weniger gut
abschätzen. Eine direkte Nutzung der zu allen Partitionierungen erhobenen Daten
und Ergebnisse für die Aufdeckung der gesuchten Zusammenhänge ist
problematisch, weil eine Parametrierung in Verbindung mit einer Partitionierung
gut, in Verbindung mit einer anderen Partitionierung aber schlecht geeignet
sein kann. Die Gesamtheit aller dieser Daten könnte größere Mehrdeutigkeiten
und Widersprüche beinhalten, die für die angestrebte datenbasierte Generierung
des Prognosemoduls nachteilig sind.

Um dies zu vermeiden und den Aufwand für die Untersuchungen vertretbar zu
halten, werden folgende zwei verschiedene Varianten für ein Experiment gewählt.
\begin{description}
    \item[Experiment A)] Es werden nicht alle 490 Einstelloptionen, sondern
    eine deutlich geringere Anzahl verwendet. Dabei wird für das
    jeweils gewählte Test- und Bewertungsverfahren der Parameter $\kappa$ bei dem
    jeweiligen Default-Wert belassen\footnote{Der Default-Wert für die Test- und Bewertungsverfahren
    $J_{RI}$, $J_{RHR}$, $J_{MVB}$, $J_{VVB}$ und $J_{CVB}$ ist
    $\kappa=0.01$, für $J_{NHR}$ und $J_{CHR}$ ist der Default-Wert $\kappa=0.5$.}.
    Der Parameter $\tau$ wird wie oben
    beschrieben variiert. Es ergeben sich so zehn Variationen für jedes
    der sieben Test- und Bewertungsverfahren und damit insgesamt 70 Einstelloptionen.
    Diese werden für alle 22 beschriebenen Partitionierungen angesetzt. Die
    mit einer automatischen Partitionierung und mit verschiedenen
    Standard-Partitionierungen erzielten Modellierungsergebnisse
    werden miteinander verglichen. Dieses Experiment soll klären, ob
    die Verwendung einer automatisch erzeugten
    Partitionierung {\glqq in der Regel vertretbar\grqq} ist oder
    typischerweise zu einer signifikant schlechteren Modellierung als die der
    jeweils besten Standard-Partitionierung führt.

    \item[Experiment B)] Es werden alle 490 Einstelloptionen jeweils nur mit
    der automatisch erzeugten Partitionierung verwendet. Mit
    diesem Experiment soll der Einfluss der Einstellwerte
    bei gegebener Partitionierung untersucht werden. Ferner soll aufgeklärt werden,
    welche Test- und Bewertungsverfahren mit welchen Werten der Einstellparameter
    für die unterschiedlichen Problemtypen am besten geeignet sind.
\end{description}

Zu jedem der beschriebenen Experimente A und B werden unterschiedliche Fälle
(Untervarianten) betrachtet. Sie unterscheiden sich danach, ob Mamdani-Modelle
oder TSK-Modelle, ob nur positive oder auch negative Regeln verwendet werden.
Aus Aufwandsgründen werden für das Experiment A nur Mamdani-Modelle und zwar
nur mit positiven Regeln betrachtet. Für das Experiment B werden jedoch mehrere
Untervarianten B1 bis B6 untersucht. Alle erzielten Modellierungsergebnisse
sind für weitergehende Analysen in Datendateien niedergelegt sowie auch in
tabellarischen und grafischen Übersichten dokumentiert. Im Folgenden werden die
Ergebnisse zusammenfassend beschrieben.


Aufbauend auf den so gewonnenen Ergebnissen wird nach möglichen Zusammenhängen
zwischen Kenngrößen des Modellierungsproblems und der resultierenden
Modellierungsgüte gesucht. Hierfür wird das Modellierungsproblem bzw. der
hierzu erhobene Datensatz durch Kenngrößen charakterisiert, die sich für
unterschiedlichste Probleme stets in gleicher Weise berechnen und auswerten
lassen. Die einer datenbasierten Modellierung zu Grunde liegenden Daten
unterscheiden sich typischerweise stark von Problem zu Problem, z.\,B. in der
Anzahl der Eingangsgrößen. Außerdem sind die Wertebereiche der einzelnen Größen
natürlich einerseits von Problem zu Problem verschieden, meist aber auch
innerhalb des Datensatzes eines Problems selbst. Um eine überschaubare Anzahl
aussagekräftiger Kenngrößen zu erhalten, die zudem eine Vergleichbarkeit
verschiedener Probleme ermöglichen, wird bei der Berechnung der Kenngrößen wie
folgt vorgegangen. Die verschiedenen Ein- und Ausgangsgröße(n) eines
Datensatzes werden zuerst jeweils individuell auf den Wertebereich $[0,1]$
normiert. Danach werden für jede Eingangsgröße verschiedene Kenngrößen wie
Standardabweichung oder Korrelation mit der Ausgangsgröße berechnet. Da die
Anzahl der Eingangsgrößen von Problem zu Problem variieren kann, gilt dies
folglich auch für die Anzahl der hierzu insgesamt gebildeten Kenngrößen. Die
Abhängigkeit der Anzahl der Kenngrößen von der Anzahl der Eingangsgrößen wird
hier für den Entwurf des angestrebten Prognosemoduls als ungünstig angesehen.
Deshalb werden z.\,B. durch Berechnung der gemittelten Standardabweichung die
Kenngrößen geeignet aggregiert. Damit einzelne Eingangsgrößen das Gesamtbild
eines Datensatzes nicht allzu stark verfälschen können, wird für diese
Aggregation nicht der Mittelwert, sondern der Median verwendet. Entsprechend
werden auch für die Ausgangsgröße Kenngrößen auf Grundlage der normierten Daten
berechnet. Diese Vorgehensweise liefert für jedes beliebige gegebene Problem
stets die gleiche Anzahl von Kenngrößen. Zudem bewegen sich deren Werte stets
innerhalb bekannter Wertebereiche.

Zur Bewertung der Modellierungsergebnisse wurden hier in erster Linie normierte
Fehlerwerte $\epsilon_{norm}$ herangezogen. Dabei wird beispielsweise der
mittlere absolute Fehler\footnote{Der Ansatz ist auf andere Fehlermaße wie den
mittleren quadratischen Fehler oder den relativen Klassifikationsfehler
übertragbar.} eines Fuzzy-Modells in das Verhältnis zu dem eines Trivialmodells
gesetzt, das unabhängig vom Eingangsgrößenvektor $\mathbf{x}_{i}$ stets den
gleichen Ausgabewert $\hat{y}_{def}$ liefert:
\begin{equation}\label{equ:MAEnorm}
  \epsilon_{norm} =
  \frac
  {\sum\limits_{i=1}^{N} |y_{i}-\hat{y}(\mathbf{x}_{i})|}
  {\sum\limits_{i=1}^{N} |y_{i}-\hat{y}_{def}|} \qquad .
\end{equation}
Der Ausgabewert des Trivialmodells wird oft auch als Baseline-Prognose
bezeichnet. Gilt $\epsilon_{norm}=1$, so arbeitet das Fuzzy-Modell nicht besser
als dieses Trivialmodell und bringt daher offensichtlich keinen Gewinn. Erst
bei einem $\epsilon_{norm} \ll 1$ lohnt der Einsatz des fraglichen
Fuzzy-Modells.

Die berechneten Kenngrößen und erzielten Modellierungsergebnisse werden für
jedes untersuchte Problem in eine Matrix eingetragen. Die einzelnen Matrizen zu
den verschiedenen untersuchten Problemen werden in einer Übermatrix
zusammengefasst, die alle Daten zu einem bestimmten Experiment enthält. Die
Betrachtung dieser Übermatrix zielt nicht auf ein spezielles Problem ab,
sondern darauf, allgemeine Zusammenhänge aufzudecken, die sich für
unterschiedliche Probleme in ähnlicher Form abzeichnen. Eine solche Übermatrix
ist daher für die Suche nach den fraglichen Zusammenhängen nutzbar. Die Suche
kann wissensbasiert erfolgen -- beispielsweise durch eine geeignete
Visualisierung der Daten und darauf aufbauenden Schlussfolgerungen -- und zu
qualitativen Regeln führen. Damit wird das einleitend beschriebene Zwischenziel
dieses Arbeitspaketes eingelöst. Die Suche kann aber auch datenbasiert z.\,B.
mit dem Fuzzy-ROSA-Verfahren erfolgen. Das Erstellen einer solchen Regelbasis
bzw. eines entsprechenden Moduls ist das hier verfolgte weiterführende Ziel.
Die Kenngrößen eines gegebenen Problems sind Eingangsgrößen des Moduls. Im
praktischen Einsatz werden die Kenngrößen des Problems vorab berechnet und
nachfolgend als Eingangsgrößen des Moduls konstant gehalten. Die
Einstelloptionen (das angewandte Test- und Bewertungsverfahren sowie die
Parameter $\kappa$ und $\tau$) sind ebenfalls Eingangsgrößen des Moduls. Sie
werden variiert und simulieren so die realen Modelle. Jedem simulierten Modell
wird entsprechend der jeweils prognostizierte Modellierungsfehler zugewiesen.

Die Suche und wissensbasierte Formulierung von Einstellempfehlungen gestaltet
sich aufgrund der großen Anzahl potenziell relevanter Kenngrößen schwierig. Um
überhaupt eine Chance hierfür zu haben, erschien es angebracht, die Anzahl der
zu beachtenden Kenngrößen zu reduzieren. Hierfür ist das im Arbeitspaket 2
beschriebene evolutionäre Verfahren für die Eingangsgrößenselektion eingesetzt
worden. Das Verfahren stuft dabei zwei Kenngrößen eines Problems als besonders
relevant ein. Zum einen die gemittelte Korrelation zwischen einer Eingangsgröße
und der Ausgangsgröße, zum anderen die gemittelte Standardabweichung der
Eingangsgrößen. Das erste Merkmal kann als ein Indikator dafür aufgefasst
werden, wie eindeutig sich Zusammenhänge zwischen Ein- und Ausgangsgröße(n) in
den Daten abzeichnen und wie schwierig sich eine Modellierung wohl
grundsätzlich gestalten wird. Das zweite Merkmal ist ein Maß für die Streuung.
Bei einer starken Streuung sind die Daten ungleichmäßig verteilt, und es ist zu
vermuten, dass es sich in solchen Fällen schwieriger gestaltet, datenbasiert
Zusammenhänge herzustellen. Die von dem Verfahren auf Grundlage der Daten als
relevant eingestuften Eingangsgrößen bzw. Kenngrößen eines Problems erscheinen
also auch bei einer wissensbasierten Betrachtung plausibel. Die untersuchten
Benchmarkprobleme wurden u.\,a. anhand der beiden oben genannten Kenngrößen in
einer Art {\glqq Landkarte\grqq} visualisiert. Hierbei zeigt sich, dass für
unterschiedliche Benchmarkprobleme, die sich im Hinblick auf diese Kenngrößen
auf dieser Landkarte zu einem Cluster gruppieren, meist ein und dasselbe Test-
und Bewertungsverfahren besonders gut geeignet ist. Offenbar sind diese
Kenngrößen für eine problemabhängige Wahl eines Test- und Bewertungsverfahren
relevant. In Verbindung mit den in Experiment B1 aufgedeckten Tendenzen und den
daraus abgeleiteten Einstellempfehlungen für die Parameter $\kappa$ und $\tau$
werden auf diese Weise qualitative Regeln für die Wahl und die Parametrierung
eines günstigen Test- und Bewertungsverfahrens gefunden.

Das weiterführende hier verfolgte Ziel betrifft die datenbasierte Erzeugung
eines Moduls zur Prognose des Modellierungsfehlers. Dafür wurde zunächst
einfach das oben für die Eingangsgrößenselektion erstellte zellenbasierte
Modell erprobt. Aufgrund seines Prognosemechanismus (siehe Arbeitspaket 2)
liefert es jedoch vergleichsweise ungenaue Prognosen. Es zeigt sich aber, dass
ein akzeptabel genaues Prognosemodul mit dem Fuzzy-ROSA-Verfahren erzeugt
werden kann. Zunächst wurde versucht, \emph{alle} in der
Übermatrix\footnote{Die Ausführungen beziehen sich hier auf die Ergebnisse des
Experiments B1.} gesammelten Daten für das Erlernen der Regeln zu verwenden.
Das dies nicht den gewünschten Erfolg brachte, lässt sich u.\,a. dadurch
erklären, dass innerhalb der Übermatrix Mehrdeutigkeiten und Widersprüche
auftreten, die die Regelgenerierung erschweren. Zur Überwindung dieses Problems
wurde der für das Erlernen verwendete Datensatz ausgedünnt. Zu jedem
untersuchten Benchmarkproblem werden 490 Modelle generiert, davon werden
jeweils nur die 25 besten Modelle betrachtet. Dies stellt sicher, dass alle
Benchmarkprobleme in den Lerndaten berücksichtigt werden und damit der Raum der
Problemkenngrößen gut abgedeckt wird. Ferner gewährleistet dies, dass ein
breites Spektrum von Modellgüten abgedeckt wird, denn das beste für ein
Benchmarkproblem erhaltene Modell weist nicht notwendigerweise auch eine hohe
Modellierungsgüte auf. Auf Grundlage der so zusammengestellten Daten wurden ein
Mamdani-Modell und ein TSK-Modell generiert. Die Genauigkeit des
Mamdani-Modells ist noch nicht ausreichend, die des TSK-Modells ist aber
akzeptabel. Dieses TSK-Modell ist ein Prototyp des angestrebten Moduls zur
Prognose des zu erwartenden Modellierungsfehlers. Seine Validierung an einem
neuen Benchmarkproblem ergab als Differenz zwischen dem tatsächlichen und dem
prognostizierten Modellierungsfehler in einem Großteil der 490 Fälle
(Einstelloptionen) einen Wert von unter 10\%. Nur in wenigen Fällen zeigen sich
größere Abweichungen.

Zusammenfassend lässt sich feststellen, dass es tatsächlich möglich erscheint,
sowohl wissensbasiert wie auch datenbasiert Regeln für die Einstellung freier
Verfahrensparameter aufzustellen. Weitere diesbezügliche Untersuchungen
erscheinen viel versprechend.
