\section{Experiment"=Design}\label{sec:9.2}%
\markboth%
%%%{KAPITEL \thechapter.\quad EINSATZ FÜR KOMPLEXE ANWENDUNGEN UND ABLEITUNG VON EINSTELLREGELN}%
%%%{\thesection.\quad EXPERIMENT"=DESIGN}%
{Kapitel \thechapter.\quad Einsatz für komplexe Anwendungen und Ableitung von Einstellregeln}%
{\thesection.\quad Experiment"=Design}%

Ein Modell dient dazu, ein auf sein Eingangs"~/Ausgangsverhalten
abstrahiertes System nachzubilden. Der wahre Zusammenhang
$y=f(\mathbf{x})$ zwischen den Eingangsgrößen und der
Ausgangsgröße sei unbekannt. Bei einer datenbasierten Modellierung
wird anhand einer begrenzten Stichprobe von protokollierten Daten
ein wie auch immer geartetes Modell generiert, welches in der
Regel über eine Reihe frei wählbarer Parameter verfügt, die eine
möglichst gute Anpassung des Modells an das zu lösende
Modellierungsproblem ermöglichen sollen. Es stellen sich zwei
Fragen: Wie sollen die freien Parameter des Modells eingestellt
und wie kann die Anpassung des Modells an das Problem bewertet
werden? Mit diesen grundsätzlichen Fragestellungen befassen sich
die zwei nachfolgenden Abschnitte. Im Anschluß daran wird auf die
Einstellmöglichkeiten des Fuzzy"=ROSA"=Verfahrens eingegangen.
Dieser Begriff ist in dieser Arbeit sehr weit gefasst.
Grundsätzlich fallen hierunter alle Freiheiten, die sich einem
Anwender bei dem Einsatz des Verfahrens für die Modellierung eines
Problems bieten. In Abschnitt \ref{sec:4.2} werden diese unter dem
Begriff der Projektdefinition vorgestellt. Unter gewissen Annahmen
bleiben für industrielle Anwender zwei zentrale
Entwurfsfreiheiten: die Festlegung der Partitionierung und die
Wahl eines Test- und Bewertungsverfahren sowie die Einstellung
dessen freier Parameter. Diese beiden Aspekte werden jeweils
genauer beleuchtet. Daran anschließend wird auf die Menge
möglicher Kombinationen aus Partitionierung und Wahl bzw.
Einstellung eines Test- und Bewertungsverfahrens eingegangen.
Aufgrund der kombinatorischen Vielfalt können nicht alle Varianten
untersucht werden, sondern es müssen gewisse Einschränkungen
vorgenommen werden. Die in dieser Arbeit untersuchten
Einstellmöglichkeiten lassen sich in zwei übergeordnete Gruppen
gliedern, die genauer vorgestellt werden. Die erzielten
Modellierungsergebnisse werden in Abschnitt \ref{sec:9.3}
zusammenfassend beschrieben und diskutiert.

\subsubsection*{Grundsätzliche Überlegungen zur Bestimmung der Güte eines Modells}
Die \textit{wahre} Güte eines Modells ergibt sich, wenn an dem zu
modellierenden System unendlich viele Daten erfasst und dann zum Testen an dem
zuvor generierten Modell verwendet werden. In der Praxis lässt sich dies aus
verschiedenen Gründen so aber nicht durchführen. Diese Überlegung zeigt jedoch,
dass das letztlich entscheidende Kriterium zur Beurteilung der Güte das
Verhalten des Modells für solche Daten ist, die \emph{nicht} für dessen
Generierung verwendet werden. Nur so kann festgestellt werden, ob das Modell
tatsächlich die Wirkungszusammenhänge des zu modellierenden Systems erfasst
oder lediglich die zu Grunde liegenden Lerndaten auswendig gelernt hat.

Da in der Praxis nur eine begrenzte Stichprobe an Daten zur Verfügung steht,
behilft man sich häufig damit, dass man diese Stichprobe in eine
\textit{Lernstichprobe} und eine \textit{Teststichprobe} aufteilt. Auf der
Lernstichprobe wird ein Modell erstellt und dann anhand der Teststichprobe
validiert. Um die \textit{tatsächliche} Güte eines Modells zu ermitteln, müsste
dieser Vorgang bei gleichbleibender Größe der Lernstichprobe unendlich oft
wiederholt werden. Auch hierbei handelt es sich um eine eher theoretische
Überlegung, da dieser Vorgang in der Praxis viel zu zeitaufwendig wäre.

Um die tatsächliche Güte eines Modells möglichst gut zu schätzen, werden
oftmals Methoden der Kreuzvalidierung und der mehrfachen Wiederholung
eingesetzt. Unter einer $N_{R}$"~fachen Kreuzvalidierung wird hier verstanden,
dass die Gesamtstichprobe der Daten zufällig in $N_{R} \geq 2$ möglichst gleich
große Teilstichproben geteilt wird. Es werden dann jeweils $N_{R}-1$ dieser
Teilstichproben zu einer Lernstichprobe zusammengefasst und damit ein Modell
generiert, das auf der verbliebenen Teilstichprobe (Teststichprobe) getestet
wird. Unter einer $N_{R}$"~fachen Wiederholung wird hier verstanden, dass die
Gesamtstichprobe der Daten $N_{R}$ mal zufällig in Lern- und Teststichprobe
geteilt und für jede Teilungsvariante entsprechend ein Modell gelernt und
validiert wird.

\subsubsection*{Grundsätzliche Überlegungen zur Einstellung freier Modellparameter}
In Anbetracht der vorhergehenden Überlegungen zur Beurteilung der
tatsächlichen Güte eines Modells stellt sich die Frage, wie sich
die Vorgehensweise zur Einstellung dessen freier Parameter
gestalten sollte. Diese Frage führt zu dem von
\namestyle{Salzberg} \cite{Sal99} beschriebenen Problem des
\textit{Repeated Tuning}. Der zentrale Aspekt liegt dabei auf der
Forderung, alle Einstellungen oder Modifikationen eines Modells
vorzunehmen, \textit{bevor} es zur abschließenden Validierung auf
Testdaten kommt. Diese Vorgehensweise erscheint plausibel, wird
jedoch oftmals nicht konsequent verfolgt. Als Beispiel werde
folgendes Szenarium angenommen: Die vorhandenen Daten seien in
eine Lern- und eine Teststichprobe geteilt worden, und mithilfe
der Lernstichprobe werde ein Modell erstellt. Die freien Parameter
des Modells seien dabei wie auch immer gewählt worden. Das so
erstellte Modell wird nun auf der Teststichprobe validiert.
Ausgehend von dem so erzielten Ergebnis auf der Teststichprobe
werde nun die Einstellung der Modellparameter geändert und das
Modell abermals auf Grundlage der Lernstichprobe erstellt. Dies
geschieht mit dem Ziel, das Ergebnis auf der Teststichprobe zu
verbessern. Diese Vorgehensweise verletzt die oben beschriebene
Forderung, da die Teststichprobe (mittelbar oder unmittelbar) zur
Anpassung der Parameter verwendet wird. Die Lösung dieses Problems
liegt darin, Kreuzvalidierungen oder Wiederholungen in der
Lernstichprobe selbst zu verwenden. Dieser Ansatz wird auch als
\textit{harte Validierung} bezeichnet. Als Beispiel hierfür werde
folgendes Szenarium angenommen: Die vorhandenen Daten seien in
eine Lern- und eine Teststichprobe geteilt worden. Die
Lernstichprobe werde nun abermals geteilt in die
Tuning"=Lernstichprobe und die Tuning"=Teststichprobe. Es seien
mehrere Standard"=Einstellungen für die freien Parameter eines
Modells definiert. Diese Einstellungen werden auch als
Standard"=Parametrierungen bezeichnet. Für jede der
Standard"=Parametrierungen wird auf der Tuning"=Lernstichprobe ein
Modell erzeugt und dann auf der Tuning"=Teststichprobe validiert.
Das für eine Standard"=Parametrierung erzielte Ergebnis wird in
einer Liste gespeichert. Nachdem alle Standard"=Parametrierungen
untersucht sind, wird anhand der Liste diejenige ausgewählt, die
das beste Ergebnis auf der Tuning"=Teststichprobe erzielt. Für das
zugehörige Modell erfolgt dann abschließend die Validierung auf
der bis dahin zurückgehaltenen Teststichprobe. Die Vorgehensweise
der harten Validierung ist mit einem entsprechenden Aufwand
verbunden. Eine manuelle Durchführung der beschriebenen
Untersuchungen ist zu aufwendig und auch fehleranfällig. Daher
muss die eingesetzte Software so konzipiert sein, dass eine
automatisierte Durchführung und Auswertung der Experimente
erfolgt. Ferner müssen Standard"=Parametrierungen definiert und
ein automatisiertes Parametertuning realisiert werden. Andere
potenzielle Probleme, wie beispielsweise die Gefahr des
Overfittings eines Modells, können auch durch diesen Ansatz nicht
ausgeschlossen werden. Die ausgewählte Standard"=Parametrierung
ist zwar für die Tuning"=Teststichprobe \emph{optimal}, daraus
folgt aber nicht zwangsläufig, dass dies auch für die
Teststichprobe zutrifft.

\subsubsection*{Vorarbeiten}
Als Orientierung für die in dieser Arbeit durchgeführten
Untersuchungen dienen Vorarbeiten \cite{Sla01}, die im Rahmen des
Projektes B1 des Sonderforschungsbereichs (SFB) 531 durchgeführt
wurden. Dort wurde folgende systematische Vorgehensweise zur
Einstellung freier Modellparameter vorgeschlagen und anhand von
Benchmarkproblemen getestet: Für ein gegebenes
Modellierungsproblem wird zunächst eine als geeignet angesehene
Partitionierung der Größen vorgenommen (Suchraumstrukturierung).
Hierfür wird die Anzahl der linguistischen Werte je Eingangs- bzw.
Ausgangsgröße wissensbasiert festgelegt. Die Erzeugung der
Zugehörigkeitsfunktionen zu den linguistischen Werten erfolgt
daraufhin datenbasiert. Ausgehend von der so erzeugten
Suchraumstrukturierung werden mit vier unterschiedlichen Test- und
Bewertungsverfahren ($J_{RI}$, $J_{RHR}$, $J_{CHR}$ und $J_{MVB}$)
Modelle generiert. Jedes dieser Verfahren verfügt über einen
Parameter $\kappa$, der die Schwere des jeweiligen Regeltests
steuert. Ein weiterer Parameter $\tau$ steuert, welche der
generierten Regeln aufgrund ihrer Relevanz tatsächlich in die
Regelbasis übernommen werden. Der Parameter $\kappa$ wird für
jedes der Test- und Bewertungsverfahren auf einem hierfür
typischen Standardwert belassen oder aber aufgrund von
Zusatzwissen problemspezifisch angepasst. Für den Parameter $\tau$
werden für jedes Test- und Bewertungsverfahren die Werte
$\tau_{1}=0.0,\,\tau_{2}=0.1,\,\ldots,
\,\tau_{10}=0.9,\,\tau_{11}=1.0$ vorgesehen. Die maximal zulässige
Kombinationstiefe in einer Prämisse beträgt $c_{max}=2$. Es werden
ausschließlich Modelle vom Typ Mamdani mit nur positiven Regeln
untersucht. Systematische Untersuchungen für TSK"~Modelle, die
durch Transformation von Mamdani"=Modellen mit ausschließlich
positiven Regeln entstehen, finden sich in \cite{Kra02}.

Diese Untersuchungen haben wichtige Zusammenhänge zwischen den angestrebten
Zielen Relevanz und Treffsicherheit von Regeln sowie der Approximationsgüte des
Modells einerseits und der Wahl und Parametrierung des Test- und
Bewertungsverfahrens andererseits aufgedeckt. Es fehlen aber Erkenntnisse
darüber, welches Test- und Bewertungsverfahren und welche Werte für $\kappa$
und $\tau$ im konkreten Anwendungsfall zu wählen sind. Hierauf zielen die
folgenden Untersuchungen ab.

\subsubsection*{Beschreibung der durchgeführten Experimente}
Die datenbasierte Modellierung mithilfe des Fuzzy"=ROSA"=Verfahrens gliedert
sich in vier Teilaufgaben: Auswahl der Eingangsgrößen, Strukturierung des
Suchraumes, Regelgenerierung und Optimierung der Regelbasis. Im Rahmen der
systematischen Exploration der Einstellmöglichkeiten wird auf eine
vorgeschaltete Selektion von Eingangsgrößen zum einen verzichtet, um eine
bessere Vergleichbarkeit mit vorherigen Modellierungsergebnissen zu
ermöglichen, zum anderen auch deshalb, weil industrielle Anwender meist
zunächst alle verfügbaren Eingangsgrößen berücksichtigen möchten. Auf eine
nachgeschaltete Optimierung der Regelbasis wird ebenfalls verzichtet, weil
diese so zeitintensiv ist, dass sie bei der großen Anzahl der hier erzeugten
Modelle nicht in angemessener Zeit durchführbar ist. Die nachfolgende
systematische Untersuchung erstreckt sich somit auf die Strukturierung des
Suchraumes und die Regelgenerierung.

Die Strukturierung des Suchraumes besteht in der Festlegung der Anzahl der
linguistischen Werte je Eingangs- bzw. Ausgangsgröße sowie der Festlegung der
Zugehörigkeitsfunktionen für die Modellierung der linguistischen Werte. Im
Prinzip kann die Festlegung von linguistischen Werten und
Zugehörigkeitsfunktionen für jede Eingangs- und die Ausgangsgröße individuell
erfolgen. Die daraus resultierende kombinatorische Vielfalt impliziert sehr
viele Freiheitsgrade. In praktischen Anwendungen, in denen kein spezielles
Problemwissen vorliegt, hat sich die Beschränkung auf gewisse
Standard"=Partitionierungen als ausreichend erwiesen. Die Anzahl linguistischer
Werte wird dabei für alle Größen gleich -- typischerweise zu drei, fünf oder
sieben -- gewählt. Ebenso werden die Zugehörigkeitsfunktionen für alle Größen
in gleicher Weise -- äquidistant, äquifrequent oder aufgrund eines
unidimensionalen Clusterverfahrens -- über den Wertebereich einer Größe
platziert. Dabei werden rechteckförmige, trapezförmige oder dreieckförmige
Zugehörigkeitsfunktionen verwendet\footnote{Das Clusterverfahren generiert
ausschließlich trapezförmige Zugehörigkeitsfunktionen.}. Für eine automatische
Partitionierung wird das oben erwähnte unidimensionale Clusterverfahren
eingesetzt, das auf einem bekannten $K$-Means Algorithmus \cite{McQ67,HW79}
basiert\footnote{In \cite{KS98} wird ein anderer Ansatz für die datenbasierte
Partitionierung vorgeschlagen.}. Für jede Größe werden unterschiedliche
Anzahlen an zu verwendenden Clustern vorgegeben. Schwerpunkt und Größe der
Cluster werden durch den Algorithmus bestimmt und für jede resultierende
Clusterkonfiguration wird ein Gütemaß\footnote{Das eingesetzte Gütemaß wurde
von NuTech definiert.} berechnet. Anhand des Gütemaßes wird diejenige
Konfiguration ausgewählt, die in diesem Sinne das beste Ergebnis erzielt.
Anhand dieser Clusterkonfiguration werden entsprechend linguistische Werte und
Zugehörigkeitsfunktionen hierzu erzeugt. Mit den zuvor beschriebenen Ansätzen
ergeben sich so 22 Partitionierungsvarianten, die in Tabelle
\ref{tab:SYS-partitions} zusammengefasst sind\footnote{In Tabelle
\ref{tab:SYS-partitions} wird Zugehörigkeitsfunktion durch ZGF abgekürzt.}.

Was das Test- und Bewertungsverfahren angeht, ist zunächst die
diskrete Entscheidung zu treffen, welches Verfahren ausgewählt
wird, und dann, welche Werte die zuvor erwähnten Parameter
$\kappa$ und $\tau$ haben sollen. Hier werden sieben verschiedene
Test- und Bewertungsverfahren ($J_{RI}$, $J_{RHR}$, $J_{NHR}$ und
$J_{CHR}$, sowie $J_{MVB}$, $J_{VVB}$ und $J_{CVB}$) untersucht.
Die vier erstgenannten Verfahren arbeiten auf der Grundlage der
relativen Datenhäufigkeiten, die übrigen drei anhand der
Datenverteilungen. Weitere Details zu den Test- und
Bewertungsverfahren finden sich unter anderem in
\cite{Kro99,JS98a,Jes00}. Zu jedem Test- und Bewertungsverfahren
werden sieben verschiedene Werte für $\kappa$
angesetzt\footnote{Je nach Test- und Bewertungsverfahren bewegen
sich die Werte für $\kappa$ in unterschiedlichen Wertebereichen,
da die Verfahren unterschiedlich konzipiert sind (siehe Abschnitt
\ref{sec:6.2} und Anhang \ref{app:B}). Für die Test- und
Bewertungsverfahren $J_{RI}$, $J_{RHR}$, $J_{MVB}$, $J_{VVB}$ und
$J_{CVB}$ werden für $\kappa$ folgende Werte angesetzt:
$\kappa_{1}=0.0001$, $\kappa_{2}=0.001$, $\kappa_{3}=0.01$,
$\kappa_{4}=0.03$, $\kappa_{5}=0.06$, $\kappa_{6}=0.1$ und
$\kappa_{7}=0.2$. Für die Test- und Bewertungsverfahren $J_{NHR}$
und $J_{CHR}$ werden für $\kappa$ folgende Werte angesetzt:
$\kappa_{1}=0.3$, $\kappa_{2}=0.4$, $\kappa_{3}=0.5$,
$\kappa_{4}=0.6$, $\kappa_{5}=0.7$, $\kappa_{6}=0.8$ und
$\kappa_{7}=0.9$.}. Für $\tau$ werden die zehn Werte
$\tau_{1}=0.0,\,\ldots,\,\tau_{10}=0.9$ verwendet. Es ergeben sich
so $7 \cdot 10 = 70$ Parametrierungen für ein gewähltes Test- und
Bewertungsverfahren und damit für die sieben Test- und
Bewertungsverfahren insgesamt $7 \cdot 70 = 490$
Standard"=Parametrierungen, die in Tabelle
\ref{tab:SYS-parameters} zusammengefasst sind. Die maximal
zulässige Kombinationstiefe in einer Prämisse wird wie in
\cite{Sla01} auf $c_{max}=2$ festgelegt.
\begin{table}[H]
    \begin{center}
    \begin{tabular}{|l|l|l|r|}
    \hline
    Anzahl ling. Werte  & Platzierung der ZGF               & Form der ZGF      & Index \\\hline
    \multirow{7}{*}{3}  &   \multirow{3}{*}{Äquidistant}    & Rechteck          & 1\\
                        &                                   & Trapez            & 2\\
                        &                                   & Dreieck           & 3\\\cline{2-4}
                        &   \multirow{3}{*}{Äquifrequent}   & Rechteck          & 4\\
                        &                                   & Trapez            & 5\\
                        &                                   & Dreieck           & 6\\\cline{2-4}
                        &   Clusterbasiert                  & Trapez            & 7\\\cline{1-4}
    \multirow{7}{*}{5}  &   \multirow{3}{*}{Äquidistant}    & Rechteck          & 8\\
                        &                                   & Trapez            & 9\\
                        &                                   & Dreieck           & 10\\\cline{2-4}
                        &   \multirow{3}{*}{Äquifrequent}   & Rechteck          & 11\\
                        &                                   & Trapez            & 12\\
                        &                                   & Dreieck           & 13\\\cline{2-4}
                        &   Clusterbasiert                  & Trapez            & 14\\\cline{1-4}
    \multirow{7}{*}{7}  &   \multirow{3}{*}{Äquidistant}    & Rechteck          & 15\\
                        &                                   & Trapez            & 16\\
                        &                                   & Dreieck           & 17\\\cline{2-4}
                        &   \multirow{3}{*}{Äquifrequent}   & Rechteck          & 18\\
                        &                                   & Trapez            & 19\\
                        &                                   & Dreieck           & 20\\\cline{2-4}
                        &   Clusterbasiert                  & Trapez            & 21\\\cline{1-4}
    Automatisch         &   Clusterbasiert                  & Trapez            & 22\\\hline
    \end{tabular}
    \end{center}
    \caption{Übersicht der vorgesehenen Partitionierungen.}\label{tab:SYS-partitions}
\end{table}
\begin{table}[H]
    \begin{center}
    \begin{tabular}{|l|l|l|r|}
    \hline
    Verfahren                   & Parameter $\kappa$                & Parameter $\tau$  & Index\\\hline
    \multirow{16}{*}{$J_{RI}$}  &   \multirow{10}{*}{$\kappa_{1}$}  & $\tau_{1}$        & 1\\
                                &                                   & $\tau_{2}$        & 2\\
                                &                                   & $\tau_{3}$        & 3\\
                                &                                   & $\tau_{4}$        & 4\\
                                &                                   & $\tau_{5}$        & 5\\
                                &                                   & $\tau_{6}$        & 6\\
                                &                                   & $\tau_{7}$        & 7\\
                                &                                   & $\tau_{8}$        & 8\\
                                &                                   & $\tau_{9}$        & 9\\
                                &                                   & $\tau_{10}$       & 10\\\cline{2-4}
                                &   $\kappa_{2}$                    & $\vdots$          & 11-20\\\cline{2-4}
                                &   $\kappa_{3}$                    & $\vdots$          & 21-30\\\cline{2-4}
                                &   $\kappa_{4}$                    & $\vdots$          & 31-40\\\cline{2-4}
                                &   $\kappa_{5}$                    & $\vdots$          & 41-50\\\cline{2-4}
                                &   $\kappa_{6}$                    & $\vdots$          & 51-60\\\cline{2-4}
                                &   $\kappa_{7}$                    & $\vdots$          & 61-70\\\cline{1-4}
    \multirow{1}{*}{$J_{RHR}$}  &   $\vdots$                        & $\vdots$          & 71-140\\\cline{1-4}
    \multirow{1}{*}{$J_{NHR}$}  &   $\vdots$                        & $\vdots$          & 141-210\\\cline{1-4}
    \multirow{1}{*}{$J_{CHR}$}  &   $\vdots$                        & $\vdots$          & 211-280\\\cline{1-4}
    \multirow{1}{*}{$J_{MVB}$}  &   $\vdots$                        & $\vdots$          & 281-350\\\cline{1-4}
    \multirow{1}{*}{$J_{VVB}$}  &   $\vdots$                        & $\vdots$          & 351-420\\\cline{1-4}
    \multirow{1}{*}{$J_{CVB}$}  &   $\vdots$                        & $\vdots$          & 421-490\\\hline
    \end{tabular}
    \end{center}
    \caption{Übersicht der vorgesehenen Standard-Parametrierungen.}\label{tab:SYS-parameters}
\end{table}
Aufgrund der hier vorgesehenen 22 Varianten für die Partitionierung und der 490
Standard"=Parametrierungen ergeben sich insgesamt ca. 11.000
Kombinationsmöglichkeiten. Das Fuzzy"=ROSA"=Verfahren ist für die systematische
Exploration der Einstellmöglichkeiten softwaretechnisch so erweitert worden,
dass die Einstellungen im Batch"=Betrieb verändert werden und die Generierung
aller zugehörigen Modelle automatisch erfolgen kann. Auch für die nachgelagerte
Analyse der Modellierungsergebnisse sind entsprechende Werkzeuge, die diese
Datenmenge bewältigen können, geschaffen worden. Dennoch erscheint es nicht
sinnvoll, alle möglichen Kombinationen aus Partitionierungen und
Parametrierungen zu untersuchen. Hinsichtlich der Standard"=Parametrierungen
kann nämlich vorab gesagt werden, welchen qualitativen Einfluss Veränderungen
der Parametrierung auf die Regelbasis haben. Wird beispielsweise bei Wahl des
Testverfahrens $J_{RI}$ der Parameter $\kappa$ von $\kappa_{1}$ auf
$\kappa_{2}$ heraufgesetzt, so erleichtert dies den statistischen Test, wodurch
sich die Anzahl der generierten Regeln im Allgemeinen erhöht. Wird bei Wahl des
Testverfahrens $J_{RI}$ der Parameter $\kappa$ konstantgehalten und $\tau$ von
$\tau_{1}$ auf $\tau_{2}$ erhöht, so verringert sich im Allgemeinen die Anzahl
der akzeptierten Regeln. Die Auswirkungen einer derart veränderten Regelbasis
auf die Qualität der Modellierung lassen sich zwar nicht exakt, aber zumindest
qualitativ aufgrund von Erfahrungswerten vorhersagen. Wenn der Test zu leicht
und die Relevanzschwelle zu niedrig gewählt wird, werden viele fragwürdige
Regeln, die die Modellierung eher verschlechtern, generiert und in die
Regelbasis übernommen. Ist der Test zu schwer und die Relevanzschwelle zu hoch
gewählt, werden eher zu wenige Regeln generiert und in die Regelbasis
übernommen. Dann werden viele Datenpunkte nicht durch Regeln abgedeckt und dies
beeinträchtigt ebenfalls die Qualität der Modellierung. Die Auswirkungen einer
veränderten Partitionierung erweisen sich dagegen als wesentlich
problemspezifischer und lassen sich daher weitaus weniger gut abschätzen. Eine
direkte Nutzung der zu allen Partitionierungen erhobenen Daten für die
Aufdeckung der gesuchten Zusammenhänge ist problematisch, weil eine
Parametrierung in Verbindung mit einer Partitionierung gut, in Verbindung mit
einer anderen Partitionierung aber schlecht geeignet sein kann. Die Gesamtheit
all dieser Daten kann daher verstärkt Mehrdeutigkeiten und Widersprüche
beinhalten, die für die angestrebte datenbasierte Generierung eines Moduls zur
Prognose von Modellierungsfehlern nachteilig sind. Um diese Probleme zu
vermeiden und den Aufwand für die Untersuchungen in einem vertretbaren Rahmen
zu halten, werden folgende Varianten für ein Experiment gewählt.
\begin{description}
    \item[Experiment A)] Es werden nicht alle 490 Parametrierungen, sondern
    eine deutlich geringere Anzahl verwendet. Dabei wird für das
    jeweils gewählte Test- und Bewertungsverfahren der Parameter $\kappa$ bei dem
    jeweiligen Default"=Wert belassen\footnote{Der Default"=Wert für die Test- und Bewertungsverfahren
    $J_{RI}$, $J_{RHR}$, $J_{MVB}$, $J_{VVB}$ und $J_{CVB}$ ist
    $\kappa=0.01$, für $J_{NHR}$ und $J_{CHR}$ ist der Default"=Wert $\kappa=0.5$.}.
    Der Parameter $\tau$ wird wie oben
    beschrieben variiert. Es ergeben sich so zehn Variationen für jedes
    der sieben Test- und Bewertungsverfahren und damit insgesamt 70 Parametrierungen.
    Diese werden für alle 22 beschriebenen Partitionierungen angesetzt. Die
    mit einer automatischen und mit verschiedenen
    Standard"=Partitionierungen erzielten Modellierungsergebnisse
    werden miteinander verglichen. Dieses Experiment soll klären, ob
    die Verwendung einer automatisch erzeugten
    Partitionierung \emph{in der Regel vertretbar} ist oder
    typischerweise zu einer signifikant schlechteren Modellierung als die der
    jeweils besten Standard"=Partitionierung führt.

    \item[Experiment B)] Es werden alle 490 Parametrierungen jeweils nur mit
    der automatisch erzeugten Partitionierung verwendet. Mit
    diesem Experiment soll der Einfluss der Parametrierung
    bei gegebener Partitionierung untersucht werden. Ferner soll aufgeklärt werden,
    welche Test- und Bewertungsverfahren mit welchen Werten der Einstellparameter
    für die unterschiedlichen Problemtypen am besten geeignet sind.
\end{description}
Zu jedem der beschriebenen Experimente können unterschiedliche
Fälle (Untervarianten) betrachtet werden. Sie unterscheiden sich
danach, ob Mamdani"=Modelle oder TSK"~Modelle, ob nur positive
oder auch negative Regeln verwendet werden. Um den zeitlichen
Aufwand für die Untersuchungen in einem vertretbaren Rahmen zu
halten, werden für das Experiment A nur Mamdani"=Modelle, und zwar
nur mit positiven Regeln betrachtet. Für das Experiment B werden
jedoch mehrere Untervarianten B1 bis B6 untersucht. Alle erzielten
Modellierungsergebnisse sind für weitergehende Analysen in
Datendateien niedergelegt sowie auch in tabellarischen und
grafischen Übersichten dokumentiert. Im Folgenden werden
wesentliche Ergebnisse werden getrennt nach Benchmarkproblemen
detaillierter vorgestellt. Eine zusammenfassende Darstellung der
Ergebnisse folgt in Abschnitt \ref{sec:9.3}.
