\section{Qualitative Empfehlungen für die Einstellung freier Modellparameter}\label{sec:9.4}%
\markboth%
%%%{KAPITEL \thechapter.\quad EINSATZ FÜR KOMPLEXE ANWENDUNGEN UND ABLEITUNG VON EINSTELLREGELN}%
%%%{\thesection.\quad QUALITATIVE EMPFEHLUNGEN FÜR DIE EINSTELLUNG FREIER MODELLPARAMETER}%
{Kapitel \thechapter.\quad Einsatz für komplexe Anwendungen und Ableitung von Einstellregeln}%
{\thesection.\quad Qualitative Empfehlungen für die Einstellung freier Modellparameter}%

Aufbauend auf den durch die systematische Exploration gewonnenen Daten wird
nach Zusammenhängen zwischen Kenngrößen eines Modellierungsproblems und den für
unterschiedliche Parametrierungen resultierenden Modellierungsfehlern gesucht.
Hierfür wird der zu einem Modellierungsproblem erhobene Datensatz durch
Kenngrößen charakterisiert, die sich für unterschiedliche Modellierungsprobleme
stets in gleicher Weise berechnen und auswerten lassen.

Die einer datenbasierten Modellierung zu Grunde liegenden Daten unterscheiden
sich typischerweise stark von Problem zu Problem, beispielsweise in der Anzahl
der Eingangsgrößen. Außerdem sind die Wertebereiche der einzelnen Größen
einerseits von Problem zu Problem verschieden, meist aber auch innerhalb des
Datensatzes eines Problems selbst. Um eine überschaubare Anzahl
aussagekräftiger Kenngrößen zu erhalten, die zudem eine Vergleichbarkeit
verschiedener Probleme ermöglichen, wird bei der Berechnung der Kenngrößen wie
folgt vorgegangen: Die Eingangsgrößen und die Ausgangsgröße eines Datensatzes
werden zunächst jeweils individuell auf den Wertebereich $[0,1]$ normiert. Ein
normierter Wert von 0 entspricht dem kleinsten unnormierten Wert und ein
normierter Wert von 1 entsprechend dem größten unnormierten Wert einer Größe.
Nach der Normierung werden für jede Eingangsgröße verschiedene Kenngrößen, wie
beispielsweise die Standardabweichung oder die Korrelation mit der
Ausgangsgröße, berechnet. Da die Anzahl der Eingangsgrößen von Problem zu
Problem variieren kann, gilt dies folglich auch für die Anzahl der hierzu
insgesamt gebildeten Kenngrößen. Die Abhängigkeit der Anzahl der Kenngrößen von
der Anzahl der Eingangsgrößen wird hier für den Entwurf des angestrebten
Prognosemoduls als ungünstig angesehen. Deshalb werden die Kenngrößen geeignet
aggregiert, beispielsweise werden die Standardabweichungen der normierten
Eingangsgrößen zu einer mittleren Standardabweichung zusammengefasst. Damit
einzelne Eingangsgrößen das Gesamtbild eines Datensatzes nicht allzu stark
verzerren können, wird für die Aggregation nicht der Mittelwert, sondern der
Median verwendet. In dieser Weise werden auch für die Ausgangsgröße
entsprechende Kenngrößen auf Grundlage der normierten Daten berechnet. Diese
Vorgehensweise liefert für jedes Modellierungsproblem stets die gleiche Anzahl
von Kenngrößen, unabhängig von der Anzahl der Eingangsgrößen. Zudem bewegen
sich die so berechneten Kenngrößen stets innerhalb bekannter Wertebereiche, da
sie anhand normierter Daten berechnet werden.

Zur Bewertung der Modellierungsergebnisse werden hier in erster Linie normierte
Fehlerwerte $\epsilon_{norm}$ herangezogen, die in Anhang \ref{app:A} erläutert
sind. Dabei wird beispielsweise der mittlere absolute Fehler eines
Fuzzy"=Modells in das Verhältnis zu dem Fehler eines so genannten
Trivialmodells gesetzt, das unabhängig von dem vorliegenden
Eingangsgrößenvektor $\mathbf{x}$ stets den gleichen Ausgabewert
$\hat{y}_{def}$ liefert. Der Ausgabewert eines solchen Trivialmodells wird oft
auch als Baseline"=Prognose bezeichnet. Gilt $\epsilon_{norm}=1$, so arbeitet
das Fuzzy"=Modell nicht besser als dieses Trivialmodell und bringt daher
offensichtlich keinen Zugewinn an Modellgenauigkeit. Der betriebene Mehraufwand
im Vergleich zu dem Trivialmodell erscheint daher nicht gerechtfertigt. Erst
bei $\epsilon_{norm} \ll 1$ lohnt der mit einem Fuzzy"=Modell verbundene
Mehraufwand.

Die berechneten Kenngrößen und erzielten Modellierungsergebnisse werden für
jedes untersuchte Problem in eine Matrix eingetragen. Die einzelnen Matrizen zu
den untersuchten Problemen werden in einer Übermatrix zusammengefasst, die alle
Daten zu einem bestimmten Experiment enthält. Die Analyse einer solchen
Übermatrix zielt nicht auf die Untersuchung eines speziellen Problems ab,
sondern vielmehr darauf, allgemeine Zusammenhänge aufzudecken, die sich für
unterschiedliche Probleme in ähnlicher Form abzeichnen. Eine solche Übermatrix
ist daher für die Suche nach den fraglichen Zusammenhängen geeignet. Die Suche
nach Zusammenhängen kann wissensbasiert erfolgen, beispielsweise durch eine
geeignete Visualisierung der Daten und darauf aufbauenden Schlussfolgerungen,
und führt zu qualitativen Regeln, die die Zusammenhänge beschreiben. Damit wird
das einleitend beschriebene Zwischenziel eingelöst.

Die wissensbasierte Formulierung von Einstellempfehlungen gestaltet sich
aufgrund der großen Anzahl potenziell relevanter Kenngrößen schwierig. Um
überhaupt eine Chance hierfür zu haben, erscheint es angebracht, diese auf ihre
Relevanz hin zu untersuchen und die Anzahl der zu beachtenden Kenngrößen
gegebenenfalls zu reduzieren. Hierfür wird das in Abschnitt \ref{sec:5.3}
beschriebene evolutionäre Verfahren für die Eingangsgrößenselektion eingesetzt.
Das Verfahren stuft dabei zwei Kenngrößen eines Problems als besonders relevant
ein, zum einen die gemittelte Korrelation zwischen einer Eingangsgröße und der
Ausgangsgröße, zum anderen die gemittelte Standardabweichung der
Eingangsgrößen. Das erste Merkmal kann als ein Indikator dafür aufgefasst
werden, wie eindeutig sich Zusammenhänge zwischen Eingangsgröße(n) und
Ausgangsgröße in den Daten abzeichnen und wie schwierig sich eine Modellierung
wohl grundsätzlich gestalten wird. Das zweite Merkmal ist ein Maß für die
Streuung. Bei einer starken Streuung sind die Daten ungleichmäßig verteilt und
es ist zu vermuten, dass es sich in solchen Fällen schwieriger gestaltet,
datenbasiert Zusammenhänge herzustellen. Die von dem Verfahren auf Grundlage
von Daten als relevant eingestuften Kenngrößen eines Problems erscheinen somit
auch bei einer wissensbasierten Betrachtung durchaus plausibel. Die
untersuchten Benchmarkprobleme wurden unter anderem anhand der beiden genannten
Kenngrößen in einer Art Landkarte visualisiert. In weitergehenden Analysen
zeigt sich, dass für unterschiedliche Benchmarkprobleme, die sich im Hinblick
auf diese Kenngrößen auf dieser Landkarte zusammen gruppieren, meist ein und
dasselbe Test- und Bewertungsverfahren besonders gut geeignet ist. Offenbar
sind diese Kenngrößen für eine problemabhängige Wahl eines Test- und
Bewertungsverfahrens relevant. In Verbindung mit den im Experiment B1
aufgedeckten Tendenzen und den daraus abgeleiteten Einstellempfehlungen für die
Parameter $\kappa$ und $\tau$ werden auf diese Weise qualitative Regeln für die
Wahl und die Parametrierung eines günstigen Test- und Bewertungsverfahrens
formuliert.

%\begin{minipage}[H]{5cm}
%\begin{figure}[H]
%  \centering
%  \includegraphics[height=5cm,width=5cm]{016a_BenchMap}
%  \caption{Landkarte K1 der Benchmarkprobleme.}\label{pic:BenchMapA}
%\end{figure}
%\end{minipage}% !!!prozentzeichen, sonst horizontaler abstand zwischen minipages!!!
%\hspace{4cm}
%\begin{minipage}[H]{5cm}
%\begin{figure}[H]
%  \includegraphics[height=5cm,width=5cm]{016b_BenchMap}
%  \caption{Landkarte K2 der Benchmarkprobleme.}\label{pic:BenchMapB}
%\end{figure}
%\end{minipage}

%\begin{figure}[H]
%  \centering
%  \includegraphics[height=5cm,width=5cm]{016a_BenchMap}
%  \hspace{1.5cm}
%  \includegraphics[height=5cm,width=5cm]{016b_BenchMap}
%  \caption{Landkarten der Benchmarkprobleme.}\label{pic:BenchMap}
%\end{figure}
