\section{Modul zur Prognose des Modellierungsfehlers}\label{sec:9.5}%
\markboth%
%%%{KAPITEL \thechapter.\quad EINSATZ FÜR KOMPLEXE ANWENDUNGEN UND ABLEITUNG VON EINSTELLREGELN}%
%%%{\thesection.\quad MODUL ZUR PROGNOSE DES MODELLIERUNGSFEHLERS}%
{Kapitel \thechapter.\quad Einsatz für komplexe Anwendungen und Ableitung von Einstellregeln}%
{\thesection.\quad Modul zur Prognose des Modellierungsfehlers}%

Die Suche nach Einstellregeln für freie Modellparameter kann auch datenbasiert
erfolgen, beispielsweise mit dem Fuzzy"=ROSA"=Verfahren selbst. Das Erstellen
eines entsprechenden Moduls, das die Zusammenhänge zwischen den Kenngrößen
eines Modellierungsproblems, den Einstellungen freier Modellparameter und den
erzielten Ergebnissen widerspiegelt, ist das hier verfolgte weiterführende
Ziel.

Für ein gegebenes neues Modellierungsproblem soll eine möglichst günstige
Einstellung freier Modellparameter vorgenommen werden, um so ein möglichst
genaues und korrektes Modell zu erstellen. Als freie Modellparameter werden
hier folgende Einstelloptionen festgelegt: die Wahl eines Test- und
Bewertungsverfahrens und die Einstellung der zugehörigen Parameter $\kappa$ und
$\tau$. Grundsätzlich kommen zwei unterschiedliche Ansätze für Typen von
Modulen für diese Aufgabe in Frage, deren Generierung auf der Grundlage der im
Zuge der systematischen Exploration der Einstellmöglichkeiten gewonnenen Daten
möglich erscheint. Der erste Ansatz besteht darin, charakteristische Kenngrößen
des Modellierungsproblems zu bestimmen und einem Modul zuzuführen, das
Empfehlungen für die Einstellung der oben genannten freien Modellparameter als
Ausgabe liefert. Ein solches Modul hat somit drei Ausgabewerte. Der andere
Ansatz besteht darin, ein Modul zu entwerfen, das die charakteristischen
Kenngrößen des Modellierungsproblems \emph{und} die Einstellung der freien
Modellparameter als Eingangsgrößen verwendet und als Ausgabe eine Prognose des
in diesem Fall zu erwartenden Modellierungsfehlers liefert. Ein solches Modul
hat somit nur einen Ausgabewert.

Der erste Ansatz ist aus unterschiedlichen Gründen eher ungeeignet. Zum einen
stellt sich die Frage, wie die Regeln in diesem Fall auf Grundlage der zuvor
gewonnenen Daten erlernt werden können. Man müsste hierbei wohl so vorgehen,
dass man zunächst für jedes untersuchte Modellierungsproblem diejenigen Modelle
bzw. Einstelloptionen bestimmt, die die besten Modellierungsergebnisse
erzielen. In den so ausgedünnten Daten würde man dann die Kenngrößen der
Modellierungsprobleme als Eingangsgrößen und die Einstelloptionen der Modelle
als Ausgangsgrößen ansehen und nach entsprechenden Zusammenhängen zwischen den
Eingangs- und den Ausgangsgrößen suchen. Würde man die Daten nicht reduzieren,
könnten keine Zusammenhänge aufgedeckt werden, da in den vollständigen Daten
alle Einstelloptionen gleich häufig auftreten und sich daher keine Regeln
abzeichnen können. Ein Nachteil dieses Ansatzes liegt zudem darin, dass eine
modellgestützte Optimierung der Einstellparameter so nicht möglich ist. Für
einen gegebenen Satz von Kenngrößen eines Modellierungsproblems liefert ein
solches Modul genau einen bestimmten Satz von Empfehlungen für die
Einstelloptionen. Aufgrund der beschriebenen Schwierigkeiten wird dieser Ansatz
im Rahmen dieser Arbeit nicht verfolgt.

Als weiterführendes Ziel wird hier die datenbasierte Generierung
eines Moduls zur Prognose des Modellierungsfehlers angestrebt. Die
Kenngrößen eines gegebenen Problems sind die Eingangsgrößen des
Moduls. Im praktischen Einsatz werden die Kenngrößen des
Modellierungsproblems vorab berechnet und nachfolgend als
Eingangsgrößen des Moduls konstantgehalten. Die Einstelloptionen
-- das angewandte Test- und Bewertungsverfahren sowie die Werte
für dessen Parameter $\kappa$ und $\tau$ -- sind ebenfalls
Eingangsgrößen des Moduls. Sie werden variiert und simulieren so
die unterschiedlichen Parametrierungen und die zugehörigen
Modelle. Jedem simulierten Modell wird entsprechend der jeweils
prognostizierte Modellierungsfehler zugewiesen. Aus der Menge
aller simulierten Modelle wird dann das Modell mit dem kleinsten
zu erwartenden Modellierungsfehler ausgewählt und tatsächlich
generiert. Anhand des prognostizierten und des tatsächlichen
Modellierungsfehlers kann man beurteilen, ob das Prognosemodul
hinreichend exakt arbeitet und ob diesem vertraut werden kann. Als
ein solches Modul kann grundsätzlich bereits das zellenbasierte
Modell eingesetzt werden, das im Zuge der Relevanzbewertung von
Kenngrößen erstellt wird (siehe Abschnitt \ref{sec:9.3}). Aufgrund
seines Prognosemechanismus (siehe Abschnitt \ref{sec:5.3}) liefert
es jedoch vergleichsweise ungenaue Prognosen. Es zeigt sich aber,
dass ein akzeptabel genaues Prognosemodul mit dem
Fuzzy"=ROSA"=Verfahren erzeugt werden kann. Zunächst wird
versucht, \emph{alle} in der Übermatrix\footnote{Die Ausführungen
beziehen sich hier auf die Ergebnisse des Experiments B1.}
gesammelten Daten für das Erlernen der Regeln zu verwenden. Dass
dies nicht den gewünschten Erfolg bringt, lässt sich unter anderem
dadurch erklären, dass innerhalb der Übermatrix Mehrdeutigkeiten
und Widersprüche auftreten, die die Regelgenerierung erschweren.
Zur Überwindung dieses Problems wird der für das Erlernen
verwendete Datensatz ausgedünnt. Zu jedem der im Rahmen der
systematischen Exploration der Einstelloptionen untersuchten
Benchmarkproblem werden 490 Modelle generiert, davon werden aber
jeweils nur die 25 besten betrachtet. Dies stellt sicher, dass
alle Benchmarkprobleme in den Lerndaten berücksichtigt werden und
damit der Raum der Problemkenngrößen gut abgedeckt wird. Ferner
gewährleistet dies, dass ein breites Spektrum von Modellgüten
abgedeckt wird, denn das beste für ein Benchmarkproblem erhaltene
Modell weist nicht notwendigerweise auch eine hohe
Modellierungsgüte auf. Auf Grundlage der so zusammengestellten
Daten werden ein Mamdani"=Modell und ein TSK"~Modell generiert.
Die Genauigkeit des Mamdani"=Modells ist noch nicht ausreichend,
die des TSK"~Modells ist aber akzeptabel. Dieses TSK"~Modell ist
ein Prototyp des angestrebten Moduls zur Prognose des zu
erwartenden Modellierungsfehlers. Seine Validierung an einem neuen
Benchmarkproblem\footnote{Es handelt sich hierbei um das
Benchmarkproblem \emph{Cars} mit sieben Eingangsgrößen, bei dem
der durchschnittliche Treibstoffverbrauch (miles per gallon)
unterschiedlicher Autotypen aus den Jahren 1970 bis 1982
modelliert werden soll (siehe auch
\emph{http://www.ics.uci.edu/$\sim$mlearn/MLSummary.html} und
\emph{http://lib.stat.cmu.edu/datasets/}).}, dessen Kenngrößen
nicht Bestandteil des Lerndatensatzes sind, ergibt als Differenz
zwischen dem tatsächlichen und dem prognostizierten
Modellierungsfehler in einem Großteil der 490 Fälle
(Standard"=Parametrierungen) einen Wert kleiner 10\%, in einigen
Fällen zeigen sich jedoch größere Abweichungen. Dies sind
überwiegend die Fälle, in denen ein realer normierter
Modellierungsfehler $\epsilon_{norm}>1$ erzielt wird. Die
Prognosen sind für diese Fälle sehr ungenau, daher werden zunächst
nur die Standard"=Parametrierungen bestimmt, die für dieses
Modellierungsproblem zu einem realen normierten
Modellierungsfehler $\epsilon_{norm}<1$ führen. Dies sind ca. 380
der 490 Standard"=Parametrierungen. In Abbildung
\ref{pic:PrognoseA} sind hierfür die prozentualen Abweichungen in
Form eines Histogramms dargestellt. In Abbildung
\ref{pic:PrognoseB} sind die Abweichungen noch einmal in anderer
Form dargestellt. Die realen normierten Modellierungsfehler werden
in aufsteigender Reihenfolge sortiert und es werden hierzu der
$\pm10\%$- und der $\pm20\%$-Toleranzbereich dargestellt. Die
Darstellung der zugehörigen prognostizierten normierten
Modellierungsfehler zeigt, wie auch in Abbildung
\ref{pic:PrognoseA} zu erkennen, dass sich der Großteil der
prognostizierten Fehlerwerte innerhalb dieser Bereiche bewegt.
Auffällig ist, dass für kleinere reale Modellierungsfehler die
Prognosen tendenziell eher zu hoch und für größere reale
Modellierungsfehler eher zu niedrig ausfallen. Weiterhin zeigt
sich, dass in diesem Beispiel die Parametrierung, die von dem
Prognosemodul als am geeignetsten eingestuft wird, also den
kleinsten prognostizierten Modellierungsfehler erzielt, nicht den
tatsächlich kleinsten realen Modellierungsfehler liefert.

\begin{minipage}[H]{7cm}
\begin{figure}[H]
  \centering
  \includegraphics[height=6cm,width=7cm]{017a_Prognose}
  \caption{Histogramm der Prognosefehler für das Modellierungsproblem \emph{Cars}.}\label{pic:PrognoseA}
\end{figure}
\end{minipage}% !!!prozentzeichen, sonst horizontaler abstand zwischen minipages!!!
\hspace{2.0cm}
\begin{minipage}[H]{7cm}
\begin{figure}[H]
  \includegraphics[height=6cm,width=7cm]{017b_Prognose}
  \caption{Reale und prognostizierte Modellierungsfehler für das Modellierungsproblem \emph{Cars}.}\label{pic:PrognoseB}
\end{figure}
\end{minipage}

%\begin{figure}[H]
%  \centering
%  \includegraphics[height=7cm,width=7cm]{017a_Prognose}
%  \hspace{1.5cm}
%  \includegraphics[height=7cm,width=7cm]{017b_Prognose}
%  \caption{Histogramm der Prognosefehler (links) und reale und prognostizierte Modellierungsfehler (rechts).}\label{pic:Prognose}
%\end{figure}

Es stellt sich die Frage, welche realistischen Erwartungen an ein solches
Prognosemodul grundsätzlich gestellt werden können. Es erscheint eher
unrealistisch, exakte Prognosen erzielen zu können. Jedes neue
Modellierungsproblem unterscheidet sich von den bisher untersuchten
Modellierungsproblemen in irgendeiner Art und Weise soweit, dass das
Zusammenspiel aus automatischer Suchraumstrukturierung und Regelgenerierung zu
einem Ergebnis führt, dass sich nicht genau vorhersagen lässt. Für das hier
betrachtete Modellierungsproblem ist eine Verbesserung des Prognosemoduls aber
dahingehend erstrebenswert, dass die Bandbreite der Abweichungen zwischen
realen und prognostizierten Modellierungsfehlern geringer wird. Es erscheint
anhand der bereits erzielten Ergebnisse durchaus möglich, das Prognosemodul
soweit zu verbessern, dass keine prozentualen Abweichungen auftreten, die
größer als $\pm20\%$ sind. Es wird nie gänzlich auszuschließen sein, dass ein
solches Prognosemodul nicht die tatsächliche optimale, sondern eine suboptimale
Parametrierung vorschlägt. Bei einer Prognosegenauigkeit, die sich in der
skizzierten Bandbreite bewegt, dürfte dies aber für industrielle Anwender
oftmals durchaus ausreichend sein. Insbesondere auch dann, wenn man den unter
Umständen nicht unerheblichen Zeitgewinn gegenüber einer manuellen oder
batchartigen Modellgenerierung bedenkt.

Zusammenfassend lässt sich feststellen, dass es tatsächlich möglich erscheint,
sowohl wissensbasiert als auch datenbasiert Regeln für die Einstellung freier
Modellparameter des Fuzzy"=ROSA"=Verfahrens aufzustellen. Der hier verfolgte
Ansatz zielt auch darauf ab, die Ergebnisse, die bei der Erprobung des
datenbasiert generierten Moduls gewonnen werden, für dessen Weiterentwicklung
zu nutzen. Die Kenngrößen eines untersuchten Problems und die
Modellierungsfehler der hierzu real erzeugten Modelle werden dabei der bereits
vorhandenen Datenbasis hinzugefügt und das Prognosemodul auf der so erweiterten
Grundlage neu erstellt.
