\section{Zusammenfassende Darstellung und Bewertung der Modellierungsergebnisse}\label{sec:9.3}%
\markboth%
%%%{KAPITEL \thechapter.\quad EINSATZ FÜR KOMPLEXE ANWENDUNGEN UND ABLEITUNG VON EINSTELLREGELN}%
%%%{\thesection.\quad ZUSAMMENFASSENDE DARSTELLUNG UND BEWERTUNG DER MODELLIERUNGSERGEBNISSE}%
{Kapitel \thechapter.\quad Einsatz für komplexe Anwendungen und Ableitung von Einstellregeln}%
{\thesection.\quad Zusammenfassende Darstellung und Bewertung der Modellierungsergebnisse}%

Es werden insgesamt zwölf bekannte Benchmarkprobleme (zum Beispiel
Mackey"~Glass Zeitreihe, Boston Housing Problem, etc.) untersucht, die in
Anhang \ref{app:C} genauer vorgestellt werden. Sie überdecken ein breites
Spektrum, beispielsweise im Hinblick auf die Anzahl der zu beachtenden
Eingangsgrößen. Zehn der untersuchten Benchmarkprobleme sind
Approximationsprobleme, zwei sind Klassifikationsprobleme. Allen erzielten
Ergebnissen liegt eine Kreuzvalidierung zu Grunde, die auf einer Aufteilung der
verfügbaren Daten in zwei gleich große Datensätze basiert.
\begin{description}
    \item[Ergebnisse Experiment A)] Es werden Mamdani"=Modelle mit nur positiven
    Regeln eingesetzt. Bei zwei der untersuchten Benchmarkprobleme liefert die automatische
    Partitionierung im Vergleich zu den hierfür jeweils besten Standard"=Partitionierungen
    deutlich schlechtere Modellierungsergebnisse. In einem der Fälle werden
    offensichtlich nicht genügend linguistische Ausgangsgrößenwerte
    erzeugt, daher ist die resultierende Granularisierung zu grob.
    In dem zweiten Fall werden zwar ausreichend
    viele linguistische Ausgangsgrößenwerte erzeugt, es ergeben sich aber ungünstige
    Zugehörigkeitsfunktionen: Wertebereiche, in denen nur wenige Datenpunkte
    liegen, werden sehr fein, Wertebereiche mit sehr vielen Datenpunkten
    aber zu grob aufgelöst.
    Bei allen anderen untersuchten Benchmarkproblemen führt die automatische
    Partitionierung aber zu Modellierungsergebnissen, die, bezogen auf die Gesamtheit aller
    untersuchten Standard"=Partitionierungen, immer mindestens im Mittelfeld, teilweise
    sogar in der Spitzengruppe liegen. Weiterhin hat sich gezeigt, dass
    keine der Standard"=Partitionierungen immer zum besten Ergebnis führt.
    Zusammenfassend erweist sich die
    automatische Partitionierung basierend auf einem unidimensionalen
    Clusterverfahren als eine akzeptable Standard"=Vorgehensweise.


    \item[Ergebnisse Experiment B1)] Es werden Mamdani"=Modelle mit nur positiven
    Regeln eingesetzt. Die datenbasierte Generierung solcher Modellen ist die
    typische Domäne des Fuzzy"=ROSA"=Verfahrens. Dieses Experiment dient
    deshalb auch als Grundlage für die wissensbasierte bzw.
    datenbasierte Suche nach Einstellregeln für die Parametrierung. Ein
    Vergleich der hier erzielten Ergebnisse mit denen aus \cite{Sla01} ist aufgrund
    der unterschiedlichen Partitionierungen und der unterschiedlichen Anzahl der
    untersuchten Einstelloptionen nur bedingt möglich, es zeigen sich aber
    häufig recht ähnliche Ergebnisse.
    Bei dem Vergleich mit den Ergebnissen aus \cite{Sla01} ist ferner zu beachten, dass
    dort die wesentlich kleinere Anzahl untersuchter Fälle eine
    nachträgliche Verbesserung der Modellgenauigkeit durch eine
    nachgeschaltete Optimierung der Regelbasis erlaubte. Die insgesamt besten
    Ergebnisse in \cite{Sla01} werden typischerweise mit einer in der
    Zusammensetzung optimierten Regelbasis erzielt.

    Es zeigt sich in den Ergebnissen, dass kein
    Test- und Bewertungsverfahren stets das beste Resultat liefert.
    Von den sieben untersuchten Test- und Bewertungsverfahren schneiden
    der Relevanzindex $J_{RI}$ oder der Mittelwertbasierte Regeltest $J_{MVB}$
    meist am besten ab. In einigen Fällen sind aber auch der
    Varianzbasierte Regeltest $J_{VVB}$ oder der
    Medianbasierte Regeltest $J_{CVB}$ vorzuziehen. Insgesamt zeichnen
    sich Vorteile für diejenigen
    Test- und Bewertungsverfahren ab, die auf Datenverteilungen arbeiten.
    Dies war auch zu erwarten, da hier
    überwiegend Approximationsprobleme untersucht werden, für die diese
    Test- und Bewertungsverfahren konzipiert wurden. Zur Erzielung einer möglichst hohen Approximationsgüte
    erweist es sich als günstig, für die Parameter $\kappa$ und $\tau$ ein breiteres
    Spektrum an Einstellvarianten zu untersuchen. Die jeweils besten Ergebnisse eines Test- und
    Bewertungsverfahrens für ein Benchmarkproblem werden in der Regel mit einer
    solchen Einstellung von $\kappa$ und $\tau$ erreicht, die von der
    jeweils vorgeschlagenen Default"=Einstellung abweicht. Für viele Benchmarkprobleme zeigt sich dabei
    ein gemeinsamer Trend: Die besten Ergebnisse werden oftmals dann erzielt,
    wenn die Schwelle zum Bestehen des Regeltests \emph{eher etwas leichter}
    und die Relevanzschwelle für die Regelübernahme
    \emph{eher etwas höher} gewählt wird. Dieser Trend zeigt sich insbesondere bei den
    Test- und Bewertungsverfahren, die auf Datenverteilungen
    basieren.


    \item[Ergebnisse Experiment B2)] Es werden TSK"~Modelle mit nur positiven Regeln eingesetzt.
    Diese Modelle gehen durch Transformation aus den Modellen des
    Experiments B1 hervor. Hier ist von Interesse, wie
    groß der Zugewinn an Modellgenauigkeit durch den Übergang von Mamdani"=Modellen
    zu TSK"~Modellen ausfällt. Hierfür werden ausschließlich Approximationsprobleme untersucht, denn
    bei Klassifikationsproblemen bieten TSK"~Modelle keine erkennbaren Vorteile
    gegenüber den bereits hierfür untersuchten Mamdani"=Modellen. Die hier erzielten
    Modellierungsergebnisse ähneln stark denen in \cite{Kra02}, werden nun aber anhand
    einer viel größeren Anzahl von Benchmarkproblemen abgesichert.

    Für die hier untersuchten Benchmarkprobleme lässt sich zusammenfassend
    feststellen, dass die mit der Transformation in TSK"~Modelle verbundene Erhöhung der
    Modellgenauigkeit stets signifikant ausfällt. Die erzielten
    Verbesserungen\footnote{Diese Aussage bezieht sich auf die jeweilige
    Verringerung des Modellierungsfehlers.} gegenüber den korrespondierenden Mamdani"=Modellen bewegen sich dabei in einem
    weiten Spektrum und liegen meist zwischen 30\% und 50\%, in Einzelfällen teilweise bei sogar über
    80\%. Für die Transformation von Mamdani"=Modellen in TSK"~Modelle wird als
    neues Strategieelement die Bestimmung der freien Parameter in der Konklusion einer
    TSK"~Regel, basierend auf einem Iteratively Reweighted Least"~Squares Ansatz (IRLS), eingesetzt.
    Eine weitere neue Option ist die Berechnung des Ausgabewertes eines TSK"~Modells
    über den gewichteten Median aller Einzelempfehlungen. Damit stehen neue
    Alternativen zu den bereits vorhandenen Ansätzen (herkömmlicher
    Least"~Squares Ansatz zur Bestimmung der Parameter in der Konklusion einer Regel und Verwendung
    des gewichteten Mittelwertes aller Einzelempfehlungen als Ausgabewert) zur Verfügung.
    Durch Kombination der verschiedenen Optionen für die Parameterbestimmung und die
    Ausgabeberechnung ergeben sich insgesamt vier TSK"~Modellvarianten, die
    hier sämtlich untersucht werden. Dabei hat sich
    keine der Varianten als stets beste Lösung erwiesen. Es zeichnet sich aber ab, dass
    eine Kombination aus IRLS"~Ansatz für die Parameterbestimmung und die Verwendung des gewichteten Median
    aller Einzelempfehlungen als Ausgabewert eine empfehlenswerte
    Standard"=Einstellung ist. Die neuen Strategieelemente, die auf eine Verbesserung der Robustheit der TSK"~Modelle
    gegenüber fragwürdigen oder fehlerhaften Daten abzielen, haben sich somit
    als erfolgreich erwiesen.


    \item[Ergebnisse Experiment B3)] Es werden
    Mamdani"=Modelle mit positiven und negativen Regeln
    eingesetzt. In früheren Arbeiten wurde nachgewiesen, dass
    negative Regeln in Mamdani"=Systemen eine transparente
    Berücksichtigung von Expertenwissen erlauben, das in Form von
    Warnungen oder Verboten vorliegt. Ebenso wurde am Beispiel
    der datenbasierten Modellierung des Verhaltens eines
    menschlichen Prozessbedieners gezeigt, dass die
    Berücksichtigung von negativen Regeln verglichen mit dem Fall
    nur positiver Regeln einen deutlichen Zugewinn an
    Modellgenauigkeit bringen kann \cite{Kie97a}.

    Im Rahmen dieser Arbeit wird eine flächendeckende
    Untersuchung des Potenzials negativer Regeln anhand von
    Benchmarkproblemen durchgeführt, und zwar bezüglich aller
    Test- und Bewertungsverfahren ($J_{RI}$, $J_{RHR}$, $J_{NHR}$ und $J_{CHR}$), die die Erzeugung
    negativer Regeln unterstützen. Verglichen mit der Verwendung
    nur positiver Regeln zeigt sich, dass sich die resultierende
    Modellgenauigkeit für alle genannten Test- und Bewertungsverfahren
    oftmals tatsächlich verbessert, aber nur selten deutlich.
    Zudem ergeben sich so oftmals (teilweise deutlich) größere Regelbasen mit überwiegend negativen Regeln.
    Ferner ist anzumerken, dass das mit den genannten Test- und
    Bewertungsverfahren beste erzielte Modellierungsergebnis
    nicht selten noch durch das beste Modellierungsergebnis
    übertroffen wird, das mit den Test- und Bewertungsverfahren ($J_{MVB}$, $J_{VVB}$ und $J_{CVB}$),
    die keine negativen Regeln generieren, erzielt wird.

    Zusammenfassend ist festzustellen, dass die Einbeziehung
    negativer Regeln die Modellgenauigkeit verbessern kann, dies aber
    nicht zwingend muss. Liegt die hier behandelte Aufgabe vor, ein möglichst
    genaues Modell allein aus vorhandenen Daten zu generieren, so bedeutet
    der Verzicht auf negative Regeln nicht zwangsläufig einen Verlust
    an erreichbarer Modellgenauigkeit.
    Besteht aber ein Interesse daran, auch qualitatives Anwenderwissen für die
    Erstellung eines möglichst transparenten Modells zu nutzen, beispielsweise
    zur Gewährleistung sicherheitsrelevanter Aspekte, oder menschliche
    Bedienstrategien verstehen und darstellen zu können, dann ist die Verwendung negativer
    Regeln vorteilhaft.


    \item[Ergebnisse Experiment B4)] Aufsetzend auf den in Experiment B3
    generierten Regeln werden die daraus hervorgehenden hybriden Fuzzy"=Modelle untersucht.

    Im Vergleich zu den TSK"~Modellen mit nur positiven Regeln
    (Experiment B2) werden durch die Einbeziehung negativer Regeln
    ähnliche Verbesserungen erzielt wie bei der Einbeziehung negativer Regeln
    in Mamdani"=Systemen. Daher gelten hinsichtlich des Stellenwertes
    negativer Regeln die Schlussfolgerungen des Experiments B3.


    \item[Ergebnisse Experiment B5)] Es werden
    Mamdani"=Modelle mit universellen und positiven und negativen Regeln eingesetzt. Die
    Regeln werden nach dem Konzept des Inkrementellen Relevanzindex von \namestyle{Kiendl}
    generiert.
    Für die Generierung der inkrementell wirkenden Regeln sind zwei
    spezielle Test- und Bewertungsverfahren, die inkrementelle Trefferquote $J_{ITQ}$
    und die konfidente inkrementelle Trefferquote $J_{KITQ}$, konzipiert worden,
    die hier zusätzlich zu den sieben anderen Test- und Bewertungsverfahren
    eingesetzt werden. Die Anzahl der zu untersuchenden Parametrierungen erhöht sich
    dadurch von 490 auf 630.

    Im Vergleich zu den Ergebnissen des Experiments B1 wird auf diese Weise für
    eine Reihe von Benchmarkproblemen eine nennenswerte Verbesserung
    der Modellgenauigkeit, meist bei einer vergrößerten Regelbasis, erzielt.
    Diese Verbesserung fällt deutlicher aus als bei dem Experiment B3. Daher
    bestätigt sich, dass das Konzept der Verwendung universeller Regeln in
    Verbindung mit inkrementell wirkenden Regeln im Hinblick auf die
    angestrebte Gleichbehandlung positiver und negativer Regeln günstig ist.
    Allerdings liefern im Hinblick auf die Modellgenauigkeit nicht in allen Fällen
    die für die inkrementell wirkenden Regeln eigens konzipierten
    Test- und Bewertungsverfahren $J_{ITQ}$ und
    $J_{KITQ}$ die besten Resultate, sondern in Einzelfällen andere Verfahren,
    beispielsweise der Relevanzindex $J_{RI}$.

    \item[Ergebnisse Experiment B6)] Aufsetzend auf den in Experiment B5
    generierten Regeln werden die daraus hervorgehenden hybriden Fuzzy"=Systeme untersucht.

    Im Gegensatz zu den deutlichen Unterschieden, die sich zwischen den Mamdani"=Systemen
    (Experimente B3 und B5) zeigen, fallen die Unterschiede in den Ergebnissen
    der Experimente B4 und B6 nur gering aus. Daher gelten hinsichtlich des
    Stellenwertes negativer Regeln die Schlussfolgerungen des Experiments B4.

\end{description}
