Neural networks for control: design and analysis

Abstract

The universal approximation property of neural networks (NN) makes them a popular tool for approximating various functions. Therefore, it is no surprise that they also found their way in control. In control applications, NNs are commonly used to approximate complex control laws or optimal value functions (OVF) and Q-functions, which allows for simplifying optimal control problems. However, the flexibility of NNs comes with a large number of hyperparameters associated with the topology and training of the NN that need to be chosen carefully. Moreover, typical quality measures used during the training of NNs, like mean squared error, are not sufficient to ensure a safe operation of NN-based controllers. Consequently, the use of NNs in control requires the development of tailored methods that address two main challenges. The first is how to choose a suitable NN topology that allows for efficiently approximating control laws or other functions of interest in control, e.g., PWQ OVFs. The second challenge is to ensure that systems controlled by NNs can be operated safely in terms of constraint satisfaction, stability, and privacy. These requirements are unique to control applications and thus typically not considered in classical NN applications, like image or language processing. Therefore, we address these problems by developing tailored methods that enable us to derive topologies for representing continuous PWQ functions, which play a crucial role in MPC. Furthermore, by exploiting the structure of the derived topologies, we present a training method for maxout NNs that allows us to compute parameters for the NN that globally minimize the cost function considered during training. Regarding the safety of NN-based controllers, we present extensions and simplifications for analysis methods that allow us to certify stability and constraint satisfaction for linear systems based on the approximation error of the NN with respect to a stabilizing baseline controller. We also develop methods for analyzing systems controlled by NNs, based on over approximations of reachable sets, which are used to compute robustly positively invariant sets. These methods do not require a stabilizing baseline controller and can be extended for the analysis of nonlinear systems controlled by NNs. Regarding privacy, we develop a method for computing polynomial approximations that enable an efficient encrypted evaluation of NNs. In summary, the methods presented in this thesis cover a wide range of problems of NNs in control and solve or mitigate many of them. At the same time, we highlight still existing challenges, which especially include increasing the computational efficiency of the methods based on mixed-integer programming for enabling a wide use in practice.Neuronale Netze (NN) sind ein vielseitiges Modell zur Approximation unterschiedlichster Funktionen. Es überrascht daher nicht, dass sie auch in der Regelungstechnik Anwendung finden. In diesem Kontext werden NN häufig eingesetzt, um komplexe Regler oder Optimal Value Functions zu approximieren. Die Flexibilität NN geht mit einer Vielzahl an Hyperparametern einher, die sowohl die Topologie als auch das Training parametrisieren und sorgfältig gewählt werden müssen. Darüber hinaus sind die üblichen Qualitätsmaße, die für des Training verwendet werden, wie z.B. Mean Squared Error, nicht ausreichend, um einen sicheren Betrieb NN-basierter Regler zu gewährleisten. Der Einsatz von NN in der Regelungstechnik erfordert daher Methoden, die zwei zentrale Herausforderungen adressieren. Die Erste ist die Wahl einer Topologie, die eine effiziente Approximation von in der Regelungstechnik relevanten Funktionen, z.B. stückweise affine oder stückweise quadratische (PWQ) Funktionen, ermöglicht. Die zweite liegt in der Gewährleistung eines sicheren Betriebs der durch NN geregelten Systeme im Hinblick auf die Einhaltung von Beschränkungen, Stabilität und Datenschutz. Diese Anforderungen werden in klassischen Einsatzgebieten von NNs nicht berücksichtigt. Deswegen werden in dieser Arbeit Methoden entwickelt, die es ermöglichen, NN zur exakten Darstellung stetiger PWQ Funktionen herzuleiten, welche in der modellprädiktiven Regelung eine zentrale Rolle spielen. Außerdem wird durch die Ausnutzung der Struktur dieser NN ein Verfahren vorgestellt, das eine globale Minimierung der während des Trainings betrachteten Kostenfunktion ermöglicht. Hinsichtlich der sicheren Anwendung NN-basierter Regler werden Erweiterungen und Vereinfachungen bestehender Methoden entwickelt, die es erlauben, Stabilität und die Einhaltung von Beschränkungen für lineare Systeme auf Basis des Approximationsfehlers des NNs gegenüber einem stabilisierenden Regler zu verifizieren. Ergänzend dazu werden Methoden zur Analyse NN-basierter Regler vorgestellt, die auf erreichbaren Mengen basieren. Diese Methoden erfordern keinen stabilisierenden Referenzregler und können auch auf nichtlineare Systeme erweitert werden. Zur Gewährleistung des Datenschutzes wird ein Verfahren zur Berechnung polynomialer Approximationen entwickelt, das eine verschlüsselte Auswertung von NN ermöglicht. Zusammenfassend werden verschiedene Methoden vorgestellt, die den sicheren Einsatz von NN in der Regelungstechnik ermöglichen. Gleichzeitig werden bestehende Herausforderungen aufgezeigt, die insbesondere in einer Effizienzsteigerung der auf gemischt-ganzzahliger Optimierung basierenden Methoden liegen, um ihre praktische Anwendbarkeit zu vereinfachen