Efficient approximations of model predictive control laws via deep learning

Abstract

Model predictive control (MPC) has established itself as the standard method for the control of complex nonlinear systems due to its ability to directly consider constraints and uncertainties while optimizing a control objective. However, the application of MPC requires repeatedly solving an optimal control problem online which can be computationally prohibitive, especially for large systems, for systems with very high control sampling rates and for the implementation on embedded hardware. This thesis presents deep neural networks (DNNs) as a means of enabling the implementation of MPC algorithms when computation power is limited. The expressive capabilities of DNNs are leveraged to closely approximate the control law implicitly defined by the MPC problem. For the online application only evaluating the DNN, an explicit function consisting of simple arithmetic operations, is required. This results in speed-ups of several orders of magnitude in comparison to solving the MPC problem online. Throughout the thesis, we shed light onto various aspects that enable and motivate the usage of DNNs as safe approximate MPC laws. Approaches to modify a DNN after an initial learning phase such that the closed-loop performance is improved are proposed. Further, methods that enable the analysis of the closed-loop behavior to obtain both deterministic and probabilistic guarantees on the online operation regarding safety, performance and stability are presented. The efficacy of the proposed approaches is investigated for a wide range of case studies including a polymerization reactor of industrial complexity. The analysis shows that the DNN controllers do not only outperform other approximate MPC approaches in terms of control performance, memory footprint and evaluation times, but that DNN controllers can even outperform the exact optimization-based MPCs when ideas from reinforcement learning are used. Further it is shown that the DNN controllers can be deployed on embedded hardware such as microcontrollers with small effort.

Modelprädiktive Regelung (kurz: MPC) hat sich als die Standard-Methode zur Regelung von komplexen nichtlinearen System etabliert, da es erlaubt Beschränkungen und Unsicherheiten direkt zu berücksichtigen und zeitgleich eine Zielfunktion zu optimieren. Dafür muss jedoch wiederholt ein Optimierungsproblem online gelöst werden. Dies verhindert die Anwendung von MPC, wenn die Hardware nicht die nötige Rechenleistung aufbringt zur Berechnung einer Lösung innerhalb eines Zeitschritts. In dieser Dissertation werden tiefe neuronale Netzwerke (kurz: DNNs) eingeführt als eine Möglichkeit, um MPC-Algorithmen auf leistungsschwacher Hardware zu realisieren. Dabei werden die repräsentativen Fähigkeiten von tiefen neuronalen Netzwerken genutzt, um das Regelgesetz, das implizit vom MPC-Optimierungsproblem definiert wird, zu approximieren. Der approximative DNN-Regler kann mehrere Grössenordnungen schneller evaluiert werden als der optimierungs-basierte Regler, da das DNN eine explizite Funktion bestehend aus simplen arithmetischen Operationen darstellt. Im Laufe der Dissertation werden verschiedenste Aspekte, die die Nutzung von DNNs als effiziente approximative MPC-Regler ermöglichen und motivieren, vorgestellt. Dazu gehören Methoden zur Modifizierung eines gelernten DNN-Reglers, sodass die Performance optimiert wird, und Ansätze zur Analyse des geschlossenen Regelkreises, die es ermöglichen sowohl probabilistische als auch deterministische Garantien bezüglich Sicherheit, Performance und Stabilität zu erhalten. Die Effektivität des vorgestellten Ansatzes wird für eine Vielzahl an Fallstudien untersucht, unter anderem für einen Polymerisationsreaktor von industrieller Komplexität. Die Untersuchungen zeigen, dass DNNs nicht nur andere approximative MPC Methoden übertreffen bezüglich Regel-Performance, Speicherbedarf und Ausführzeiten, sondern auch den ursprünglichen exakten MPC-Ansatz übertreffen können, wenn Ideen aus dem Bereich des bestärkenden Lernens genutzt werden. Zusätzlich wird gezeigt, dass die gelernten Regler mit wenig Aufwand auf eingebetteten Plattformen wie Micro-Controllern implementiert werden können.