Efficient approximations of model predictive control laws via deep learning
Loading...
Date
2023
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Model predictive control (MPC) has established itself as the standard method for the
control of complex nonlinear systems due to its ability to directly consider constraints
and uncertainties while optimizing a control objective. However, the application of
MPC requires repeatedly solving an optimal control problem online which can be computationally
prohibitive, especially for large systems, for systems with very high control
sampling rates and for the implementation on embedded hardware.
This thesis presents deep neural networks (DNNs) as a means of enabling the implementation
of MPC algorithms when computation power is limited. The expressive
capabilities of DNNs are leveraged to closely approximate the control law implicitly
defined by the MPC problem. For the online application only evaluating the DNN, an
explicit function consisting of simple arithmetic operations, is required. This results in
speed-ups of several orders of magnitude in comparison to solving the MPC problem
online.
Throughout the thesis, we shed light onto various aspects that enable and motivate
the usage of DNNs as safe approximate MPC laws. Approaches to modify a DNN after
an initial learning phase such that the closed-loop performance is improved are proposed.
Further, methods that enable the analysis of the closed-loop behavior to obtain
both deterministic and probabilistic guarantees on the online operation regarding
safety, performance and stability are presented.
The efficacy of the proposed approaches is investigated for a wide range of case
studies including a polymerization reactor of industrial complexity. The analysis shows
that the DNN controllers do not only outperform other approximate MPC approaches
in terms of control performance, memory footprint and evaluation times, but that DNN
controllers can even outperform the exact optimization-based MPCs when ideas from
reinforcement learning are used. Further it is shown that the DNN controllers can be
deployed on embedded hardware such as microcontrollers with small effort.
Modelprädiktive Regelung (kurz: MPC) hat sich als die Standard-Methode zur Regelung von komplexen nichtlinearen System etabliert, da es erlaubt Beschränkungen und Unsicherheiten direkt zu berücksichtigen und zeitgleich eine Zielfunktion zu optimieren. Dafür muss jedoch wiederholt ein Optimierungsproblem online gelöst werden. Dies verhindert die Anwendung von MPC, wenn die Hardware nicht die nötige Rechenleistung aufbringt zur Berechnung einer Lösung innerhalb eines Zeitschritts. In dieser Dissertation werden tiefe neuronale Netzwerke (kurz: DNNs) eingeführt als eine Möglichkeit, um MPC-Algorithmen auf leistungsschwacher Hardware zu realisieren. Dabei werden die repräsentativen Fähigkeiten von tiefen neuronalen Netzwerken genutzt, um das Regelgesetz, das implizit vom MPC-Optimierungsproblem definiert wird, zu approximieren. Der approximative DNN-Regler kann mehrere Grössenordnungen schneller evaluiert werden als der optimierungs-basierte Regler, da das DNN eine explizite Funktion bestehend aus simplen arithmetischen Operationen darstellt. Im Laufe der Dissertation werden verschiedenste Aspekte, die die Nutzung von DNNs als effiziente approximative MPC-Regler ermöglichen und motivieren, vorgestellt. Dazu gehören Methoden zur Modifizierung eines gelernten DNN-Reglers, sodass die Performance optimiert wird, und Ansätze zur Analyse des geschlossenen Regelkreises, die es ermöglichen sowohl probabilistische als auch deterministische Garantien bezüglich Sicherheit, Performance und Stabilität zu erhalten. Die Effektivität des vorgestellten Ansatzes wird für eine Vielzahl an Fallstudien untersucht, unter anderem für einen Polymerisationsreaktor von industrieller Komplexität. Die Untersuchungen zeigen, dass DNNs nicht nur andere approximative MPC Methoden übertreffen bezüglich Regel-Performance, Speicherbedarf und Ausführzeiten, sondern auch den ursprünglichen exakten MPC-Ansatz übertreffen können, wenn Ideen aus dem Bereich des bestärkenden Lernens genutzt werden. Zusätzlich wird gezeigt, dass die gelernten Regler mit wenig Aufwand auf eingebetteten Plattformen wie Micro-Controllern implementiert werden können.
Modelprädiktive Regelung (kurz: MPC) hat sich als die Standard-Methode zur Regelung von komplexen nichtlinearen System etabliert, da es erlaubt Beschränkungen und Unsicherheiten direkt zu berücksichtigen und zeitgleich eine Zielfunktion zu optimieren. Dafür muss jedoch wiederholt ein Optimierungsproblem online gelöst werden. Dies verhindert die Anwendung von MPC, wenn die Hardware nicht die nötige Rechenleistung aufbringt zur Berechnung einer Lösung innerhalb eines Zeitschritts. In dieser Dissertation werden tiefe neuronale Netzwerke (kurz: DNNs) eingeführt als eine Möglichkeit, um MPC-Algorithmen auf leistungsschwacher Hardware zu realisieren. Dabei werden die repräsentativen Fähigkeiten von tiefen neuronalen Netzwerken genutzt, um das Regelgesetz, das implizit vom MPC-Optimierungsproblem definiert wird, zu approximieren. Der approximative DNN-Regler kann mehrere Grössenordnungen schneller evaluiert werden als der optimierungs-basierte Regler, da das DNN eine explizite Funktion bestehend aus simplen arithmetischen Operationen darstellt. Im Laufe der Dissertation werden verschiedenste Aspekte, die die Nutzung von DNNs als effiziente approximative MPC-Regler ermöglichen und motivieren, vorgestellt. Dazu gehören Methoden zur Modifizierung eines gelernten DNN-Reglers, sodass die Performance optimiert wird, und Ansätze zur Analyse des geschlossenen Regelkreises, die es ermöglichen sowohl probabilistische als auch deterministische Garantien bezüglich Sicherheit, Performance und Stabilität zu erhalten. Die Effektivität des vorgestellten Ansatzes wird für eine Vielzahl an Fallstudien untersucht, unter anderem für einen Polymerisationsreaktor von industrieller Komplexität. Die Untersuchungen zeigen, dass DNNs nicht nur andere approximative MPC Methoden übertreffen bezüglich Regel-Performance, Speicherbedarf und Ausführzeiten, sondern auch den ursprünglichen exakten MPC-Ansatz übertreffen können, wenn Ideen aus dem Bereich des bestärkenden Lernens genutzt werden. Zusätzlich wird gezeigt, dass die gelernten Regler mit wenig Aufwand auf eingebetteten Plattformen wie Micro-Controllern implementiert werden können.
Description
Table of contents
Keywords
Model predictive control, Deep learning, Artificial neural networks, Robust control