Lehrstuhl für Regelungssystemtechnik

Permanent URI for this collection

http://hdl.handle.net/2003/24401

Browse

Now showing 1 - 20 of 35

Trajektorienoptimierung für Roboterarme in dynamischen Umgebungen
(2024) Krämer, Maximilian; Bertram, Torsten; Corves, Burkhard
Zur Verringerung der Produktionskosten und Verbesserung der Arbeitsbedingungen werden Fähigkeiten von Menschen mit denen von Roboterarmen kombiniert. Im Kontext dynamischer Umgebungen erfordern neben der Kollisionsvermeidung auch die variablen und potenziell konfliktären Ziele zwischen Roboter und Mensch eine wiederkehrende Planung der Roboterbewegung. Die Arbeit verfolgt das Grundprinzip der wiederkehrenden Planung mit fortlaufendem Horizont über die Optimierung von lokalen Teilbewegungen. Im Mittelpunkt steht zum einen das Erreichen einer hohen Planungsfrequenz mit der Bewertung der Effektivität in dynamischen Umgebungen. Dafür erfolgt die systematische Auswahl der optimalen Kombination von Distanzfunktionen und der Repräsentation von Optimierungsproblem sowie Hindernissen ebenso wie die Ausnutzung spezieller Strukturen im Optimierungsproblem. Zum anderen steht die Durchführung und Bewertung von Versuchen zur Kollisionsvermeidung mit Personen sowie variablen und konfliktären Zielstellungen im Fokus. Maßnahmen zur Initialisierung sowie zur Vermeidung von strukturellen lokalen Minima runden die Arbeit ab.
A multimodal driver monitoring benchmark dataset for driver modeling in assisted driving automation
(2024-03-30) Dargahi Nobari, Khazar; Bertram, Torsten
In driver monitoring various data types are collected from drivers and used for interpreting, modeling, and predicting driver behavior, and designing interactions. Aim of this contribution is to introduce manD 1.0, a multimodal dataset that can be used as a benchmark for driver monitoring in the context of automated driving. manD is the short form of human dimension in automated driving. manD 1.0 refers to a dataset that contains data from multiple driver monitoring sensors collected from 50 participants, gender-balanced, aged between 21 to 65 years. They drove through five different driving scenarios in a static driving simulator under controlled laboratory conditions. The automation level (SAE International, Standard J3016) ranged from SAE L0 (no automation, manual) to SAE L3 (conditional automation, temporal). To capture data reflecting various mental and physical states of the subjects, the scenarios encompassed a range of distinct driving events and conditions. manD 1.0 includes environmental data such as traffic and weather conditions, vehicle data like the SAE level and driving parameters, and driver state that covers physiology, body movements, activities, gaze, and facial information, all synchronized. This dataset supports applications like data-driven modeling, prediction of driver reactions, crafting of interaction strategies, and research into motion sickness.
Toward precise ambiguity-aware cross-modality global self-localization
(2023-06-14) Stannartz, Niklas; Schütte, Stefan; Kuhn, Markus; Bertram, Torsten
There are significant advances in GNSS-free cross-modality self-localization of self-driving vehicles. Recent methods focus on learnable features for both cross-modal global localization via place recognition (PR) and local pose tracking, however they lack means of combining them in a complete localization pipeline. That is, a pose retrieved from PR has to be validated if it actually represents the true pose. Performing this validation without GNSS measurements makes the localization problem significantly more challenging. In this contribution, we propose a method to precisely localize the ego-vehicle in a high resolution map without GNSS prior. Furthermore, sensor and map data may be of different dimensions (2D / 3D) and modality, i.e. radar, lidar or aerial imagery. We initialize our system with multiple hypotheses retrieved from a PR method and infer the correct hypothesis over time. This multi-hypothesis approach is realized using a Gaussian sum filter which enables an efficient tracking of a low number of hypotheses and further facilitates the inference of our deep sensor-to-map matching network at arbitrarily distant regions simultaneously. We further propose a method to estimate the probability that none of the currently tracked hypotheses is correct. We achieve successful global localization in extensive experiments on the MulRan dataset, outperforming comparative methods even if none of the initial poses from PR was close to the true pose. Due to the flexibility of the approach, we can show state-of-the-art accuracy in lidar-to-aerial-imagery localization on a custom dataset using our pipeline with only minor modifications of the matching model.
Trajektorienfolgeregelung für automatisierte Fahrzeuge
(2024) Homann, Andreas; Bertram, Torsten; Schildbach, Georg
Bei der Betrachtung der Entwicklung von Assistenzsystemen, welche in Serienfahrzeuge integriert werden, zeichnet sich ein Trend hin zur vollständigen Automatisierung der Fahraufgabe ab. Neben der Entwicklung von alternativen Antriebskonzepten ist das automatisierte Fahren eines der wichtigsten Forschungs- und Innovationsthemen der Automobilbranche. Die erforderlichen Funktionen zur Automatisierung der Fahraufgabe lassen sich in verschiedene Teilaufgaben untergliedern. Ein bedeutendes Unterproblem ist die Trajektorienfolgeregelung, welche die eigentliche Fahrzeugführung vornimmt. Die vorliegende Arbeit befasst sich mit der Entwicklung eines Ansatzes zur Trajektorienfolgeregelung für eine zyklisch neugeplante spline-basierte Referenztrajektorie. Als Grundlage zur vollständigen Beschreibung des Bewegungsverhaltens wird zunächst eine Modellierung der Fahrzeugdynamik und auch der untergeordneten Aktuatorregelkreise vorgenommen. Da die Modellierung des Fahrverhaltens von unterschiedlichen zeitvarianten Parametern abhängt, wird mit einer Sensitivitätsanalyse der Einfluss von Parameteränderungen auf das Übertragungsverhalten untersucht. Es zeigt sich, dass vorallem die Position des Schwerpunktes einen großen Einfluss auf das laterale Fahrverhalten nimmt. Weil die Referenztrajektorie die Eingangsgröße für die Regelung darstellt, besteht eine enge Kopplung zwischen beiden. Daher wird für die spline-basierte Referenztrajektorie untersucht, inwieweit der initiale Fahrzustand berücksichtigt werden kann und darüber hinaus, in welchem Maße eine Anpassung der Trajektorie an eine Gerade, eine Kurve mit konstantem Kurvenradius und an einen Übergangsbogen mit linearer Krümmungsänderung, welche die Grundsegmente im Straßenbau sind, möglich ist. Darüberhinaus wird die spline-basierte Trajektorie mittels des linearen Einspurmodells mit zusätzlichen Informationen erweitert, sodass eine näherungsweise Aufteilung des Kurswinkels in Gier- und Schwimmwinkel möglich ist. Es werden zwei Verfahren zur Trajektorienfolgeregelung entwickelt, die sich in der Prämisse für den Entwurf des Reglersystems unterscheiden. Die erste Methode zielt auf eine geringe Komplexität ab und beruht auf einer Vorsteuerung, welche die Gierratenübertragungsfunktion invertiert. Aufgrund der Besonderheit der Trajektorienfolgeregelung kann das resultierende nichtkausale System gelöst werden. Zusätzlich wird eine Regelung der Gierrate mit einem PI Regler vorgenommen. Der zweite Ansatz wurde unter dem Gesichtspunkt einer möglichst genauen Realisierung konzipiert, selbst in Situationen, in denen das Fahrzeug im nichtlinearen Bereich der Fahrdynamik geführt werden muss. Dieser beruht auf einer modellprädiktiven Regelung, welcher eine ableitungsfreie Optimierung zugrunde liegt. Dabei wird zur Rechenzeitoptimierung festgelegt, dass lediglich für den ersten Prädiktionsschritt die Stellgröße variiert wird, da sich die Trajektorienfolgeregelung auf die frühen Trajektorienpunkte fokussiert. Für die beiden Ansätze wird das Führungsverhalten in verschiedenen Verkehrssituationen evaluiert. Zusätzlich wird das Verhalten bei Störungen durch Seitenwind und einer geneigten Fahrbahn untersucht.
Cooperative lateral vehicle guidance control for automated vehicles with Steer-by-Wire systems
(2023) Gonschorek, Robert; Bertram, Torsten; Müller, Steffen
With the global trend towards automated driving, fault-tolerant onboard power supply systems are introduced into modern vehicles and the level of driving automation is continuously increasing. These advancements contribute to the applicability of Steer-by-Wire systems and the development of automated lateral vehicle guidance control functions. For the market acceptance of automated driving, the lateral vehicle guidance control function must hereby be cooperative, that is it must accept driver interventions. Existing approaches for automated lateral vehicle guidance commonly do not consider driver interventions. If unconsidered in the control loop, the driver intervention is interpreted as an external disturbance that is actively compensated by feedback. This thesis addresses the development of a cooperative lateral vehicle guidance control concept, which enables a true coexistence between manual steering control by the driver and automated steering control. To this end, the subordinate controls of the Steer-by-Wire system for the manual and automated driving mode are initially presented. These include the steering feel generation and steering torque control of the Steer-by-Wire Handwheel Actuator for the manual driving mode, which is structurally extended to a cascade steering position control for the automated driving mode. Subsequently, a superposition control is introduced, which fuses steering torque and position control. The resulting cooperative Handwheel Actuator control achieves precise tracking of the reference steering position in automated driving mode but accepts driver interventions. Thus, the driver can override the active control and experiences a natural steering feel. The transitions hereby are seamless as no blending, gain scheduling or controller output saturation is required. Subsequently, the superimposed lateral vehicle guidance controller for the automated driving mode is described, which computes the reference steering position for the respective Steer-by-Wire controls. In contrast to existing approaches, the plant model equations are rearranged to isolate the vehicle speed dependent dynamics. Thereafter, the concept of inverse nonlinearity control is employed, using a virtual control loop and feedback linearization for an online inversion of the nonlinear plant dynamics. The remaining plant is fully linear and independent of vehicle speed. Consequently, one controller can be synthesized that is valid for all vehicle speeds. The closed and open loop system thereby have the same dynamics independent of vehicle speed, which significantly simplifies control synthesis, analysis, and performance tuning in the vehicle. For considering the future reference path information and constraints on the maximum steering position within the control law, a linear Model Predictive Controller synthesis is selected. The combination of inverse nonlinearity control and linear Model Predictive Controller thus results in a Nonlinear Adaptive Model Predictive Control concept, which makes commonly applied gain scheduling fully obsolete. The controller is structurally extended by a cooperative dynamic feedforward control for considering driver interventions within the control loop. Consequently, the driver can override the active control and seamlessly modify the lateral vehicle motion. A variety of nonlinear simulation analyses and real vehicle tests demonstrate the effectiveness of the proposed control concept.
Modeling driver-vehicle interaction in automated driving
(2022-01-24) Dargahi Nobari, Khazar; Albers, Franz; Bartsch, Katharina; Braun, Jan; Bertram, Torsten
In automated vehicles, the collaboration of human drivers and automated systems plays a decisive role in road safety, driver comfort, and acceptance of automated vehicles. A successful interaction requires a precise interpretation and investigation of all influencing factors such as driver state, system state, and surroundings (e.g., traffic, weather). This contribution discusses the detailed structure of the driver-vehicle interaction, which takes into account the driving situation and the driver state to improve driver performance. The interaction rules are derived from a controller that is fed by the driver state within a loop. The regulation of the driver state continues until the target state is reached or the criticality of the situation is resolved. In addition, a driver model is proposed that represents the driver’s decision-making process during the interaction between driver and vehicle and during the transition of driving tasks. The model includes the sensory perception process, decision-making, and motor response. The decision-making process during the interaction deals with the cognitive and emotional states of the driver. Based on the proposed driver-vehicle interaction loop and the driver model, an experiment with 38 participants is performed in a driving simulator to investigate (1) if both emotional and cognitive states become active during the decision-making process and (2) what the temporal sequence of the processes is. Finally, the evidence gathered from the experiment is analyzed. The results are consistent with the suggested driver model in terms of the cognitive and emotional state of the driver during the mode change from automated system to the human driver.
Behavior planning for automated highway driving
(2022) Schmidt, Manuel; Bertram, Torsten; Svaricek, Ferdinand
This work deals with certain components of an automated driving system for highways, focusing on lane change behavior planning. It presents a variety of algorithms of a modular system aiming at safe and comfortable driving. A major contribution of this work is a method for analyzing traffic scenes in a spatio-temporal, curvilinear coordinate system. The results of this analysis are used in a further step to generate lane change trajectories. A total of three approaches with increasing levels of complexity and capabilities are compared. The most advanced approach formulates the problem as a linear-quadratic cooperative game and accounts for the inherently uncertain and multimodal nature of trajectory predictions for surrounding road users. Evaluations on real data show that the developed algorithms can be integrated into current generation automated driving software systems fulfilling runtime constraints.
Nonlinear model predictive low-level control
(2022) Makarow, Artemi; Bertram, Torsten; Mönnigmann, Martin
This dissertation focuses on the development, formalization, and systematic evaluation of a novel nonlinear model predictive control (MPC) concept with derivative-free optimization. Motivated by a real industrial application, namely the position control of a directional control valve, this control concept enables straightforward implementation from scratch, robust numerical optimization with a deterministic upper computation time bound, intuitive controller design, and offers extensions to ensure recursive feasibility and asymptotic stability by design. These beneficial controller properties result from combining adaptive input domain discretization, extreme input move-blocking, and the integration with common stabilizing terminal ingredients. The adaptive discretization of the input domain is translated into time-varying finite control sets and ensures smooth and stabilizing closed-loop control. By severely reducing the degrees of freedom in control to a single degree of freedom, the exhaustive search algorithm qualifies as an ideal optimizer. Because of the exponentially increasing combinatorial complexity, the novel control concept is suitable for systems with small input dimensions, especially single-input systems, small- to mid-sized state dimensions, and simple box-constraints. Mechatronic subsystems such as electromagnetic actuators represent this special group of nonlinear systems and contribute significantly to the overall performance of complex machinery. A major part of this dissertation addresses the step-by-step implementation and realization of the new control concept for numerical benchmark and real mechatronic systems. This dissertation investigates and elaborates on the beneficial properties of the derivative-free MPC approach and then narrows the scope of application. Since combinatorial optimization enables the straightforward inclusion of a non-smooth exact penalty function, the new control approach features a numerically robust real-time operation even when state constraint violations occur. The real-time closed-loop control performance is evaluated using the example of a directional control valve and a servomotor and shows promising results after manual controller design. Since the common theoretical closed-loop properties of MPC do not hold with input moveblocking, this dissertation provides a new approach for general input move-blocked MPC with arbitrary blocking patterns. The main idea is to integrate input move-blocking with the framework of suboptimal MPC by defining the restrictive input parameterization as a source of suboptimality. Finally, this dissertation extends the proposed derivative-free MPC approach by stabilizing warm-starts according to the suboptimal MPC formulation. The extended horizon scheme divides the receding horizon into two parts, where only the first part of variable length is subject to extreme move-blocking. A stabilizing local controller then completes the second part of the prediction. The approach involves a tailored and straightforward combinatorial optimization algorithm that searches efficiently for suboptimal horizon partitions while always reproducing the stabilizing warm-start control sequences in the nominal setup.
Trajectory planning for automated driving in dynamic environments
(2021) Lienke, Christian; Bertram, Torsten; Konigorski, Ulrich
Considering the last decades, the trend in the automotive industry to continuously increase the level of automation of vehicles is evident. A lot of research and development effort has been invested to improve upon driving safety and comfort in traffic. Nowadays, advanced driver assistance systems, and the development of automated driving functions in particular, represent one of the main areas of innovation in automotive engineering. In order to cope with challenges arising from complex dynamic environments the automated vehicle needs to perform comprehensive cognitive tasks that come along with the presence of other traffic participants and the necessity to adhere to prevailing traffic regulations. As a consequence, the automated driving task is decomposed into several sub problems. In the functional architecture of automated vehicles, motion planning that addresses the generation of a comfortable and safe trajectory is a key component that directly affects the overall driving performance. This thesis is about the development of a trajectory planning approach suitable to deal with dynamic environments. A two level hierarchical trajectory planning framework is proposed that unites the capability of optimality and spline interpolation and explicitly considers the aspect of contradicting planning objectives. The framework is designed to work in receding horizon fashion by performing cyclic replanning and hence accounts for the dynamic character of the environment. The hierarchization into two separate levels of optimization leads to an approach that covers basic driving functionality on low level, while required high level behavior is still prioritized. The presented framework relies on a spline-based trajectory representation with an underlying optimal interpolation strategy. The optimal trajectory with respect to a certain situation is found by joint optimization on high and low level. A continuous and a discrete trajectory optimization variant to generate an optimal trajectory with respect to high level objectives are presented that basically differ in the definition of possible solutions in terms of the optimal decision variables. Constraints like drivability incorporated by exploiting the flatness property of the applied vehicle model and accurate collision avoidance checking are considered explicitly to comply to essential requirements for automated driving. To evaluate the quality of the trajectory in terms of the associated driving behavior, several objectives are defined. For dedicated objectives a curvilinear frame is used, which enables a precise formulation of the desired vehicle behavior with respect to driving applications in structured environments. Hence, this measure permits to formulate objectives independent of road curvature, extending the scope of the applied trajectory planning approach to a wide range of scenarios. Evaluation works out the distinct characteristic features of the two presented high level optimization approaches, showing the achieved performance at the example of typical (highway) traffic scenarios. It is shown that both, the continuous as well as the discrete approach, are suitable to solve the trajectory generation problem supporting the idea of creating a generic trajectory planning framework for automated driving.
Untersuchung und Klassifikation der Fahreraufmerksamkeit bei längerer partiell automatisierter Fahrt
(2021-12-20) Hugenroth, Alexander; Bertram, Torsten; Warnecke, Alexander
Um die Unfallzahlen weiter zu senken, schreibt die Europäische Union ab 2030 eine höhere Fahrerüberwachung für neue Fahrzeuge vor. Bislang liegt der Fokus in einem manuell gefahrenen Fahrzeug auf einer Müdigkeitserkennung als Komfortsystem. Jedoch ändern sich die Anforderungen an den Fahrer und dessen Aufgaben bei steigender Automatisierung der Fahraufgabe, sodass auch die Fahrerbeobachtung/-überwachung weiter entwickelt werden sollte. Die vorliegende Arbeit beschäftigt sich mit der Auslegung von Aufmerksamkeitsaufgaben in Simulator-Fahrversuchen und einem ersten Versuch die aufgenommenen Daten von wenigen Probanden automatisch auszuwerten, um die Machbarkeit zu zeigen. Durch die partielle Automatisierung (nach SAE Level 2) der Fahraufgabe bleiben dem Fahrer bei der hier vorgestellten längeren Aufmerksamkeitsaufgabe nur noch schwache und seltene Reize, sodass von einer Vigilanzaufgabe gesprochen werden kann. Zur Messung des Fahrerzustands wird in dieser Machbarkeitsstudie eine Kombination aus verschieden Körperfunktionen durch unterschiedliche Sensoren erfasst, mit einem künstlichen neuronalen Netzwerk fusioniert und verarbeitet. Es werden verschiedene Kombinationen von Sensoren getestet, um herauszufinden, welche Signale für eine Klassifikation des Fahrerzustands ausreichend oder notwendig sind. Dabei wird darauf geachtet, ob diese Signale in Zukunft durch neue Sensortechnologien auch kontaktlos erfasst werden könnten, um eine Entwicklung dieser zu motivieren. Am Ende wird eine Klassifizierung vorgenommen, die zwischen den hier so genannten Zuständen Vigilant (aufmerksam) und Hypovigilant (nicht mehr aufmerksam) unterscheiden kann, sodass eine anschließende Regelung ein solches Signal verwenden kann, um den Fahrer in einen besseren Zustand zu bringen. Zudem kann der Fahrer gewarnt werden, wenn die Aufmerksamkeit nicht zu den Aufgaben passt, die er in der Automatisierungsstufe zu erledigen hat beziehungsweise für die er verantwortlich ist. Dazu könnten Aufgaben zwischen dem Fahrzeug und dem Fahrer dynamisch verteilt werden, also beispielsweise die Führung in Längs- oder Querrichtung wieder als Fahraufgabe dem Fahrer übergeben werden, um ihn aufmerksam zu halten. Durch eine kontaktlose Erfassung der Aufmerksamkeit gibt es zudem einen Komfortgewinn, da zum Beispiel die Hände nicht mehr das Lenkrad festhalten müssen, um dem Fahrzeug seine Aufmerksamkeit zu bestätigen, wie es heute in einigen Fahrzeugen üblich ist.
Koordination von Übernahmemanövern beim hochautomatisierten Fahren unter Berücksichtigung der Fahrerverfügbarkeit
(2021-10-11) Albers, Franz; Dargahi Nobari, Khazar; Braun, Jan; Bartsch, Katharina; Bertram, Torsten
Eine der zentralen Problemstellungen beim bedingt- und hochautomatisierten Fahren liegt in der Gestaltung einer sicheren und komfortablen Aufgabenübertragung zwischen dem automatisierten System und dem menschlichen Fahrer und vice versa. Dieser Beitrag stellt ein holistisches Modell zur Übergabe und Übernahme von Fahraufgaben vor, welches über eine umfassende Fahrerbeobachtung anhand von verschiedenen Sensoren und Referenzsensoren eine an den Fahrerzustand angepasste Übernahme ermöglichen soll. Konfliktsituationen zwischen Fahrer und automatisiertem System sollen unter Berücksichtigung des Fahrer- und Systemzustands über einen technisch implementierten Koordinator detektiert und gelöst werden. In einem Wizard-of-Oz Fahrversuch wird die Veränderung des sensorischen, motorischen und emotionalen Fahrerzustands, welche zentrale Komponenten des Übergabemodells bilden, anhand von zwei Fahrszenarien in Übernahmesituationen detailliert analysiert. Beobachtet werden konnten dabei leicht langsamere Reaktionen der Probanden nach Nebentätigkeiten und eine deutlich steigendes Stresslevel nach Übernahmen.
Improving local trajectory optimization by enhanced initialization and global guidance
(2022-03-14) Krämer, Maximilian; Bertram, Torsten
Trajectory optimization is a promising method for planning trajectories of robotic manipulators. With the increasing success of collaborative robots in dynamic environments, the demand for online planning methods grows and offers new opportunities as well as challenges for trajectory optimization. Special requirements in terms of real-time capabilities are one of the greatest difficulties. Optimizing a short planning horizon instead of an entire trajectory is one approach to reduce computation time, which nonetheless separates the optimality of local and global solutions. This contribution introduces, on the one hand, Extended Initialization as a new approach that reduces the risk of local minima and aims at improving the quality of the global trajectory. On the other hand, the particularly critical cases in which local solutions lead to standstills are mitigated by globally guiding local solutions. The evaluation performs four experiments with comparisons to Stochastic Trajectory Optimization for Motion Planning (STOMP) or Probabilistic Roadmap Method (PRM*) and demonstrates the effectiveness of both approaches.
An integrated approach for traffic scene understanding from monocular cameras
(2020-11-11) Oeljeklaus, Malte; Bertram, Torsten; Dietmayer, Klaus
This thesis investigates methods for traffic scene perception with monocular cameras as a foundation for a basic environment model in the context of automated vehicles. The developed approach is designed with special attention to the practical application in two experimental systems, which results in considerable computational limitations. For this purpose, three different scene representations are investigated. These consist of the prevalent road topology as the global scene context and the drivable road area, which are both associated with the static environment. In addition, the detection and spatial reconstruction of other road users is considered to account for the dynamic aspects of the environment. In order to cope with the computational constraints, an approach is developed that allows for the simultaneous perception of all environment representations based on multi-task convolutional neural networks. For this purpose methods for the respective tasks are first developed independently and adapted to the special conditions of traffic scenes. Here, the recognition of the road topology is realized as general image recognition. Furthermore, the perception of the drivable road area is implemented as image segmentation. To this end, a general image segmentation approach is adapted to improve the incorporation of the a-priori class distribution present in traffic scenes. This is achieved through the inclusion of element-wise weight factors through the Hadamard product, which resulted in increased segmentation performance in the conducted experiments. Also, a task decoder for the perception of vehicles is designed based on a compact 2D bounding box detection method, which is extended by auxiliary regressands. These are used for an appearance-based estimation of the orientation and dimension ratio of detected vehicles. Together with a subsequent method for the reconstruction of spatial object parameters based on constraints derived from the backprojection into the image plane, a scene description with all measurements for a basic environment model and subsequent automated driving functions can be generated. From the examination of alternative multi-task approaches and considering the computational restrictions of the experimental systems, an integrated convolutional neural network architecture is implemented, which combines all perceptual tasks in a single end-to-end trainable model. In addition to the definition of the architecture, a strategy is developed in which alternated training of the perception tasks, changing with each iteration, enables simultaneous learning from several single-task datasets in one optimization process. On this basis, a final experimental evaluation is performed in which a systematic analysis of different task combinations is conducted. The obtained results clearly show the importance of a combined approach to the perception tasks for automotive applications. Thus, the experiments demonstrate that the integrated multi-task architecture for all relevant representations of the scene is indispensable for practical models on realistic embedded processing hardware. Regarding this, especially the existence of common, shareable image features for the perception of the individual scene representations, which are clearly evident from the results, is to be mentioned.
Model predictive control of a collaborative manipulator considering dynamic obstacles
(2020-04-06) Krämer, Maximilian; Rösmann, Christoph; Hoffmann, Frank; Bertram, Torsten
Collaborative robots have to adapt its motion plan to a dynamic environment and variation of task constraints. Currently, they detect collisions and interrupt or postpone their motion plan to prevent harm to humans or objects. The more advanced strategy proposed in this article uses online trajectory optimization to anticipate potential collisions, task variations, and to adapt the motion plan accordingly. The online trajectory planner pursues a model predictive control approach to account for dynamic motion objectives and constraints during task execution. The prediction model relates reference joint velocities to actual joint positions as an approximation of built-in robot tracking controllers. The optimal control problem is solved with direct collocation based on a hypergraph structure, which represents the nonlinear program and allows to efficiently adapt to structural changes in the optimization problem caused by moving obstacles. To demonstrate the effectiveness of the approach, the robot imitates pick-and-place tasks while avoiding self-collisions, semistatic, and dynamic obstacles, including a person. The analysis of the approach concerns computation time, constraint violations, and smoothness. It shows that after model identification, order reduction, and validation on the real robot, parallel integrators with compensation for input delays exhibit the best compromise between accuracy and computational complexity. The model predictive controller can successfully approach a moving target configuration without prior knowledge of the reference motion. The results show that pure hard constraints are not sufficient and lead to nonsmooth controls. In combination with soft constraints, which evaluate the proximity of obstacles, smooth and safe trajectories are planned.
A probabilistic model for discretionary lane change proposals in highway driving situations
(2021-02-24) Schmidt, Manuel; Wissing, Christian; Nattermann, Till; Bertram, Torsten
This contribution presents a novel probabilistic approach for the generation of discretionary lane change proposals with a focus on highway driving situations. The developed model is based on the quantification of the utility of driving lanes. It generates a lane change proposal if the current driving lane is unsatisfactory in the sense that the desired velocity of the automated vehicle is undershot because of a slow preceding vehicle. A driving simulator study was conducted to create a dataset for the optimization of the model parameters. The optimization goal is to accurately match the timings of the lane change intentions of all participants. Finally, the applicability of the model is shown on real data from a test vehicle.
Identifikation und Steuerung des hydraulischen Betriebspunktes von Nassläufer-Umwälzpumpenaggregaten mittels Drehzahlvariation
(2020) Meier, Benedikt; Bertram, Torsten; Rinderknecht, Stephan
Der Energiebedarf von Pumpensystem entspricht etwa 8% bis 9% des weltweiten elektrischen Energieverbrauchs. Folglich hat die Energieeffizienz von Pumpensystemen einen signifikanten Einfluss auf den weltweiten Energiebedarf. Der Fokus dieser Arbeit liegt auf der Betrachtung von Pumpenaggregaten, welche in Wärme- und Kältesystemen eingesetzt werden. In diesem Anwendungsbereich kann der Energieverbrauch durch den Einsatz energieeffizienter Regelungskonzepte im Vergleich zum konventionellen Betrieb des Pumpenaggregates bei konstanter Drehzahl signifikant reduziert werden. Zum Einsatz energieeffizienter Regelungskonzepte ist die Kenntnis des hydraulischen Betriebspunktes des Pumpenaggregates, welches die Kombination aus Antrieb und Pumpe darstellt, notwendig. Üblicherweise ist die entsprechende Sensorik zur Erfassung der hydraulischen Größen aus Kostengründen nicht vorhanden, weshalb alternative Ansätze entwickelt wurden, um den hydraulischen Betriebspunkt indirekt beispielsweise anhand der Leistungsaufnahme des Pumpenaggregates zu ermitteln. Diese konventionellen Verfahren besitzen jedoch Einschränkungen, wie die Limitierung des Einsatzes auf einen begrenzten Betriebsbereich des Pumpenaggregates. Um auch bei nicht Vorhandensein der Sensorik zur Erfassung der hydraulischen Größen einen energieeffizienten Betrieb zu ermöglichen, wird in dieser Arbeit ein neues modellbasiertes Verfahren zur Volumenstrombestimmung vorgestellt, welches einen Einsatz über den gesamten Betriebsbereich des Pumpenaggregates ermöglicht. Der Ansatz dieses Verfahrens beruht auf der Überlagerung der Drehzahl des Pumpenaggregates mit einer sinusförmigen Drehzahlvariation und der Extraktion der resultierenden Leistungsschwankung bei der Anregungsfrequenz. Auf Grundlage der extrahierten Leistungskomponenten erfolgt basierend auf in dieser Arbeit entwickelten und anhand von Messungen validierten Modellen der von der Pumpe generierten Förderhöhe und der Eingangsleistung des Antriebs des Pumpenaggregates eine Bestimmung des hydraulischen Betriebspunktes, welcher durch den geförderten Volumenstrom und die generierte Förderhöhe beziehungsweise den Differenzdruck definiert wird. Die Ansätze zur energieeffizienten Regelung von Pumpenaggregaten basieren auf der Regelung der generierten Förderhöhe beziehungsweise dem Differenzdruck statt dem Betrieb bei konstanter Drehzahl. Da die Identifikation des hydraulischen Betriebspunktes des Pumpenaggregates in dieser Arbeit auf Grundlage der entwickelten Modelle erfolgt, stehen dem Pumpenaggregat während des Betriebs keine Messwerte zur Regelung der Förderhöhe durch Sensorik zur Erfassung der hydraulischen Größen zur Verfügung. Daher wird neben dem Ansatz zur Identifikation des hydraulischen Betriebspunktes des Pumpenaggregates ebenfalls ein Ansatz zur Steuerung der generierten Förderhöhe basierend auf den entwickelten Modellen vorgestellt, um einen energieeffizienten Betrieb des Pumpenaggregates zu ermöglichen.
Trajektorienprädiktion für das automatisierte Fahren
(2020) Wissing, Christian; Bertram, Torsten; Konigorski, Ulrich
Moderne Fahrerassistenzsysteme können den Fahrer teilweise von der Fahraufgabe entbinden und das Fahrzeug in einfachen Situationen sicher durch den Straßenverkehr führen. Um den Fahrer vollständig aus der Verantwortung zu entlassen und das Fahrzeug automatisiert zu steuern, ist unter anderem ein umfassendes Verständnis der aktuellen Fahrsituation und eine möglichst gute Vorhersage der weiteren Entwicklung notwendig. Die vorliegende Arbeit beschreibt drei Ansätze zur Prädiktion der Trajektorien von benachbarten Verkehrsteilnehmern in Autobahnszenarien. Dazu wird zunächst eine Simulationsumgebung vorgestellt, die auf die Anforderungen der Entwicklung eines Verfahrens zur Trajektorienprädiktion zugeschnitten ist. Innerhalb der Simulation werden zum einen auftretende Unsicherheiten und Effekte der Sensorwahrnehmung modelliert. Zum anderen bilden stochastische Fahrermodelle das Verhalten der umgebenden Verkehrsteilnehmer ab, sodass realitätsnahe Szenarien erzeugt werden können. Mit Hilfe der Simulationsumgebung werden drei Verfahren zur Trajektorienprädiktion entwickelt. Zunächst wird die Schätzung des aktuellen Fahrmanövers eines beobachteten Verkehrsteilnehmers mit einer effizienten Repräsentation der prädizierten Trajektorie kombiniert. Der Ansatz bildet die jeweils wahrscheinlichste Trajektorie für die betrachteten Manöver mit einer normalverteilten Unsicherheit ab. Im Falle eines Spurwechsels ist für das automatisierte Fahrzeug allerdings nicht nur die wahrscheinlichste Trajektorie sondern vor allem kritische Manöver von Interesse. Um diese in der Prädiktion explizit zu berücksichtigen, wird der manöverbasierte Ansatz um die Schätzung der Verteilung des Spurwechselzeitpunktes erweitert. Da diese nicht immer symmetrisch ist und sich in Abhängigkeit von der Verkehrssituation ändern kann, werden verschiedene Quantile der Verteilung mit einem datenbasierten Schätzverfahren bestimmt. Mit den bedingten Quantilen werden anschließend Trajektorien für unterschiedlich kritische Manöver repräsentiert, sodass diese direkt innerhalb der Planung des automatisierten Fahrzeugs berücksichtigt werden können. Beide Verfahren zur Trajektorienprädiktion betrachten jeden Verkehrsteilnehmer individuell, ohne die Interaktion zwischen einzelnen Fahrzeugen zu berücksichtigen. Gerade für eine lange Prädiktionsdauer von mehr als fünf Sekunden haben Interaktionen einen entscheidenden Einfluss auf das Verhalten der Verkehrsteilnehmer. Daher wird als dritter Ansatz ein Verfahren vorgestellt, das parametrierte Fahrermodelle innerhalb einer Monte Carlo Simulation nutzt, um die Interaktionen zwischen einzelnen Fahrzeugen explizit zu modellieren und somit eine zuverlässige Prädiktion für einen langen Prädiktionshorizont ermöglicht. Die Auswertung stellt die jeweiligen Vor- und Nachteile der drei vorgestellten Verfahren heraus und evaluiert die Anwendbarkeit in einem Versuchsfahrzeug.
Integrierte Fahrdynamikregelung mittels eines hybriden Ansatzes aus Modellinversion, heuristischer beziehungsweise modellprädiktiver relativer Stellgrößenverteilung und der Integration bekannter Regelungssysteme
(2019) Köppern, Johannes; Bertram, Torsten; Otter, Martin
Die vorgestellte integrierte Fahrdynamikregelung bestimmt aus einer Bewegungsvorgabe auf Beschleunigungsebene, Messgrößen vom Fahrzeug und momentanen Umweltparametern Stellgrößen, die das Fahrzeug die Bewegungsanforderung möglichst exakt umsetzen lassen. Die Stellgrößen werden unter gleichzeitiger Berücksichtigung jeder Komponente der Bewegungsvorgabe und der Gesamtheit der verfügbaren Stellmöglichkeiten ermittelt. Verbleiben nach Umsetzen der Vorgabe Freiheitsgrade in den Stellgrößen, so werden diese genutzt, um die Fahrsicherheit zu steigern, indem jeder Reifen möglichst weit von seiner Kraftschlussgrenze entfernt betrieben wird.
Visual robot navigation with omnidirectional vision
(2019) Posada, Luis Felipe; Bertram, Torsten; Mikut, Ralf
In a world where service robots are increasingly becoming an inherent part of our lives, it has become essential to provide robots with superior perception capabilities and acute semantic knowledge of the environment. In recent years, the computer vision field has advanced immensely, providing rich information at a fraction of the cost. It has thereby become an essential part of many autonomous systems and the sensor of choice while tackling the most challenging perception problems. Nevertheless, it is still challenging for a robot to extract meaningful information from an image signal (a high dimensional, complex, and noisy data). This dissertation presents several contributions towards visual robot navigation relying solely on omnidirectional vision. The first part of the thesis is devoted to robust free-space detection using omnidirectional images. By mimicking a range sensor, the free-space extraction in the omniview constitutes a fundamental block in our system, allowing for collision-free navigation, localization, and map-building. The uncertainty in the free-space classifications is handled with fuzzy preference structures, which explicitly expresses it in terms of preference, conflict, and ignorance. This way, we show it is possible to substantially reduce the classification error by rejecting queries associated with a strong degree of conflict and ignorance. The motivation of using vision in contrast to classical proximity sensors becomes apparent after the incorporation of more semantic categories in the scene segmentation. We propose a multi-cue classifier able to distinguish between the classes: floor, vertical structures, and clutter. This result is further enhanced to extract the scene’s spatial layout and surface reconstruction for a better spatial and context awareness. Our scheme corrects the problematic distortions induced by the hyperbolic mirror with a novel bird’s eye formulation. The proposed framework is suitable for self-supervised learning from 3D point cloud data. Place context is integrated into the system by training a place category classifier able to distinguish among the categories: room, corridor, doorway, and open space. Hand-engineered features, as well as those learned from data representations, are considered with different ensemble systems. The last part of the thesis is concerned with local and map-based navigation. Several visual local semantic behaviors are derived by fusing the semantic scene segmentation with the semantic place context. The advantage of the proposed local navigation is that the system can recover from conflicting errors while activating behaviors in the wrong context. Higher-level behaviors can also be achieved by compositions of the basic ones. Finally, we propose different visual map-based navigation alternatives that reproduce or achieve better results compared to classical proximity sensors, which include: map generation, particle filter localization, and semantic map building.
Time-optimal nonlinear model predictive control
(2019) Rösmann, Christoph; Bertram, Torsten; Mönnigmann, Martin
This thesis deals with the development and analysis of novel time-optimal model predictive control concepts for nonlinear systems. Common realizations of model predictive controllers apply direct transcription methods to first discretize and then optimize the subordinate optimal control problems. The key idea of the proposed concepts is to introduce discretization grids in which the underlying discretization is explicitly treated as temporally variable during optimization. A single optimization parameter for all grid intervals leads to the global uniform grid, while the definition of an individual parameter for each interval results in the local uniform and quasi-uniform grid representations. The proposed grids are well-suited for established direct transcription methods such as multiple shooting and collocation. In addition, a proposed non-uniform grid with extended multiple shooting is highly beneficial for bang-singular-bang control systems with simple constraint sets. Minimizing the local time information in all grids leads to the overall time-optimal transition. Integration with state feedback does not immediately guarantee asymptotic stability and recursive feasibility. To this end, the thesis provides a grid adaptation scheme capable of ensuring practical stability and, under more restricted conditions, also asymptotic stability while maintaining feasibility. The practical stability results facilitate the systematic dual-mode control design that restores asymptotic stability and establishes smooth stabilization. The secondary objective of this thesis is the computationally efficient realization of time-optimal model predictive control by exploiting the inherent sparse structures in the optimal control problems. In particular, the efficient computation of first- and second-order derivatives required for iterative optimization is facilitated by a so-called hypergraph. The hypergraph captures the structure of the transcribed optimal control problems and leads to an almost linear relation between computation time and grid size. In addition, the hypergraph shows negligible computation times for each reconfiguration that is essential for grid adaptation. Numerous examples in simulation and with a real experimental system demonstrate the capabilities and potentials of the proposed concepts. Extensive benchmarks in C++ compare the proposed methods with each other and the current state of the art. The methods based on variable discretization outperform the current time-optimal model predictive control methods in the literature, especially with regard to computation time.

Browse

Recent Submissions