Eßer, Julian2025-10-222025-10-222025http://hdl.handle.net/2003/4404110.17877/DE290R-25809Autonomous mobile robots have the potential to transform industries by performing various tasks, such as material handling and transportation. As technology advances towards dynamic robots capable of interacting with their environments, controlling these systems becomes increasingly challenging. Learning-based control offers a promising approach, enabling robots to adapt to new tasks based on their experiences in dynamic environments. Such adaptability is crucial for success in real-world applications. This dissertation explores Guided Reinforcement Learning (RL) methodologies aimed at addressing common challenges such as training speed, policy performance, and the transfer from simulation to reality, all of which are essential for deploying robots in real-world scenarios. The first part of this thesis introduces a novel taxonomy for Guided RL that systematically incorporates external knowledge sources, including expert demonstrations and prior experiences. This approach enhances the efficiency and effectiveness of the training process. The dissertation also includes a comprehensive survey of Guided RL methods and practical guidelines for their application in various robotics contexts, allowing researchers and practitioners to choose the most suitable strategies for their specific needs. The second part includes an extensive case study on learning-based control for evoBOT, a dynamic two-wheeled robot developed by the Fraunhofer Institute for Material Flow and Logistics IML. This study illustrates how Guided RL techniques can significantly improve learning-based control, resulting in rapid training, robustness against disturbances, and successful transfer of trained policies to the physical robot. Lastly, the thesis introduces a generalized action space for robot control, providing a formulation that operates directly at the torque level. Benchmarking evaluates the impact of different action spaces on training efficiency and policy performance across multiple robotic platforms, offering valuable insights into optimizing control strategies. Overall, this work contributes to the advancement of robot learning, offering valuable insights and methodologies for effectively training and implementing learning-based control strategies in complex, dynamic robotic systems. Therefore, this work lays the groundwork for improving the capabilities of autonomous robots in real-world applications, promoting greater integration of robotics into everyday life. Key results of this work, including publications, the robot simulation model, and the training code, are available for open access to encourage further research in this field.Autonome mobile Roboter haben das Potenzial die Industrie zu transformieren, indem sie verschiedene Aufgaben wie Materialhandhabung und Transport übernehmen. Mit dem technologischen Fortschritt hin zu dynamischen Robotern, die mit ihrer Umgebung interagieren können, wird die Steuerung dieser Systeme immer komplexer. Lernbasierte Regelung bietet einen vielversprechenden Ansatz, der es den Robotern ermöglicht, sich auf der Grundlage ihrer Erfahrungen in dynamischen Umgebungen an neue Aufgaben anzupassen. Eine solche Anpassungsfähigkeit ist entscheidend für den Erfolg in realen Anwendungen. Diese Dissertation bietet eine umfassende Untersuchung von Methoden des geführten Verstärkungslernens (Guided Reinforcement Learning, RL), welche darauf abzielen die Trainingsgeschwindigkeit und Performance zu verbessern, sowie die Übertragbarkeit der lernbasierten Regler von der Simulation auf die realen Roboter zu ermöglichen. Der erste Teil dieser Arbeit stellt eine neuartige Taxonomie für Guided RL vor, die systematisch externe Wissensquellen einbezieht. Dieser Ansatz steigert die Effizienz und Effektivität des Trainingsprozesses. Die Dissertation enthält auch eine umfassende Studie zu Guided RL Methoden sowie praktische Richtlinien für deren Anwendung in verschiedenen Kontexten der Robotik, die es Forschern und Anwendern ermöglichen, die am besten geeigneten Strategien für ihre individuellen Anforderungen auszuwählen. Der zweite Teil der Arbeit enthält eine umfassende Fallstudie zur lernbasierten Regelung von evoBOT, einem dynamischen zweirädrigen Roboter, der vom Fraunhofer-Institut für Materialfluss und Logistik IML entwickelt wurde. Diese Studie veranschaulicht, wie Guided-RL-Techniken die gelernten Regler erheblich verbessern können, was zu schnellerem Training, Robustheit gegenüber Störungen und der erfolgreichen Übertragung der trainierten Regler auf den physischen Roboter führt. Schließlich wird im dritten Teil dieser Arbeit ein verallgemeinerter Aktionsraum für die Robotersteuerung eingeführt, der eine Formulierung bietet, die direkt auf Drehmomentebene arbeitet. Dieser Aspekt der Arbeit bewertet die Auswirkungen verschiedener Aktionsräume auf die Performance gelernter Regler für verschiedene Roboterplattformen und bietet wertvolle Einblicke in die Optimierung von Regelungsstrategien. Insgesamt leistet diese Arbeit einen Beitrag zur Weiterentwicklung des Roboterlernens und bietet wertvolle Einblicke und Methoden für ein effektives Training und die Implementierung lernbasierter Regelstrategien in komplexen, dynamischen Robotern. Somit legt diese Arbeit den Grundstein für die Verbesserung der Fähigkeiten autonomer Roboter in realen Anwendungen und das tägliche Leben. Zentrale Ergebnisse dieser Arbeit, einschließlich der Veröffentlichungen, des Simulationsmodells und des Trainingscodes, sind frei zugänglich, um die weitere Forschung auf diesem Gebiet zu fördern.enEmbodies AIRobotikKIReinforcement Learning620670PhDThesisRobotikKünstliche IntelligenzBestärkendes Lernen (Künstliche Intelligenz)