Aktivitäts- und kontextsensitive Prozesserkennung in der Intralogistik

Abstract

Diese Arbeit präsentiert ein Verfahren zur automatischen Erkennung von Arbeitsprozessen auf Basis menschlicher Aktivitäts- und Kontextinformationen. Bisherige Ansätze der menschlichen Aktivitätserkennung sind als automatisches Verfahren zur Ermittlung von Ist-Zeitdaten in der Intralogistik nach dem Vorbild der REFA-Zeitstudie unzureichend. Ihre Klassifikationsergebnisse sind bislang kaum semantisch interpretierbar und erlauben keine Ableitung von Arbeitsprozessen. Auf Grundlage systematischer Literatur- und Datensatzanalysen wurde ein Framework zur standardisierten Erstellung annotierter Aktivitätsdatensätze entwickelt und mittels einer quantitativen Umfrage unter Autoren bestehender Benchmark-Datensätze sowie durch eine konzeptionelle Analyse der Generalisierbarkeit auf verwandte Forschungsbereiche und industrielle Unternehmen evaluiert. Auf dem Framework aufbauend wurde ein multimodaler, manuell annotierter Datensatz für intralogistische Arbeitsprozesse (DaRA) erstellt. Im Gegensatz zu bestehenden Datensätzen enthält er neben Bewegungsaktivitäten auch kontextuelle Annotationen und eine deutlich höhere Labelgranularität. Dadurch lassen sich erkannte Aktivitäten konkreten Arbeitsschritten zuordnen und auf mehreren Abstraktionsebenen vom einzelnen Handlungsschritt bis zum Gesamtprozess analysieren. Auf Basis dieses Datensatzes wurden Verfahren zur Prozesserkennung mittels überwachten Deep Learnings empirisch evaluiert. Die Experimente zeigen, dass sich Prozessschritte bereits aus reduzierten Aktivitäts- und Ortsinformationen rekonstruieren lassen. Teilprozesse werden mit einem F1-Maß von 78,65 % und Feinprozesse von 58,67 % erkannt. Die Ergebnisse zeigen, dass menschliche Aktivitätserkennung über die Analyse von Bewegungsmustern hinaus als Instrument zur strukturierten Analyse intralogistischer Arbeitsprozesse eingesetzt werden kann. Dies eröffnet die Möglichkeit einer automatisierten Auswertung von Arbeitsabläufen.

This thesis presents a method for the automatic recognition of work processes based on human activity and contextual data. Existing approaches to detecting human activity are inadequate as an automated method for determining actual time data in intralogistics, based on the REFA time study method. Their classification results have so far been largely impossible to interpret semantically and do not allow for the identification of work processes. Based on systematic literature and dataset analyses, a framework for the standardized creation of annotated activity datasets was developed and evaluated through a quantitative survey of authors of existing benchmark datasets and a conceptual analysis of generalizability to related research areas and industrial enterprises. Building on the framework, a multimodal, manually annotated dataset for intralogistics work processes (DaRA) was created. In contrast to existing datasets, it contains contextual annotations and a significantly higher label granularity in addition to movement activities. This allows recognized activities to be assigned to specific work steps and analyzed at several levels of abstraction, from individual action steps to the overall process. Based on this dataset, methods for process recognition using supervised deep learning were empirically evaluated. The experiments indicate that process steps can already be reconstructed from reduced activity and location information. Sub-level processes are recognized with an F1 score of 78.65 % and low-level processes with 58.67 %. The results prove that human activity recognition can be used as a tool for structured analysis of intralogistical work processes beyond the analysis of movement patterns. This opens up the possibility of automated evaluation of workflows.