Neuronale Ansätze zur semantischen Analyse handschriftlicher Dokumentenbilder
Loading...
Date
2024
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
In den letzten Jahrzehnten hat die weltweite Digitalisierung physischer Dokumente eine wichtige Grundlage für die langfristige Bewahrung und Zugänglichkeit von Informationen geschaffen. Die aktuelle Herausforderung besteht darin, Technologien zu entwickeln, die eine effiziente Durchsuchung und semantische Analyse dieser großen Datenmengen ermöglichen. Insbesondere handschriftliche Dokumente stellen dabei besondere Anforderungen, da sie oft nur als Bilddaten vorliegen und eine hohe Variabilität aufweisen. Diese Arbeit vergleicht zwei Ansätze zur semantischen Analyse handschriftlicher Dokumentenbilder: einen traditionellen Ansatz, der auf der Kombination von Handschriftenerkennung und Textanalyse basiert, und einen Ende-zu-Ende Ansatz ohne explizite Texterkennung. Im ersten Verfahren werden handschriftliche Bilddaten in maschinenlesbare Text umgewandelt und anschließend semantisch analysiert, was jedoch das Risiko von Fehlerfortpflanzungen birgt. Der alternative Ende-zu-Ende Ansatz löst das Problem der Fehlerfortpflanzungen, nutzt jedoch nicht die jüngsten Fortschritte aus dem Natural Language Processing Bereich. In mehreren Benchmarks wird das Potenzial beider Ansätze zur Analyse handschriftlicher Dokumentenbilder systematisch untersucht. Ein Hauptproblem für Ansätze ohne Texterkennung ist das Fehlen vortrainierter semantischer Wortbildrepräsentationen. Zur Lösung wird ein Ansatz zur cross-modalen Wissensdestillation vorgestellt, der semantische Informationen aus maschinenlesbaren Texten auf handschriftliche Bilder überträgt. Dazu werden handschriftliche Wortbilder mithilfe eines neuronalen Faltungsnetzwerks in einen textuellen semantischen Vektorraum eingebettet. Die Ergebnisse zeigen, dass diese Methode entscheidend für Ende-zu-Ende Modelle zur Erreichung des aktuellen Leistungsniveaus in der semantischen Analyse von handschriftlichen Dokumenten ist.
Description
Table of contents
Keywords
Dokumentenanalyse, Wissensdestillation, Dokumentenverständnis