BM3D-verfeinerte Zwischenbildsynthese für unterschiedlich aufgelöste Referenzansichten

Abstract

Die Synthese unbekannter Zwischenansichten mit Hilfe von Tiefenkarten ist eine Kernaufgabe in der 3DVideosignalverarbeitung. Um ein hochqualitatives Zwischenbild generieren zu können, werden gewöhnlich mehrere hochaufgelöste Referenzansichten verwendet. Prinzipiell werden dabei die beiden benachbarten Kameraansichten mit Hilfe der entsprechenden Tiefeninformation in die Bildebene der Zielansicht projiziert und anschließend zusammengefügt.Im Normalfall bleiben nach dem Zusammenfügen der beiden Projektionsergebnisse nur noch sehr kleine Lochstrukturen übrig, die mit unterschiedlichen Interpolationsmethoden geschlossen werden können. Um die Kosten im Bezug auf das genutzte Kameraarray zu senken, könnten einige der hochauflösenden Kameras durch niedrigaufgelöste ersetzt werden. Diese niedrigauflösenden Kameras sind zwar billiger in der Anschaffung, liefern im Gegenzug aber auch eine deutlich schlechtere Bildqualität und beeinflussen damit das Ergebnis der Zwischenbildsynthese, besonders in Bildbereichen, die nur in der niedrigaufgelösten Referenz sichtbar sind. In diesem Beitrag wird die Fragestellung behandelt, wie ein Zwischenbild hoher Qualität aus zwei Kameraansichten generiert werden kann, die stark unterschiedliche Auflösungen und damit Bilder unterschiedlicher visueller Qualität liefern. Das Hauptaugenmerk dieser Arbeit liegt auf einem Nachverarbeitungsschritt, basierend auf dem BM3D-Verfahren, mit dem Ziel, Bildbereiche, die aus der niedrigaufgelösten Referenzansicht eingefügt wurden, an ihre hochaufgelöste Umgebung anzupassen. Die Simulationsergebnisse zeigen, dass die BM3D-Verfeinerung von synthetisierten Zwischenbildern zu einem PSNR-Gewinn von bis zu 0,51 dB auf dem gesamten Bild und 5,69 dB bezogen auf die Verfeinerungspositionen führt. Auch die visuelle Bildqualität lässt sichdurch die vorgeschlagene Nachverarbeitung deutlich steigern.