HDR-Aufnahmetechnik mit Raw-Workflow
Prof. Gregor Fischer Klaus Hesse-Camozzi
Dr.-Ing. Nils Kohlhase Dr.-Ing. Volker Zimmer
FH Köln Institut für Medien- und Phototechnik
Leica Camera AG
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Überblick Motivation HDR Workflow-Szenarien § Bisherige Struktur § Raw Workflow § Vorteile HDR Demo System § Realisierte Software § Ergebnisse Zusammenfassung
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Motivation Problemstellung: § Der in einer natürlichen Szene auftretende Dynamikumfang ist nicht reproduzierbar
Zugelaufene Schatten
Ausgefressene Lichter
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
High Dynamic Range Imaging Eine Belichtungsreihe wird zu einem HDR Bild kombiniert:
Aufnahmen verschiedener Belichtung
Dynamikkomprimiertes HDR Bild
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Derzeitiger HDR-Workflow Aufnahme § Manuelle Belichtungsreihe oder Bracketing-Funktion § Stativ § Bildformat vorzugsweise Raw (Linearisierung kann entfallen) § Konsistenz Weißabgleich zwischen den Belichtungen Bildbearbeitung (z.B. Photoshop CS5) § Funktion: Automatisieren::Zu HDR Pro zusammenfügen... § Farbraum: ProPhoto RGB § Ergebnisdatei *.hdr § Funktion: Korrekturen::HDR-Tonung... § Dynamikkompression (Tone Mapping)
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Bisherige Verarbeitungsstruktur
n Pixel x 2 Byte
WB + Farbkorrektur I + Demosaicking
1 Pixel x 3 x 2 Byte
...
...
Pixel x 2 Byte
WB + Farbkorrektur I + Demosaicking
...
1
n Pixel x 3 x 2 Byte
Exposure Fusion
Raw Aufnahmen
HDR Pixel x 3 x 3|4 Byte
HDRDateiformat .hdr, .exr ...
HDR Capture
HDR Pixel x 3 x 3|4 Byte
Tone Mapping
Color Rendering (inkl. Farbkorrektur II)
Output Color Space
Adobe RGB Pixel x 3 x 1 Byte
HDR Processing
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Bisherige Verarbeitungsstruktur Ergebnis: Einzelbild (DNG)
HDR-Bild (.hdr)
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Bisherige Verarbeitungsstruktur Ergebnis: Einzelbild (DNG)
HDR-Verarbeitung (Photoshop-Modus: „fotorealistisch“)
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Bisherige Verarbeitungsstruktur HDR-Verarbeitung (Photoshop-Modus: „fotorealistisch“)
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Bisherige Verarbeitungsstruktur Nachteile § Hoher manueller und zeitlicher Aufwand § Hoher Rechenaufwand (-> Farbinterpolation!), hohes Datenvolumen (RGB Farbauszüge) § Automatische Bildqualität verbesserungsfähig § RGB-Farbinformation (.hdr) undefiniert • Status Kamera-Rohdaten • Fehlende Korrekturen: – Weißabgleich – Streulichtkorrektur / Schwarzwertabgleich – Farbkorrektur / Farbmatrix – Gradation Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Bisherige Verarbeitungsstruktur Nachteile § Hoher manueller und zeitlicher Aufwand § Hoher Rechenaufwand (-> Farbinterpolation!), hohes Datenvolumen (RGB Farbauszüge) § Automatische Bildqualität verbesserungsfähig § RGB-Farbinformation (.hdr) undefiniert • Status Kamera-Rohdaten • Fehlende Korrekturen: – Weißabgleich – Streulichtkorrektur / Schwarzwertabgleich – Farbkorrektur / Farbmatrix – Gradation
RawkonverterFunktionalität
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Bisherige Verarbeitungsstruktur
n Pixel x 2 Byte
WB + Farbkorrektur I + Demosaicking
1 Pixel x 3 x 2 Byte
...
...
Pixel x 2 Byte
WB + Farbkorrektur I + Demosaicking
...
1
n Pixel x 3 x 2 Byte
Exposure Fusion
Raw Aufnahmen
HDR Pixel x 3 x 3|4 Byte
HDRDateiformat .hdr, .exr ...
HDR Capture
HDR Pixel x 3 x 3|4 Byte
Tone Mapping
Color Rendering (inkl. Farbkorrektur II)
Output Color Space
Adobe RGB Pixel x 3 x 1 Byte
HDR Processing
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Neue Verarbeitungsstruktur I
1
1
Pixel x 2 Byte
...
...
Pixel x 1 x 2 Byte
n
n
Pixel x 2 Byte
Pixel x 1 x 2 Byte
Exposure Fusion
Raw Aufnahmen
HDR Pixel x 1 x 3|4 Byte
HDR-RawDateiformat .dng ...
HDR Capture
Pixel x 3 x 3|4 Byte HDR Pixel x 1 x 3|4 Byte
WB + Farbkorrektur I + Demosaicking
Tone Mapping
Color Rendering (inkl. Farbkorrektur II)
Output Color Space
Adobe RGB Pixel x 3 x 1 Byte
HDR Raw Processing
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Neue Verarbeitungsstruktur I
1
1
Pixel x 2 Byte
...
...
Pixel x 1 x 2 Byte
n
n
Pixel x 2 Byte
Pixel x 1 x 2 Byte
Exposure Fusion
Raw Aufnahmen
HDR Pixel x 1 x 3|4 Byte
HDR-RawDateiformat .dng ...
HDR Capture
Pixel x 3 x 3|4 Byte HDR Pixel x 1 x 3|4 Byte
WB + Farbkorrektur I + Demosaicking
Tone Mapping
Color Rendering (inkl. Farbkorrektur II)
Output Color Space
Adobe RGB Pixel x 3 x 1 Byte
HDR Raw Processing
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Neue Verarbeitungsstruktur I
1
1
Pixel x 2 Byte
...
...
Pixel x 1 x 2 Byte
n
n
Pixel x 2 Byte
Pixel x 1 x 2 Byte
Exposure Fusion
Raw Aufnahmen
HDR Pixel x 1 x 3|4 Byte
HDR-RawDateiformat .dng ...
HDR Capture
Pixel x 3 x 3|4 Byte HDR Pixel x 1 x 3|4 Byte
WB + Farbkorrektur I + Demosaicking
Tone Mapping
Color Rendering (inkl. Farbkorrektur II)
Output Color Space
Adobe RGB Pixel x 3 x 1 Byte
HDR Raw Processing
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Neue Verarbeitungsstruktur I
1
1
Pixel x 2 Byte
...
...
Pixel x 1 x 2 Byte
n
n
Pixel x 2 Byte
Pixel x 1 x 2 Byte
Exposure Fusion
Raw Aufnahmen
HDR Pixel x 1 x 3|4 Byte
HDR-RawDateiformat .dng ...
HDR Capture
Pixel x 3 x 3|4 Byte HDR Pixel x 1 x 3|4 Byte
WB + Farbkorrektur I + Demosaicking
Tone Mapping
Color Rendering (inkl. Farbkorrektur II)
Output Color Space
Adobe RGB Pixel x 3 x 1 Byte
HDR Raw Processing
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Neue Verarbeitungsstruktur II
1
1 Pixel x 1 x 2 Byte
...
...
Pixel x 2 Byte
n
n
Pixel x 2 Byte
Pixel x 1 x 2 Byte
Exposure Fusion
Raw Aufnahmen Pixel x 1 x 3|4 Byte
Tone Mapping
Pixel x 1 x 2|3 Byte
HDR-RawDateiformat .dng ...
HDR Capture
Pixel x 3 x 2|3 Byte HDR Pixel x 1 x 2|3 Byte
WB + Farbkorrektur I + Demosaicking
Color Rendering (inkl. Farbkorrektur II)
Output Color Space
Adobe RGB Pixel x 3 x 1 Byte
(HDR) Raw Processing
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
HDR-Demo-System
1
1 Pixel x 1 x 2 Byte
...
...
Pixel x 2 Byte
n
n
Pixel x 2 Byte
Pixel x 1 x 2 Byte
Exposure Fusion
Raw Aufnahmen Pixel x 1 x 3|4 Byte
Tone Mapping
Pixel x 1 x 2|3 Byte
HDR-RawDateiformat .dng ...
à S2 HDR-Demo-System
HDR Capture
Pixel x 3 x 2|3 Byte HDR Pixel x 1 x 2|3 Byte
WB + Farbkorrektur I + Demosaicking
(HDR) Raw Processing
Color Rendering (inkl. Farbkorrektur II)
Output Color Space
Adobe RGB Pixel x 3 x 1 Byte
à Photoshop (ACR)
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
HDR-Demo-System Photokina 2010
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
HDR-Demo-System Vorteile § Vollautomatisch (1-Knopf-Lösung) § Fusionierung von Rohdaten → Keine Farbinterpolation (Demosaicking) nötig → Kleinere Datenmenge und Dateigröße (ca. 1/3) → Rechenzeitersparnis (ca. 1/3) § Tonemapping auf Rohdaten → Tonemapping lässt sich in die Raw-Datei integrieren § HDR-DNG mit 24/32 Bit Farbtiefe → HDR-Datei verhält sich wie Kamera-Raw-Datei (Kompatibilität) → HDR-Datei lässt sich mit Raw-Konvertern öffnen und editieren → Unbegrenzter Farbumfang (nativer Kamerafarbraum) → Definierte Farbgebung (Adobe Farbmodell) Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Realisierte Software Exposure Fusion § Punktoperation zur Überblendung zwischen den Belichtungen → Fusionierung auf Rohdaten möglich Int -> Float Blending-LUT 1
float 32 Bit
float 32 Bit 0…1
x
Rohbild int 16 Bit Max
1
Arbeitsbild float 32 Bit
Exposure Factor
+
x
+
Arbeitsbild 32 Bit
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Realisierte Software Tone Mapping auf Rohdaten
Bayer Raw
LuminanzTrafo
L
Tone Mapping Retinex
LTM
1/x
x Helligkeitsmaske
RGBBayer
x
Bayer Raw TM
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Realisierte Software Tone Mapping auf Rohdaten HDR (DNG24) ohne Tonemapping
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Realisierte Software Tone Mapping auf Rohdaten Helligkeitsmaske
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Realisierte Software Tone Mapping auf Rohdaten HDR mit Tonemapping
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Ergebnisse Photokina Szene „Glühlampe
DNG
HDR mit Tone Mapping
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Ergebnisse Photokina Szene „Glühlampe HDR-Photoshop (Modus: „fotorealistisch“)
HDR mit Tone Mapping
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Ergebnisse Photokina Szene „Richter-Fenster
DNG
HDR mit Tone Mapping
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Ergebnisse Nachtaufnahme „Kölnmesse
DNG
HDR mit Tone Mapping
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
Zusammenfassung Was ist neu? § HDR-Automatik § Durchgängiger und beschleunigter Rohdaten-Workflow § Eigenes Tonemapping zur Erhaltung der Farberscheinung § Tonemapping auf Rohdaten § HDR-DNG mit 24 Bit Farbtiefe Kritische Punkte § Bewegte Motive
Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik
