HDR-Aufnahmetechnik mit Raw-Workflow

HDR-Aufnahmetechnik mit Raw-Workflow Prof. Gregor Fischer Klaus Hesse-Camozzi Dr.-Ing. Nils Kohlhase Dr.-Ing. Volker Zimmer FH Köln Institut für Me...
Author: Krista Beutel
2 downloads 0 Views 4MB Size
HDR-Aufnahmetechnik mit Raw-Workflow

Prof. Gregor Fischer Klaus Hesse-Camozzi

Dr.-Ing. Nils Kohlhase Dr.-Ing. Volker Zimmer

FH Köln Institut für Medien- und Phototechnik

Leica Camera AG

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Überblick Motivation HDR Workflow-Szenarien §  Bisherige Struktur §  Raw Workflow §  Vorteile HDR Demo System §  Realisierte Software §  Ergebnisse Zusammenfassung

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Motivation Problemstellung: §  Der in einer natürlichen Szene auftretende Dynamikumfang ist nicht reproduzierbar

Zugelaufene Schatten

Ausgefressene Lichter

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

High Dynamic Range Imaging Eine Belichtungsreihe wird zu einem HDR Bild kombiniert:

Aufnahmen verschiedener Belichtung

Dynamikkomprimiertes HDR Bild

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Derzeitiger HDR-Workflow Aufnahme §  Manuelle Belichtungsreihe oder Bracketing-Funktion §  Stativ §  Bildformat vorzugsweise Raw (Linearisierung kann entfallen) §  Konsistenz Weißabgleich zwischen den Belichtungen Bildbearbeitung (z.B. Photoshop CS5) §  Funktion: Automatisieren::Zu HDR Pro zusammenfügen... §  Farbraum: ProPhoto RGB §  Ergebnisdatei *.hdr §  Funktion: Korrekturen::HDR-Tonung... §  Dynamikkompression (Tone Mapping)

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Bisherige Verarbeitungsstruktur

n Pixel x 2 Byte

WB + Farbkorrektur I + Demosaicking

1 Pixel x 3 x 2 Byte

...

...

Pixel x 2 Byte

WB + Farbkorrektur I + Demosaicking

...

1

n Pixel x 3 x 2 Byte

Exposure Fusion

Raw Aufnahmen

HDR Pixel x 3 x 3|4 Byte

HDRDateiformat .hdr, .exr ...

HDR Capture

HDR Pixel x 3 x 3|4 Byte

Tone Mapping

Color Rendering (inkl. Farbkorrektur II)

Output Color Space

Adobe RGB Pixel x 3 x 1 Byte

HDR Processing

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Bisherige Verarbeitungsstruktur Ergebnis: Einzelbild (DNG)

HDR-Bild (.hdr)

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Bisherige Verarbeitungsstruktur Ergebnis: Einzelbild (DNG)

HDR-Verarbeitung (Photoshop-Modus: „fotorealistisch“)

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Bisherige Verarbeitungsstruktur HDR-Verarbeitung (Photoshop-Modus: „fotorealistisch“)

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Bisherige Verarbeitungsstruktur Nachteile §  Hoher manueller und zeitlicher Aufwand §  Hoher Rechenaufwand (-> Farbinterpolation!), hohes Datenvolumen (RGB Farbauszüge) §  Automatische Bildqualität verbesserungsfähig §  RGB-Farbinformation (.hdr) undefiniert •  Status Kamera-Rohdaten •  Fehlende Korrekturen: –  Weißabgleich –  Streulichtkorrektur / Schwarzwertabgleich –  Farbkorrektur / Farbmatrix –  Gradation Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Bisherige Verarbeitungsstruktur Nachteile §  Hoher manueller und zeitlicher Aufwand §  Hoher Rechenaufwand (-> Farbinterpolation!), hohes Datenvolumen (RGB Farbauszüge) §  Automatische Bildqualität verbesserungsfähig §  RGB-Farbinformation (.hdr) undefiniert •  Status Kamera-Rohdaten •  Fehlende Korrekturen: –  Weißabgleich –  Streulichtkorrektur / Schwarzwertabgleich –  Farbkorrektur / Farbmatrix –  Gradation

RawkonverterFunktionalität

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Bisherige Verarbeitungsstruktur

n Pixel x 2 Byte

WB + Farbkorrektur I + Demosaicking

1 Pixel x 3 x 2 Byte

...

...

Pixel x 2 Byte

WB + Farbkorrektur I + Demosaicking

...

1

n Pixel x 3 x 2 Byte

Exposure Fusion

Raw Aufnahmen

HDR Pixel x 3 x 3|4 Byte

HDRDateiformat .hdr, .exr ...

HDR Capture

HDR Pixel x 3 x 3|4 Byte

Tone Mapping

Color Rendering (inkl. Farbkorrektur II)

Output Color Space

Adobe RGB Pixel x 3 x 1 Byte

HDR Processing

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Neue Verarbeitungsstruktur I

1

1

Pixel x 2 Byte

...

...

Pixel x 1 x 2 Byte

n

n

Pixel x 2 Byte

Pixel x 1 x 2 Byte

Exposure Fusion

Raw Aufnahmen

HDR Pixel x 1 x 3|4 Byte

HDR-RawDateiformat .dng ...

HDR Capture

Pixel x 3 x 3|4 Byte HDR Pixel x 1 x 3|4 Byte

WB + Farbkorrektur I + Demosaicking

Tone Mapping

Color Rendering (inkl. Farbkorrektur II)

Output Color Space

Adobe RGB Pixel x 3 x 1 Byte

HDR Raw Processing

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Neue Verarbeitungsstruktur I

1

1

Pixel x 2 Byte

...

...

Pixel x 1 x 2 Byte

n

n

Pixel x 2 Byte

Pixel x 1 x 2 Byte

Exposure Fusion

Raw Aufnahmen

HDR Pixel x 1 x 3|4 Byte

HDR-RawDateiformat .dng ...

HDR Capture

Pixel x 3 x 3|4 Byte HDR Pixel x 1 x 3|4 Byte

WB + Farbkorrektur I + Demosaicking

Tone Mapping

Color Rendering (inkl. Farbkorrektur II)

Output Color Space

Adobe RGB Pixel x 3 x 1 Byte

HDR Raw Processing

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Neue Verarbeitungsstruktur I

1

1

Pixel x 2 Byte

...

...

Pixel x 1 x 2 Byte

n

n

Pixel x 2 Byte

Pixel x 1 x 2 Byte

Exposure Fusion

Raw Aufnahmen

HDR Pixel x 1 x 3|4 Byte

HDR-RawDateiformat .dng ...

HDR Capture

Pixel x 3 x 3|4 Byte HDR Pixel x 1 x 3|4 Byte

WB + Farbkorrektur I + Demosaicking

Tone Mapping

Color Rendering (inkl. Farbkorrektur II)

Output Color Space

Adobe RGB Pixel x 3 x 1 Byte

HDR Raw Processing

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Neue Verarbeitungsstruktur I

1

1

Pixel x 2 Byte

...

...

Pixel x 1 x 2 Byte

n

n

Pixel x 2 Byte

Pixel x 1 x 2 Byte

Exposure Fusion

Raw Aufnahmen

HDR Pixel x 1 x 3|4 Byte

HDR-RawDateiformat .dng ...

HDR Capture

Pixel x 3 x 3|4 Byte HDR Pixel x 1 x 3|4 Byte

WB + Farbkorrektur I + Demosaicking

Tone Mapping

Color Rendering (inkl. Farbkorrektur II)

Output Color Space

Adobe RGB Pixel x 3 x 1 Byte

HDR Raw Processing

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Neue Verarbeitungsstruktur II

1

1 Pixel x 1 x 2 Byte

...

...

Pixel x 2 Byte

n

n

Pixel x 2 Byte

Pixel x 1 x 2 Byte

Exposure Fusion

Raw Aufnahmen Pixel x 1 x 3|4 Byte

Tone Mapping

Pixel x 1 x 2|3 Byte

HDR-RawDateiformat .dng ...

HDR Capture

Pixel x 3 x 2|3 Byte HDR Pixel x 1 x 2|3 Byte

WB + Farbkorrektur I + Demosaicking

Color Rendering (inkl. Farbkorrektur II)

Output Color Space

Adobe RGB Pixel x 3 x 1 Byte

(HDR) Raw Processing

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

HDR-Demo-System

1

1 Pixel x 1 x 2 Byte

...

...

Pixel x 2 Byte

n

n

Pixel x 2 Byte

Pixel x 1 x 2 Byte

Exposure Fusion

Raw Aufnahmen Pixel x 1 x 3|4 Byte

Tone Mapping

Pixel x 1 x 2|3 Byte

HDR-RawDateiformat .dng ...

à S2 HDR-Demo-System

HDR Capture

Pixel x 3 x 2|3 Byte HDR Pixel x 1 x 2|3 Byte

WB + Farbkorrektur I + Demosaicking

(HDR) Raw Processing

Color Rendering (inkl. Farbkorrektur II)

Output Color Space

Adobe RGB Pixel x 3 x 1 Byte

à Photoshop (ACR)

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

HDR-Demo-System Photokina 2010

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

HDR-Demo-System Vorteile §  Vollautomatisch (1-Knopf-Lösung) §  Fusionierung von Rohdaten →  Keine Farbinterpolation (Demosaicking) nötig →  Kleinere Datenmenge und Dateigröße (ca. 1/3) →  Rechenzeitersparnis (ca. 1/3) §  Tonemapping auf Rohdaten →  Tonemapping lässt sich in die Raw-Datei integrieren §  HDR-DNG mit 24/32 Bit Farbtiefe →  HDR-Datei verhält sich wie Kamera-Raw-Datei (Kompatibilität) →  HDR-Datei lässt sich mit Raw-Konvertern öffnen und editieren →  Unbegrenzter Farbumfang (nativer Kamerafarbraum) →  Definierte Farbgebung (Adobe Farbmodell) Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Realisierte Software Exposure Fusion §  Punktoperation zur Überblendung zwischen den Belichtungen →  Fusionierung auf Rohdaten möglich Int -> Float Blending-LUT 1

float 32 Bit

float 32 Bit 0…1

x

Rohbild int 16 Bit Max

1

Arbeitsbild float 32 Bit

Exposure Factor

+

x

+

Arbeitsbild 32 Bit

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Realisierte Software Tone Mapping auf Rohdaten

Bayer Raw

LuminanzTrafo

L

Tone Mapping Retinex

LTM

1/x

x Helligkeitsmaske

RGBBayer

x

Bayer Raw TM

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Realisierte Software Tone Mapping auf Rohdaten HDR (DNG24) ohne Tonemapping

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Realisierte Software Tone Mapping auf Rohdaten Helligkeitsmaske

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Realisierte Software Tone Mapping auf Rohdaten HDR mit Tonemapping

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Ergebnisse Photokina Szene „Glühlampe

DNG

HDR mit Tone Mapping

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Ergebnisse Photokina Szene „Glühlampe HDR-Photoshop (Modus: „fotorealistisch“)

HDR mit Tone Mapping

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Ergebnisse Photokina Szene „Richter-Fenster

DNG

HDR mit Tone Mapping

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Ergebnisse Nachtaufnahme „Kölnmesse

DNG

HDR mit Tone Mapping

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik

Zusammenfassung Was ist neu? §  HDR-Automatik §  Durchgängiger und beschleunigter Rohdaten-Workflow §  Eigenes Tonemapping zur Erhaltung der Farberscheinung §  Tonemapping auf Rohdaten §  HDR-DNG mit 24 Bit Farbtiefe Kritische Punkte §  Bewegte Motive

Prof. Dr.-Ing. Gregor Fischer, © 2011 Institut für Medien- und Phototechnik