Virtuelle und Erweiterte Realität Übersichtsvortrag mit Demos auf 'PC', Tablets und Smartphones für das Seniorennetz Erlangen am 11. Januar 2017 [email protected], 09132 4450

Vorbemerkungen • Meine Vita (3D: Kosmos-Baukasten, IT: Studium, VR: Messe-Projekte)

• Mein Wunsch: Aktive Zuhörer: Ihre Fragen  unterbrechen Sie mich!

• Mein Ziel: Grundlagen/Informationen vermitteln  Ihre Begeisterung für neue Technik/Möglichkeiten

• Ihre Frage: "Wie kann ich die zunehmenden VR/AR-Angebote im Internet für mich privat nutzen?“ 07.11.2016

Rainer Zumpe

2

Bisherige Stereo-3D-Techniken • • • •

Anaglyphen Shutter Polarisation Prismenmasken

(rot/grün, rot/cyan) (aktiv: IR-Sender/Empfänger) (passiv) (Prismen-Display, Head-Tracking)

• 4 Anaglyphen-Beispiele:  ... 07.11.2016

Rainer Zumpe

3

© S. Bustany

07.11.2016

© M. Heuckelbach

© M. Heuckelbach

Rainer Zumpe

© H. Gärtner

4

Sie sind in guter Gesellschaft (1)

07.11.2016

Rainer Zumpe

5

Sie sind in guter Gesellschaft (2)

07.11.2016

Rainer Zumpe

6

Agenda: „Spielzeug oder Werkzeug?“ • Begriffe: VR, AR, HMD, Cardboard, Console, 2D/3D, mono/stereo • Entwicklungen: + Vom Foto über Streifen- und 360°-Panorama zum KugelPanorama + Vom Video zum 360°-Video + Vom passiven Info-Gebrauch zum aktiven Info-Erlebnis (Immersion) • Erstellen und 'Erleben' von 'toten'/animierten/interaktiven 3D-VR-Welten: 'Eingabe-/Ausgabe'-Geräte und -Software; (hier speziell: 'PC', Tablet und Smartphone)

• Industrielle und private Nutzung: Beispiele; Vor-/Nachteile; heutige Grenzen; Zukunft; Diskussion 11.01.2017

Rainer Zumpe

7

Bisherige Hinweise • Hinweis 1: Bringen Sie Ihr eigenes Tablet/Smartphone mit und laden Sie z. B. vom Apple Store, Google Play, Amazon App-Shop z. B. die Apps (Google:) Cardboard, (Süddeutsche:) SZ VR, (ZDF:) ZDF VR, (arte:) Arte 360, Polar Sea 360, Within, ...; auf YouTube/vr finden Sie viele weitere 3D/360°-Beispiele • Hinweis 2: Wenn Sie sich ein Cardboard kaufen wollen (≈5...20 €), bitte nur eins mit (Magnet-)Schalter! 11.01.2017

Rainer Zumpe

8

Unsere Präsentationstechnik • Bekannt: 'PC' mit Beamer, Lautsprechern • VR-Demos ...  

 

per ('PC'), Tablet und Smartphone Bedienung ohne Tastatur und Maus, per „Finger-Gesten“, per Gyroscope (Rotationssensoren) VR-Demos in 3D (stereo) nur per Cardboard/Headset hier per WLAN zum Beamer (streamen) über „Apple TV“ (Apple-Signalumsetzer für TV) „Chromecast“ für Android (Google-Signalumsetzer f. TV) „Teamviewer“ auf PC

11.01.2017

Rainer Zumpe

9

Virtuelle und Erweiterte Realität „Spielzeug oder Werkzeug?“ Virtual Reality (VR) Eine Computer-Technologie, die eine reale oder imaginäre Welt darstellt, darin die physische Präsenz des Benutzers simuliert sowie Interaktionen des Benutzers in dieser Umgebung ermöglicht (z. B. Google Earth, Google Street View, Sternkarte „StarWalk“)

Augmented Reality (AR) Eine Live-Beobachtung einer physischen, realen Umgebung, deren Wahrnehmung durch computergenerierten Input wie Ton, Video, Grafiken, VR oder GPS-Daten ergänzt wird (z. B. bei Fußball-TV das Einblenden von Entfernungen bei Freistößen mithilfe eines Kreises oder einer Linie; Pokemon) 11.01.2017

Rainer Zumpe

10

Begriffe/Abkürzungen • VR • • • • • • •

Virtual Reality/Virtuelle Realität: per Software erzeugte „virtuelle Welt“ AR Augmented Reality/Erweiterte/Unterstützte Realität: durch zusätzl., Kontext-sensitive Infos erweiterte „reale Welt“ HMD Head Mounted Display, Head Up Display, Headset, „Brille“ Cardboard preiswertes, handheld „HMD“ Console Video Game Console, Eingabemedium für Computer-Spiele 2D „flache“, zweidimensionale Präsentation (Papier  Display) 3D „räumliche“, dreidimensionale Präsentation stereoskop: (derzeit nur per „Brille“: HMD, Cardboard) mono/stereo Erlebnisart von Sehen und Hören ( Immersion)

11.01.2017

Rainer Zumpe

11

Presse-Infos (1) (02.11.16, Spiegel) Verkaufsstart für „Daydream View“ Googles VR-Brille kommt am 10. November 2016 Google hat ein eigenes Headset für VR gebaut. Für dt. Kunden ist die Brille ab 10.11.16 für 69 € Das neue Pixel-Smartphone (m.), Chromecast Ultra (l.), Daydream View (r.), Controller (u.)

11.01.2017

Rainer Zumpe

12

Presse-Infos (2) (24.09.16, Spiegel) Europa-Park in Rust: Der "Alpenexpress VR-Ride" bietet eine Achterbahnfahrt, bei der die Besucher per VR-Brille fantastische Welten erleben, die in der Realität unmöglich wären, z. B. auf einem Drachen reiten, sodass sich das Ganze wirklich echt anfühlt, inklusive Fahrtwind und Beschleunigungskräften. Drehen die Besucher ihren Kopf, ändert sich auch der Blick auf die künstliche Welt. Der Trick ist, dass die echte Fahrt mit der berechneten Fantasiewelt synchronisiert wird ( Immersion). 11.01.2017

Rainer Zumpe

13

Presse-Infos (3) (25.09.2015, zdf) Vulkane in 3D und 360° Mit dem neuen VR-Projekt von Terra X kommen die User einem aktiven Vulkan näher als es jedem wagemutigen Vulkanologen möglich ist. Der Film ist für VR-Brillen optimiert, kann aber auch auf normalen PC (Desktop) geschaut werden. Desktop-Version 360°-Video für PC und Smartphone ohne VR-Brille (ohne 3D-Effekt) Cardboard-Version 360°-Video für Smartphones mit VR-Brille (mit 3D-Effekt) (aber: unterschiedliche Bedienung!) 11.01.2017

Rainer Zumpe

14

Presse-Infos (4) (Datum?, Welt) Virtual Reality Für Gamer ist es der Kick, für Mediziner eine Chance und für Techniker die Zukunft: Eine Realität, die nur virtuell existiert, in der man sich aber bewegen, die man erfahren und erfühlen kann. Die Technologie steckt noch in den Anfängen – aber sie könnte unser Leben revolutionieren. WÄHLEN SIE EINEN BEREICH! ((aber nichts geht!))

11.01.2017

Rainer Zumpe

15

Presse-Infos (5) (Datum?, SZVR) Die virtuelle Süddeutsche Zeitung Eine gute Geschichte geht neue Wege. Und um gute Geschichten zu erzählen, muss auch eine Zeitung neue Wege gehen. Deswegen erzählt die SZ von nun an ausgewählte Reportagen in Virtual Reality oder als 360°Videos. Die Geschichten lassen sich ... erleben: Mit einer VR-Brille, auf dem Smartphone oder am PC-Bildschirm. Der Leser bewegt sich durch die Schauplätze der Handlung, trifft die Protagonisten, steht mitten im Geschehen. „Meer der Verzweifelten“ 11.01.2017

Rainer Zumpe

16

Formen von VR und AR Unterschied: 2D oder 3D ( stereoskopes Sehen und Hören) VR: Nutzer bestimmt den Blickwinkel(!)

VR 360°-Foto, z. B.: Google Earth/Street View 360°-Video, z. B.: YouTube 360 Animierte/gerenderte virtuelle Welt ( interaktive Spiele)

AR Direkter Blick auf die reale Welt durch ein transparentes Display, plus (interaktive) animierte/gerenderte Zusatz-Infos 11.01.2017

Rainer Zumpe

17

Ausflug in die Foto-/Video-Welt Bisher: Fotograf/Kameramann legt Blickwinkel fest, sorgt für Belichtung/Fokus/Auflösung, ... Heute: ... nicht mehr bei VR/AR!; derzeitige Grenzen: • Auflösung/Pixelzahl  Speicher, Bandbreite,  in VR meist reduzierte Auflösung (4K  SVGA) • CPU/GPU-Leistung  Blickwinkel, Echtzeit/Latenz • HDR (High Definition Range),  Cam-Demo (Panorama)  in VR meist reduzierter Kontrast-Umfang • Vom Foto  360°-Streifen-  Kugel-Panorama; z. B.: AirPano, YouTube360, Street View (3D), Sternkarte • (Neue 3D-Formate: z. B. Seene, Fyuse, ...) 11.01.2017

Rainer Zumpe

18

VR: Beispiel Architektur/Bau

11.01.2017

Rainer Zumpe

19

VR: Beispiel Touristik z. B. Ferienanlage: hapimag/albufeira/360-tour; + Google Earth/Albufeira!

11.01.2017

Rainer Zumpe

20

VR: Animierte Beispiele z. B. „Other Places“: youtu.be/...; (Design-Aufwand!)

11.01.2017

Rainer Zumpe

21

AR: Beisp. Montage/Design/Service

11.01.2017

Rainer Zumpe

22

AR: Beispiel CAD/Konstruktion

Werbevideo Hololens 11.01.2017

Rainer Zumpe

23

AR: weitere Beispiele ... • Maurer sieht auf Baustelle die zu bauenden Wände mit Zusatzinfos für Installationen, ... • Kunde sieht im (leeren) Küchenraum die geplante/bestellte Kücheneinrichtung, wählt Alternativen • Kunde setzt sich in reales Auto/Flugzeug/Bahn und wählt alternative Ausstattung (Komfort, Design, ...) • ...-Training/Ausbildung: mit Einblendungen (z. B. Flug-/Fahrsimulator: Stress) •11.01.2017 Sternenkarte (mit Anvisier-Infos) Rainer Zumpe 24

Stereo-(Be)Nutzung von VR/AR Stereoskope Anzeige ((für 2 Augen!)) • HMD, Cardboard • TV: Shutter, Polarisation, Rot/Grün (TV: Side-by-side, Top-down) • Insellösungen: in die Augen Sensoren • Head-Tracking • Motion-Tracking • Eye-Tracking • Controller für die Interaktion (z. B. Oculus Touch, 200 €) • Buttons/Tasten in HW/SW (auf der HoloLens) ‘PC’-Leistung • Hoch: für bestmögliche Illusion • Keine Latenz: Vermeiden der See-Krankheit 11.01.2017

Rainer Zumpe

25

Produktion von VR/AR-Material • Spezial-Kameras für Panorama-Fotos/-Videos

• 3D-Modellierer (Software) Beispiel: SketchUp 11.01.2017

Rainer Zumpe

26

3D-Modellierer Beispiel: SketchUp

11.01.2017

Rainer Zumpe

27

Aufwand  Datenvolumen Beispiel ZDF/TerraX/Vulkane (360°-2D/3D-Video) • • • • •

25 Frame/s 4K: 250 MB/Frame Stereo: x 2 4 min: ≈4 TB 2,5 h Render-Zeit/Frame

Render-Aufwand: Materialeigensch., Beleuchtung, Animation, ... 11.01.2017

Rainer Zumpe

28

Großes Interesse im Markt • • • • • • •

Google (Glass, Cardboard, HMD Daydream) Facebook (kauft Oculus VR für 2 Mrd. $: Oculus Rift) Microsoft (HoloLens) AR Sony (PlayStation VR) Daydream View Samsung (Gear-VR) Apple (Gerüchte) Startups (...)

Viele Unternehmen sehen großes Potenzial in VR/AR und investieren enorme Summen 11.01.2017

Rainer Zumpe

29

VR-Brillen im Vergleich 

VR-Nerds (Tab.)

Google Oculus Rift

(Nur kleine Auswahl)

Sony Playstation VR

Samsung Gear-VR 2 11.01.2017

HTC Vive

Rainer Zumpe

30

AR-Brillen im Vergleich  ARVRZone

(Tab.)

(Nur kleine Auswahl) Google Glass 2, 1500 $, +Smartphone

Microsoft HoloLens, 3300 €

11.01.2017

Rainer Zumpe

31

Anwendungsgebiete • Militär • Medizin • • • • • • •

Engineering Konstruktion Anlagenbau Unterhaltung Sport Mode Vertrieb

11.01.2017

(Fahr-/Flugsimulator) (Planung Chirurgie, RoboterChirurgie, Phobie-Behandlung, Ausbildung) (Auto-, Eisenbahn-Industrie) (Architektur, Bau) (Kosten) (PC-Spiele, Film, Kunst, Porno) (Analyse, Strategie) (Anpassen, Design, Auswahl) (Online, Auswahl) Rainer Zumpe

32

VR/AR-Anwendungen für Startups • Produkt-, Lösungs- und Anlagen-Präsentation • 3D-Modelle der (meisten) Produkte, ergänzend zu 3D-Drucker-Modellen • AR bietet bessere Interaktion mit Kunden/Kollegen • Up-to-Date-Sein: Eigene Entwicklungen zeigen (Visualisierung des sonst Unsichtbaren) • (Tele-)Service 11.01.2017

Rainer Zumpe

33

VR/AR-Zukunft • • • •

40 Vorhersagen bis 2015 (VRODO/J. Schell) Leichtere/kleinere HMDs/Brillen/Akkus Höhere Auflösung, größeres Sichtfeld Multi-User-Systeme: Entwickler, Produzent−Kunde, Spieler

• Kontaktlinsen (Novartis) • Telepräsenz • Holographie 11.01.2017

Rainer Zumpe

34

Diskussion: Vor-/Nachteile/Kritik Vorteile

Nachteile/Kritik

• Freie Blickwinkel-Wahl • ‚Mitten-drin‘-Erlebnis; • • • •

• • höhere Immersion: • Sehen/Hören/Fühlen 3D-Erlebnis (stereoskop) • • Sensoren/Tracking Gesten-Steuerung (z.B.: Dirigent/blinder Pianist) • Je nach Anwendung ... • (Zeitgewinn, kl. Fehlerrate, ...)

11.01.2017

Rainer Zumpe

(Voyeurismus) VR schottet ab z. Z. keine Norm (Bedieng.) Datenvol./Bandbreite HW-Anforderungen: Rechenleistung, Konsole, Sensoren, evtl. Kabel

‚Seekrankheit‘ Sturzgefahr 35

Zeit f. Einzel-Demos Vorarbeiten für Cardboard oder HMD: • Smartphone am WLAN anmelden • Im Internet 360°/3D-VR-Video wählen • Smartphone ins HMD/Cardboard •  360°/3D-VR-erleben! Samsung GEAR VR

11.01.2017

Rainer Zumpe

Hier: ViveVR, Magic Cardboard, ...

36

Danke für Ihr Interesse ... ... und viel Erfolg und Spaß bei der VR-Nutzung! „Spielzeug oder Werkzeug?“ 11.01.2017

Rainer Zumpe

37