— Stand der Technik bei Mensch-Maschine-Interfaces —
Ulrich Schwanecke HS RheinMain, Wiesbaden 24. Januar 2017
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
1
Mensch-Maschine-Interaktion …
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
https://commons.wikimedia.org STAR MMI
24. Januar 2017
2
Mensch-Maschine-Interaktion … ➡
… wird zu Mensch-Computer-Interaktion
https://commons.wikimedia.org
…
https://commons.wikimedia.org
… RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
3
Kurzer Ausflug in die Historie Gottfried Wilhelm Leibniz entwickelt Duales
Zahlensystem und eine Rechenmaschine für alle
Grundrechenarten (arbeitet mit Staffelwalzen) Gründung von IBM
IBM stellt erstmals Computer in Serie her FORTRAN ist erste Programmiersprache
für wissenschaftliche Anwendungen,
Vorstellung des ersten COBOL für geschäftliche Programme iPhones (International Business
Machines) ENIAC - Erster voll funktionsfähiger Apple führt Siri ein Digitalcomputer (Röhrenrechner) Virtual Reality Herman Hollerith
(Jaron Lanier) verwendet elektrische
Google Glass Lochkartenmaschine
TRADIC Erster Computer bei der Volkszählung mit Transistoren Entwicklung des
W3 am CERN Erster George Boole funktionsfähiger Entwicklung des ICs durch formuliert die Microsoft Transistor Robert N. Noyce & Jack Kilby Boolsche Algebra (Bell Labs) HoloLens
Maschine zur Addition und Subtraktion von Zahlen von Blaise Pascal Programmwalze mit gespeichertem Ablaufprogramm (Wegemesser) von Heron von Alexandria Rechenbuch von
Al Chwarismi Arabische Zahlen (Algorithmus) ermöglichen schriftliches
Dezimales Rechnen Zahlensystem in Indien Erste vollständige Zahlensysteme in Babylonien, Ägypten
Alessandro Volta erfindet die erste
funktionierende Batterie
Ivan Sutherland entwickelt erstes
interaktives Programm (Sketchpad)
Konrad Zuses Z1 entsteht
2015 2012 2011 2007
1989
1982
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
1963 1959
1955 1954 1947 1946
1932
1911
1890
1854
1800
1679
1642
1000
1000
3000
Ivan Eduard Sutherland, Sketchpad: A man-machine
graphical communication system, PhD Thesis, 1963 STAR MMI
24. Januar 2017
4
Taxonomie der Benutzungsschnittstellen Kommandozeilen Benutzerschnittstellen
(Command Line Interface (CLI))
➡
Zeichenorientierte Benutzerschnittstellen
(Text User Interface)
➡
Grafische Benutzeroberflächen
(Graphical User Interface (GUI)) ➡ WIMP Interfaces ➡ Windows ➡ Icons ➡ Menus ➡ Pointer
wikipedia.org
➡
www.digibarn.com/friends/curbow/star/retrospect/index.html
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
5
Taxonomie der Benutzungsschnittstellen ➡
Kommandozeilen Benutzerschnittstellen (Command Line Interface (CLI))
➡
Zeichenorientierte Benutzerschnittstellen (Text User Interface)
➡
Grafische Benutzeroberflächen (Graphical User Interface (GUI))
➡
Gegenständliche Benutzerschnittstellen (Tangible User Interface (TUI)) ➡ Systemfunktionalität wird durch physische Objekte verkörpert
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
6
Tangible User Interface (TUI)
RheinMain University of Applied Sciences ReacTJ: https://www.youtube.com/watch?v=ltjQJz2uz2E Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
7
Taxonomie der Benutzungsschnittstellen ➡
Kommandozeilen Benutzerschnittstellen (Command Line Interface (CLI))
➡
Zeichenorientierte Benutzerschnittstellen (Text User Interface)
➡
Grafische Benutzeroberflächen (Graphical User Interface (GUI))
➡
Gegenständliche Benutzerschnittstellen (Tangible User Interface (TUI)) ➡ Systemfunktionalität wird durch physische Objekte verkörpert
➡
Sprachbasierte Benutzerschnittstellen (Voice User Interfaces (VUI)) ➡ Benutzer kommuniziert per gesprochenem Wort mit dem System Apple
Siri
Microsoft
Cortana
Google Now
Google Home
Blackberry Assistant
Amazon Alexa
…
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
8
Taxonomie der Benutzungsschnittstellen ➡
Kommandozeilen Benutzerschnittstellen (Command Line Interface (CLI))
➡
Zeichenorientierte Benutzerschnittstellen (Text User Interface)
➡
Grafische Benutzeroberflächen (Graphical User Interface (GUI))
➡
Gegenständliche Benutzerschnittstellen (Tangible User Interface (TUI)) ➡ Systemfunktionalität wird durch physische Objekte verkörpert
➡
Sprachbasierte Benutzerschnittstellen (Voice User Interfaces (VUI)) ➡ Benutzer kommuniziert per gesprochenem Wort mit dem System
➡
Gehirn-Computer-Schnittstellen (Brain Computer Interface (BCI)) ➡ Konservierung menschlichen Bewusstseins ➡ Wiederherstellung von Körperfunktionen ➡
Cochlea-Implantate, Auditorische Hirnstamm-Implantate
➡
Retina-Implantate, Visual Cortex-Implantate
➡
…
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
C. E. King, et. al. The feasibility of a brain-computer interface functional electrical stimulation system
for the restoration of overground walking after paraplegia; Journal of NeuroEngineering and Rehabilitation, 2015
STAR MMI
24. Januar 2017
9
Brain Computer Interfaces (BCIs)
Christine E. King, Po T. Wang, Colin M. McCrimmon, Cathy CY Chou, An H. Do and Zoran Nenadic; The feasibility
of a brain-computer interface functional electrical stimulation system for the restoration of overground walking after
paraplegia; Journal of NeuroEngineering and Rehabilitation, 2015 RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
10
Taxonomie der Benutzungsschnittstellen ➡
Kommandozeilen Benutzerschnittstellen (Command Line Interface (CLI))
➡
Zeichenorientierte Benutzerschnittstellen (Text User Interface)
➡
Grafische Benutzeroberflächen (Graphical User Interface (GUI))
➡
Gegenständliche Benutzerschnittstellen (Tangible User Interface (TUI)) ➡ Systemfunktionalität wird durch physische Objekte verkörpert
➡
Sprachbasierte Benutzerschnittstellen (Voice User Interfaces (VUI)) ➡ Benutzer kommuniziert per gesprochenem Wort mit dem System
➡
Gehirn-Computer-Schnittstellen (Brain Computer Interface (BCI)) ➡ Konservierung menschlichen Bewusstseins ➡ Wiederherstellung von Körperfunktionen
➡
➡
Cochlea-Implantate, Auditorische Hirnstamm-Implantate
➡
Retina-Implantate, Visual Cortex-Implantate
➡
…
Ergonomische Bedienung von Computern
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
C. E. King, et. al. The feasibility of a brain-computer interface functional electrical stimulation system
for the restoration of overground walking after paraplegia; Journal of NeuroEngineering and Rehabilitation, 2015
STAR MMI
24. Januar 2017
11
Taxonomie der Benutzungsschnittstellen ➡
Kommandozeilen Benutzerschnittstellen (Command Line Interface (CLI))
➡
Zeichenorientierte Benutzerschnittstellen (Text User Interface)
➡
Grafische Benutzeroberflächen (Graphical User Interface (GUI))
➡
Gegenständliche Benutzerschnittstellen (Tangible User Interface (TUI)) ➡ Systemfunktionalität wird durch physische Objekte verkörpert
➡
Sprachbasierte Benutzerschnittstellen (Voice User Interfaces (VUI)) ➡ Benutzer kommuniziert per gesprochenem Wort mit dem System
➡
Gehirn-Computer-Schnittstellen (Brain Computer Interface (BCI)) ➡ Bedienung eines Computers direkt über (bewusste) Gedanken
➡
Wahrnehmungsgesteuerte Benutzerschnittstellen (Perceptual User Interface) ➡ Kombination von GUI, VUI und Gestenerkennung
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
12
Taxonomie der Benutzungsschnittstellen ➡
Kommandozeilen Benutzerschnittstellen (Command Line Interface (CLI))
➡
Zeichenorientierte Benutzerschnittstellen (Text User Interface)
➡
Grafische Benutzeroberflächen (Graphical User Interface (GUI))
➡
Gegenständliche Benutzerschnittstellen (Tangible User Interface (TUI)) ➡ Systemfunktionalität wird durch physische Objekte verkörpert
➡
Sprachbasierte Benutzerschnittstellen (Voice User Interfaces (VUI)) ➡ Benutzer kommuniziert per gesprochenem Wort mit dem System
➡
Gehirn-Computer-Schnittstellen (Brain Computer Interface (BCI)) ➡ Bedienung eines Computers direkt über (bewusste) Gedanken
➡
Wahrnehmungsgesteuerte Benutzerschnittstellen (Perceptual User Interface) ➡ Kombination von GUI, VUI und Gestenerkennung
➡
Natürliche Benutzerschnittstellen (Natural User Interface (NUI)) ➡ Ermöglichen intuitiven Umgang mit interaktiven Geräten
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
13
Intuitive Bedienbarkeit Intuition ➡
➡
➡
direkte und augenblickliche Erkenntnis,
die ohne Reflexion, Nachdenken oder
logisches Folgern zu Stande kommt geht häufig einher mit unbewusster
Informationsverarbeitung
https://commons.wikimedia.org
➡
Gestaltung intuitiver Benutzungs-
schnittstellen ➡
stützt sich auf Benutzer-Vorwissen,
das schnell und automatisch
verarbeitet wird
„The only real valuable thing is intuition“ - Albert Einstein
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
14
www.flickr.com/photos/intelfreepress/8433147083/sizes/o/in/photostream/
Intuitive Bedienbarkeit
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
15
Benutzer-Vorwissen ändert sich
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
https://www.youtube.com/watch?v=aXV-yaFmQNk&t=26s STAR MMI
24. Januar 2017
16
Erweiterung von Touch Interfaces ➡
Interaktionsoberfläche wird zu Interaktionsraum
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
17
Dynamic Shape Display http://tangible.media.mit.edu/project/inform/
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
18
Lichtfelder (Kameras und Displays)
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
19
Haptic Fairy Lights in Femtoseconds: Aerial and Volumetric Graphics Rendered by Focused Femtosecond Laser Combined with Computational Holographic Fields
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
20
Virtual Reality (1995) ➡
Nintendo‘s Virtual Boy (~180$) ➡
Hardware ➡ ➡ ➡ ➡
➡ ➡
Kaum überzeugende 3D Effekte Technik nicht ausgereift ➡ ➡
➡
NEC V810 (32bit, 20MHz, RISC, ca. 18MIPS) 1MB Speicher Rote Displays (384x224 Pixel) 16Bit Stereo-Sound
https://commons.wikimedia.org/
Kopfschmerzen schon nach kurzer Zeit Warnhinweis: Sollte nicht von Kindern
verwendet werden!
Nur ca. 20 Spiele Nintendos größter Flop … ➡ unter anderem Entlassung von Gunpei Yokoi (Erfinder des Game-Boys) ➡
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
21
Virtual Reality (2017) ➡
Occulus VR ➡
➡
~800€
Playstation VR ~400€
Samsung ➡
➡
HTC Vive
Sony ➡
➡
~700€
HTC ➡
➡
The Rift
Gear VR
~100€ (+ Handy)
Google ➡
Cardboard ~10€
+ Handy (z.B. S6, ~35GFLOPS)
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
22
Anforderungen an VR Systeme Hören
Sehen
Problemloses
Tasten
Eintauchen in eine virtuelle Welt erfordert das Ansprechen möglichst vieler Sinne Schmecken
Riechen
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
23
Flexible Spaces
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
24
Von VR zu Augmented / Mixed Reality ➡
Die grundlegende Idee:
Umgebungswahrnehmung + Zusatzinformation = AR Semitransparente Brille Kamera
Marken
Mikrofon RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
25
Augmented / Mixed Reality
Tjaden, H.; Schwanecke, U., Schömer, E.: Real-Time Monocular Segmentation and Pose Tracking of Multiple Objects; ECCVof (4), 2016, 423-438 RheinMain University Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
26
Mixed Reality ➡
Microsoft HoloLens ➡
➡
➡
➡
Optik ➡
See-through (2 x HD 16:9)
➡
Automatic pupillary distance calibration
Sensoren ➡
1 IMU
➡
4 environment cameras, 1 depth camera
➡
4 microphones
➡
1 ambient light sensor
Human understanding ➡
Spatial sound
➡
Gaze tracking
➡
Gesture input
➡
Voice support
Input / Output ➡
Built-in speakers
➡
Wi-Fi
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
http://identalinnovacion.com/que-es-la-realidad-aumentada/#iLightbox[gallery-2]/17
STAR MMI
24. Januar 2017
27
Mixed Reality ➡
Microsoft HoloLens ➡
➡
➡
➡
Optik ➡
See-through (2 x HD 16:9)
➡
Auto pupillary distance calib.
Sensoren ➡
1 IMU
➡
4 env. cams, 1 depth cam
➡
4 microphones
➡
1 ambient light sensor
Human understanding ➡
Spatial sound
➡
Gaze tracking
➡
Gesture input
➡
Voice support
Input / Output ➡
Built-in speakers
➡
Wi-Fi
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
28
Vielen Dank
RheinMain University of Applied Sciences Echtzeit WSRheinMain) 2008/2009 U.Bildverarbeitung Schwanecke –(HS
STAR MMI
24. Januar 2017
29
