Praktikum Advanced User Interfaces
Martin Schmitz 18.10.2016
[email protected] www.tk.informatik.tu-darmstadt.de
Organisation • P4 Praktikum, 6 CPs, HCS-Bereich • Bearbeitung eines praktischen HCI-Projekts: • Entwicklung eines interaktiven Computersystems / interaktiver Software • Fokus auf Interaktionsaspekte – gute Programmierkenntnisse werden vorausgesetzt!
• Selbständige Bearbeitung in Gruppen zu 1 – 4 Studierenden
2
Roadmap 18.10.16 bis 23.10.16
Themenvorstellung & Vorauswahl der Themen/Gruppen Mail mit Themen- bzw. Gruppenwünschen + Vorhandende Kenntnisse (Programmiersprachen, Visual Computing, AR etc.) Mail an
[email protected]
ca. 26.10.16
Finale Themenvergabe
Okt. '16 Mär. '17
Themenbearbeitung (Treffen mit Betreuer bei Bedarf)
28.03.17
Abschlusspräsentation mit Demo (13:00-15:00 in S202/A116) 3
Topic Areas
Interactive Tabletops & Walls Augmented Reality
Mobile Devices 3D-Druck
4
#1 Interacting with 3D Printed Objects Through a Smartphone's Audio Port Idea: Use the audio port (mic & speaker) of a smartphone to detect interactions with a 3D printed object 1. Send a signal through the speaker 3. Record a signal change through mic and detect interaction
2. Change the signal by interacting with the 3D object (e.g. touching, pressing)
Task: Use a 3D printed object and sense interaction by analysing the change in the signal. Requirements & challenges: • Programming skills in Android • 3D printing of simple objects • Signal processing & (possibly) ML
Contact:
[email protected] 8
Augmented Reality Glasses
Augmented reality glasses with seethrough displays that can augment the reality with in-sight projection.
9
HOLOLENS – Wuhu!
#2 PiraTop - Motivation • Viele Systeme zur Augmentierung von Arbeitsplätzen durch Projektion
11
#2 PiraTop - Motivation • Projektorbasierte Augmentierung ist auf stationäre Arbeitsplätze begrenzt • Augmented Reality erlaubt mobile Augmentierung (z.B. in der Bahn)
12
#2 PiraTop - Idee • Der (feste) Arbeitsplatz im Büro wird oft verlassen und mobil gearbeitet (z.B. Laptop in der Bahn, während Meetings, etc). • Am festen Arbeitsplatz ist Rechner Teil eines größeren „Ökosystems“, dem Schreibtisch •
Struktierierung die Platzierzung der Objekte
•
Post-it Notes
•
Todos
• Bei mobiler Nutzung des Laptops fehlt dieser Kontext • => PiraTop soll dem Nutzer erlauben, mit seinem Schreibtisch aus der
Ferne zu interagieren (Dokumente suchen, Post-Its hinterlassen, …)
13
#2 PiraTop - Plattform • C#, Unity • Microsoft HoloLens • Es gibt aus dem Sommersemester bereits eine erste Version, die als Basis dient (basierend auf den Meta-Glasses) • Contact:
[email protected]
14
#3 Remote Assistance (Study)
Contact:
[email protected] 15
#3 Remote Assistance (Study) Task: •
Develop a remote assistance tool evaluating different cues
•
Develop and conduct a study on how those cues influence the user
Technologies: •
Microsoft Hololens
•
Microsoft Kinect
•
Unity
Requirements: •
Basic HCI knowledge
•
Fun with AR
•
Unity skills can help
What else? •
Needs to be done before christmas Contact:
[email protected] 16
#4 Visual Filtering in AR Motivation: • How to improve visual telepresence systems?
• Visually highlight objects or locations with various approaches reduce cognitive load via pre-filtering of visual distractions Task: • Develop different approaches to highlight objects and subtle stear the user‘s attention.
• Conduct a final study.
Contact:
[email protected]
#4 Visual Filtering in AR Motivation: • How to improve visual telepresence systems?
• Visually highlight objects or locations with various approaches reduce cognitive load via pre-filtering of visual distractions Task: • Develop different approaches to highlight objects and subtle guide the user‘s attention.
• Conduct a final study. Technologies: • Microsoft Hololens
• Microsoft SurfaceHub (optional) • Unity Requirements: • Basic HCI knowledge • Computer Vision knowledge (optional) • Unity skills can help Contact:
[email protected]
#5 CloudBits
CloudBits Supporting Conversations Through Augmented Zero-query Search Visualization
#5 CloudBits
#6 (Not so) Fancy Data Visualization
#6 Fancy Data Visualization
Your Task: (Fancy) 3D visualization of big data using the HoloLens.
(Yes, you can play around with the hololens)
#5/#6 Requirements
Basic knowledge on HCI and User Experience. Good Programming skills. Unity skills may help but are not required.
23
#5/#6 Any Questions Left?
Florian Müller
[email protected]
24