Praktikum Advanced User Interfaces

Martin Schmitz 18.10.2016

[email protected] www.tk.informatik.tu-darmstadt.de

Organisation • P4 Praktikum, 6 CPs, HCS-Bereich • Bearbeitung eines praktischen HCI-Projekts: • Entwicklung eines interaktiven Computersystems / interaktiver Software • Fokus auf Interaktionsaspekte – gute Programmierkenntnisse werden vorausgesetzt!

• Selbständige Bearbeitung in Gruppen zu 1 – 4 Studierenden

2

Roadmap 18.10.16 bis 23.10.16

Themenvorstellung & Vorauswahl der Themen/Gruppen Mail mit Themen- bzw. Gruppenwünschen + Vorhandende Kenntnisse (Programmiersprachen, Visual Computing, AR etc.) Mail an [email protected]

ca. 26.10.16

Finale Themenvergabe

Okt. '16 Mär. '17

Themenbearbeitung (Treffen mit Betreuer bei Bedarf)

28.03.17

Abschlusspräsentation mit Demo (13:00-15:00 in S202/A116) 3

Topic Areas

Interactive Tabletops & Walls Augmented Reality

Mobile Devices 3D-Druck

4

#1 Interacting with 3D Printed Objects Through a Smartphone's Audio Port Idea: Use the audio port (mic & speaker) of a smartphone to detect interactions with a 3D printed object 1. Send a signal through the speaker 3. Record a signal change through mic and detect interaction

2. Change the signal by interacting with the 3D object (e.g. touching, pressing)

Task: Use a 3D printed object and sense interaction by analysing the change in the signal. Requirements & challenges: • Programming skills in Android • 3D printing of simple objects • Signal processing & (possibly) ML

Contact: [email protected] 8

Augmented Reality Glasses

Augmented reality glasses with seethrough displays that can augment the reality with in-sight projection.

9

HOLOLENS – Wuhu!

#2 PiraTop - Motivation • Viele Systeme zur Augmentierung von Arbeitsplätzen durch Projektion

11

#2 PiraTop - Motivation • Projektorbasierte Augmentierung ist auf stationäre Arbeitsplätze begrenzt • Augmented Reality erlaubt mobile Augmentierung (z.B. in der Bahn)

12

#2 PiraTop - Idee • Der (feste) Arbeitsplatz im Büro wird oft verlassen und mobil gearbeitet (z.B. Laptop in der Bahn, während Meetings, etc). • Am festen Arbeitsplatz ist Rechner Teil eines größeren „Ökosystems“, dem Schreibtisch •

Struktierierung die Platzierzung der Objekte

•

Post-it Notes

•

Todos

• Bei mobiler Nutzung des Laptops fehlt dieser Kontext • => PiraTop soll dem Nutzer erlauben, mit seinem Schreibtisch aus der

Ferne zu interagieren (Dokumente suchen, Post-Its hinterlassen, …)

13

#2 PiraTop - Plattform • C#, Unity • Microsoft HoloLens • Es gibt aus dem Sommersemester bereits eine erste Version, die als Basis dient (basierend auf den Meta-Glasses) • Contact: [email protected]

14

#3 Remote Assistance (Study)

Contact: [email protected] 15

#3 Remote Assistance (Study) Task: •

Develop a remote assistance tool evaluating different cues

•

Develop and conduct a study on how those cues influence the user

Technologies: •

Microsoft Hololens

•

Microsoft Kinect

•

Unity

Requirements: •

Basic HCI knowledge

•

Fun with AR

•

Unity skills can help

What else? •

Needs to be done before christmas  Contact: [email protected] 16

#4 Visual Filtering in AR Motivation: • How to improve visual telepresence systems?

• Visually highlight objects or locations with various approaches  reduce cognitive load via pre-filtering of visual distractions Task: • Develop different approaches to highlight objects and subtle stear the user‘s attention.

• Conduct a final study.

Contact: [email protected]

#4 Visual Filtering in AR Motivation: • How to improve visual telepresence systems?

• Visually highlight objects or locations with various approaches  reduce cognitive load via pre-filtering of visual distractions Task: • Develop different approaches to highlight objects and subtle guide the user‘s attention.

• Conduct a final study. Technologies: • Microsoft Hololens

• Microsoft SurfaceHub (optional) • Unity Requirements: • Basic HCI knowledge • Computer Vision knowledge (optional) • Unity skills can help Contact: [email protected]

#5 CloudBits

CloudBits Supporting Conversations Through Augmented Zero-query Search Visualization

#5 CloudBits

#6 (Not so) Fancy Data Visualization

#6 Fancy Data Visualization

Your Task: (Fancy) 3D visualization of big data using the HoloLens.

(Yes, you can play around with the hololens)

#5/#6 Requirements

Basic knowledge on HCI and User Experience. Good Programming skills. Unity skills may help but are not required.

23

#5/#6 Any Questions Left?

Florian Müller [email protected]

24