Performance Kriterien zur Bewertung von Mensch-Roboter Interaktion (im Rahmen des Seminars „Mensch-Roboter Interaction“)

Gliederung 1. 2. 3. 4.

Einführung Anforderungen an P.- Kriterien Kriterienrahmen Einzelne P.- Kriterien (mit einem Beispiel zur Kriterienbestimmung und einer Übersicht) 5. Testumgebungen für P.- Kriterien 6. Schlussbemerkungen

Einführung • steigende Anforderungen an die Qualität (Effektivität, Effizienz) der Zusammenarbeit von Mensch-Roboter Teams verlangen nach systematischer Identifikation von Schwachstellen und Bereitstellung von objektiven Vergleichbarkeitsmaßen (Benchmarking) • Bestimmung relevanter Maßen (Zeit, Leistung; Beispiele: Geschwindigkeit und Qualität der Signalverarbeitung eines Operators) für die Einzelkomponenten eines HRSystems ist oft erschwert oder nicht messbar Æ Definition und Einsatz von Performance Kriterien

Anforderungen an Performance Kriterien Durch Einsatz von Kriterien sollten folgende Aufgabenbereiche effektiver erschlossen werden: • Einschätzung von Grenzen der im Einsatz beteiligten Akteuren • Unterstützung bei der Aufgabenplanung • Verbesserung der Usability • Regelung der Autonomie im HR-Systemen

Taxonomieansatz Modelle zur Entwicklung von Performance Kriterien: • Taxonomieansatz: eine möglichst vollständige Systemstruktur mit Hilfe von Kategorien mit darauf spezialisierten Kriterien

(mögliche Konstellationen für die Zusammensetzung von Mensch-Roboter Teams [induktiv erweiterbar])

Æ Vergleich von Teams im Rahmen von bestimmenden Kategorien (Zeit/Raum-Kategorien, Autonomiegrad, Robotermorphologie, H/RVerhältnis usw.) und auf Kategorien bezogene Maße

Aufgaben Orientierung • Aufgaben orientierter Ansatz: standardisierte Prozesse (Navigation, Objekterfassung, Manipulationsaufgaben), auf welche allgemein spezifizierte Kriterien angewandt werden

ÆBessere Bewertung und Optimierung von gegebenen Systemen durch Komplexitätsreduktion durch Untersuchung von aufgabenspezifische Maße auch in Teilsystemen (folgende Betrachtungen im Rahmen dieses Modells)

einige gängige Kriterien Manche Kriterien besitzen speziell entwickelte Messmethoden („Metriken“), andere bieten oft (nur) eine qualitative Schätzung:

•fan-out: die maximale Anzahl der effektiv zu kontrollierenden Roboter (relativ gut experimentell einschätzbar anhand von solchen Metriken wie „neglect tolerance“ und „interaction effort“)

•neglect tolerance: Beurteilung des Autonomiemaßes eines Roboters im HR-Team (Metriken: mittlere Autonomiezeit (avrg. neglect time), besser: activity time)

weitere Kriterien • workload: Aufwand an mentaler Leistung des Operators (Metriken: • • •

Messungen von physiologischen Merkmalen / Ablenkung durch sekundäre Tasks, post hoc-Berichte, Verhaltensentropie) situational awareness: mentales Situationsmodell, das möglichst vollständig die Realität abbildet und eine Zukunftsperspektive ermöglicht usability: Eignung einer bestimmten Systemkomponente bezüglich ihrer Effektivität, Effizienz, aber auch subjektiver Merkmale (besonders wichtig für Interface-Eigenschaften) interaction effort: erforderliche Kommunikationsaufwand eines HR-Teams (Metriken: indirekte Interaktionszeitmessung, vergleichender Interaktionsaufwand)

Beispiel: Fan-Out-Bestimmung Arbeitshypothese: FO=AT/IE AT: Activity Time IE: Interaction Effort

Ziel des Experiments: Bestätigung der Formel zur Berechnung von Fan-Out-Kennzahlen

Experiment und Ergebnisse Versuchsaufbau: --3 verschiedene Robotertypen --identisches Interface --mehrere Versuchsdurchläufe mit jeweils heterogenen Roboterteams

Auswertung der Ergebnisse: --gute Übereinstimmung der experimentellen Ergebnisse mit der Formel aus der Arbeitshypothese --bei kleinen Fan-Out Kennzahlen tauchen Unstimmigkeiten auf

Kategorisierung von Kriterien Performance Kriterien im Umfeld von task-orientierter Mensch-(mobilen)Roboter Interaktion können bezügl. allgemeiner Aufgabenstellungen und (Teil)Systembereiche charakterisiert werden. Es sollen folgende Bezugskategorien benutzt werden: • Aufgaben: Navigation, Erfassung, Manipulation, Verwaltung und „soziale“ Kompetenz • Systemblöcke: Operator(s) Robot(s), Gesamtsystem

Kriterienmatrix

Operator(s) Roboter(s)

Gesamtsystem

Manipulation

Navigation

Erfassung

situational awareness

passive/ active perception

workload

selfawareness

neglecttolerance

contact error rate

(adjustable autonomy)

critical incidents

interaction effort, (adjustable autonomy)

awareness violations

interface usability

Verwaltung

fan-out

„soziale“ Kompetenz

emotional engagement

„humanoidity“

trust automation

Test- und Evaluationsumgebungen Einige Methoden zur Spezifizierung und Erprobung von Kriterien: • Für Subsysteme: aufgabenspezifische konstante Simulationsbedingungen oder komplexe Studien(z.B: Flugsimulation-Generatoren, SAGAT-Verfahren für SA) • Für Gesamtsystem: diverse Manschafts-wettkämpfe für HR-Teams (USAR, Robot Challenge, RoboCup)

Ziele für weitere Entwicklung •

Ausdifferenzierung und Präzisierung von bestehenden Kriterien • Verbesserung der Planungssicherheit und der Konsistenz bestehender Kriterien • Erweiterung der Kriterien auf die Interaktion innerhalb anderer Systemblöcke