Hierarchical Hi hi l Task T k Analysis A l i Mapper Mustergestützte Erstellung kognitiver Modelle zur Evaluation von Mensch-Maschine-Systemen Wissenschaftliche Aussprache p Fakultät V der Technischen Universität Berlin Berlin, den 10. Juli 2009 Dipl.-Ing. Marcus Heinath

Gliederung Einleitung: Kognitive Modellierung

ƒ Motivation ƒ Methode ƒ Probleme ƒ Zielstellung Ansatz: Hierarchical Task Analysis Mapper

ƒ Prozess ƒ Sprache ƒ Werkzeug Evaluation: Hierarchical Task Analysis Mapper

ƒ Verifikation ƒ Validierung Zusammenfassung

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

2

1

Gliederung Einleitung: Kognitive Modellierung

ƒ Motivation ƒ Methode ƒ Probleme ƒ Zielstellung Ansatz: Hierarchical Task Analysis Mapper

ƒ Prozess ƒ Sprache ƒ Werkzeug Evaluation: Hierarchical Task Analysis Mapper

ƒ Verifikation ƒ Validierung Zusammenfassung

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

3

Einleitung: Kognitive Modellierung

Motivation | Methode | Probleme | Zielstellung Evaluation von Mensch-Maschine Systemen (MMS)

Komplexe dynamische MMS

Produktkenntnis

ƒ Technologischer Wandel

Änderungsmöglichkeiten Änderungskosten

[nach Pfeiffer & Bonse, 1989]

Empirische Evaluation

ƒ Wandel der Tätigkeitsspektren ƒ Veränderte Rahmenbedingungen

Æ Entwicklung geeigneter Methoden zur Systemevaluation

Modellgestützte Evaluation

Kognitive Modellierung Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

4

2

Einleitung: Kognitive Modellierung

Motivation | Methode | Probleme | Zielstellung Kognitive Modellierung

Ziel: Menschliche Kognition

Erklärung kognitiver Leistungen durch Angabe: ƒ

Kognitive Architektur

Kognitive Architektur

ƒ

Wissensstrukturen

Kognitives

Æ Nachweis, dass diese Komponenten hinreichend zur Rekonstruktion der untersuchten Leistungen sind

Simuliertes Interaktives Verhalten

Aufgabenmodell

Modell

[Wallach, 1998, S.38]

Schnittstellenmodell Techn. System / Simulation

Aufgabe(n)

Formalisierung & Implementierung

5

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

Einleitung: Kognitive Modellierung

Motivation | Methode | Probleme | Zielstellung Pro

Kognitive Modellierung Menschliche Kognition

ƒ Ersparnis von Zeit und Kosten beim Testen von Systemvarianten ƒ quantitative Analyse

Kognitive Architektur

ƒ hoher Detailgrad Contra

Kognitives

Simuliertes Simuliertes Interaktives Interaktives Verhalten Verhalten

ƒ Aufwand für: Analyse + Bewertung

ƒ Erstellung ƒ Anbindung

Aufgabenmodell

Modell

Schnittstellenmodell

ƒ Analyse Techn. System / Simulation

Aufgabe(n)

kognitiver Modelle

ƒ Aussagekraft kognitiver Modelle

Formalisierung & Implementierung

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

6

3

Einleitung: Kognitive Modellierung

Motivation | Methode | Probleme | Zielstellung Pro

Kognitive Modellierung Menschliche Kognition

ƒ Ersparnis von Zeit und Kosten beim Testen von Systemvarianten ƒ quantitative Analyse

Kognitive Architektur

Fokus der Arbeit

ƒ hoher Detailgrad Contra

Kognitives

ƒ Aufwand für:

Simuliertes Interaktives Verhalten

ƒ Erstellung ƒ Anbindung

Aufgabenmodell

Modell

Schnittstellenmodell

ƒ Analyse Techn. System / Simulation

Aufgabe(n)

kognitiver Modelle

ƒ Aussagekraft kognitiver Modelle

Formalisierung & Implementierung

7

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

Einleitung: Kognitive Modellierung

Motivation | Methode | Probleme | Zielstellung Formalisierung von Wissensstrukturen

ACT-R Adaptive Control of Thought-Rational

Ziele Ziel-Puffer

Deklaratives Modul

Deklaratives Wissen (Chunks) Abfrage-Puffer

Produktionen

Prozedurales Wissen 1. Auswertung (Produktionsregeln: 2. Auswahl Wenn [Bedingung] 3. Ausführung Dann [Aktion]) Visueller Puffer

Manueller Puffer

Wahrnehmung

Aktion

Visuelles Modul

Manuelles Modul

( add-dm ( Passat ISA Auto Farbe Blau ... Motor Diesel ) ( Corsa ISA Auto Farbe ___ ...) ) ( P Ergänze_die_Farbe =goal> ISA Auto Farbe ___ ==> =goal> Farbe Gelb )

Produktions sregeln

Intentionales Modul

Chunks

[Anderson et al., 2004]

Umwelt (technisches System)

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

8

4

Einleitung: Kognitive Modellierung

Motivation | Methode | Probleme | Zielstellung ACT-R Modellerstellung

High Level

Aufgabenanalyse

?! Empirie

Productionen P d ti Ch k Chunks Produktionen Produktionen Chunks Chunks

Modellimplementation

Low Level

Modellprüfung

9

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

Einleitung: Kognitive Modellierung

Motivation | Methode | Probleme | Zielstellung ACT-R Modellerstellung

High Level

Aufgabenanalyse

Empirie

Modellimplementation

HTAmap

=

ƒ Reduzierung des Aufwandes für die kognitive Modellerstellung Beschreibungsebene

ƒ Verringerung der Eintrittsschwelle zur kognitiven Modellierung Low PProductionen Productionen d ti Ch k Chunks Produktionen Chunks Chunks Level

Modellprüfung

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

10

5

Gliederung Einleitung: Kognitive Modellierung

ƒ Motivation ƒ Methode ƒ Probleme ƒ Zielstellung Ansatz: Hierarchical Task Analysis Mapper

ƒ Prozess ƒ Sprache ƒ Werkzeug Evaluation: Hierarchical Task Analysis Mapper

ƒ Verifikation ƒ Validierung Zusammenfassung

11

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

Ansatz: Hierarchical Task Analysis Mapper

Prozess | Sprache | Werkzeug Von der Problemstellung ... zum kognitiven Simulationsmodell Konzeptionelle Modellbildung

Formale Modellbildung

Modellimplementierung

Aufgabe AMK Konzeptionelles Aufgabenmodell

AMSGT Formales SGT Aufgabenmodell

AMHTAmap Formales HTAmap Aufgabenmodell

AMACT-R ACT-R Aufgabenmodell

SMK Konzeptionelles Modell der Systemschnittstelle

SMAGI AGI Modell der Systemschnittstelle

SMAGImap AGImap M d ll d Modell der Systemschnittstelle

SMACT-R ACT-R M d ll d Modelle der Systemschnittstelle

Problemstellung

Kognitives Modell

T

Technisches System

ACT-R

High-Level Modellierung

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

Low-Level Modellierung

12

6

Ansatz: Hierarchical Task Analysis Mapper

Prozess | Sprache | Werkzeug Idee Erstellung kognitiver Modelle in ACT-R auf Basis vordefinierter Modellbausteine nach dem Lego-Prinzip ƒ Makroebene Abbildung regelbasierten Verhaltens mittels kognitiver Aktivitätsmuster ƒ Mikroebene Abbildung sensomotorischer Fertigkeiten mittels Wahrnehmungsund Interaktionsstrategien

13

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

Ansatz: Hierarchical Task Analysis Mapper

Prozess | Sprache | Werkzeug Kognitive Modellierung mit HTAmap 1. Phase der Vorarbeiten ACT R Experte ACT-R E t Bereitstellung generalisierter Modellbausteine

(P

=

_gain-information-start =goal> isa

==> g +goal> isa target " " state start last-goal=goal

eCAP

)

Cognitive Activity Pattern Generalisierte Beschreibung einer (Operator) Aktivität in ACT-R Modellprimitiven Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

14

7

Ansatz: Hierarchical Task Analysis Mapper

Prozess | Sprache | Werkzeug Kognitive Modellierung mit HTAmap 1. Phase der Vorarbeiten

2. Phase der kogn. Modellbildung

ACT R Experte ACT-R E t Bereitstellung generalisierter Modellbausteine

Aufgabenanalyse

Empirie

HTAma Modell

Modellimplementation

Ingenieur / Usability Experte HTAmap Modelldefinition auf Grundlage: Modellprüfung

ƒ SGT-Aufgabenmodell [Ormerod & Shepherd 2004] ƒ generalisierte Modellbausteine (CAPs, Strategien)

15

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

Ansatz: Hierarchical Task Analysis Mapper

Prozess | Sprache | Werkzeug HTAmap-Modellstruktur Aktivitätsstruktur

Elementary Activity (eACT)

eACT Name

Compound Activity (cACT)

cACT Name eACT Name cACT Name

eACT Name

Initial Condition Contingent Sequence Final Condition Contingent Sequence ACT-R Model Control Flow

eACT Name

eACT Name

cACT Name

cACT Name

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

16

8

Ansatz: Hierarchical Task Analysis Mapper

Prozess | Sprache | Werkzeug HTAmap-Modellstruktur Aktivitätsstruktur

Systemschnittstelle

500 l

17

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

Ansatz: Hierarchical Task Analysis Mapper

Prozess | Sprache | Werkzeug HTAmap-Modellstruktur Aktivitätsstruktur

Systemschnittstelle

Bibliothek von Modellbausteinen

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

18

9

Ansatz: Hierarchical Task Analysis Mapper

Prozess | Sprache | Werkzeug HTAmap Editor und HTAtrans Transformation

Modellierung Anpassung an Aufgabenkontext

Visualisierung

Verifizierung

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

19

Gliederung Einleitung: Kognitive Modellierung

ƒ Motivation ƒ Methode ƒ Probleme ƒ Zielstellung Ansatz: Hierarchical Task Analysis Mapper

ƒ Prozess ƒ Sprache ƒ Werkzeug Evaluation: Hierarchical Task Analysis Mapper

ƒ Verifikation ƒ Validierung Zusammenfassung

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

20

10

Evaluation: Hierarchical Task Analysis Mapper

Verifikation | Validierung Ziel:

Überprüfung der syntaktischen und semantischen Korrektheit der Modelle

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

21

Evaluation: Hierarchical Task Analysis Mapper

Verifikation | Validierung Ziel:

Überprüfung der syntaktischen und semantischen Korrektheit der Modelle

Umsetzung: Zweistufige partielle Modellverifikation:

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

22

11

Evaluation: Hierarchical Task Analysis Mapper

Verifikation | Validierung Ziel:

Überprüfung der syntaktischen und semantischen Korrektheit der Modelle

SGT

HTAmap

Umsetzung: Zweistufige partielle Modellverifikation: 1.

AMSGT Æ AMHTAmap ƒ

Aufbaustruktur

ƒ

Aufgabenelemente

ƒ

Ablaufstruktur

23

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

Evaluation: Hierarchical Task Analysis Mapper

Verifikation | Validierung Ziel:

Überprüfung der syntaktischen und semantischen Korrektheit der Modelle

SGT

HTAmap

Umsetzung: Zweistufige partielle Modellverifikation: 1.

2.

AMSGT Æ AMHTAmap ƒ

Aufbaustruktur

ƒ

Aufgabenelemente

ƒ

Ablaufstruktur

HTAmap

AMHTAmap Æ AMACT-R ƒ

Aufbaustruktur

ƒ

Aufgabenelemente

ƒ

Ablaufstruktur

ƒ

deklarative Wissensstruktur

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

ACT-R

ACT-R Code

24

12

Evaluation: Hierarchical Task Analysis Mapper

Verifikation | Validierung Ziel:

Überprüfung der syntaktischen und semantischen Korrektheit der Modelle

Umsetzung: Zweistufige partielle Modellverifikation: 1.

AMSGT Æ AMHTAmap ƒ

Aufbaustruktur

ƒ

Aufgabenelemente

ƒ

Ablaufstruktur

Ergebnis: 2.

AMHTAmap Æ AMACT-R ƒ

Aufbaustruktur

ƒ

Aufgabenelemente

ƒ

Ablaufstruktur

ƒ

deklarative Wissensstruktur

Verifikation

3

ƒ Partieller Nachweis anhand von 22 Testfällen

25

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

Evaluation: Hierarchical Task Analysis Mapper

Verifikation | Validierung Ziel:

Nachweis der kognitiven Adäquatheit aus dem Vergleich modellbasierter und empirischer Daten ƒ

ƒ

Empirische Adäquatheit ƒ

Produktkorrespondenz

Makroebene:

ƒ

Performanz mit dem technischen System

Korrespondenz der Zwischenschritte

Mikroebene:

Blickverhalten

ƒ

Temporale Korrespondenz

Theoretische Adäquatheit

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

26

13

Evaluation: Hierarchical Task Analysis Mapper

Verifikation | Validierung Ziel:

Nachweis der kognitiven Adäquatheit aus dem Vergleich modellbasierter und empirischer Daten ƒ

ƒ

Empirische Adäquatheit ƒ

Produktkorrespondenz

ƒ

Korrespondenz der Zwischenschritte

ƒ

Temporale Korrespondenz

[Schulze-Kissing, 2007]

Theoretische Adäquatheit

Umsetzung: Validierungsstudien 1.

Einfaches dynamisches MMS ƒ

Aufgabe: Füllstandsregelung

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

27

Evaluation: Hierarchical Task Analysis Mapper

Verifikation | Validierung Ziel:

Nachweis der kognitiven Adäquatheit aus dem Vergleich modellbasierter und empirischer Daten ƒ

ƒ

Empirische Adäquatheit ƒ

Produktkorrespondenz

ƒ

Korrespondenz der Zwischenschritte

ƒ

Temporale Korrespondenz

[Schulze-Kissing, 2007]

Theoretische Adäquatheit

Umsetzung: Validierungsstudien 1.

Einfaches dynamisches MMS ƒ

2.

Aufgabe: Füllstandsregelung

Komplexes dynamisches MMS ƒ

Aufgabe: Anfahrprozess [Urbas & Heinath, 2008]

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

28

14

Evaluation: Hierarchical Task Analysis Mapper

Verifikation | Validierung Ziel:

Nachweis der kognitiven Adäquatheit aus dem Vergleich modellbasierter und empirischer Daten ƒ

ƒ

Empirische Adäquatheit ƒ

Produktkorrespondenz

ƒ

Korrespondenz der Zwischenschritte

ƒ

Temporale Korrespondenz

Theoretische Adäquatheit

Umsetzung: Validierungsstudien Ergebnis: 1.

Einfaches dynamisches MMS ƒ

2.

Validierung

Aufgabe: Füllstandsregelung

Komplexes dynamisches MMS ƒ

ƒ Kognitive Adäquatheit Makroebene ƒ Kognitive Adäquatheit Mikroebene

3 ?

Aufgabe: Anfahrprozess

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

29

Gliederung Einleitung: Kognitive Modellierung

ƒ Motivation ƒ Methode ƒ Probleme ƒ Zielstellung Ansatz: Hierarchical Task Analysis Mapper

ƒ Prozess ƒ Sprache ƒ Werkzeug Evaluation: Hierarchical Task Analysis Mapper

ƒ Verifikation ƒ Validierung Zusammenfassung

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

30

15

Zusammenfassung

Ergebnis | Ausblick | Fazit HTAmap-Prozess ƒ systematische und durchgängige Modellentwicklung: Vom Problem … zum kognitiven Simulationsmodell

HTAmap-Sprache ƒ zusätzliche Modellebene zur Minimierung der Transformationslücke: High-LevelSGT-Aufgabenmodell Å HTAmapModellÆ Low-LevelACT-R Modell ƒ mustergestützte und strukturgetriebene Modellentwicklung: ƒ CAP = Generalisierte Beschreibung einer Aktivität in ACT-R ƒ Aktivität = CAP + aufgabenspezifisches Wissen ƒ HTAmap-Modell = Verschachtelung von Aktivitäten

HTAmap-Werkzeug ƒ softwaregestützte kognitive Modellierung auf höherem Abstraktionsniveau ƒ HTAmap-Editor und HTAtrans Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

31

Zusammenfassung

Ergebnis | Ausblick | Fazit Ausbau des HTAmap-Modellierungsrahmens ƒ Aufbau von Modellierungsbaukästen (CAPs, Strategien, ..)

Weiterentwicklung des HTAmap-Editors ƒ Integration der graphischen Notation für Aktivitäten ƒFunktionsausbau hinsichtlich der Erstellung und Evaluation von Modellbausteinen

Rückprojektion des dynamischen Verhaltens der HTAmap-Modelle ƒ Analyse der ACT-R Simulationsdaten hinsichtlich der Ausführung von Aktivitäten und Vergleich mit den HTAmap Modellannahmen Æ Abgleich der Kontrollstrukturen

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

32

16

Zusammenfassung

Ergebnis | Ausblick | Fazit HTAmap Ansatz ƒ Prozess ƒ Sprache ƒ Werkzeug

Produktkenntniss Änderungsmöglichkeiten Änderungskosten

=

mustergestützte kognitive Modellierung

des Aufwandes für 3ƒ Reduzierung die Erstellung kognitiver Modelle der Eintrittsschwelle 3ƒ Verringerung zur kognitiven Modellierung Modellgestützte Evaluation

Kognitive Modellierung

Beitrag zur Forcierung des Einsatzes

Wissenschaftliche Aussprache von Marcus Heinath | 10. Juli 2009 | Fakultät V der TU Berlin

33

Vielen Dank für Ihre A f Aufmerksamkeit! k k it!

17